Elasticsearch로 안정적인 자료 수집
데이터 핸들링 또는 데이터 모델링을 통해 사업을 하는 작은 규모의 회사가 데이터를 안정적으로 모을 수 있습니다.
Elastic 로 데이터 분석 및 응용
NSHC는 Elasticsearch를 통해 데이터를 안정적으로 수집할 수 있으며, 다양한 데이터를 중요도에 따라 분석 및 응용할 수 있습니다.
Elastic 의 자동알람 시스템 활용
NSHC는 기 구축된 웹 HTML 컨텐츠를 자동 알람기능을 통해 지속적으로 제공 받아서 보다 빠른 대처를 할 수 있도록 합니다.
Company Overview
NSHC (Network Security Hacking Club) 는 언더그라운드 해커 모임으로 시작하여 2003년부터 정보보호 전문 회사로 발전하였으며, 2010년부터는 정보보호 솔루션 개발, 보안취약점 정보 제공 등으로 사업분야를 확대하여 컨설팅/솔루션/Offensive Research 등 3박자를 고루 갖춘 스마트 보안 전문 기업으로 성장하였습니다.
NSHC는 최고의 정보보호 컨설팅팀과 보안기술 연구소 그리고 RedAlert팀 운영으로 최상의 전문서비스를 제공합니다.
악성 코드 모니터링 및 데이터 연관 분석
보안 데이터는 남들이 다 보유하고 있는 1,000만개의 데이터가 중요한 것이 아니라, 우리를 공격할 수 있는 1~2개의 데이터를 파악하고 대응하는 것이 중요합니다. NSHC는 전 세계에 있는 Dark Web, 그리고 웹 상에 돌아 다니는 Ransomware 등을 주기적인 알람을 통해 탐지하여 Dark Web에 대한 동향을 파악하고, 이상 데이터가 파악되면 해당 기관 및 기업이 분석할 수 있는 데이터를 제공하는 비즈니스를 합니다.
Dark Web 사이트 35만개, PE파일 2300여개, 모바일 악성코드 30만개, 악성코드 100만개의 수많은 악성코드 등의 데이터를 토대로 연관 분석을 진행하고 있으며, 자동 검색한 데이터를 6시간 마다 html 형태의 파일로 slack을 통해 전달하고 있습니다.
원하는 키워드를 등록해놓으면 크롤러가 컨텐츠 내에 키워드가 포함된 데이터를 수집하게되면 알람을 주는 기능도 제공합니다.
숨겨져 있는 데이터넷 안에서 IP를 추적하는 것은 불가능한 일입니다. 하지만 Elasticsearch를 사용한 연관검색을 통해 도메인은 달라도 TCP/IP주소가 같은 경우를 찾을 수 있습니다.
Who : 최병규 NSHC 부사장, NSHC의 Red Alert팀
NSHC의 Red Alert팀은 국내에서 가장 많은 인원인 35명의 화이트 해커들로 이루어진 팀입니다. Red Alert팀이 Offensive Research(오펜시브 리서치)를 하고 있습니다. Offensive Research는 예전처럼 방어적인 기제에서 방화벽을 세우는 것과 같은 보안솔루션이 아니라, 공격자적인 관점에서 해커, 해커그룹 혹은 상대 국가가 우리나라를 해킹했을 때 어떤 방법론을 사용할지 등의 공격자적인 관점에서 보안 정책을 세우는 연구 방법입니다. Red Alert팀은 악성코드 분석, 모바일 악성코드, 악성 URL 등의 많은 연구를 진행하고 있습니다.
What : 악성코드 분석을 위한 Deep Web과 Dark Web에서의 데이터 수집
NSHC 에서는 Elasticsearch를 사용하기 전, 공개된 출처에서 얻은 정보인 OSINT(Open Source INTelligence)를 이용해 데이터를 분석하고 수집해 왔습니다. 구글 등과 같이 검색엔진으로 주소를 파악할 수 있는 Clean Web은 전세계의 4%이고, 외부에서 검색이 안되는 Deep Web과 Dark Web은 96%를 차지하고 있다고 추정하고 있습니다.
NSHC 에서는 Dark Web상에서 이루어지고 있는 Ransomware 서비스와 같은 악성코드를 분석하고 있습니다. Dark Web상에서 Ransomware는 패키지로 판매되기도 하며 사이트는 일반 쇼핑몰처럼 운영되고 있습니다. 특히 한국어가 들어간 Ransomware를 모니터링하는데, 1차적으로 한국을 공격할 가능성이 매우 높기 때문입니다.
Dark Web의 악성코드 분석을 해야 하는 이유?
여권 정보 등의 수 많은 개인정보가 사고 팔리고 있음. 이 외에도 무기, 생체 장기 매매, 군 관련자들의 개인 정보, 크레딧 카드 등의 다양한 정보들이 팔리고 있음.
Why : 작은 규모의 회사에서도 다양한 데이터의 수집 및 분석이 용이
NSHC 에서는 Elasticsearch를 통해 데이터를 안정적으로 수집하고 분석 및 응용할 수 있게 되었습니다. 이는 예전처럼 단순히 오픈소스만으로는 진행하지 못했을 비즈니스 모델입니다. 데이터 핸들링 및 데이터 모델링을 통해 사업을 하고자 하는 작은 규모의 회사에게는 데이터를 안정적으로 수집하고 분석 및 응용할 수 있는 시스템이 필요합니다.
How : Elastic Stack과 최적화된 데이터로 시스템 구축
NSHC 에서는 2년 동안 검증한 데이터 중 Elastic Stack와 가장 최적화된 데이터들로 시스템을 구성했습니다. 현재 운영되고 있는 OnionRunner, 사이트의 모든 웹 컨텐츠를 수집할 수 있는 Ahmia 등 다양한 수집기를 통해 해당되는 데이터가 Elasticsearch로 집결됩니다.
NSHC 에서는Elastic Stack을 통해 2D 분석 그래프 및 통계 출력은 Kibana, 결과 통합은 자체 Search UI, 키워드 자동 검색은 Search keyword를 사용하여 데이터를 분석하고 있습니다. Elastic Stack을 사용함으로써 데이터베이스 저장 및 분석을 보다 쉽게 할 수 있게 되었습니다.
결과 : 안정적인 데이터 수집과 분석을 통한 응용
NSHC 에서는 Elasticsearch를 응용하기 전에는 개별적으로 모든 데이터 등을 수집해야 했습니다. 그러나 Elasticsearch를 응용한 뒤부터 데이터베이스 저장, 분석 등에 대한 어려움 없이 진행할 수 있습니다.
Elasticsearch를 응용한 뒤 가장 다른 점은 Elasticsearch 에서 제공해주는 다양한 데이터 중요도 분석과 검색엔진을 응용한 자동 알람입니다. 특히 자동 알람은 Elastic Stack의 자동검색 키워드로 자동 검색한 데이터를 6시간 마다 엑셀로 다운로드 받아 해당 고객사에 배포하는 형식으로 유용하게 사용되고 있습니다.
NSHC는 Elastic Stack의 machine learning 및 Kibana 등을 통해 연관 분석의 발전을 기대하고 있습니다. Elastic Stack의 다양한 확장 기능은 NSHC의 프로젝트들을 손쉽게 구현할 수 있도록 지원해 줄 수 있을 것 입니다.
