Elastic Stack에서 머신 러닝을 사용하려면 데이터를 Elasticsearch에 저장하기만 하면 됩니다. 클릭 몇 번으로 데이터에서 중요한 인사이트를 얻고 완벽하게 작동하는 엔드 투 엔드 머신 러닝 파이프라인을 구축하는 방법에 대해 알아보세요.

blog-banner-ml-anomaly-laptop.png

blog-thumb-ml-anomaly-laptop.png

Train, evaluate, monitor, infer: End-to-end machine learning in Elastic

학습, 평가, 모니터링, 추론: Elastic의 엔드 투 엔드 머신 러닝

부정 행위자(및 Malware)는 탐지를 피하려고 DGA(도메인 생성 알고리즘)를 이용하지만, Elastic 머신 러닝을 사용하면 이러한 트릭을 정확히 판별하는 모델을 손쉽게 구축할 수 있습니다. 이 시리즈의 2부에서 그 방법을 알아보세요.

이 블로그 시리즈 <a href="/kr/blog/machine-learning-in-cybersecurity-training-supervised-models-to-detect-dga-activity">1부</a>에서는 <a href="/kr/what-is/elasticsearch-machine-learning">Elastic Stack 머신 러닝</a>을 사용하여 악성 도메인을 탐지하는 지도 분류 모델을 훈련하는 방법을 살펴보았습니다. 2부에서는 훈련한 모델을 사용하여 수집 시에 분류를 통해 네트워크 데이터를 보강하는 방법을 알아보겠습니다. Packetbeat 데이터에서 잠재적인 DGA 활동을 탐지하고자 하는 모든 분들에게 유용할 것입니다.
<h2>Elastic Stack을 사용한 DGA 탐지</h2>시스템을 감염시키는 악성 프로그램은 흔히 공격자가 제어하는 서버, 즉 이른바 명령 및 제어(C&C 또는 C2) 서버와 다시 통신할 수 있는 방법이 필요하게 됩니다. 하드코딩된 IP 주소나 URL을 차단하는 방어 수단을 방해하기 위해 공격자는 DGA(도메인 생성 알고리즘)를 사용합니다. Malware는 C&C 서버에 접속해야 할 때 DGA를 사용하여 수백, 수천 개의 후보 도메인을 생성하고 각각에 대해 IP 주소를 해결하려고 시도할 것입니다. 그런 다음 공격자는 감염된 시스템과 통신할 수 있도록 DGA에서 생성된 도메인 중 하나 또는 몇 개만 등록해야 합니다. DGA는 수비자들의 차단과 탐지를 더욱 어렵게 하기 위해 다양한 방식으로 시드되고 무작위화됩니다.
DGA 활동은 대개 DNS 쿼리를 포함하기 때문에 감염된 시스템에서 만들어진 DNS 요청에 자주 나타나게 됩니다. Packetbeat는 DNS 트래픽을 수집하고 Elasticsearch로 전송하여 분석할 수 있습니다. 이 블로그 게시물에서는 Packetbeat 데이터의 DNS 쿼리 정보를 도메인이 얼마나 악성인지 나타내는 점수로 어떻게 보강할 수 있는지 살펴보겠습니다.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt49f03548e4e6bc48/5f04ce44e224bf2d1883a92b/blog-dga-2-enriched-packetbeat.jpg" data-sys-asset-uid="blt49f03548e4e6bc48" alt="보강된 Packetbeat 데이터" style="display: block; margin: auto; width:650px;">
<figcaption>그림 1. 보강된 Packetbeat 문서의 예</figcaption><h2>추론 프로세서 및 수집 파이프라인</h2>양성 도메인과 악성 도메인을 구별하도록 훈련된 모델의 예측으로 Packetbeat 데이터를 보강하려면 적절한 추론 프로세서로 수집 파이프라인을 구성해야 합니다. <a href="/guide/en/elasticsearch/reference/7.8/inference-processor.html">추론 프로세서</a>는 사용자에게 Elastic Stack에서 훈련된 모델(또는 지원되는 외부 라이브러리 중 하나에서 훈련된 모델)을 사용하여 Elasticsearch로 수집되고 있는 새 문서에 대한 예측을 할 수 있는 방법을 제공합니다. 이 모든 움직이는 조각들이 어떻게 어울리고 어떤 구성이 필요한지 이해하기 위해 이 블로그의 1부로 잠시 돌아가 봅시다.
<a href="/kr/blog/machine-learning-in-cybersecurity-training-supervised-models-to-detect-dga-activity">1부</a>에서는 해당 도메인이 악성인지 여부를 예측하기 위한 분류 모델을 훈련하는 과정을 논의하였습니다. 이 프로세스의 단계 중 하나는 훈련 데이터, 즉, 이전에 보이지 않았던 새 도메인의 점수를 매기는 방법을 학습하는 데 우리 모델이 사용할 알려진 악성과 양성 도메인 집합에 대해 피쳐 엔지니어링을 수행하는 것입니다. 모델에 유용한 피처(유니그램, 바이그램, 트라이그램)를 추출하도록 원시 도메인을 조작해야 합니다. 그런 다음 악성에 대한 점수를 매기고자 하는 Packetbeat 데이터의 도메인에도 동일한 피처 엔지니어링 절차를 적용해야 합니다.
그렇기 때문에 추론 프로세서 외에 우리의 수집 파이프라인에는 수집 시 Packetbeat DNS 데이터에서 유니그램, 바이그램, 트라이그램을 추출하는 <a href="/guide/en/elasticsearch/reference/7.8/script-processor.html">Painless 스크립트 프로세서</a>도 포함됩니다. 전체 파이프라인을 보여주는 도표는 그림 2에 나와 있습니다.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt076305e0def6b448/5f04ce78e224bf2d1883a92f/blog-dga-2-painless.png" data-sys-asset-uid="blt076305e0def6b448" alt="데이터 보강을 위한 Painless 스크립트" style="display: block; margin: auto; width:650px;">
<figcaption>그림 2. 들어오는 새 도메인에서 n그램 피처를 추출하기 위한 Painless 스크립트 프로세서와 도메인이 악성인지 여부를 예측하기 위한 추론 프로세서가 있는 수집 파이프라인</figcaption>Packetbeat 데이터 내에서, 우리가 운용하고 싶은 필드는 DNS 등록 도메인입니다. 이 필드에 관심 있는 도메인이 포함되지 않는 일부 엣지 케이스가 있긴 하지만, 이 블로그의 목적을 위한 사용 사례를 설명하기에는 충분할 것입니다. 그림 3의 이미지는 예제 Packetbeat 문서의 관심 필드를 보여줍니다.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt68491032263c0dfd/5f04cea0a6e8d0446e91d324/blog-dga-2-domain.png" data-sys-asset-uid="blt68491032263c0dfd" alt="등록된 도메인" style="display: block; margin: auto; width:550px;">
<figcaption>그림 3. Packetbeat 관심 필드는 <code>dns.question.registered_domain</code>이 됨</figcaption><code>dns.question.registered_domain</code>에서 유니그램, 바이그램, 트라이그램을 추출하려면 그림 4에 나와 있는 것과 같은 Painless 스크립트를 사용해야 합니다.
<pre class="prettyprint">POST _scripts/ngram-extractor-packetbeat 
{ 
 "script": { 
 "lang": "painless", 
 "source": """ 
 String nGramAtPosition(String fulldomain, int fieldcount, int n){ 
 String domain = fulldomain.splitOnToken('.')[0]; 
 if (fieldcount+n&gt;=domain.length()){ 
 return '' 
 } 
 else 
 { 
 return domain.substring(fieldcount, fieldcount+n) 
 } 
 } 
 for (int i=0;i&lt;ctx['dns']['question']['registered_domain'].length();i++){ 
 ctx['field_'+Integer.toString(params.ngram_count)+'_gram_'+Integer.toString(i)] = nGramAtPosition(ctx['dns']['question']['registered_domain'], i, params.ngram_count) 
 }
 """ 
 } 
}
</pre><figcaption>그림 4. 도메인을 유니그램, 바이그램 및 트라이그램으로 확장하기 위한 Painless 스크립트</figcaption>필요한 피처를 추출한 후, 여전히 수집 파이프라인을 통과하는 문서는 추론 프로세서를 거치게 되며, 이 추론 프로세서에서 이전 편에서 훈련된 분류 모델이 추출된 피처를 사용하여 예측을 하게 됩니다. 마지막으로 모델에 필요한 모든 추가 피처로 인덱스를 어수선하게 하고 싶지 않기 때문에 일련의 Painless 스크립트 프로세서를 추가하여 유니그램, 바이그램, 트라이그램이 포함된 필드를 제거합니다.
따라서 수집 파이프라인의 끝에서 우리가 수집할 것은 머신 러닝 예측의 결과를 포함하는 새로운 추가 필드의 Packetbeat 문서입니다. 샘플 수집 파이프라인 구성은 그림 5에 나와 있습니다. 자세한 내용은 <a href="https://github.com/elastic/examples/tree/master/Machine%20Learning/DGA%20Detection">예제 리포지토리</a>를 참조하세요.
<pre class="prettyprint">PUT _ingest/pipeline/dga_ngram_expansion_inference
{
 "description": "Expands a domain into unigrams, bigrams and trigrams and make a prediction of maliciousness",
 "processors": [
 {
 "script": {
 "id": "ngram-extractor-packetbeat",
 "params":{
 "ngram_count":1
 }
 }
 },
 {
 "script": {
 "id": "ngram-extractor-packetbeat",
 "params":{
 "ngram_count":2
 }
 }
 },
 {
 "script": {
 "id": "ngram-extractor-packetbeat",
 "params": {
 "ngram_count":3
 }
 }
 },
 {
 "inference": {
 "model_id": "dga-ngram-job-1587729368929",
 "target_field": "predicted_label",
 "field_mappings":{},
 "inference_config": { "classification": {"num_top_classes": 2} }
 }
},
 {
 "script": {
 "id": "ngram-remover-packetbeat",
 "params":{
 "ngram_count":1
 }
 }
 },
 {
 "script": {
 "id": "ngram-remover-packetbeat",
 "params":{
 "ngram_count":2
 }
 }
 },
 {
 "script": {
 "id": "ngram-remover-packetbeat",
 "params": {
 "ngram_count":3
 }
 }
 }
 ]
}
</pre><figcaption>그림 5. 샘플 수집 파이프라인 구성</figcaption>모든 Packetbeat 문서가 DNS 요청을 기록하는 것은 아니기 때문에, 수집된 문서에 필요한 DNS 필드가 있고 비어 있지 않은 경우에만 수집 파이프라인이 조건부로 실행되도록 해야 합니다. <a href="/guide/en/elasticsearch/reference/current/conditionals-with-multiple-pipelines.html">파이프라인 프로세서</a>(그림 6의 구성 참조)를 사용하여 원하는 필드가 존재하고 채워져 있는지 확인한 다음, 그림 5에서 정의한 <code>dga_ngram_expansion_inference</code> 파이프라인으로 문서 처리를 리디렉션하면 됩니다. 아래 구성은 프로토타입에 적합하지만, 프로덕션 사용 사례의 경우 수집 파이프라인에서 오류 처리를 고려해야 합니다. 전체 구성 및 지침은 <a href="https://github.com/elastic/examples/tree/master/Machine%20Learning/DGA%20Detection">예제 리포지토리</a>를 참조하세요.
<pre class="prettyprint">PUT _ingest/pipeline/dns_classification_pipeline
{
 "description": "A pipeline of pipelines for performing DGA detection",
 "version": 1,
 "processors": [
 {
 "pipeline": {
 "if": "ctx.containsKey('dns') && ctx['dns'].containsKey('question') && ctx['dns']['question'].containsKey('registered_domain') && !ctx['dns']['question']['registered_domain'].empty",
 "name": "dga_ngram_expansion_inference"
 }
 }
 ]
}
</pre><figcaption>그림 6. DNS 요청을 기록하는 문서에 대해서만 DGA 탐지를 수행하는 파이프라인의 조건부 파이프라인</figcaption><h2>이상 징후 탐지를 추론 결과에 대한 2차 분석으로 사용</h2>이 시리즈의 1부에서 훈련한 모델은 2%의 오탐율을 보였습니다. 이것은 상당히 낮게 들리지만, DNS 트래픽은 대개 볼륨이 높다는 것을 명심해야 합니다. 따라서 2%의 오탐율이 있더라도 다수의 쿼리가 악성인 것으로 채점될 수 있습니다. 오탐의 수를 줄이는 한 가지 방법은 추가 피처 엔지니어링 구조에서 작업하는 것입니다. 또 다른 방법은 우리의 분류 결과에 대한 이상 징후를 탐지하는 것입니다. Elastic Stack에서 후자를 수행하는 방법을 살펴봅시다.
가장 먼저 관찰해야 할 것은 보강된 Packetbeat 문서를 가지고 시간에 대해 악성으로 표시된 문서의 수를 그림으로 나타내면, 시계열을 얻게 된다는 점입니다(그림 7).
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt44ea9e47a1528323/5f04cf3a9ccd4234d7143ad3/blog-dga-2-time-series.jpg" data-sys-asset-uid="blt44ea9e47a1528323" alt="시간 경과에 따른 DGA 활동" style="display: block; margin: auto;">
<figcaption>그림 7. 시간에 대해 악성으로 예측된 Packetbeat 문서의 수를 그리면 시계열이 나타남</figcaption>두 번째로 유의해야 할 것은 DGA Malware가 C&C 서버와 적극적으로 통신을 시도할 때 DNS 요청의 파장을 한 번에 생성하는 경향이 있다는 점입니다. (즉, Malware는 알고리즘에 의해 생성된 많은 도메인을 순환하며 각 도메인의 IP 주소를 해결하려고 합니다.) 시간 경과에 따른 예측 악성 도메인의 시계열 분석(그림 6)에서 활동 피크와 피크 사이의 작은 노이즈를 확인할 수 있습니다. 이 피크들은 우리의 분류 모델이 짧은 기간 동안 많은 도메인을 악성으로 분류했고 따라서 우리가 진정한 DGA를 다루고 있을 가능성이 높다는 것을 나타냅니다. 이와는 대조적으로, 피크 사이의 배경 소음은 대부분 오탐의 결과일 가능성이 높습니다. 우리가 이 시계열에서 <code>high_count</code> 이상 징후 탐지 작업에 인코딩을 하려고 하는 것은 바로 이 직관입니다.
그림 7의 시계열과 함께 이상 징후 탐지 수영 레인을 오버레이하면 시계열의 피크(진정한 DGA 활동)에 해당하는 이상 징후 경보가 표시되며, 피크 사이의 간격에는 아무런 경보(오탐의 배경 소음)도 표시되지 않는 것을 알 수 있습니다.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blte3fdc5b9e672c19e/5f04cf5ae438c33db80644f6/blog-dga-2-anomalies.png" data-sys-asset-uid="blte3fdc5b9e672c19e" alt="시간 경과에 따른 DGA 이상 징후" style="display: block; margin: auto;">
<figcaption>그림 8. 시간 경과에 따른 악성 도메인의 시계열 개수와 겹쳐진 이상 징후 탐지 수영 레인은 DGA 탐지에서 오탐을 줄이는 유망한 기술을 보여줌</figcaption>이는 매우 간단한 예로서 프로덕션 사용 사례의 경우 보다 세밀한 조정과 구성이 필요할 수 있지만, 그럼에도 불구하고 이상 징후 탐지 작업은 추론 결과에 대한 2차 분석으로 효과적으로 사용될 수 있음을 보여줍니다.
<h2>결론
</h2>이 게시물에서는 수집 시 네트워크 데이터(Packetbeat 문서)를 보강하기 위해 훈련된 분류 모델을 이용했습니다. 추론 프로세서와 수집 파이프라인에 의해 촉진되는 보강 프로세스는 DNS 요청 중에 쿼리된 각 도메인에 예측 라벨을 추가합니다. 이것은 그 도메인이 얼마나 악성일 수 있는지를 보여줍니다. 아울러 오탐 경보를 줄이기 위해 추론 결과에 이상 징후 탐지 작업을 사용하는 방법도 조사했습니다. 또한 <a href="/kr/siem">Elastic SIEM</a>에서 DGA 탐지를 위한 큐레이팅된 구성과 모델을 제공할 계획입니다.
자체의 네트워크 데이터로 직접 사용해보고 싶으시면 14일 동안 <a href="/kr/elasticsearch/service">Elasticsearch Service 무료 평가판</a>을 가동해 수집과 분석을 시작하세요. 또한 로컬로 <a href="/kr/downloads">Elastic Stack을 다운로드</a>하고 평가판 라이센스를 시작하여 30일 동안 <a href="/guide/en/machine-learning/current/ml-getting-started.html">무료로 머신 러닝을 시험 사용</a>해보실 수 있습니다. 또는 무료 개방형 <a href="/kr/siem">Elastic SIEM</a>을 사용하여 지금 바로 데이터 보호를 시작하세요.

Machine learning in cybersecurity: Detecting DGA activity in network data

사이버 보안에 대한 머신 러닝: 네트워크 데이터에서 DGA 활동 탐지

부정 행위자(및 맬웨어)는 탐지를 피하려고 DGA(도메인 생성 알고리즘)를 이용하지만, Elastic 머신 러닝을 사용하면 이러한 트릭을 정확히 판별하는 모델을 손쉽게 구축할 수 있습니다.

무작위 전화번호로 걸려오는 텔레마케팅 전화를 받으면 짜증이 나지 않으시나요? 그 전화번호를 차단해도 소용이 없습니다. 다음에는 완전히 다른 번호를 사용할 테니까요. 사이버 공격자들은 똑같이 지저분한 트릭을 사용합니다. 맬웨어 작성자는 DGA(도메인 생성 알고리즘)를 사용하여 명령 및 제어 인프라의 소스를 변경함으로써 탐지를 피하고 맬웨어 공격을 막으려는 보안 분석가를 좌절하게 만듭니다.

2부로 구성된 이 시리즈에서는 <a href="/kr/what-is/elasticsearch-machine-learning">Elastic 머신 러닝</a>을 사용하여 도메인 생성 알고리즘을 탐지하는 모델을 구축하고 평가합니다. 1부에서 다룰 내용은 다음과 같습니다.

<ul>
	<li>원시 악성 및 양성 도메인에서 피처를 추출하는 프로세스</li>
	<li>적합한 피처를 찾는 프로세스에 대한 간략한 설명</li>
	<li><a href="/kr/products">Elastic Stack</a>을 사용하여 머신 러닝 모델을 훈련하고 평가하는 방법</li>
</ul>
2부에서는 훈련된 모델을 수집 파이프라인에 배포하여 수집 시 <a href="/kr/beats/packetbeat">Packetbeat</a> 데이터를 보강하는 방법을 설명합니다. 구성 파일과 도움이 되는 자료는 <a href="https://github.com/elastic/examples/tree/master/Machine%20Learning/DGA%20Detection">예제 리포지토리</a>에 제공되어 있습니다.&nbsp;

집에서 사용해보고 싶으신 경우 <a href="/kr/elasticsearch/service">Elasticsearch Service 무료 체험판</a>을 실행하면 모든 머신 러닝 기능에 액세스하실 수 있습니다. 그럼 시작해 보겠습니다.

<h2>DGA: 배경</h2>
대상 머신을 감염시킨 후 많은 악성 프로그램이 데이터를 유출하고 명령이나 업데이트를 수신하기 위해 명령 및 제어(C&C 또는 C2) 서버라고 하는 원격 서버에 연결하려고 시도합니다. 이는 악성 바이너리가 C&C 서버의 IP 주소 또는 도메인을 알아야 한다는 뜻입니다. 이 IP 주소 또는 도메인이 바이너리에 하드코딩된 경우 해당 도메인을 차단 목록에 추가하여 통신을 방해하면 비교적 쉽게 방어 조치를 취할 수 있습니다.&nbsp;

<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt79b409f8d7fe0f42/5eeab3f76b547b2c37e3a7ee/blog-dga-1-malware.png" data-sys-asset-uid="blt79b409f8d7fe0f42" alt="" style="display: block; margin: auto;">
<figcaption>그림 1: DGA에서 생성한 도메인을 순환하며 C&C 서버로 등록된 도메인을 찾는 맬웨어 바이너리&nbsp;
</figcaption>
이러한 방어 조치를 와해시키기 위해 맬웨어 작성자는 DGA를 맬웨어에 추가합니다. DGA는 무작위로 수백 또는 수천 개의 도메인을 생성합니다. 그러면 감염된 머신에 있는 맬웨어 바이너리가 생성된 각 도메인을 순환하며 도메인 이름을 확인하고 이 중 C&C 서버로 등록된 도메인을 찾습니다. 도메인의 엄청난 볼륨과 무작위성으로 인해 규칙 기반의 방어 접근 방식으로는 이러한 통신 채널을 차단하기가 어렵습니다. 또한 DNS 트래픽은 일반적으로 볼륨이 매우 크기 때문에 분석가가 직접 찾기도 쉽지 않습니다. 대신 이 두 가지 요소는 머신 러닝을 적용하기에 매우 적합합니다.&nbsp;

<h2>도메인을 분류하도록 머신 러닝 모델 훈련</h2>
지도형 머신 러닝에서는 레이블이 지정된 악성 및 양성 도메인 훈련 데이터 세트를 제공하여 모델이 해당 데이터 세트를 학습하도록 합니다. 그러면 이 학습된 모델을 사용하여 처음 보는 도메인도 양성 또는 악성으로 분류할 수 있습니다.&nbsp;

DGA가 모두 똑같은 형태는 아니며 서로 다른 다양한 유형이 있습니다. 일부 DGA는 무작위 도메인을 생성하고 다른 DGA는 단어 목록을 사용합니다. 프로덕션 모델의 경우 다양한 피처와 모델을 사용하여 서로 다른 알고리즘의 특징을 포착할 수 있습니다. 이 예제에서는 가장 일반적인 알고리즘에서 발견된 특징들을 기반으로 단일 모델을 훈련하겠습니다.

다양한 맬웨어 제품군의 도메인과 양성 도메인으로 구성된 데이터 세트를 사용하여 모델을 훈련하겠습니다.&nbsp;

<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blta81a7ecea3bfbb26/5eeab4068d39260a3ded679b/blog-dga-1-datasets.png" data-sys-asset-uid="blta81a7ecea3bfbb26" alt="" style="display: block; margin: auto; width:650px;">
<figcaption>그림 2: <code>cryptolocker</code>, <code>banjori</code> 및 <code>suppobox</code> 제품군에서 생성된 도메인 예제
</figcaption>
<h3>피처 엔지니어링</h3>
효과적인 머신 러닝 모델을 생성하려면 DGA에서 생성한 도메인의 특징을 포착할 수 있는 피처를 입력해야 합니다. 따라서 악성 도메인과 양성 도메인을 구분하기 위해서는 스트링의 어떤 측면이 중요한지 모델에 알려줘야 합니다. 머신 러닝의 세계에서는 이를 피처 엔지니어링이라고 합니다.

악성 도메인과 양성 도메인을 가장 잘 구분하는 피처를 파악하기 위해서는 반복 프로세스가 필요합니다. 예를 들어 여기에서는 도메인 이름 길이 및 도메인 이름 엔트로피와 같은 간단한 피처로 시작했지만 이렇게 훈련한 모델은 LSTM 등의 다른 방법과 비교하여 특별히 정확하지 않았습니다. 이러한 모델들은 스트링의 순차적 특징을 활용하므로 이번에는 시퀀스를 좀 더 효과적으로 인코딩할 수 있는 다른 피처를 살펴보았습니다.

여러 방식으로 피처 엔지니어링을 반복한 후 다양한 길이의 하위 스트링을 사용하면 모델에서 양성 도메인과 악성 도메인의 차이를 가장 잘 포착할 수 있을 것이라는 결론을 내렸습니다.&nbsp;

<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltdeba08fd148fe3a6/5eeab41a7253820a4364d9eb/blog-dga-1-n-grams.png" data-sys-asset-uid="bltdeba08fd148fe3a6" alt="" style="display: block; margin: auto; width:650px;">
<figcaption>그림 3: 입력 도메인 iglxbvkw를 유니그램, 바이그램 및 트라이그램으로 분할&nbsp;
</figcaption>
이러한 하위 스트링을 일반적으로 n-그램이라고 합니다. 피처를 개발할 때 피처 수(훈련 데이터 세트의 차원) 및 피처 계산의 복잡성과 모델이 제공하는 이점 간의 균형을 유지하는 것이 중요합니다. 다양한 길이의 n-그램을 반복 및 테스트 후, 길이가 4 이상인 n-그램은 모델에 별다른 예측 정보를 제공하지 않는다는 것을 확인하고 피처 세트를 유니그램, 바이그램 및 트라이그램으로 제한했습니다. 그림 3의 다이어그램은 예제 도메인에서 이러한 피처가 어떻게 생성되는지를 보여줍니다.

각 DGA 도메인이 유니그램, 바이그램 및 트라이그램으로 분할된 Elasticsearch 인덱스를 생성하려면 간단한 스크립트 프로세서로 수집 파이프라인을 통해 원래 소스 인덱스를 재색인하면 됩니다. 아래 그림 4에 예제가 나와 있습니다.&nbsp; 전체 구성, 명령 및 다양한 사용자 정의 옵션은 <a href="https://github.com/elastic/examples/tree/master/Machine%20Learning/DGA%20Detection">예제 리포지토리</a>를 참조하세요.&nbsp;

<pre class="prettyprint">POST _scripts/ngram-extractor-reindex 
{ 
 "script": { 
 "lang": "painless", 
 "source": """ 
 String nGramAtPosition(String fulldomain, int fieldcount , int n){ 
 String domain = fulldomain.splitOnToken('.')[0]; 
 if (fieldcount+n&gt;=domain.length()){ 
 return '' 
 } 
 else 
 { 
 return domain.substring(fieldcount, fieldcount+n) 
 } 
 } 
 for (int i=0;i&lt;ctx['domain'].length();i++){ 
 ctx[Integer.toString(params.ngram_count)+'-gram_field'+Integer.toString(i)] = nGramAtPosition(ctx['domain'], i, params.ngram_count) 
 } 
 """ 
 } 
}
</pre><figcaption>그림 4:&nbsp;입력 데이터의 도메인에서 n-그램을 추출하는 간단한 스크립트 예제
</figcaption>
일반적으로, 길이가 1, 2 및 3인 하위 스트링을 머신 러닝 알고리즘을 위한 숫자 벡터로 변환하려면 훨씬 더 많은 사전 처리가 필요합니다. 현재 사례에서는 이렇게 숫자 값으로 변환하는 작업을 Elastic 머신 러닝이 처리하며 이를 인코딩이라고 합니다. 또한 Elastic 머신 러닝은 피처를 검사하고 가장 중요한 정보를 담고 있는 피처를 자동으로 선택합니다.

<h2>데이터 프레임 분석 작업 생성</h2>
다음 단계는 데이터 프레임 분석 작업 UI를 사용하여 분류 작업을 생성하는 것입니다. 이 프로세스에서 중요한 측면 몇 가지를 아래 스크린샷에 강조 표시해 두었습니다.

<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt41bc9b5e914391bd/5eeab4326b547b2c37e3a7f2/blog-dga-1-create-job.jpg" data-sys-asset-uid="blt41bc9b5e914391bd" alt="" style="display: block; margin: auto; width:350px;">
<figcaption>그림 5: 분류 작업 생성 과정을 안내하는 데이터 프레임 분석 마법사
</figcaption>
여기에서 주목할 부분은 슬라이더를 사용하여 훈련/테스트 분할을 지정할 수 있다는 점입니다. 그림 5의 스크린샷을 보면 훈련/테스트 분할이 80%로 설정되어 있습니다. 즉, 소스 인덱스에 있는 문서의 80%가 모델 훈련에 사용되고 나머지 20%가 모델 테스트에 사용됩니다.

훈련 프로세스가 완료되면 데이터 프레임 분석 결과 UI로 이동하여 모델의 성능을 평가할 수 있습니다. 소스 인덱스를 훈련 세트와 테스트 세트로 나누었으므로 각각에 대한 모델의 성능을 확인할 수 있습니다. 훈련 성능과 테스트 성능 모두 귀중한 정보를 제공하지만, 지금 사례에서는 모델의 일반화 오류를 파악할 수 있는 테스트 데이터 세트에서의 모델 성능에 좀 더 관심이 있습니다. 이 오류는 처음 보는 데이터 요소에서 모델이 어떻게 작동할지를 나타냅니다.&nbsp;

<h2>머신 러닝 모델 평가</h2>
훈련 프로세스가 완료되면 Elastic 머신 러닝 UI 작업 관리 페이지에서 간단하게 클릭을 통해 결과를 확인할 수 있습니다.&nbsp;

결과 페이지(그림 6 참조)는 두 가지 중요한 정보를 제공합니다. 하나는 모델의 성능을 요약하여 보여주는 confusion matrix(혼동 행렬)이고 다른 하나는 드릴다운하여 모델이 개별 데이터 요소를 어떻게 분류했는지 볼 수 있는 결과 테이블입니다. 테이블의 오른쪽 위에 있는 테스트/훈련 필터를 사용하면 테스트 및 훈련 데이트 세트에 대한 혼동 행렬과 요약 테이블 사이를 전환할 수 있습니다.&nbsp;

<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt2835b4e08a0b8637/5eeab44b688c1c62a49ae2f2/blog-dga-1-data-frame.jpg" data-sys-asset-uid="blt2835b4e08a0b8637" alt="" style="display: block; margin: auto;">
<figcaption>그림 6: 샘플 데이터의 혼동 행렬과 테이블이 표시된 데이터 프레임 분석 결과 페이지
</figcaption>
모델 성능을 표시하는 일반적인 방법은 혼동 행렬이라는 시각화를 사용하는 것입니다. 혼동 행렬은 true positives(모델이 악성으로 식별하였으며 실제로 악성인 악성 도메인)와 true negatives(모델이 양성으로 식별한 양성 도메인)로 분류된 데이터 요소의 백분율과 모델이 양성 도메인을 악성으로 혼동했거나(false positives) 악성 도메인을 양성으로 혼동한(false negatives) 문서의 백분율을 표시합니다.&nbsp;

이름 그대로, 혼동 행렬을 보면 모델이 한 클래스를 다른 클래스로 자주 혼동하는지를 금방 알 수 있습니다.&nbsp;

그림 6을 보면 현재 모델은 테스트 데이터에서 true positive 비율이 98%입니다. 즉, 이 모델을 프로덕션에 배포하여 수신되는 DNS 데이터를 분류하는 경우 약 2%의 false positive가 나타날 것으로 예상할 수 있습니다. 상당히 낮은 비율로 보이지만, DNS 트래픽의 막대한 볼륨을 고려하면 여전히 높은 경보 비율로 이어질 수 있습니다. 2부에서는 이상 징후 탐색을 사용하여 false positive 경보 수를 줄이는 방법을 살펴보겠습니다.&nbsp;

<h2>결론</h2>
이 블로그 게시물에서는 <a href="/kr/what-is/elasticsearch-machine-learning">Elastic 머신 러닝</a>을 사용하여 DGA 탐지용 머신 러닝 모델을 구축하고 평가하는 방법을 간략하게 살펴보았습니다. 원시 악성 및 양성 도메인에서 피처를 추출하는 프로세스를 알아보고 적합한 피처를 찾는 프로세스에 대해서도 약간 설명했습니다. 마지막으로, Elastic Stack을 사용하여 머신 러닝 모델을 훈련하고 평가하는 방법을 살펴보았습니다.

이 시리즈의 다음 파트에서는 수집 파이프라인에서 <a href="/guide/en/elasticsearch/reference/7.8/inference-processor.html">추론 프로세서</a>를 사용하여 이 모델을 배포하고 도메인 악의성 예측을 통해 수신되는 Packetbeat 데이터를 보강하는 방법과 이상 징후 탐색 작업을 사용하여 false positive 경보 수를 줄이는 방법을 알아보겠습니다. 그동안 <a href="/kr/elasticsearch/service">무료로 Elastic 머신 러닝 피처를 사용</a>하면서 데이터에서 노이즈를 제거할 때 어떤 인사이트를 얻을 수 있는지 직접 확인해 보세요.

Articles by Camilla Montonen

학습, 평가, 모니터링, 추론: Elastic의 엔드 투 엔드 머신 러닝

사이버 보안에 대한 머신 러닝: 네트워크 데이터에서 DGA 활동 탐지

사이버 보안 분야의 머신 러닝: 지도형 모델을 훈련하여 DGA 활동 탐지

제품

회사 소개

리소스