En este blog, anunciamos nuestra primera integración de seguridad y ML supervisado. Esto ofrece a los usuarios un paquete de soluciones de ML supervisado para detectar la actividad de algoritmos de generación de dominios (DGA) en tus datos de red.

blog-banner-security-detection.png

blog-thumb-security-detection.png

Combining supervised and unsupervised machine learning for DGA detection

Combinación de machine learning supervisado y no supervisado para la detección de DGA

Para usar Machine Learning en el Elastic Stack, solo necesitas que tus datos se almacenen en Elasticsearch. Conoce cómo extraer información valiosa de los datos con unos clics y crea un pipeline de Machine Learning integral completamente operativo.

blog-banner-ml-anomaly-laptop.png

blog-thumb-ml-anomaly-laptop.png

Train, evaluate, monitor, infer: End-to-end machine learning in Elastic

Entrenar, evaluar, monitorear, inferir: Machine Learning integral en Elastic

Los actores malintencionados (y su malware) usan algoritmos de generación de dominios (DGA) para evitar ser detectados, pero con Machine Learning de Elastic, puedes crear fácilmente modelos que te ayuden a descubrir sus trucos. Ve cómo en la parte 2.

En la <a href="/es/blog/machine-learning-in-cybersecurity-training-supervised-models-to-detect-dga-activity">parte&nbsp;1</a> de esta serie de blogs, vimos cómo usar <a href="/es/what-is/elasticsearch-machine-learning">Machine Learning del Elastic&nbsp;Stack</a> para entrenar un modelo de clasificación supervisado con el objetivo de detectar dominios maliciosos. En esta segunda parte, veremos cómo usar el modelo que entrenamos para enriquecer los datos de red con clasificaciones al momento de la ingesta. Esto será útil para quien desee detectar posible actividad de DGA en sus datos de Packetbeat.
<h2>Detección de DGA con el Elastic&nbsp;Stack</h2>Un programa malicioso que infecta una máquina, por lo general, necesitará una forma de comunicarse con un servidor controlado por el atacante, un denominado servidor de comando y control (C&C o C2). Para impedir las medidas defensivas que bloquean cualquier URL o dirección IP codificada de forma rígida, los atacantes usan algoritmos de generación de dominios&nbsp;(DGA). Cuando el malware necesita contactarse con un servidor de C&C, usará el DGA para generar cientos o miles de dominios candidatos e intentará resolver una dirección IP para cada uno. El atacante después debe registrar solo uno o algunos dominios generados por el DGA para poder comunicarse con la máquina infectada. Los DGA se esparcen y aleatorizan de diferentes formas para que sea incluso más difícil para los defensores bloquearlos y detectarlos.
Como la actividad de los DGA suele involucrar búsquedas de DNS, se manifestará con frecuencia en las solicitudes de DNS hechas desde una máquina infectada. Packetbeat puede recopilar tráfico de DNS y enviarlo a Elasticsearch para análisis. En este blog, veremos cómo puedes enriquecer la información de la búsqueda de DNS en los datos de Packetbeat con una puntuación para indicar el grado de maliciosidad del dominio.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt49f03548e4e6bc48/5f04ce44e224bf2d1883a92b/blog-dga-2-enriched-packetbeat.jpg" data-sys-asset-uid="blt49f03548e4e6bc48" alt="Datos de Packetbeat enriquecidos" style="display: block; margin: auto; width:650px;">
<figcaption>Figura&nbsp;1. Ejemplo de un documento de Packetbeat enriquecido</figcaption><h2>Procesadores de inferencias y el pipeline de ingesta</h2>Para enriquecer los datos de Packetbeat con predicciones de un modelo entrenado para distinguir los dominios benignos de los maliciosos, necesitaremos configurar un pipeline de ingesta con procesadores de inferencias adecuados. Los <a href="/guide/en/elasticsearch/reference/7.8/inference-processor.html">procesadores de inferencias</a> ofrecen a los usuarios una forma de usar un modelo entrenado en el Elastic&nbsp;Stack (o un modelo entrenado en una de nuestras bibliotecas externas soportadas) para hacer predicciones sobre documentos nuevos a medida que se ingestan en Elasticsearch. Para comprender cómo encajan todas estas piezas móviles y las configuraciones necesarias, regresemos por un momento a la primera parte de este blog.
En la <a href="/es/blog/machine-learning-in-cybersecurity-training-supervised-models-to-detect-dga-activity">parte&nbsp;1</a>, hablamos sobre el proceso de entrenar un modelo de clasificación para predecir si un dominio dado es o no malicioso. Uno de los pasos en este proceso es realizar ingeniería de características sobre los datos de entrenamiento, un conjunto de dominios maliciosos y benignos conocidos que nuestro modelo usará para conocer cómo puntuar dominios nuevos no vistos previamente. Los dominios sin procesar deben manipularse para extraer características (unigramas, bigramas y trigramas) útiles para el modelo. Después se debe aplicar también el mismo procedimiento de ingeniería de características a los dominios en nuestros datos de Packetbeat que deseamos puntuar en cuanto a maliciosidad.
Por eso, además de un procesador de inferencias, nuestro pipeline de ingesta también incluirá <a href="/guide/en/elasticsearch/reference/7.8/script-processor.html">procesadores de scripts de Painless</a> para extraer unigramas, bigramas y trigramas de los datos de DNS de Packetbeat al momento de la ingesta. En la Figura&nbsp;2 se ilustra un diagrama con el pipeline completo.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt076305e0def6b448/5f04ce78e224bf2d1883a92f/blog-dga-2-painless.png" data-sys-asset-uid="blt076305e0def6b448" alt="Script de Painless para enriquecimiento de datos" style="display: block; margin: auto; width:650px;">
<figcaption>Figura&nbsp;2. Un pipeline de ingesta con procesadores de scripts de Painless para extraer características de n-gramas desde un dominio entrante nuevo y un procesador de inferencias para predecir si el dominio es o no malicioso</figcaption>En los datos de Packetbeat, el campo que nos interesa operar es el de dominio registrado de DNS. Aunque hay algunos casos extremos en los que este campo no contendrá el dominio de interés, servirá ilustrar el caso de uso para este blog. La imagen en la Figura&nbsp;3 ilustra los campos de interés en un documento de Packetbeat de ejemplo.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt68491032263c0dfd/5f04cea0a6e8d0446e91d324/blog-dga-2-domain.png" data-sys-asset-uid="blt68491032263c0dfd" alt="Dominios registrados" style="display: block; margin: auto; width:550px;">
<figcaption>Figura&nbsp;3. El campo de interés de Packetbeat será <code>dns.question.registered_domain</code>.</figcaption>Para extraer unigramas, bigramas y trigramas de <code>dns.question.registered_domain</code>, necesitaremos usar un script de Painless como el de la Figura&nbsp;4.
<pre class="prettyprint">POST _scripts/ngram-extractor-packetbeat 
{ 
 "script": { 
 "lang": "painless", 
 "source": """ 
 String nGramAtPosition(String fulldomain, int fieldcount, int n){ 
 String domain = fulldomain.splitOnToken('.')[0]; 
 if (fieldcount+n&gt;=domain.length()){ 
 return '' 
 } 
 else 
 { 
 return domain.substring(fieldcount, fieldcount+n) 
 } 
 } 
 for (int i=0;i&lt;ctx['dns']['question']['registered_domain'].length();i++){ 
 ctx['field_'+Integer.toString(params.ngram_count)+'_gram_'+Integer.toString(i)] = nGramAtPosition(ctx['dns']['question']['registered_domain'], i, params.ngram_count) 
 }
 """ 
 } 
}
</pre><figcaption>Figura&nbsp;4. Script de Painless para expandir un dominio en unigramas, bigramas y trigramas</figcaption>Una vez extraídas las características necesarias, el documento (aún pasando por el pipeline de ingesta) atravesará el procesador de inferencias en donde el modelo de clasificación que entrenamos en la entrega anterior usará las características extraídas para hacer una predicción. Por último, como no queremos perturbar nuestro índice con todas las características adicionales que necesita el modelo, agregaremos una serie de procesadores de scripts de Painless para eliminar los campos que contienen los unigramas, bigramas y trigramas.
Entonces, al final del pipeline de ingesta, ingestaremos un documento de Packetbeat con los nuevos campos adicionales que contienen el resultado de las predicciones de ML. En la Figura&nbsp;5 se muestra una configuración de pipeline de ingesta de muestra. Para ver los detalles completos, consulta el <a href="https://github.com/elastic/examples/tree/master/Machine%20Learning/DGA%20Detection">repositorio de ejemplos</a>.
<pre class="prettyprint">PUT _ingest/pipeline/dga_ngram_expansion_inference
{
 "description": "Expands a domain into unigrams, bigrams and trigrams and make a prediction of maliciousness",
 "processors": [
 {
 "script": {
 "id": "ngram-extractor-packetbeat",
 "params":{
 "ngram_count":1
 }
 }
 },
 {
 "script": {
 "id": "ngram-extractor-packetbeat",
 "params":{
 "ngram_count":2
 }
 }
 },
 {
 "script": {
 "id": "ngram-extractor-packetbeat",
 "params": {
 "ngram_count":3
 }
 }
 },
 {
 "inference": {
 "model_id": "dga-ngram-job-1587729368929",
 "target_field": "predicted_label",
 "field_mappings":{},
 "inference_config": { "classification": {"num_top_classes": 2} }
 }
},
 {
 "script": {
 "id": "ngram-remover-packetbeat",
 "params":{
 "ngram_count":1
 }
 }
 },
 {
 "script": {
 "id": "ngram-remover-packetbeat",
 "params":{
 "ngram_count":2
 }
 }
 },
 {
 "script": {
 "id": "ngram-remover-packetbeat",
 "params": {
 "ngram_count":3
 }
 }
 }
 ]
}
</pre><figcaption>Figura&nbsp;5. Configuración de pipeline de ingesta de muestra</figcaption>Como no todos los documentos de Packetbeat registrarán una solicitud de DNS, debemos hacer que el pipeline de ingesta se ejecute condicionalmente solo si los campos de DNS necesarios están presentes y completos en el documento ingestado. Podemos hacerlo usando un <a href="/guide/en/elasticsearch/reference/current/conditionals-with-multiple-pipelines.html">procesador de pipeline</a> (ver configuración en la Figura&nbsp;6) para comprobar si los campos deseados están presentes y completos, y después redireccionar el procesamiento del documento al pipeline <code>dga_ngram_expansion_inference</code> que definimos en la Figura&nbsp;5. Aunque la configuración siguiente es adecuada para un prototipo, en un caso de uso de producción deberás tener en cuenta el tratamiento de errores en el pipeline de ingesta. Para ver las configuraciones completas e instrucciones, consulta el <a href="https://github.com/elastic/examples/tree/master/Machine%20Learning/DGA%20Detection">repositorio de ejemplos</a>.
<pre class="prettyprint">PUT _ingest/pipeline/dns_classification_pipeline
{
 "description": "A pipeline of pipelines for performing DGA detection",
 "version": 1,
 "processors": [
 {
 "pipeline": {
 "if": "ctx.containsKey('dns') && ctx['dns'].containsKey('question') && ctx['dns']['question'].containsKey('registered_domain') && !ctx['dns']['question']['registered_domain'].empty",
 "name": "dga_ngram_expansion_inference"
 }
 }
 ]
}
</pre><figcaption>Figura&nbsp;6. Un pipeline condicional de pipelines para realizar la detección de DGA solo en aquellos documentos que registren solicitudes de DNS</figcaption><h2>Uso de la detección de anomalías como analíticas de segundo orden en los resultados de inferencias</h2>El modelo que entrenamos en la primera parte de la serie tenía una tasa de falsos positivos del 2&nbsp;%. Aunque parece bastante baja, hay que tener en cuenta que el tráfico de DNS suele tener alto volumen. Por lo tanto, incluso con una tasa de falsos positivos del 2&nbsp;%, es posible que una gran cantidad de búsquedas se puntúen como maliciosas. Una manera de reducir la cantidad de falsos positivos sería trabajar en más esquemas de ingeniería de características. Otra sería usar la detección de anomalías en los resultados de nuestra clasificación. Exploremos cómo hacer esto último en el Elastic&nbsp;Stack.
Lo primero que debemos observar es que si tomamos los documentos de Packetbeat enriquecidos y graficamos el conteo de documentos de Packetbeat etiquetados como maliciosos en relación con el tiempo, obtenemos una serie temporal (Figura&nbsp;7).
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt44ea9e47a1528323/5f04cf3a9ccd4234d7143ad3/blog-dga-2-time-series.jpg" data-sys-asset-uid="blt44ea9e47a1528323" alt="Actividad de DGA en el tiempo" style="display: block; margin: auto;">
<figcaption>Figura&nbsp;7. Graficar conteos de documentos de Packetbeat previstos como maliciosos en comparación con los resultados de tiempo en una serie temporal</figcaption>Lo segundo que se debe tener en cuenta es que frecuentemente (aunque hay excepciones) cuando un malware de DGA intenta comunicarse de forma activa con el servidor de C&C, tiende a generar una ola de solicitudes de DNS al mismo tiempo (es decir, el malware recorre muchos de los dominios que generó el algoritmo, intentando resolver la dirección IP de cada uno de los dominios). En el análisis de la serie temporal de dominios maliciosos previstos en el tiempo (Figura&nbsp;6), podemos ver picos de actividad y un pequeño ruido entre los picos. Los picos indican que nuestro modelo de clasificación clasificó muchos dominios como maliciosos en un período breve y, por lo tanto, probablemente estamos lidiando con un verdadero DGA. Por el contrario, lo más probable es que el ruido de fondo entre los picos sea el resultado de falsos positivos. Es justamente esta intuición la que buscaremos codificar en un trabajo de detección de anomalías <code>high_count</code> para esta serie temporal.
Si superponemos el carril de detección de anomalías con la serie temporal en la Figura&nbsp;7, veremos que obtenemos alertas por anomalías que corresponden a los picos en la serie temporal (la verdadera actividad de los DGA) y no obtenemos ninguna en los intervalos entre los picos (el ruido de fondo de los falsos positivos).
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blte3fdc5b9e672c19e/5f04cf5ae438c33db80644f6/blog-dga-2-anomalies.png" data-sys-asset-uid="blte3fdc5b9e672c19e" alt="Anomalías de DGA en el tiempo" style="display: block; margin: auto;">
<figcaption>Figura&nbsp;8. El carril de detección de anomalías superpuesto con la serie temporal de conteos de dominios maliciosos en el tiempo muestra una técnica prometedora para reducir los falsos positivos en la detección de DGA.</figcaption>Aunque este es un ejemplo muy simple y para un caso de uso de producción probablemente se requieran más ajustes y configuración, no obstante muestra que los trabajos de detección de anomalías pueden usarse de forma efectiva como análisis de segundo orden en los resultados de inferencias.
<h2>Conclusión
</h2>En este blog, usamos un modelo de clasificación entrenado para enriquecer los datos de red (documentos de Packetbeat) al momento de la ingesta. El proceso de enriquecimiento, facilitado por el procesador de inferencias y los pipelines de ingesta, agrega una etiqueta de predicción en cada dominio consultado durante una solicitud de DNS. Esto muestra qué tan probable es que el dominio sea malicioso. Además, para reducir las alertas por falsos positivos, también examinamos cómo usar un trabajo de detección de anomalías en los resultados de inferencia. También estamos planificando proporcionar una configuración curada y modelos para la detección de DGA en <a href="/es/siem">Elastic&nbsp;SIEM</a>.
Si deseas probarlo por tu cuenta con tus propios datos de red, puedes activar una <a href="/es/elasticsearch/service">prueba gratuita de Elasticsearch&nbsp;Service</a> de 14&nbsp;días para comenzar a ingestar y analizar. Además puedes <a href="/guide/en/machine-learning/current/ml-getting-started.html">probar Machine Learning de forma gratuita</a> durante 30&nbsp;días <a href="/es/downloads">descargando el Elastic&nbsp;Stack</a> de forma local e iniciando una licencia de prueba. O da los primeros pasos con <a href="/es/siem">Elastic&nbsp;SIEM</a> gratuito y abierto para comenzar a proteger tus datos hoy.

Machine learning in cybersecurity: Detecting DGA activity in network data

Machine Learning en la ciberseguridad: Detección de actividad de DGA en los datos de red

Los actores malintencionados (y su malware) usan algoritmos de generación de dominios (DGA) para evitar ser detectados, pero con Machine Learning de Elastic, puedes crear fácilmente modelos que te ayuden a descubrir sus trucos.

¿Qué tan molesto es recibir una llamada de telemarketing de un número de teléfono aleatorio? Incluso si lo bloqueas, no hará ninguna diferencia porque recibirás la siguiente de un número nuevo. Los atacantes cibernéticos usan los mismos trucos sucios. Con algoritmos de generación de dominios&nbsp;(DGA), los creadores de malware cambian la fuente de su infraestructura de control y comando, evaden la detección y frustran a los analistas de seguridad que intentan bloquear su actividad.
En esta serie de dos partes, usaremos <a href="/es/what-is/elasticsearch-machine-learning">Machine Learning de Elastic</a> para crear y evaluar un modelo destinado a detectar algoritmos de generación de dominios. En esta primera parte, abarcaremos lo siguiente:
<ul>
	<li>El proceso de extraer características de los dominios benignos y maliciosos sin procesar</li>
	<li>Una breve explicación del proceso para encontrar características adecuadas</li>
	<li>Una demostración de cómo entrenar y evaluar un modelo de Machine Learning usando el <a href="/es/products">Elastic&nbsp;Stack</a></li>
</ul>En la segunda parte, veremos cómo desplegar el modelo entrenado en un pipeline de ingesta para enriquecer los datos de <a href="/es/beats/packetbeat">Packetbeat</a> al momento de la ingesta. Los archivos de configuración y los materiales de soporte estarán disponibles en el <a href="https://github.com/elastic/examples/tree/master/Machine%20Learning/DGA%20Detection">repositorio de ejemplos</a>.&nbsp;
Si deseas probar esto por tu cuenta, recomendamos activar una <a href="/es/elasticsearch/service">prueba gratuita de nuestro Elasticsearch&nbsp;Service</a>, donde tendrás pleno acceso a todas nuestras capacidades de Machine Learning. Bien, comencemos.
<h2>DGA: Trasfondo</h2>Después de infectar una máquina objetivo, muchos programas maliciosos intentan contactarse con un servidor remoto (un denominado servidor de comando y control [C&C o C2]) para exfiltrar datos y recibir instrucciones o actualizaciones. Esto significa que el binario malicioso tiene que conocer el dominio o la dirección IP del servidor de C&C. Si esta dirección IP o este dominio están codificados de forma rígida en el binario, resulta relativamente fácil para las medidas defensivas impedir esta comunicación agregando el dominio a una lista de bloqueo.&nbsp;
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt79b409f8d7fe0f42/5eeab3f76b547b2c37e3a7ee/blog-dga-1-malware.png" data-sys-asset-uid="blt79b409f8d7fe0f42" alt="" style="display: block; margin: auto;">
<figcaption>Figura&nbsp;1: Un binario de malware recorre los dominios generados por el DGA para encontrar el que está registrado como servidor de C&C.&nbsp;
</figcaption>Para subvertir esta medida defensiva, los autores de malware pueden agregar un DGA a su malware. Los DGA generan cientos o miles de dominios de aspecto aleatorio. Después el binario de malware en la máquina infectada recorre cada uno de los dominios generados en un intento por resolver los nombres de dominio y descubrir cuál de ellos se registró como servidor de C&C. El simple volumen y aleatoriedad de los dominios hacen que sea difícil para un enfoque defensivo basado en reglas impedir este canal de comunicación. También dificulta que lo encuentre un analista humano debido a que el tráfico de DNS suele ser de muy alto volumen. Estos dos factores hacen que sea una aplicación ideal de Machine Learning.&nbsp;
<h2>Entrenamiento de un modelo de Machine Learning para clasificar dominios</h2>En Machine Learning supervisado, proporcionamos un set de datos de entrenamiento etiquetado que contiene dominios benignos y maliciosos, esto permite a un modelo aprender a partir de dicho set de datos para poder usarse después en la clasificación de dominios no vistos previamente como maliciosos o benignos.&nbsp;
Existen varios tipos diferentes de DGA; no todos tienen la misma apariencia. Algunos DGA generan dominios con apariencia aleatoria, otros usan listas de palabras. Para los modelos de producción, se pueden usar diferentes características y modelos para capturar las particularidades de los distintos algoritmos. En este ejemplo entrenaremos un solo modelo conforme a las particularidades encontradas en los algoritmos más comunes.
Para entrenar nuestro modelo, aquí usaremos un set de datos compuesto por dominios de varias familias de malware y dominios benignos.&nbsp;
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blta81a7ecea3bfbb26/5eeab4068d39260a3ded679b/blog-dga-1-datasets.png" data-sys-asset-uid="blta81a7ecea3bfbb26" alt="" style="display: block; margin: auto; width:650px;">
<figcaption>Figura&nbsp;2: Dominios de ejemplo generados por las familias de malware <code>cryptolocker</code>, <code>banjori</code> y <code>suppobox</code>
</figcaption><h3>Ingeniería de características</h3>La entrada necesaria para crear un modelo de Machine Learning efectivo consta de características que pueden capturar las particularidades de los dominios generados por DGA. Por lo tanto, debemos indicarle al modelo los aspectos de la cadena que son importantes para distinguir entre dominios maliciosos y benignos. Esto se conoce como ingeniería de características en el mundo de Machine Learning.
Comprender las características que distinguen mejor los dominios benignos de los maliciosos es un proceso iterativo. Por ejemplo, comenzamos con algunas características simples como la longitud del nombre de dominio y la entropía del nombre de dominio, pero los modelos resultantes no fueron particularmente precisos en comparación con otros métodos como LSTM. Estos modelos aprovechan las características secuenciales de las cadenas, por lo que después observamos otras características que codificarían secuencias con más efectividad.
Después de iterar por varios enfoques de ingeniería de características, concluimos que usar la presencia de subcadenas de distintas longitudes capturaría mejor la diferencia entre dominios maliciosos y benignos en el modelo.&nbsp;
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltdeba08fd148fe3a6/5eeab41a7253820a4364d9eb/blog-dga-1-n-grams.png" data-sys-asset-uid="bltdeba08fd148fe3a6" alt="" style="display: block; margin: auto; width:650px;">
<figcaption>Figura&nbsp;3: División de un dominio de entrada iglxbvkw en unigramas, bigramas y trigramas&nbsp;
</figcaption>Estas subcadenas se conocen comúnmente como n-gramas. Al desarrollar características, es importante equilibrar su cantidad (la dimensionalidad del set de datos de entrenamiento) y la complejidad de procesar las características con su beneficio para el modelo. Después de iterar y probar n-gramas de varias longitudes, concluimos que los n-gramas con una longitud&nbsp;4 o mayor no agregaban información predictiva significativa al modelo, por lo tanto nuestro conjunto de características se restringe a unigramas, bigramas y trigramas. El diagrama en la Figura&nbsp;3 ilustra cómo se generan estas características a partir de un dominio de ejemplo.
Para generar un índice de Elasticsearch en el que cada dominio de DGA esté dividido en unigramas, bigramas y trigramas, puedes volver a indexar el índice fuente original a través de un pipeline de ingesta con un procesador de scripts de Painless. En la Figura&nbsp;4 a continuación se muestra un ejemplo.&nbsp; Para ver las configuraciones completas, instrucciones y varias opciones de personalización, consulta el <a href="https://github.com/elastic/examples/tree/master/Machine%20Learning/DGA%20Detection">repositorio de ejemplos</a>.&nbsp;
<pre class="prettyprint">POST _scripts/ngram-extractor-reindex 
{ 
 "script": { 
 "lang": "painless", 
 "source": """ 
 String nGramAtPosition(String fulldomain, int fieldcount , int n){ 
 String domain = fulldomain.splitOnToken('.')[0]; 
 if (fieldcount+n&gt;=domain.length()){ 
 return '' 
 } 
 else 
 { 
 return domain.substring(fieldcount, fieldcount+n) 
 } 
 } 
 for (int i=0;i&lt;ctx['domain'].length();i++){ 
 ctx[Integer.toString(params.ngram_count)+'-gram_field'+Integer.toString(i)] = nGramAtPosition(ctx['domain'], i, params.ngram_count) 
 } 
 """ 
 } 
}
</pre><figcaption>Figura&nbsp;4:&nbsp;Ejemplo de script de Painless para extraer n-gramas de dominios en datos de entrada
</figcaption>En general, sería necesario un preprocesamiento más exhaustivo para convertir las subcadenas de longitudes&nbsp;1, 2 y 3 en vectores numéricos para el algoritmo de Machine Learning. En nuestro caso, Machine Learning de Elastic se ocupará de esta conversión en valores numéricos, también llamada codificado. Machine Learning de Elastic también examinará las características y seleccionará automáticamente las que tengan más información.
<h2>Creación de un trabajo de Data&nbsp;Frame&nbsp;Analytics</h2>El siguiente paso es usar la UI de Data&nbsp;Frame&nbsp;Analytics para crear un trabajo de clasificación. Resaltamos algunos aspectos importantes de este proceso en las capturas de pantalla a continuación.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt41bc9b5e914391bd/5eeab4326b547b2c37e3a7f2/blog-dga-1-create-job.jpg" data-sys-asset-uid="blt41bc9b5e914391bd" alt="" style="display: block; margin: auto; width:350px;">
<figcaption>Figura&nbsp;5: El asistente Data&nbsp;Frame&nbsp;Analytics te guía en la creación de un trabajo de clasificación.
</figcaption>Un aspecto clave para tener en cuenta es que podemos especificar una división de entrenamiento/prueba con el control deslizante. En la captura de pantalla de la Figura&nbsp;5, la división de entrenamiento/prueba está configurada en 80&nbsp;%, lo que significa que el 80&nbsp;% de los documentos del índice fuente se usará para entrenar el modelo y el 20&nbsp;% restante se usará para probar el modelo.
Una vez completado el proceso de entrenamiento, podemos navegar a la UI de resultados de Data&nbsp;Frame&nbsp;Analytics para evaluar el rendimiento del modelo. Como dividimos nuestro índice fuente en un conjunto de entrenamiento y uno de prueba, podremos ver el rendimiento del modelo en cada uno. Aunque tanto el rendimiento de entrenamiento como el de prueba proporcionan información valiosa, en este caso nos interesa más el rendimiento del modelo con el set de datos de prueba porque nos dará una idea del error de generalización en un modelo. Este error indica cómo rendirá el modelo en puntos de datos con los que no se encontró antes.&nbsp;
<h2>Evaluación de un modelo de Machine Learning</h2>Una vez completado el proceso de entrenamiento, podemos hacer clic para ver los resultados de la página de gestión de trabajos de la UI de Machine Learning de Elastic.&nbsp;
La página de resultados (ver Figura&nbsp;6) nos da dos datos clave: una matriz de confusión que resume el rendimiento de nuestro modelo y una tabla de resultados en la que podemos explorar y ver la clasificación de los puntos de datos individuales realizada por el modelo. Podemos alternar entre la matriz de confusión y la tabla de resumen de los sets de datos de prueba y entrenamiento con los filtros Testing/Training (Pruebas/Entrenamiento) en la parte superior derecha de la tabla.&nbsp;
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt2835b4e08a0b8637/5eeab44b688c1c62a49ae2f2/blog-dga-1-data-frame.jpg" data-sys-asset-uid="blt2835b4e08a0b8637" alt="" style="display: block; margin: auto;">
<figcaption>Figura&nbsp;6: La página de resultados de Data&nbsp;Frame&nbsp;Analytics muestra una matriz de confusión y una tabla con datos de muestra.
</figcaption>Una forma común de mostrar el rendimiento de un modelo es con una visualización conocida como confusion matrix. La matriz de confusión muestra el porcentaje de puntos de datos que se clasificaron como true positives (los dominios maliciosos que el modelo identificó como maliciosos y que realmente lo eran) y true negatives (los dominios benignos que el modelo identificó como benignos), además del porcentaje de documentos en el que el modelo confundió dominios benignos como maliciosos (false positives) o viceversa (false negatives).&nbsp;
Fiel a su nombre, la matriz de confusión nos mostrará rápidamente si un modelo confunde con frecuencia instancias de una clase por otra.&nbsp;
En la Figura&nbsp;6, vemos que nuestro modelo tiene una tasa de positivos verdaderos del 98&nbsp;% en los datos de prueba. Esto significa que si desplegáramos este modelo en producción para clasificar datos de DNS entrantes, podríamos esperar ver una tasa de falsos positivos del 2&nbsp;% aproximadamente. Aunque parece una cifra razonablemente baja, el alto volumen de tráfico de DNS significa que aún llevaría a una tasa de alertas bastante alta. En la parte&nbsp;2, veremos cómo se puede usar la detección de anomalías para reducir la cantidad de alertas por falsos positivos.&nbsp;
<h2>Conclusión</h2>En este blog, abordamos una breve visión general de cómo usar <a href="/es/what-is/elasticsearch-machine-learning">Machine Learning de Elastic</a> para crear y evaluar un modelo de Machine Learning para la detección de DGA. Examinamos el proceso de extraer características de dominios benignos y maliciosos sin procesar, y explicamos un poco del proceso para encontrar características adecuadas. Por último, echamos un vistazo a cómo entrenar y evaluar un modelo de Machine Learning con el Elastic&nbsp;Stack.
En la parte siguiente de la serie, veremos cómo usar los <a href="/guide/en/elasticsearch/reference/7.8/inference-processor.html">procesadores de inferencias</a> en los pipelines de ingesta para desplegar este modelo con el objetivo de enriquecer los datos de Packetbeat entrantes con predicciones sobre la maliciosidad de los dominios y cómo usar trabajos de detección de anomalías para reducir la cantidad de alertas por falsos positivos. Mientras tanto, <a href="/es/elasticsearch/service">prueba nuestras características de Machine Learning de forma gratuita</a> para ver el tipo de conocimientos que puedes liberar cuando logras sortear las distracciones de tus datos.

Articles by Camilla Montonen

Combinación de machine learning supervisado y no supervisado para la detección de DGA

Entrenar, evaluar, monitorear, inferir: Machine Learning integral en Elastic

Machine Learning en la ciberseguridad: Detección de actividad de DGA en los datos de red

Machine Learning en la ciberseguridad: Entrenamiento de modelos supervisados para detectar actividad de DGA

Productos

Compañía

Recursos