A descoberta de padrões anômalos por machine learning ajuda a detectar adversários que driblam os softwares de segurança modernos por meio de técnicas “living off the land”, ou seja, o uso de ferramentas que já existem no sistema.

<p>À medida que os antivírus e os softwares de detecção de malware baseados em machine learning aumentaram sua eficácia contra ataques com foco em arquivos, os adversários migraram para as técnicas “living off the land” para driblar os softwares de segurança modernos. Essas técnicas consistem na execução de ferramentas que vêm pré-instaladas com o sistema operacional ou costumam ser trazidas pelos administradores para trabalhos de rotina como automatizar tarefas administrativas de TI, executar scripts regularmente, executar código em sistemas remotos etc. Pode ser difícil identificar invasores que usam ferramentas confiáveis do sistema operacional como powershell.exe, wmic.exe ou schtasks.exe. Esses binários são inerentemente benignos em si e costumam ser usados na maioria dos ambientes. Dessa forma, os invasores conseguem ignorar trivialmente a maioria das defesas de primeira linha simplesmente misturando-se às tarefas que são executadas de forma recorrente. Para detectar padrões como esse depois que o estrago foi feito, é preciso examinar milhões de eventos sem um ponto de partida claro.</p><p>Em resposta, os pesquisadores de segurança começaram a criar detectores cujo alvo são cadeias de processos pai-filho suspeitas. Usando o MITRE ATT&amp;CK™ como manual, os pesquisadores podem escrever uma lógica de detecção para alertar sobre um pai específico que esteja iniciando um processo filho com determinados argumentos de linha de comando. Um bom exemplo é o alerta de um processo do Microsoft Office que inicia o powershell.exe com argumentos codificados em base64. No entanto, esse é um processo demorado que requer conhecimento especializado e um loop de feedback explícito para ajustar os detectores.</p><p>Profissionais especialistas em segurança abriram o código de diversos frameworks Vermelho x Azul para simular ataques e avaliar o desempenho do detector. No entanto, qualquer que seja a eficácia do detector, sua lógica pode resolver apenas um ataque específico. A incapacidade dos detectores de generalizar e detectar ataques emergentes constitui uma oportunidade única para o machine learning.</p><h2><strong>Vamos pensar em termos de gráficos</strong></h2><p>Quando começamos a pensar em detectar processos pai-filho anômalos, mergulhei imediatamente na ideia de transformar isso em um problema gráfico. Afinal, a execução do processo pode ser expressa como um gráfico para um determinado host. Os nós em nosso gráfico serão processos individuais divididos por ID do processo (PID), enquanto cada uma das bordas, que conectam os nós, será um evento process_creation. Uma determinada borda conterá metadados importantes derivados do evento, como registros de data e hora, argumentos de linha de comando e o usuário.</p><p style="text-align: center;"><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltef61d88cac306543/5e507da426150d0da990265b/discovering-anomalous-behavior-blog-process-chain.png" data-sys-asset-uid="bltef61d88cac306543" alt="discovering-anomalous-behavior-blog-process-chain.png" width="373" height="321" style="width: 373;height: 321;"/></p><figcaption style="text-align: center;">Figura 1 — Exemplo de representação gráfica de uma cadeia de processos</figcaption><p><br /></p><p>Agora temos uma representação gráfica dos eventos de processo de uma máquina host. No entanto, os ataques “living off the land” podem se originar dos mesmos processos no nível do sistema que estão sempre em execução. Precisamos de uma maneira de separar as cadeias de processos boas e más dentro de um determinado gráfico. A detecção de comunidade é uma técnica que segmenta um gráfico grande em “comunidades” menores, com base na densidade das bordas entre os nossos nós. Para usar isso, precisamos de uma maneira de gerar um peso entre os nós para garantir que a detecção de comunidade funcione corretamente e identifique as partes anômalas do nosso gráfico. Para isso, vamos recorrer ao machine learning.</p><h2><strong>Machine learning</strong></h2><p>Para gerar nosso modelo de peso da borda, usaremos o aprendizado supervisionado, uma abordagem de machine learning para a qual é necessário ter dados rotulados alimentando o modelo. Felizmente, podemos usar os frameworks open source Azul e Vermelho mencionados acima para ajudar a gerar alguns dados de treinamento. Abaixo estão alguns dos frameworks open source Vermelho e Azul usados no nosso corpus de treinamento:</p><h4><strong>Frameworks da equipe Vermelha</strong></h4><ul><li><a href="https://github.com/redcanaryco/atomic-red-team">Atomic Red Team</a> (Red Canary)</li><li><a href="https://github.com/endgameinc/RTA">Red Team Automation</a> (automação da equipe Vermelha) (Endgame/Elastic)</li><li><a href="https://github.com/mitre/caldera">Caldera Adversary Emulation</a> (emulação de adversário da Caldera) (MITRE)</li><li><a href="https://github.com/uber-common/metta">Metta</a> (Uber)</li></ul><h4><strong>Frameworks da equipe Azul</strong></h4><ul><li><a href="https://eqllib.readthedocs.io/en/latest/atomicblue.html">Atomic Blue</a> (Endgame/Elastic)</li><li><a href="https://github.com/mitre-attack/car">Cyber Analytics Repository</a> (repositório de ciberanalítica) (MITRE)</li><li><a href="https://github.com/microsoft/WindowsDefenderATP-Hunting-Queries">MSFT ATP Queries</a> (consultas MSFT ATP) (Microsoft)</li></ul><h3><strong>Ingestão e normalização de dados</strong></h3><h3><strong></strong></h3><p style="text-align: center;"><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt00f32018fe982214/5e507df806f84d0d618d9bf4/discovering-anomalous-behavior-blog-sample-process-creation.png" data-sys-asset-uid="blt00f32018fe982214" alt="discovering-anomalous-behavior-blog-sample-process-creation.png"/></p><figcaption style="text-align: center;">Figura 2 — Exemplo de evento de criação de processo antes e depois da engenharia de recursos</figcaption><p><br /></p><p>Após ingerirmos alguns dados do evento, precisaremos transformá-los em uma representação numérica (Figura 2). Essa representação permitirá que o modelo aprenda detalhes mais amplos de um relacionamento pai-filho no escopo de um ataque, o que ajuda a evitar o mero aprendizado de assinaturas.&nbsp;</p><p>Primeiro, realizamos a engenharia de recursos (Figura 3) em nomes de processos e argumentos de linha de comando. A vetorização TF-IDF capturará a importância estatística de uma determinada palavra para um evento em nosso conjunto de dados. A conversão de registros de data e hora em números inteiros nos permitirá determinar o delta entre a hora de início do processo pai e quando um processo filho foi iniciado. Outros recursos são de natureza binária (por exemplo, 1 ou 0, sim ou não). Alguns bons exemplos desse tipo de recurso:&nbsp;</p><ul><li>O processo está assinado?&nbsp;</li><li>Confiamos no assinante?&nbsp;</li><li>O processo é elevado?</li></ul><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt25637fac37f11262/5e50802eaa10350d40de7cfd/discovering-anomalous-behavior-blog-feature-engineering.png" data-sys-asset-uid="blt25637fac37f11262" alt="discovering-anomalous-behavior-blog-feature-engineering.png"/></p><figcaption style="text-align: center;">Figura 3 — Exemplos de engenharia de recursos em metadados de eventos de processo</figcaption><p><br /></p><p>Após a transformação do nosso conjunto de dados, nós o usaremos para treinar um modelo de aprendizado supervisionado (Figura 4). O modelo serve para fornecer uma “pontuação de anomalia” para um determinado evento de criação de processo entre 0 (benigno) e 1 (anômalo). Podemos usar a pontuação de anomalia como um peso para a borda no nosso gráfico!</p><figcaption style="text-align: center;"><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt035ac4d8f6488c90/5e5080cf9911e20db4ddf7ec/discovering-anomalous-behavior-blog-supervised-machine-learning.png" data-sys-asset-uid="blt035ac4d8f6488c90" alt="discovering-anomalous-behavior-blog-supervised-machine-learning.png"/><br />Figura 4 — Exemplo de um fluxo de trabalho supervisionado de machine learning</figcaption><p><strong></strong></p><h3><strong>Serviço de prevalência</strong></h3><figcaption style="text-align: center;"><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt5d6f3f5d4a9a94a8/5e50811caa10350d40de7d03/discovering-anomalous-behavior-blog-conditional-probabilities-1.png" data-sys-asset-uid="blt5d6f3f5d4a9a94a8" alt="discovering-anomalous-behavior-blog-conditional-probabilities-1.png" width="216" height="149" style="background-color: initial;width: 216;height: 149;"/><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt8c47b8c822d879b1/5e50811363fdbd0db5743cea/discovering-anomalous-behavior-blog-conditional-probabilities.png" data-sys-asset-uid="blt8c47b8c822d879b1" alt="discovering-anomalous-behavior-blog-conditional-probabilities.png" width="279" height="143" style="width: 279;height: 143;"/><br />Figura 5 — Probabilidades condicionais usadas pelo Mecanismo de Prevalência</figcaption><p style="text-align: center;"><br /></p><p>Agora temos um gráfico de pesos — cortesia do nosso modelo de machine learning. Missão cumprida, certo? O modelo que treinamos faz um ótimo trabalho ao tomar uma decisão boa/má para uma determinada cadeia pai-filho, com base em nossa compreensão global do que é bom e do que é mau. Mas cada ambiente de cada cliente será diferente. Haverá processos que nunca observamos antes e administradores de sistemas que usam o PowerShell para... bem, para tudo.</p><p>Basicamente, se usássemos apenas esse modelo e nada mais, provavelmente veríamos uma infinidade de falsos positivos e aumentaríamos a quantidade de dados que um analista precisaria examinar. Para compensar esse problema em potencial, desenvolvemos um serviço de prevalência para nos dizer o quanto uma determinada cadeia de processos pai-filho é comum dentro desse ambiente. Ao levar em conta as nuances locais do ambiente, poderemos elevar ou suprimir eventos suspeitos com mais confiança e extrair as cadeias de processos verdadeiramente anômalas.&nbsp;</p><p>O serviço de prevalência (Figura 5) baseia-se em duas estatísticas derivadas da probabilidade condicional que nos permitem afirmar o seguinte: “Desse pai, vi esse filho mais do que X% de outros processos filho” E “Desse processo, vi essa linha de comando mais do que X% de outras linhas de comando associadas ao processo”. Após implementarmos o Serviço de Prevalência, podemos fazer os retoques finais em nossa lógica de detecção principal, find_bad_communities.</p><h3><strong>Encontrar comunidades “más”</strong></h3><figcaption style="text-align: center;"><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltb6c59558aee70528/5e50815b1ec0810daab50176/discovering-anomalous-behavior-blog-python-code.png" data-sys-asset-uid="bltb6c59558aee70528" alt="discovering-anomalous-behavior-blog-python-code.png"/><br />Figura 6 — Código Python para descobrir comunidades anômalas</figcaption><p style="text-align: center;"><br /></p><p>Acima (Figura 6), vemos o código Python usado para gerar as comunidades más. A lógica para find_bad_communities é muito direta:</p><ol><li>Classifique cada evento process_create de uma máquina host para gerar um par de nós (por exemplo, nó pai e nó filho) e um peso associado (por exemplo, a saída do nosso modelo)&nbsp;</li><li>Construa um gráfico direcionado&nbsp;</li><li>Execute a detecção de comunidade para gerar uma lista de comunidades no gráfico.</li><li>Em cada comunidade, determinamos a prevalência de um pai-filho (por exemplo, cada conexão). Nós levamos em conta o quanto um evento pai-filho é comum no anomalous_score final.&nbsp;</li><li>Se o anomalous_score atinge ou excede um limite, separamos a comunidade inteira para os analistas examinarem&nbsp;</li><li>Depois que cada comunidade foi analisada, retornamos uma lista de comunidades “más” classificadas pelo anomalous_score máximo</li></ol><h2><strong>Resultados</strong></h2><p>Treinamos o modelo final com uma combinação de dados benignos e maliciosos, simulados e do mundo real. Os dados benignos consistiram em três dias de dados de eventos de processos do Windows reunidos em nossa rede interna. As fontes desses dados foram uma mistura de estações de trabalho de usuários e servidores para replicar uma pequena organização. Geramos dados maliciosos detonando todas as técnicas do ATT&amp;CK disponíveis por meio do framework de RTA da Endgame, além de executar malware baseado em macro e binário de adversários avançados como FIN7 e Emotet.</p><p>Para o nosso experimento principal, decidimos usar dados de eventos da <a href="https://attackevals.mitre.org/">Avaliação do MITRE ATT&amp;CK</a> fornecida pelo <a href="https://github.com/hunters-forge/mordor">projeto Mordor</a> de Roberto Rodriguez. A Avaliação do ATT&amp;CK procurou emular a atividade do APT3 usando ferramentas disponíveis comercialmente e software open source gratuito como PSEmpire e CobaltStrike. Essas ferramentas permitem que as técnicas “living off the land” sejam encadeadas para executar tarefas de Execução, Persistência ou Evasão da Defesa.&nbsp;</p><p>O framework foi capaz de identificar diversas cadeias de ataque com várias técnicas usando exclusivamente eventos de criação de processos. Descoberta (Figura 7) e movimento lateral (Figura 8) que descobrimos e destacamos para os analistas examinarem.&nbsp;</p><figcaption style="text-align: center;"><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt6dcc408f4752159c/5e5081827569ef0d9eca55a5/discovering-anomalous-behavior-blog-discovery-techniques.png" data-sys-asset-uid="blt6dcc408f4752159c" alt="discovering-anomalous-behavior-blog-discovery-techniques.png"/><br />Figura 7 — Cadeia de processos executando técnicas de “Descoberta”</figcaption><figcaption style="text-align: center;"><br /><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt19416010ffee0562/5e5081c826150d0da9902667/discovering-anomalous-behavior-blog-lateral-movement.png" data-sys-asset-uid="blt19416010ffee0562" alt="discovering-anomalous-behavior-blog-lateral-movement.png"/><br />Figura 8 — Cadeia de processos executando movimento lateral</figcaption><p style="text-align: center;"><strong></strong></p><h4><strong>Redução de dados</strong></h4><p>Um subproduto da nossa abordagem é não apenas a capacidade de descobrir cadeias de processos anômalos, mas também a capacidade de demonstrar o valor do mecanismo de prevalência na supressão de falsos positivos. Em conjunto, conseguimos reduzir drasticamente a quantidade de dados de eventos que precisavam ser examinados por um analista. Em números:&nbsp;</p><ul><li>Registramos cerca de dez mil eventos de criação de processos por endpoint no cenário do APT3 (total de cinco endpoints).&nbsp;</li><li>Identificamos cerca de seis comunidades anômalas por endpoint.</li><li>Cada comunidade consistia em cerca de seis a oito eventos cada.</li></ul><h2><strong>Um olhar para o futuro</strong></h2><p>Estamos no processo de fazer essa pesquisa evoluir de uma prova de conceito para uma solução integrada como um recurso do <a href="/pt/security">Elastic Security</a>. O recurso mais promissor é o mecanismo de prevalência. Mecanismos de prevalência que destacam a frequência da ocorrência de arquivos são comuns, mas descrever a prevalência das relações entre eventos ajudará os profissionais de segurança a detectar ameaças de novas maneiras, observando o que é raro/comum em sua empresa e, por fim, ampliando com mensurações do que é raro globalmente.&nbsp;</p><h2><strong>Conclusão</strong></h2><p>Apresentamos esse framework baseado em gráficos (chamado <a href="https://docs.google.com/presentation/u/1/d/1bcdBzxedIDwgAgXJr3LGfIaauk_YnCw3z562N1jYEzE/edit">ProblemChild</a>) no <a href="https://www.virusbulletin.com/conference/vb2019/abstracts/problem-child-common-patterns-malicious-parent-child-relationships">VirusBulletin</a> e na <a href="https://www.camlis.org/2019/talks/filar">CAMLIS</a> no ano passado, com o objetivo de reduzir a necessidade de conhecimento especializado no processo de desenvolvimento de detectores. Ao aplicar o machine learning supervisionado para derivar um gráfico ponderado, demonstramos a capacidade de identificar comunidades de eventos aparentemente díspares em sequências de ataques maiores. Nosso framework aplica probabilidade condicional para classificar comunidades anômalas automaticamente, bem como suprimir cadeias pai-filho que ocorrem com frequência. Quando aplicado a ambos os objetivos, esse framework pode ser usado pelos analistas para auxiliar na elaboração ou ajuste de detectores e reduzir os falsos positivos ao longo do tempo.&nbsp;</p>

blog-bw-dot-grid-banner.jpg

blog-bw-dot-grid-thumb.jpg

Discovering anomalous patterns based on parent-child process relationships

Descoberta de padrões anômalos com base em relações de processos pai-filho

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Bobby Filar

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Communication Preferences - ONLY for /communication-preferences

<p>Ao enviar a confirmação, você reconhece que leu e concorda com nossos <a href="/pt/legal/elastic-cloud-account-terms" target="_self">Termos de Serviço</a> e também concorda em receber <a href="/pt/legal/privacy-statement#how-we-use-the-information" target="_self">comunicações especiais</a> por meio dos dados de contato que forneceu acima. Consulte a <a href="/pt/legal/privacy-statement/" target="_self">Declaração de Privacidade da Elastic</a> para saber mais detalhes ou para cancelar a qualquer momento.</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Serverless GDPR Text

<p>Ao enviar a confirmação, você reconhece que leu e concorda com nossos <a href="/pt/legal/serverless-preview-terms" target="_self">Termos de Serviço</a> e que a Elastic pode <a href="/pt/legal/privacy-statement#how-we-use-the-information" target="_self">entrar em contato com você</a> para divulgar nossos produtos e serviços relacionados usando os dados que você forneceu acima. Consulte a <a href="/pt/legal/privacy-statement/" target="_self">Declaração de Privacidade da Elastic</a> para saber mais detalhes ou para cancelar a qualquer momento.</p>

<p>By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.</p>

Cloud Trial GDPR Text

<p>Ao enviar, você concorda com os <a href="/pt/agreements/global/cloud-services-monthly" rel="nofollow">Termos de Serviço do Elastic Cloud</a>. Seus dados pessoais serão tratados de acordo com a <a href="/pt/legal/privacy-statement">Declaração de Privacidade da Elastic</a>.
</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Newsletter GDPR Text

<p>Ao enviar a confirmação, você reconhece que leu e concorda com nossos <a href="/pt/legal/terms-of-use" target="_self">Termos de Serviço</a> e que a Elastic pode <a href="/pt/legal/privacy-statement#how-we-use-the-information" target="_self">entrar em contato com você</a> para divulgar nossos produtos e serviços relacionados usando os dados que você forneceu acima. Consulte a <a href="/pt/legal/privacy-statement/" target="_self">Declaração de Privacidade da Elastic</a> para saber mais detalhes ou para cancelar a qualquer momento.</p>

Explore similar demos

Explore outras demonstrações semelhantes

Overview

Load More

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

O conteúdo desta página não está disponível no idioma selecionado. A Elastic está trabalhando para garantir que o conteúdo esteja disponível em vários idiomas.Agradecemos a compreensão.

Author

Articles by

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Consultar a hora de início do webinar no meu fuso horário

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Não vai conseguir participar? Inscreva-se e nós lhe enviaremos a gravação. Você também receberá um email com conteúdo relacionado.

Author

Articles by Bobby Filar

Descoberta de padrões anômalos com base em relações de processos pai-filho

Sign up for Elastic Cloud free trial