Observabilidade
Software and Technology

Autopilot: Desenvolvendo a pesquisa por insights

EM RESUMO

  • 2.9
    bilhões de documentos
  • 2.19
    TB de valor de dados
  • 50
    milhões de eventos por dia

Inovação de produto rápida e flexível

Usando o Elastic Stack, a Autopilot criou uma ferramenta de análise de negócios simples mas poderosa em apenas seis meses.

Um novo ponto de vendas exclusivo

Conectar campanhas aos resultados comerciais tornou o software de automação de marketing da Autopilot muito mais efetivo no aumento das conversões.

Desempenho melhorado

Uma solução de registro e monitoramento desenvolvido pelo Elastic Stack ajuda a Autopilot a solucionar problemas de desempenho e resolvê-los imediatamente.

Evitar custos de manutenção e recursos

Com o Elastic Cloud, a Autopilot pode focar em sua missão principal e deixar a manutenção para a Elastic.

Um pouco sobre a empresa

A Autopilot está na missão de capacitar mais empresas para criar jornadas de marketing inesquecíveis. O seu software de automação de marketing é tão fácil de usar quanto um quadro em branco e oferece uma abordagem visual para criar jornadas de cliente personalizadas. Ao usar o Elastic Stack, a Autopilot desenvolveu uma forma poderosa de rastrear e mensurar essas jornadas. Conhecida como Insights, esta ferramenta de análise poderosa substituiu os relatórios estáticos e fragmentados por dados de desempenho em tempo real. Ela permite que os clientes visualizem e analisem dados de série de tempo e tomem decisões mais inteligentes para otimizar as campanhas. O Insights foi criado em apenas seis meses usando o Elastic Cloud, com o desenvolvimento de rastreamento rápido e agilidade de manutenção. Agora, é um componente principal do software da Autopilot, usado globalmente por clientes como Microsoft, Patreon, LiveChat, Instapage e Crunchbase.

Desenvolvendo a pesquisa por insights

A Autopilot ajuda empresas de todos os tamanhos e indústrias a automatizar o marketing, retomar antigos relacionamentos com clientes, alcançar novos públicos e aumentar seus lucros. Os clientes podem criar e enviar campanhas por e-mail, mensagem no aplicativo, SMS e até mesmo cartões postais físicos. Eles podem importar todos os seus contatos e organizá-los em segmentos inteligentes, que acionam jornadas de cliente com base nos valores de campo, comportamentos ou códigos UTM.

A integração com soluções de terceiros como Salesforce, Zapier e Slack ampliam ainda mais as capacidades da Autopilot. Cinco anos após o lançamento, o software da Autopilot é usado para gerar até 50 milhões de eventos por dia. Graças ao Insights, todos esses eventos agora podem ser rastreados e mensurados, ajudando os profissionais de marketing de jornada a melhorar a experiência do cliente e converter mais receita.

A jornada da Autopilot com a Elastic

O “quem”

A Elastic foi introduzida pela primeira vez na Autopilot por Christopher Giffard, engenheiro de software sênior na empresa de automação de marketing. Giffard tinha usado o Elastic Stack em sua função anterior e, na sua primeira semana na Autopilot, a incluiu para registro e monitoramento.

Foi a primeira vez que a Autopilot tinha usado uma solução baseada em banco de dados para registro. A equipe de engenharia estava totalmente focada em colocar o software no mercado e, até a data, mantinha os registros em um servidor central. Buscando obter mais valor nos registros, Giffard implantou o Elasticsearch, o Logstash e o Kibana.

Essa solução de registro tornou fácil para os engenheiros e gerentes de produto solucionar problemas. "Kibana é uma ferramenta exploratória incrível e nos fornece a imagem completa do que está acontecendo nos nossos sistemas, assim como erros individuais. Isso significa que precisamos fazer muito menos depuração e scripts para obter a informação que precisamos, e podemos lidar com os problemas de forma mais proativa”, disse Giffard. "É o nosso primeiro porto de escala quando há um problema, ajudando-nos a diagnosticar a causa raiz de uma maneira realmente integrada".

Também foi apresentado o Elastic Stack nas bases técnicas da Autopilot. Três meses após implementar a solução de registro, a equipe de engenharia foi apresentada a um desafio ainda maior.

O “o que”

A Autopilot queria desenvolver uma ferramenta de análise fácil de usar para ajudar os clientes a entender o status e sucesso de suas campanhas. Naquele momento, o relatório era fragmentado, com informações advindas de diversos armazenamentos de dados diferentes.

“Queríamos agregar todos os eventos diferentes ocorrendo e tornar possível para os clientes o rastreamento e visualização do desempenho de suas campanhas ao longo do tempo”, disse Giffard. “A ideia era ajudá-los a mensurar coisas como o sucesso do e-mail A em comparação ao e-mail B, mas também identificar os canais e mensagens necessários para converter mais receita”.

A primeira etapa na criação da ferramenta era uma análise dos dados por trás dela. A Autopilot precisava entender de onde vinham e como poderiam ser rastreados. Foi através desse processo que o Elastic Stack foi identificado como mecanismo ideal para a ferramenta. "Os dados eram todos dados de série de tempo e precisávamos de uma solução que pudesse pesquisá-los rapidamente e gerar agregações. O Elasticsearch é essencial para isso”, disse Giffard.

Painéis do Insight da Autopilot

O “por que”

A equipe de engenharia mergulhou de cabeça no projeto, criando uma avaliação do Elastic Cloud e um novo cluster. Na época, a solução de registro da Autopilot era gerenciada através de uma solução de hospedagem terceirizada. Entretanto, Gifford e seus colegas queriam os benefícios de uma assinatura direta hospedada no Elastic Cloud. Principais entre esses foram o acesso às últimas versões do Elastic Stack, assim como o X-Pack.

Somente semanas após os testes, a Autopilot se inscreveu no Elastic Cloud com uma assinatura Platinum. Giffard disse que a Elastic tinha exatamente o que precisavam: poder analítico, conveniência de gerenciamento e grande possibilidade de ampliação. “Quando você está lidando com grandes volumes de dados, é necessário estar atento a como você está indexando e armazenando tais dados. Há uma grande quantidade de manutenção de servidor envolvido”, disse Giffard. “Ao usar o Elastic Cloud, podemos evitar fazer isso por conta própria e nos manter focados em criar recursos para os nossos clientes.

O “como”

O software da Autopilot foi criado em torno do modelo de agente, então, para qualquer evento gerado, há um agente, ação, objeto, contexto e recurso, permitindo que qualquer evento de cliente seja registrado. O Insights também se baseia nesse modelo e usa o Elasticsearch para capturar esses cinco elementos, além de um carimbo de data e hora. Os dados então podem ser explorados através do uso do Kibana e Timelion no back-end e apresentados aos clientes através do Insights.

Em termos práticos, os clientes podem definir o critério de sucesso para suas campanhas com base nos eventos que querem gerar. Isso pode incluir se inscrever para um newsletter ou realizar um teste gratuito. Eles podem, então, rastrear e mensurar como esses objetivos são alcançados.

A análise de séries de tempo possibilitada pelo Elastic Stack significa que os clientes podem rastrear conversões, mas também obter insights sobre o que fez os clientes serem convertidos. “Os clientes podem, agora, ver quantos eventos estão acontecendo e mapeá-los de volta para campanhas específicas. Com o Insights e o poder de análise proporcionado pela Elasticsearch, eles também podem entender melhor como suas campanhas são realizadas ao longo do tempo”, disse Giffard.

Uma mudança na direção

Apesar de o desenvolvimento do Insights ter levado apenas seis meses, havia um grande ajuste no caminho. Durante os testes beta, descobriu-se que as estatísticas iniciais apresentadas pelo Insights não eram tão úteis quanto poderiam ser e precisavam ser calculadas de uma forma totalmente diferente. Originalmente, os eventos eram apresentados em gráficos e agregações nos momentos em que eram registrados em vez de considerar a atribuição de evento e o agrupamento de coorte.

O sistema foi reformulado para atribuir eventos automaticamente e fornecer aos clientes análises mais profundas sobre o desempenho das campanhas. Por exemplo, eles podem ver quantos contatos adicionados a uma campanha em um determinado dia virou conversão, independentemente do momento em que fizeram isso. A Elastic ajudou a Autopilot a lidar com o impacto de desempenho das novas consultas e a ajustar aspectos da arquitetura de sistema para fornecer um sistema mais rápido e estável.

“A Elastic foi muito útil para garantir que pudéssemos reprojetar nossas consultas e otimizar o desempenho”, disse Giffard. “Seu suporte é, na verdade, um dos aspectos mais valiosos da nossa assinatura. É mais um acordo de consultoria de desenvolvimento, onde podemos falar sobre todos os problemas ou restrições que estamos experimentando e trabalhar juntos para resolvê-los.”

A alteração poderia ter colocado o projeto completamente fora dos trilhos, mas, com o suporte da Elastic, a Autopilot conseguiu configurar novas consultas em duas semanas. E essas consultas foram transformadas em somente leitura com o uso do X-Pack Security pela Autopilot, para proteger a integridade dos dados dentro do cluster.

Os resultados

Os clientes da Autopilot agora têm fácil acesso aos dados de desempenho de campanha e podem executar consultas complexas com apenas alguns cliques, vendo os resultados imediatamente. Giffard disse que a equipe não poderia ter alcançado o mesmo nível de desempenho do Insights sem a Elastic. “A nossa filosofia sempre foi fornecer aos clientes soluções que sejam muito simples de usar. A Elastic tornou possível para nós entregar dentro desse escopo e criar uma ferramenta de análise de dados empresariais que qualquer pessoa possa usar”, disse Giffard.

O Insights agora é um ponto de vendas chave para o software de automação de marketing da Autopilot, ajudando os clientes a ligar os pontos entre campanhas e resultados empresariais. Ele também é usado internamente para monitorar o uso do software da Autopilot e agregar comportamento de cliente. “Os nossos clientes elogiam o Insights e, para nós, é um passo importante na direção da criação de soluções para uso em casos de uso mais amplos. Vamos inserir ainda mais dados no Elasticsearch para alcançar isso”, disse Giffard.

Clusters da Autopilot

  • Clusters
    5+
  • Índices
    270
  • Nós
    19
  • Taxa de consulta
    ~20/s
  • Ambiente de hospedagem
    Elastic Cloud (AWS)
  • Réplicas
    1
  • Documentos
    2,9 bilhões e aumentando entre 100 e 1000 por segundo
  • Índices com base no tempo
    1 por dia
  • Tamanho total dos dados
    2,13 TB
  • Especificações de nó
    Tamanho de nó Elastic Cloud de 64 GB
  • Taxa de ingestão diária
    14.759.427 documentos em média