Autopilot: Desenvolvendo a pesquisa por insights

A Autopilot ajuda empresas de todos os tamanhos e indústrias a automatizar o marketing, retomar antigos relacionamentos com clientes, alcançar novos públicos e aumentar seus lucros. Os clientes podem criar e enviar campanhas por e-mail, mensagem no aplicativo, SMS e até mesmo cartões postais físicos. Eles podem importar todos os seus contatos e organizá-los em segmentos inteligentes, que acionam jornadas de cliente com base nos valores de campo, comportamentos ou códigos UTM.

A integração com soluções de terceiros como Salesforce, Zapier e Slack ampliam ainda mais as capacidades da Autopilot. Cinco anos após o lançamento, o software da Autopilot é usado para gerar até 50 milhões de eventos por dia. Graças ao Insights, todos esses eventos agora podem ser rastreados e mensurados, ajudando os profissionais de marketing de jornada a melhorar a experiência do cliente e converter mais receita.

A Elastic foi introduzida pela primeira vez na Autopilot por Christopher Giffard, engenheiro de software sênior na empresa de automação de marketing. Giffard tinha usado o Elastic Stack em sua função anterior e, na sua primeira semana na Autopilot, a incluiu para registro e monitoramento.

Foi a primeira vez que a Autopilot tinha usado uma solução baseada em banco de dados para registro. A equipe de engenharia estava totalmente focada em colocar o software no mercado e, até a data, mantinha os registros em um servidor central. Buscando obter mais valor nos registros, Giffard implantou o Elasticsearch, o Logstash e o Kibana.

Essa solução de registro tornou fácil para os engenheiros e gerentes de produto solucionar problemas. "Kibana é uma ferramenta exploratória incrível e nos fornece a imagem completa do que está acontecendo nos nossos sistemas, assim como erros individuais. Isso significa que precisamos fazer muito menos depuração e scripts para obter a informação que precisamos, e podemos lidar com os problemas de forma mais proativa”, disse Giffard. "É o nosso primeiro porto de escala quando há um problema, ajudando-nos a diagnosticar a causa raiz de uma maneira realmente integrada".

Também foi apresentado o Elastic Stack nas bases técnicas da Autopilot. Três meses após implementar a solução de registro, a equipe de engenharia foi apresentada a um desafio ainda maior.

A Autopilot queria desenvolver uma ferramenta de análise fácil de usar para ajudar os clientes a entender o status e sucesso de suas campanhas. Naquele momento, o relatório era fragmentado, com informações advindas de diversos armazenamentos de dados diferentes.

“Queríamos agregar todos os eventos diferentes ocorrendo e tornar possível para os clientes o rastreamento e visualização do desempenho de suas campanhas ao longo do tempo”, disse Giffard. “A ideia era ajudá-los a mensurar coisas como o sucesso do e-mail A em comparação ao e-mail B, mas também identificar os canais e mensagens necessários para converter mais receita”.

A primeira etapa na criação da ferramenta era uma análise dos dados por trás dela. A Autopilot precisava entender de onde vinham e como poderiam ser rastreados. Foi através desse processo que o Elastic Stack foi identificado como mecanismo ideal para a ferramenta. "Os dados eram todos dados de série de tempo e precisávamos de uma solução que pudesse pesquisá-los rapidamente e gerar agregações. O Elasticsearch é essencial para isso”, disse Giffard.

A equipe de engenharia mergulhou de cabeça no projeto, criando uma avaliação do Elastic Cloud e um novo cluster. Na época, a solução de registro da Autopilot era gerenciada através de uma solução de hospedagem terceirizada. Entretanto, Gifford e seus colegas queriam os benefícios de uma assinatura direta hospedada no Elastic Cloud. Principais entre esses foram o acesso às últimas versões do Elastic Stack, assim como o X-Pack.

Somente semanas após os testes, a Autopilot se inscreveu no Elastic Cloud com uma assinatura Platinum. Giffard disse que a Elastic tinha exatamente o que precisavam: poder analítico, conveniência de gerenciamento e grande possibilidade de ampliação. “Quando você está lidando com grandes volumes de dados, é necessário estar atento a como você está indexando e armazenando tais dados. Há uma grande quantidade de manutenção de servidor envolvido”, disse Giffard. “Ao usar o Elastic Cloud, podemos evitar fazer isso por conta própria e nos manter focados em criar recursos para os nossos clientes.

O software da Autopilot foi criado em torno do modelo de agente, então, para qualquer evento gerado, há um agente, ação, objeto, contexto e recurso, permitindo que qualquer evento de cliente seja registrado. O Insights também se baseia nesse modelo e usa o Elasticsearch para capturar esses cinco elementos, além de um carimbo de data e hora. Os dados então podem ser explorados através do uso do Kibana e Timelion no back-end e apresentados aos clientes através do Insights.

Em termos práticos, os clientes podem definir o critério de sucesso para suas campanhas com base nos eventos que querem gerar. Isso pode incluir se inscrever para um newsletter ou realizar um teste gratuito. Eles podem, então, rastrear e mensurar como esses objetivos são alcançados.

A análise de séries de tempo possibilitada pelo Elastic Stack significa que os clientes podem rastrear conversões, mas também obter insights sobre o que fez os clientes serem convertidos. “Os clientes podem, agora, ver quantos eventos estão acontecendo e mapeá-los de volta para campanhas específicas. Com o Insights e o poder de análise proporcionado pela Elasticsearch, eles também podem entender melhor como suas campanhas são realizadas ao longo do tempo”, disse Giffard.

Apesar de o desenvolvimento do Insights ter levado apenas seis meses, havia um grande ajuste no caminho. Durante os testes beta, descobriu-se que as estatísticas iniciais apresentadas pelo Insights não eram tão úteis quanto poderiam ser e precisavam ser calculadas de uma forma totalmente diferente. Originalmente, os eventos eram apresentados em gráficos e agregações nos momentos em que eram registrados em vez de considerar a atribuição de evento e o agrupamento de coorte.

O sistema foi reformulado para atribuir eventos automaticamente e fornecer aos clientes análises mais profundas sobre o desempenho das campanhas. Por exemplo, eles podem ver quantos contatos adicionados a uma campanha em um determinado dia virou conversão, independentemente do momento em que fizeram isso. A Elastic ajudou a Autopilot a lidar com o impacto de desempenho das novas consultas e a ajustar aspectos da arquitetura de sistema para fornecer um sistema mais rápido e estável.

“A Elastic foi muito útil para garantir que pudéssemos reprojetar nossas consultas e otimizar o desempenho”, disse Giffard. “Seu suporte é, na verdade, um dos aspectos mais valiosos da nossa assinatura. É mais um acordo de consultoria de desenvolvimento, onde podemos falar sobre todos os problemas ou restrições que estamos experimentando e trabalhar juntos para resolvê-los.”

A alteração poderia ter colocado o projeto completamente fora dos trilhos, mas, com o suporte da Elastic, a Autopilot conseguiu configurar novas consultas em duas semanas. E essas consultas foram transformadas em somente leitura com o uso do X-Pack Security pela Autopilot, para proteger a integridade dos dados dentro do cluster.

Os clientes da Autopilot agora têm fácil acesso aos dados de desempenho de campanha e podem executar consultas complexas com apenas alguns cliques, vendo os resultados imediatamente. Giffard disse que a equipe não poderia ter alcançado o mesmo nível de desempenho do Insights sem a Elastic. “A nossa filosofia sempre foi fornecer aos clientes soluções que sejam muito simples de usar. A Elastic tornou possível para nós entregar dentro desse escopo e criar uma ferramenta de análise de dados empresariais que qualquer pessoa possa usar”, disse Giffard.

O Insights agora é um ponto de vendas chave para o software de automação de marketing da Autopilot, ajudando os clientes a ligar os pontos entre campanhas e resultados empresariais. Ele também é usado internamente para monitorar o uso do software da Autopilot e agregar comportamento de cliente. “Os nossos clientes elogiam o Insights e, para nós, é um passo importante na direção da criação de soluções para uso em casos de uso mais amplos. Vamos inserir ainda mais dados no Elasticsearch para alcançar isso”, disse Giffard.