Autopilot: 인사이트 탐색을 위한 지원

Autopilot은 규모 및 산업을 막론하고 모든 회사에서 마케팅을 자동화하고 오랜 고객 관계를 재확립하며 새로운 고객층에 다가가 수익을 증가시킬 수 있도록 지원합니다. 고객들은 이메일, 인앱 메시징, SMS와 실제 엽서로도 캠페인을 생성하고 전달할 수 있습니다. 고객은 모든 연락처를 입력해 필드값, 행동 또는 UTM 코드에 따라 고객 여정을 트리거할 수 있는 스마트한 세그먼트로 이를 정리할 수 있습니다.

Salesforce, Zapier 및 Slack과 같은 제3자 솔루션과의 통합으로 Autopilot은 역량을 한층 더 확장할 수 있었습니다. 출시 5년 후 Autopilot의 소프트웨어는 매일 5천만건 이상의 이벤트를 생성하는 데 사용되고 있습니다. 인사이트 덕분에 이제 이러한 모든 이벤트를 추적하고 측정할 수 있으며, 여정 마케터들이 고객 경험을 향상하고 더 많은 수익으로 변환할 수 있도록 지원합니다.

Elastic은 마케팅 자동화 회사의 수석 소프트웨어 엔지니어였던 Christopher Giffard 씨를 통해 Autopilot에 처음 도입되었습니다. Elastic Stack을 이전 회사에서 사용했었던 Giffard 씨는 Autopilot에서의 첫 주에 이를 로깅 및 모니터링에 사용했습니다.

Autopilot에서는 로깅에 대해 최초로 데이터베이스 중심 솔루션을 사용한 것이었습니다. 엔지니어링팀에서는 소프트웨어를 시장에 출시하는 것에만 전적으로 집중하고 있었으며 그때까지 로그는 중앙 서버에 유지하고 있었습니다. 로그를 통해 더 많은 가치를 얻고자 했던 Giffard 씨는 Elasticsearch, Logstash 및 Kibana를 배포했습니다.

이 로깅 솔루션 덕분에 엔지니어와 제품 관리자들이 문제를 쉽고 편리하게 해결할 수 있었습니다. “Kibana는 아주 놀라운 탐색 도구이고 개별적인 오류에서뿐 아니라 저희 시스템에서 무슨 일이 일어나는지 큰 그림을 볼 수 있도록 해줬습니다. 이때문에 저희는 원하는 정보를 얻기 위한 디버깅과 스크립팅을 절감할 수 있었고, 더욱 선제적으로 문제를 처리할 수 있었습니다.”라고 Giffard 씨는 전했습니다. “이 도구는 문제가 생겼을 때 제일 먼저 확인하는 도구이며 매우 통합된 방식으로 근본 원인을 진단할 수 있도록 해줍니다.”

Autopilot에서는 Elastic Stack을 Autopilot의 기술적 토대로 도입하기도 했습니다. 로깅 솔루션을 도입한 지 3개월 후, 엔지니어링팀은 더 큰 도전 과제에 직면했습니다.

Autopilot은 고객들이 그들의 캠페인의 상태와 성공 여부를 이해할 수 있도록 돕는, 더욱 사용하기 쉬운 분석 도구를 개발하고자 했습니다. 당시 보고는 다수의 다양한 데이터 저장소로부터 유입되는 정보로 쪼개져 있었습니다.

Giffard 씨는 “저희는 일어나고 있는 서로 다른 모든 이벤트를 집계해 시간이 지남에 따라 고객들이 그들의 캠페인 성과를 추적하고 시각화할 수 있도록 하고자 했습니다.”라며 “이메일 A와 B의 성공 여부와 같은 비율을 측정하도록 도우면서도 더욱 많은 수익으로 전환하기 위해 필요한 채널과 메시지를 파악하도록 도우려는 것이었죠.”라고 덧붙였습니다.

도구를 설계하는 첫 번째 단계는 바로 기반이 되는 데이터의 분석이었습니다. Autopilot에서는 데이터의 출처가 어디이고 어떤 방식으로 추적할 수 있는지 파악해야 했습니다. 이 과정을 통해 Elastic Stack이 도구 개발을 위한 이상적인 엔진임을 파악하게 되었습니다. “데이터는 모두 시계열 데이터였고 저희는 빠르게 데이터를 검색해 집계를 생성할 수 있는 솔루션이 필요했습니다. Elasticsearch가 바로 그 뼈대라고 할 수 있었죠.”라고 Giffard 씨는 끝맺었습니다.

엔지니어링팀은 바로 프로젝트에 착수해 Elastic Cloud의 체험판을 설정하고 새로운 클러스터를 시작했습니다. 당시 Autopilot의 로깅 솔루션은 제3자 호스팅 솔루션을 통해 관리하고 있었습니다. 그러나 Giffard 씨와 그의 동료들은 Elastic Cloud를 통해 호스팅된 직접적인 구독의 혜택을 원했습니다. 이중 가장 중요한 것은 바로 Elastic Stack 및 X-Pack 최신 버전에 대한 액세스였습니다.

Autopilot에서는 체험판을 시작한 지 불과 몇 주만에 플래티넘 구독으로 Elastic Cloud에 가입했습니다. Giffard 씨는 정확히 그들이 원하는 것을 Elastic에서 찾을 수 있었다고 말합니다. 바로 분석 동력, 편리한 유지관리 및 손쉬운 확장성이었습니다. “많은 양의 데이터와 씨름하다 보면 데이터를 어떻게 색인하고 저장하는지에 대해 주의를 기울여야 합니다. 여기에는 아주 많은 서버 유지관리가 필요하죠.”라고 Giffard 씨는 말합니다. “저희는 Elastic Cloud를 구매함으로써 이러한 유지관리 노동에서 벗어날 수 있었고 저희 고객을 위한 기능을 구축하는 데 집중할 수 있습니다.”

Autopilot의 소프트웨어는 액터 모델로 구축되어 있어 생성된 모든 이벤트에 액터, 액션, 객체, 맥락 및 리소스가 있습니다. 이를 통해 모든 종류의 고객 이벤트를 기록할 수 있는 것입니다. 인사이트 또한 이 모델에 기반을 두고 Elasticsearch를 사용해 이러한 다섯 가지 요소와 타임스탬프를 포착합니다. 그다음 데이터는 백엔드에서 Kibana와 Timelion을 사용하여 탐색하고 인사이트를 통해 고객에게 제시합니다.

더욱 실용적인 용어로 설명하자면, 고객은 생성하고자 하는 이벤트를 기반으로 그들의 캠페인에 대한 성공 기준을 정의할 수 있습니다. 여기에는 뉴스레터 가입이나 무료 체험판 사용이 포함될 수 있습니다. 그렇게 되면 고객들은 이러한 목표를 어떻게 달성하는지 추적하고 측정할 수 있습니다.

Elastic Stack의 도움을 통해 가능한 시계열 분석은 고객들이 전환을 추적하면서도 고객들이 전환한 이유가 무엇인지에 대한 인사이트를 얻게 해줍니다. “고객들은 얼마나 많은 이벤트가 일어나고 있고 이를 특정한 캠페인으로 다시 매핑할 수 있습니다. Elasticsearch로 가능한 인사이트와 분석적 동력을 통해 이들은 시간이 지나며 캠페인이 어떻게 성과를 내고 있는지 더 잘 이해할 수 있습니다.”라고 Giffard 씨는 전했습니다.

인사이트의 개발이 6개월밖에 걸리지 않았다면, 이에 따른 막대한 조정이 필요했습니다. 베타 테스팅 기간 도중 인사이트에서 제시한 초기 통계가 필요한 만큼 유용하지 않았고 완전히 다른 방식으로 계산해야 한다는 것을 알게 된 것입니다. 원래 이벤트는 이벤트 속성 및 속한 집단을 고려하는 대신 기록된 순간의 그래프 및 집계로 제시되었습니다.

Autopilot은 자동으로 이벤트를 할당하고 고객들에게 더 심도 높은 분석을 제공하기 위해 시스템을 리팩토링했습니다. 예를 들어 이들은 시간과 관계없이 특정 날짜에 캠페인에 추가된 연락처 중 몇 개가 전환에 성공했는지 볼 수 있습니다. Elastic은 Autopilot에서 새로운 쿼리의 성과 영향을 인지하고 시스템 구조 요소를 조정하여 더욱 빠르고 안정적인 시스템을 제공할 수도록 지원했습니다.

“Elastic에서는 쿼리를 재설계하고 성과를 최적화할 수 있도록 기꺼이 도왔습니다.”라고 Giffard 씨는 말합니다. “이들의 지원은 실제로 저희 구독에서 가장 가치 있는 요소 중 하나입니다. 저희가 겪고 있는 모든 우려 사항이나 제약 사항을 해결하기 위해 이야기를 나눌 수 있는 개발 컨설턴트 세션과도 같습니다.”

변화는 프로젝트의 방향을 완전히 비뚤어진 곳으로 향하게 할 수도 있었지만 Elastic의 도움으로 Autopilot은 새로운 쿼리를 2주 만에 설정할 수 있었습니다. 이러한 쿼리는 클러스터 내의 데이터 무결성을 보호하기 위한 X-Pack Security를 사용한 Autopilot에서만 읽기 전용으로 사용할 수 있습니다.

Autopilot의 고객들은 이제 캠페인 성과 데이터에 더욱 쉽게 액세스할 수 있으며 복잡한 쿼리를 몇 번의 클릭만으로 실행하고 즉시 결과를 확인할 수 있습니다. Giffard 씨는 팀에 Elastic이 없었다면 동일한 수준의 성과를 달성할 수 없었을지 모른다고 전합니다. “저희의 철학은 항상 고객들에게 사용하기 쉬운 솔루션을 제공하는 것이었습니다. Elastic 덕분에 저희가 서비스 범위 내에서 제공하고 누구나 사용할 수 있는 사업 분석 도구를 만들어낼 수 있었습니다.”라고 Giffard 씨는 말했습니다.

인사이트는 이제 Autopilot의 마케팅 자동화 소프트웨어에서 주요 셀링 포인트로서 고객들이 캠페인과 사업 결과 사이의 점을 연결할 수 있도록 돕습니다. 또한 내부적으로도 Autopilot의 소프트웨어 모니터링 및 고객 행동 집계에 사용합니다. “저희 고객들은 인사이트를 너무 좋아하시고 저희로서는 인사이트가 더욱더 넓은 사용 사례를 위해 솔루션을 설계하는 주요 단계라 할 수 있습니다. 이를 달성하기 위해 더 많은 데이터를 Elasticsearch에 공급할 예정입니다.”라고 Giffard 씨는 끝맺었습니다.