Builton: 고성능과 고가용성에 기반한 온라인 이커머스 빅데이터의 효율적인 분석을 위한 Elasticsearch의 선택
오늘날 대부분의 사람들은 온라인에서 물건을 구매합니다. Builtón의 김보순 Chief Technology Officer(CTO)는 "전자 상거래는 빠르게 성장하고 있는 산업이며 성공적인 사업을 구축하기 위해서는 온라인 상의 소비자 행동을 분석하여 구매 패턴을 파악하는 것이 중요합니다. 그렇지만 더욱 중요한 것은 비지니스를 성공으로 이끄는 요소가 무엇인지 이해하는 것입니다." 라고 말합니다. 그 중요한 요소를 파악하려면 데이터에 대한 깊은 이해가 요구됩니다. 예를 들어, “영업실적을 높이는 효과적인 광고는 무엇인가?”와 같은 근본적인 질문에 답하는 것과 “경쟁사가 더 싼 가격으로 같은 제품을 팔 때 우리는 어떤 전략을 생각해야 하는가?”와 같은 질문은 차원이 다릅니다. Builtón은 이러한 상황에서 올바른 비지니스 결정을 내릴 수 있도록 막대한 데이터를 기반한 데이터 분석 및 시각화 도구를 활용하고 있습니다.
Elastic{ON} Tour Seoul을 통해 김보순 CTO는 Builtón의 데이터 툴이 고객의 비즈니스 주요 성과 지표를 이해하는 데 얼마나 도움이 되는지 보여주었습니다. 데이터 분석은 기존 전자 상거래 데이터, 로그 및 기타 소스를 수집하는 데이터웨어하우스에서 시작합니다. 일단 수집된 데이터는 정제되며 최종적으로는 시각화할 필요가 있습니다. Builtón은 빠르게 성장하고 있는 회사로서 데이터 처리 속도를 빠르게 향상할 필요가 있었습니다. 개발과 테스트에 대한 Builtón의 지나친 열정이 저장된 데이터 양의 폭발을 이끌었다고 김보순 CTO는 설명했습니다. 처음에는 하드웨어의 확장이 모든 문제에 대한 해결책이 될 것이라고 생각했지만 그러기 위해서는 많은 비용이 들게됩니다.
Elastic과 함께한 Builtón의 여정
Builtón은 이전에 RDBMS(Relational Database Management System)를 사용했지만 이는 Builtón의 성장에 제한을 가져왔습니다. 많은 양의 데이터를 추가할수록 RDBMS의 속도는 느려졌으며 동시에 잦고 긴 다운타임을 야기했습니다. 이러한 문제는 Builtón에 막대한 시간과 비용을 발생시켰고, Builtón의 고객들에게도 부정적인 영향을 주었습니다. RDBMS는 수많은 문제점을 가지고 있었지만 데이터 처리 확장에 지나치게 많은 비용이 든다는 점에서 Builtón은 새로운 솔루션을 찾아 나서게 되었습니다. 처음에는 기존에 사용하던 HDD를 SSD로 교체하였고 결국에는 고성능의 NVMe SSD로 전환했습니다. 하드웨어 업그레이드를 통해 스토리지 성능은 향상되었지만 교체로 인해 발생하는 스토리지 비용과 유지 관리는 크게 증가했고 더욱 잦은 다운타임이 발생하였습니다.
어느 날 Builtón은 고객으로부터 분석의 결과를 즉시 생성하길 요청받았습니다. 그러나 당시 Builtón의 능력으로는 이를 해결할 수 없었습니다. Builtón의 툴은 결과 생성에 필요한 모든 데이터를 집계하고 처리하기까지 약 3분이 소요됐습니다. 이에 대한 해결책으로 김보순 CTO는 Elasticsearch를 조사하였고 이것이 Builtón이 필요로 하는 강력한 검색 솔루션이라는 것을 확인했습니다. 김보순 CTO와 기술팀은 고객의 모든 데이터를 RDBMS에서 Elasticsearch로 전송했고 그 결과 고객의 요구에 즉시 대응할 수 있게 되었습니다.
“Elastic Stack은 저희의 비즈니스를 변화시켰습니다. 저희는 현재 이전 솔루션보다 60배 빠른 성능을 누리고 있습니다. 시각화는 Kibana를 기반으로 하고 있으며 저희가 이전에 했던 모니터링은 Metricbeat를 통해 쉽게 처리할 수 있게 되었습니다.” - Builtón의 Chief Technology Officer(CTO)인 김보순
이전에 사용하던 RDBMS 클러스터는 고가인 고성능 NVMe SSD 420000 IOPS를 사용했지만 응답 시간은 3분이었으며 일일 처리량은 겨우 30GB였습니다. 하지만 Elasticsearch는 저렴한 일반 SSD 96000 IOPS를 사용하고 응답 시간은 단 3초로 이전보다 60배 더 빨라졌으며 일일 처리량은 500GB로 증가하였습니다.
Builtón은 또한 Elasticsearch를 사용하며 함께 제공되는 기술 지원을 구입했습니다. 김보순 CTO는 자칫 데이터 손실로 이어질 뻔 했던 지난 상황에 대해 설명했습니다. 큰 문제를 야기시킬 뻔 한 상황에서 Elasticsearch의 기술지원팀은 재빠른 대응을 통해 Builtón 기술자들과 협력하며 상황을 신속하게 해결했습니다. 김보순 CTO는 이러한 실수는 Builtón의 비즈니스에 있어 해가 될 것이라고 말하며 Elasticsearch의 기술 지원의 중요성을 강조했습니다.
Elastic{ON} Tour Seoul에서 김보순 CTO의 전체 세션을 시청하고 Builtón이 어떻게 Elastic Stack을 사용하여 E-commerce 기업들에게 비즈니스의 이해를 제고하는지에 대해 좀 더 자세히 알아보세요.
