자전거 공유 데이터를 활용한 눈길을 끄는 캔버스 대시보드
Aginic은 호주 최고의 데이터 분석 컨설팅 기관 중 하나입니다. 당사는 Elastic 파트너로서, 고객이 의미 있는 ‘변화를 위한 통찰력'을 제공하도록 지원하며, 동시에 분석가, 엔지니어, 개발자, 디자이너와 딜리버리 코치는 건강, 교육, 에너지, 오락, 방위, 금융 분야에 이르는 중요한 프로젝트를 다룹니다.
최근 Elastic Brisbane 밋업에서, 저희 팀은 Elastic Stack의 흥미로운 새로운 캔버스와 SQL 기능 일부를 소개했으며, New South Wales에서 자전거 공유 프로그램 개선을 돕기 위한 가상의 대시보드 세트를 개발하기로 결정했습니다.
저희 팀은 일부 오픈 데이터 소스와 이전 사용 사례를 철저히 검토하기 시작했으며, 즉시 Kibana의 새 애플리케이션인 캔버스를 시작하게 되었는데, 이는 NYC CitiBike System1의 기존 통근자 시나리오 데이터를 하나의 품격있는 시각화로 통합할 수 있게 했습니다. 그것을 시작으로 자전거 대여료, 대여 재고 모니터링, 통근자의 종합적인 만족도와 New South Wales에서의 전반적인 자전거 가용성을 개선하도록 도울 방법을 모색하기 시작했습니다.
방법은 다음과 같습니다...
캔버스 대시보드는 NYC CitiBike System 데이터의 일부를 보여 주었습니다. 더 구체적으로 말하면, 데이터 세트를 선택했는데, 이것이 지정 시간의 스테이션 상태 메트릭뿐만 아니라 트랜잭션 트립 데이터를 이용할 수 있게 해 주기 때문입니다. 우리는 이러한 서로 다른 두 종류의 데이터가 새 캔버스의 기능을 가장 잘 보여줄 수 있게 해 준다고 생각했습니다.
첫 번째 트립 데이터 소스는 S3에 호스팅된 과거의 데이터를 사용했습니다. 프리젠테이션 시점에, 저희는 단순한 벌크 Logstash CSV 가져오기 파이프라인을 활용했습니다. 예약된 일정에 따라 결과를 자동으로 다운로드하도록 쉽게 확장될 수 있어 Elasticsearch의 데이터를 최신 상태로 유지시켜 줍니다.
두 번째 스테이션 데이터 피드는 자주 업데이트되는 JSON URL로 구성되어 있으며, 각 스테이션마다 이용 가능한 자전거의 수를 비롯한 다양한 메트릭을 포함합니다. 이 URL에 대한 요청의 결과는 최상위 수준 JSON 객체 형태입니다.
{"last_updated":1549188861,"ttl":10,"data":{"stations":[]}}
실시간 피드의 핵심은 last_updated 및 ttl(Time-to-live) 필드입니다. ttl 필드는 피드가 다시 업데이트될 때까지 소요되는 시간을 나타내며, 따라서 피드가 다음 번에 업데이트될 시간을 알아내도록 last_updated와 ttl 필드를 추가할 수 있습니다. 페치 슬립 루프(Fetch-sleep loop)가 있는 사용자 설정 파이톤(Python) 애플리케이션을 작성함으로 가급적 최신의 데이터를 유지할 수 있습니다.
데이터가 Elasticsearch 내에 있었기 때문에 Kibana로 이동해 시각화 작업을 수행할 수 있었습니다. 일반적으로 대시보드는 사용 사례에 따라 다음과 같은 다양한 목적을 지닙니다.
- 정보를 효율적으로 의사소통
- 드릴다운 및 필터 기능을 통해 셀프 서비스 탐색을 활성화
- 특정 사업부의 보고서 생성을 자동화
대화식, 필터, 셀프 서비스 탐색 작업은 사용자가 자신이 받은 데이터로 쉽고 빠르게 작업할 수 있게 해 주기 때문에, Kibana의 기본 제공 대시보드 기능에 완벽히 부합합니다. 기존에는 비대화형 사용 사례를 충족시키기 위해 사용자 정의 애플리케이션(d3 사례 근거)이 구축된 것을 보아 왔습니다. 이와 같은 사용자 정의 애플리케이션은 개발 시간 및 지속적인 지원 측면에서 투자가 요구되는데, 기본 제공 대시보드는 이러한 투자가 필요 없습니다.
캔버스는 기존의 그리드 형식 레이아웃 대시보드 스타일을 매끄러운 개체 중심의 레이아웃으로 변환시킴으로 이러한 문제를 극복합니다. 이렇게 하면 자유로운 형식에서 시각화 스타일을 창조할 수 있게 하여, 더 높은 수준의 자유를 활용하여 창작할 수 있게 합니다. 하지만 더 중요한 점은 현재 디자이너가 각각의 개체/그래픽을 제어할 수 있는 양 때문에, 데이터 시각화와 데이터 사이의 상호 작용은 그래픽 객체들과 동기화되면서 한 눈에 보기에도 이전보다 훨씬 더 많은 의미를 나타낼 수 있습니다.
여기서 주의해야 할 점은 데이터 프레젠테이션 도구는 오직 귀하가 청중을 이해할 때만 제 기능을 발휘한다는 점입니다. 의미(정의)와 데이터(쉽게 이해되는 형태)를 동기화하는 능력이 핵심입니다. 이는 캔버스의 개발 용이성으로 상쇄되며, 사용자는 여러 버전을 통해 빠르게 작업을 반복하여 자신의 필요를 충족시키고 전체적으로 시각화를 통해 시청자에게 정보를 신속히 전달하기 위한 충분한 맥락 정보를 제공할 수 있는지 확인할 수 있습니다. 플랫폼으로서, 비즈니스 인텔리전스 맥락에서 디자인 사고와 빠른 반복의 가능성을 진정으로 구현할 수 있게 해 줍니다.
초창기 캔버스 워크패드는 단순히 페이지 모서리에 로고를 부착시키는 것이 아니라, 브랜딩을 대시보드 자체에 통합시킨다는 전제를 기반으로 제작되었습니다. 이러한 접근법을 통해 동영상으로 된 실시간 인포그래픽을 저렴한 개발 비용으로 제작하는 능력과 같은 특정 가능성이 열립니다.
이 대시보드는 캔버스의 기술적 데모에 불과하지만, 시스템 유지 관리자를 위한 개요 대시보드의 역할 또는 잠재적 자전거 사용자가 스테이션에서 무엇을 이용할 수 있는지 한 눈에 파악할 수 있게 해 주는 시민 대상 화면으로도 그 역할을 쉽게 확장시킬 수 있습니다. 두 시나리오 모두에서, 고객은 눈길을 끄는 대시보드를 사용하여 관심 있을 수 있는 주요 메트릭 또는 정보를 신속히 확인할 수 있습니다.
전반적으로, 우리의 작업에서 캔버스 대시보드 애플리케이션의 상당한 잠재력을 발견했습니다. 이와 같은 솔루션은 기존 대시보드 사용 사례의 이용 편이성을 개선시켜 주어, 그 활용 및 사용자 상호작용을 증진시켜 줍니다. 캔버스가 상대적으로 새로운 제품이긴 하지만, 기존 대시보드/BI 소프트웨어의 결함을 보완하고 있습니다. 캔버스를 사용하여 시각화 문제에 관한 고유한 솔루션을 고객과 함께 계속 협력하여 기쁩니다.
1Aginic Pty Ltd는 Bikeshare의 제휴, 승인, 보증 또는 후원을 받지 않습니다.
Ruben Slabbert
Ruben은 Amazon Web Services(AWS), Microsoft Azure, Google Cloud의 엔터프라이즈 데이터 파이프라인을 전문으로 취급하는 클라우드 데이터 엔지니어이자 애플리케이션 개발자입니다. Aginic에 있을 때, 주로 파이프라인 아키텍처에서 중요한 역할을 담당했고, 신뢰할 수 있는 배치 및 실시간 처리를 생산 시스템에서 클라우드에 있는 데이터 레이크 및 창고에 제공하기 위해 여러 다기능 팀을 관리했습니다.
Andrew Li
Andrew는 데이터 과학과 전체 텍스트 검색에 관한 폭 넓은 지식을 보유한 분석 컨설턴트이며, 분석을 통한 성과 개선에 대해 열정을 지니고 있습니다. 기계(바이오메디컬) 공학 학위를 받으며 전문 경력을 쌓기 시작한 그는 보건, 정부, 고위 ASX 인사들을 포함한 다양한 산업 분야의 공공 및 민간 고객들과 상의했습니다.