Elastic Cloud 데이터 수집

Elastic Cloud에 데이터를 제공할 때는 다양한 옵션을 사용하여 데이터를 수집할 수 있습니다. Elastic은 이 작업을 더 쉽게 할 수 있도록 일련의 리소스를 모아놓았습니다. 동영상에서 설명서에 이르기까지, 아래에서 가장 빠르게 시작할 수 있는 다양한 방법을 확인하실 수 있습니다.

Video thumbnail

데이터 수집 방법

지금쯤이면 이미 배포를 완료하고 다음으로 무엇을 해야 하는지 궁금하실 것입니다. Elasticsearch에 추가하고 싶은 데이터가 있으실 텐데, 이 작업을 수집이라고 합니다. 그럼 이제 데이터 수집 방법 몇 가지를 살펴보겠습니다.

Enterprise Search웹사이트, 애플리케이션, 워크플레이스 콘텐츠 등에서 정보 검색

Observability클라우드 네이티브 및 분산 시스템 전체에서 모니터링 및 인사이트 확보

SecuritySIEM, 엔드포인트 보안 및 클라우드 보안을 통합하여 위협 탐지 및 대응

Logs
애플리케이션 서버, 웹 팜, IoT 장치 또는 사용자에 의해 트리거된 작업의 기록 및 이벤트

애플리케이션 추적
프로그램 실행에 대한 정보를 기록하는 특수 로깅

메트릭
추세 모니터링, 경보 및 분석을 위한 애플리케이션 또는 시스템의 시점 단위 측정

보안 정보 및 이벤트 관리(SIEM)
클라우드, 애플리케이션, 네트워크 장치, 호스트, 서버 등의 보안 데이터를 통해 탐지 및 대응 지원

엔드포인트 위협 탐지 및 대응(EDR)
호스트 활동 데이터를 통해 위협을 식별하고 대응 시간 단축

파일 및 카탈로그: 미리 빌드된 검색 솔루션
정확도를 조정할 수 있는 제어 기능을 통해 사용하기 쉽고 큐레이션된 검색 경험

파일 및 카탈로그: 사용자 정의 검색 솔루션
Kibana를 통한 파일 업로드뿐만 아니라 Elasticsearch API 및 클라이언트를 활용한 맞춤형 데이터 저장소 및 검색 경험

Logs
애플리케이션 서버, 웹 팜, IoT 장치 또는 사용자에 의해 트리거된 작업의 기록 및 이벤트

애플리케이션 추적
프로그램 실행에 대한 정보를 기록하는 특수 로깅

메트릭
추세 모니터링, 경보 및 분석을 위한 애플리케이션 또는 시스템의 시점 단위 측정

보안 정보 및 이벤트 관리(SIEM)
클라우드, 애플리케이션, 네트워크 장치, 호스트, 서버 등의 보안 데이터를 통해 탐지 및 대응 지원

엔드포인트 위협 탐지 및 대응(EDR)
호스트 활동 데이터를 통해 위협을 식별하고 대응 시간 단축

파일 및 카탈로그: 미리 빌드된 검색 솔루션
정확도를 조정할 수 있는 제어 기능을 통해 사용하기 쉽고 큐레이션된 검색 경험

파일 및 카탈로그: 사용자 정의 검색 솔루션
Kibana를 통한 파일 업로드뿐만 아니라 Elasticsearch API 및 클라이언트를 활용한 맞춤형 데이터 저장소 및 검색 경험

Enterprise Search웹사이트, 애플리케이션, 워크플레이스 콘텐츠 등에서 정보 검색

Observability클라우드 네이티브 및 분산 시스템 전체에서 모니터링 및 인사이트 확보

SecuritySIEM, 엔드포인트 보안 및 클라우드 보안을 통합하여 위협 탐지 및 대응

원하는 통합 기능을 찾을 수 없으신가요? Elastic Beats를 이용해 원하는 방식으로 작업하세요!

Beats(예: Filebeat, Metricbeat 등)와 Elastic Agent가 어떻게 다른지 궁금하신가요? Elastic 설명서를 확인해 보세요.

수집, 시각화 및 분석

Elastic Cloud의 데이터 수집은 쉽습니다. 보다 빠른 분석을 위해 강력한 시각화를 생성할 수 있도록 데이터를 신속하게 수집하는 방법을 배우세요.

  • "en": "Elastic Agent", 
"cn": "Elastic 代理"

    Elastic Agent

    Elastic Agent는 로그, 메트릭, APM 추적, 합성 및 시스템 보안을 위한 데이터 수집 프로세스를 단순화하는 단일 통합 에이전트입니다. Elastic Agent를 사용하면 Kibana를 통해 에코시스템 전반에서 신속하게 배포하고 중앙에서 에이전트를 관리할 수 있습니다.

  • 웹 크롤러

    Elastic 웹 크롤러는 공개적으로 사용 가능한 웹 콘텐츠를 수집하여 웹사이트에서 즉시 검색 가능하도록 제공하는, 간편하지만 매우 강력한 도구입니다. 웹 크롤러는 콘텐츠를 가져와 추출한 후 웹 페이지를 자동으로 색인되는 검색 문서로 변환합니다. URL만 제공하시면 나머지는 웹 크롤러가 모두 처리합니다.

  • 파일 업로드

    빠른 데이터 탐색을 위해 Kibana에 직접 파일을 업로드 할 수 있다는 것을 알고 계셨나요? 로그 파일 또는 구분된 CSV, TSV 또는 JSON 파일이 있는 경우, 해당 로그 파일을 업로드하고, 해당 필드 및 메트릭을 보고, 선택적으로 Elasticsearch로 가져올 수 있습니다.

  • 콘텐츠 소스 커넥터

    워크플레이스 검색 경험의 경우, 미리 빌드된 통합을 사용하여 조직 전체의 모든 콘텐츠 플랫폼을 단일 뷰로 통합하고, 자신에게 가장 중요한 콘텐츠에 대한 액세스 권한을 가지도록 사용자와 그룹을 설정하고, 그룹별로 데이터 소스의 우선순위를 지정하여 정확도를 조정하세요.

  • 언어 클라이언트: 미리 빌드된 검색 솔루션

    Elastic Enterprise Search는 HTTP API를 제공합니다. 개발자는 이러한 API를 사용하여 Enterprise Search를 애플리케이션 및 서비스와 통합합니다. 그러나 많은 개발자들은 자신이 선택한 프로그래밍 언어보다 자연스럽게 느껴지는 API를 선호합니다.

  • "en": "Dashboard and spyglass", 
"cn": "仪表板和放大镜", 
"de": "Dashboard und Lupe", 
"es": "Dashboard y lupa", 
"fr": "Tableau de bord et loupe", 
"jp": "ダッシュボードと望遠鏡", 
"kr": "대시보드와 망원경", 
"pt": "Dashboard e lupa"

    언어 클라이언트: 사용자 정의 검색 솔루션

    Elasticsearch와 동기화하기 위해 클라이언트 애플리케이션 데이터, ECS(Elastic Common Schema) 형식의 로그 데이터, 서버 모니터링 메트릭 또는 관계형 데이터베이스 레코드가 필요한 지 여부와 상관없이, Elastic의 사용자 정의 검색 솔루션을 통해 맞춤화된 환경을 얻을 수 있습니다.

Elastic Cloud를 나만의 방식으로

Microsoft Azure, Google Cloud 또는 AWS에서 간소화된 네이티브 통합을 통해 Elastic Cloud로 데이터를 보낼 수 있습니다.

  • 기본적으로 Elastic Serverless Forwarder를 사용하여 Amazon S3에 저장된 로그를 Elastic으로 수집하여 중앙 집중식 분석을 위한 다른 로그 및 메트릭과 함께 볼 수 있습니다. AWS FireLens의 네이티브 통합으로 Amazon ECS에서 기본적으로 컨테이너 로그를 수집하여 컨테이너 및 저장 공간 로그를 수집하고 보다 빠르게 분석하세요.

  • 네이티브 통합을 통해 Microsoft Azure 포털에서 직접 로그 수집을 자동화하세요. 로그를 스트리밍할 때 가상 머신을 손쉽게 모니터링하고 Microsoft Azure Spring Cloud에서 로그 및 메트릭을 원활하게 수집하여 Spring Boot Application 전반에 걸쳐 가시성을 통합할 수 있습니다.

  • Google Dataflow를 통해 Google Pub/Sub, Google Cloud Storage(GCS), BigQuery의 이벤트와 로그를 Elastic으로 스트리밍하여 아키텍처를 간소화하세요. Google Cloud Firestore를 위한 Elastic App Search 확장판을 활용하여 모바일 및 웹 기반 애플리케이션에 검색 기능을 추가하세요.