Elastic 9.5: 열 형식, VectorDB 인덱스 모드 & 자동 보정, AI 기반 알림 분류

Elastic 9.5는 모든 사용자가 더 빠르게 작업하고, 더 큰 확신을 갖고 운영하며, 더 적은 마찰로 데이터에서 더 많은 가치를 얻을 수 있도록 설계된 발전 사항을 제공합니다. 이번 릴리스에서는 데이터 저장 및 쿼리부터 AI 에이전트의 구축 및 거버넌스, Kibana 대시보드 개선에 이르기까지 Elasticsearch Platform의 여러 측면을 혁신합니다. 자세한 내용을 계속 읽어보세요.

Elastic은 Columnar Mode(열 형식 모드)의 기술 미리보기를 발표하게 되어 기쁩니다. 이 모드는 선택적으로 사용할 수 있는 인덱싱 모드로, 기본적으로 역 인덱스를 생성하지 않고 각 필드를 열 저장소에 한 번만 저장합니다. 이를 통해 저장 공간 사용량을 크게 줄이고, 더 빠른 인덱싱과 분석 쿼리, 더 긴 데이터 보존을 위한 기반을 마련합니다. 이 모드는 API, 대시보드 또는 통합을 전혀 변경하지 않고 기존 인덱스 모드와 함께 제공됩니다. 이러한 기반을 바탕으로, 열 형식 로그는 로그 데이터용으로 특별히 설계된 최초의 특화 프로필입니다. 이 프로필은 message 필드에만 단일 역 인덱스를 유지하므로 전체 텍스트 검색 속도는 유지하면서, 그 외의 모든 데이터는 완전한 열 형식으로 저장합니다. 그 결과, 팀이 의존하는 검색 환경을 변경하지 않고도 현재 로그에 필요한 저장 공간을 크게 줄일 수 있습니다. 두 모드 모두 선택적으로 사용할 수 있으며, 기존 인덱스는 변경되지 않습니다.

검색 증강 생성(RAG) 애플리케이션과 에이전트형 AI를 위한 검색 기능을 구축하는 팀은 일반적으로 인덱싱 시점에 수많은 구성 결정을 내려야 하며, 이러한 작업은 프로덕션 규모에서 더욱 늘어납니다. Elastic은 설정과 인덱스 튜닝의 부담을 덜어, 벡터 검색이 즉시 사용 가능하도록 이러한 기능을 도입합니다.

VectorDB 인덱스 모드는 단일 설정으로 고성능 벡터 검색을 제공합니다. 수동 구성은 필요하지 않습니다. 이 모드는 벡터에 맞게 이미 최적화된 기본값을 적용하고, 양자화, 병합 정책 및 캐시 로딩을 대신 조정하므로 벡터 검색을 더 간편하게 구축하고 즉시 사용할 수 있습니다.

DiskBBQ 벡터 검색의 자동 보정은 인덱스의 벡터를 통계적으로 분석하여 양자화 깊이, 사전 조건화 및 오버샘플링을 자동으로 구성합니다. 일반적으로 전문 지식과 실험이 필요한 튜닝이 이제 Elastic에서 개발한 고유 알고리즘을 사용해 자동으로 이루어집니다.

멀티모달 시맨틱 검색은 개발자가 이미지 검색을 더 쉽게 수행할 수 있게 합니다. 일반적으로 이미지를 검색하려면 임베딩을 설정하고, 이미지를 수집 및 임베딩하며, 쿼리도 임베딩해야 합니다. 새로운 시맨틱 필드는 이러한 단계를 간소화하므로 사용자는 semantic_text로 텍스트를 검색하는 것만큼 쉽게 이미지를 검색할 수 있습니다.

Elastic 9.5는 개발자가 프로덕션용 AI 에이전트를 구축할 때 더 높은 가시성과 제어 수준을 제공합니다. 현재 기술 미리보기로 제공되는 Agent Observability and Monitoring(에이전트 통합 가시성 및 모니터링)은 Elasticsearch에서 대규모 언어 모델(LLM) 호출, 도구 호출 및 추론 단계를 OpenTelemetry(OTel) 형식으로 추적합니다. 또한 사람이 개입하는 승인 기능은 민감한 작업에 승인 절차를 적용하고, 각 결정을 감사 추적에 기록합니다. 개발자는 대시보드를 생성하는 워크플로우처럼 필요한 기능을 설명하는 것만으로 채팅에서 직접 스킬, 쿼리 및 워크플로우를 생성할 수도 있습니다. 그러면 Agent Builder가 대화에서 벗어날 필요 없이 구성 초안을 작성하고, 이름을 지정하며, 저장하므로 설정 시간이 줄고 기본 구성 모델을 이해해야 할 필요도 줄어듭니다.

Elastic 9.5에서는 대시보드 및 시각화 API가 정식 출시되어, 플랫폼 팀이 코드로 대시보드와 시각화를 생성, 업데이트 및 관리할 수 있는 안정적이고 공식 지원되는 방법을 제공합니다. 또한 채팅 내 대시보드 기능도 정식 출시되었으며, 채팅 품질이 개선되고 컨트롤 생성 기능이 추가되어 더 빠른 속도를 제공합니다. 이러한 발전은 인사이트 도출 시간을 크게 줄이고 사용자가 대시보드를 수동으로 구축할 필요를 없애, 사고 조사를 가속화합니다. 사고 조사에서는 명확한 시각화를 빠르게 확보할수록 해결 시간이 직접적으로 단축됩니다. 속도가 가장 중요한 사용 사례에서는 Fast Mode UI를 켜면 Dashboards 및 Discover의 STATS 기반 쿼리가 전체 데이터를 스캔하는 대신 샘플링된 데이터 세트에서 실행되고, 이렇게 얻은 결과는 실제 규모에 맞게 추정됩니다. 이때 정확도는 정확한 결과에 매우 가깝게 유지됩니다.

Elastic 9.5의 Elastic Workflows를 사용하면 자동화를 더 빠르게 구축할 수 있고, 실행 전에 워크플로우가 수행할 작업을 정확하게 확인할 수 있습니다. 자연어 작성 기능은 이제 정식 출시되었으며 기본적으로 활성화됩니다. 따라서 팀은 원하는 자동화를 일상적인 언어로 설명하기만 하면 이를 자동으로 생성할 수 있습니다. 버전 관리 기능이 기본 제공되어 모든 변경 사항을 추적하고, 팀은 임의의 두 버전을 비교하고 클릭 한 번으로 정상적으로 작동하는 버전으로 되돌릴 수 있습니다. 따라서 누가 무엇을 언제 변경했는지 항상 기록으로 남습니다. 시각 모드에서는 YAML과 함께 워크플로우를 그래프로 표시하여 트리거, 단계, 분기 및 로직을 한눈에 확인할 수 있습니다. 드래그 앤 드롭 편집 기능도 곧 제공될 예정입니다. 또한 사람이 개입하는 승인 기능은 이제 Kibana 외부로도 확장됩니다. 워크플로우에서 사람의 승인이나 의견이 필요하면 워크플로우가 일시 중지되고 Slack과 같은 도구로 요청을 전송합니다. 일상적인 작업은 자동화가 처리하고, 팀은 판단이 필요한 결정에 집중합니다. 이러한 기능은 Elasticsearch Platform 기능으로, Search, Observability, Security 전반에서 사용할 수 있습니다.

Elastic 9.5는 통합 모니터링을 더 빠르게 도입하고 더 쉽게 확장하도록 설계된 통합 가시성 개선 사항을 제공합니다. Prometheus에서 마이그레이션하거나, Kubernetes를 온보딩하거나, 클라우드 및 SaaS 데이터를 연결하는 경우에도 더 적은 운영 오버헤드로 쉽게 시작할 수 있습니다. 개선된 SRE 워크플로우, 관리형 통합 및 AI 활용 준비가 된 컨텍스트는 팀이 탐지에서 진단으로 더 빠르게 전환하도록 지원합니다.

Elastic 9.5에서는 최고 수준의 메트릭으로 통합 가시성을 통합하는 작업이 그 어느 때보다 쉬워집니다. Prometheus remote-write 엔드포인트와 ES|QL에 직접 내장된 네이티브 PromQL 지원을 통해, 팀은 최소한의 마이그레이션 작업만으로 기존 Grafana 대시보드와 쿼리가 Elastic을 대상으로 하도록 설정할 수 있습니다. 수년간 구축한 쿼리 언어와 워크플로우를 포기할 필요가 없습니다. 새로운 마이그레이션 도구도 이제 정식 출시되어 Grafana 및 Datadog 대시보드와 알림을 Elastic으로 자동으로 가져올 수 있습니다. 이를 통해 사용자는 처음부터 다시 시작하지 않고도 Elasticsearch의 저장 효율성(Prometheus 대비 최대 2.5배 향상)과 더 빠른 쿼리 성능(Prometheus 대비 최대 30배 향상)을 더 쉽게 활용할 수 있습니다. 9.5 버전의 새 코덱(ES95)은 열 형식 메트릭으로 이미 크게 개선된 Elasticsearch의 효율성을 바탕으로 저장 비용을 약 20% 더 낮춰 샘플당 약 3바이트까지 줄입니다. 따라서 사용자는 비용이 크게 증가하지 않으면서 더 많은 서비스를 모니터링하고 메트릭을 더 오래 보존할 수 있습니다. 코드 기반의 대시보드 및 채팅 내 대시보드 기능과 함께 이러한 업데이트를 사용하면, 사용자는 단일 플랫폼에서 메트릭, 로그 및 추적을 통합하고 세 데이터 전반의 상관관계를 분석하여 더 빠르게 근본 원인을 분석할 수 있습니다. 이때 이미 사용 중인 워크플로우와 표준을 그대로 유지할 수 있습니다.

Kubernetes 및 AWS를 위한 Elastic의 최신 즉시 사용 가능한 통합(기술 미리보기)을 사용하면 몇 분 안에 아무것도 없는 상태에서 완전한 모니터링 환경으로 전환할 수 있습니다. Kubernetes 모니터링은 이제 정식 출시되었으며, 사전 구성된 대시보드, 알림, SLO 및 머신 러닝 작업을 모두 포함합니다. 또한 Agent Skills와 Observability MCP 앱을 사용하면 SRE가 이미 작업하고 있는 모든 MCP 지원 AI 도구에서 상태 모니터링, 이상 징후 탐지, 사고 조사 및 문제 해결을 수행할 수 있습니다. 이러한 포괄적인 통합 패키지를 통해 팀은 연결하는 순간부터 메트릭에서 즉각적인 가치를 얻을 수 있습니다.

Elastic 관리형 통합은 클라우드 데이터 소스 수집에 드는 운영 부담을 없애 줍니다. 이제 사용자는 몇 번의 클릭만으로 온프레미스 에이전트를 배포하거나 유지 관리하지 않고도 데이터를 수집하고 바로 가치를 얻을 수 있습니다. ‘버튼 하나로 쉽게 해결한다’는 취지에 맞춰 Elastic은 두 설정 흐름이 기본적으로 권장 OTel 경로를 사용하도록 Kubernetes 및 AWS 온보딩도 간소화했습니다. 이에 따라 플랫폼 엔지니어와 SRE는 여러 화면을 오가거나 여러 선택을 할 필요 없이 빠르게 시작하고 실행할 수 있습니다.

Elastic 9.5는 서비스 인시던트를 조사하는 SRE와 개발자의 업무 편의성을 크게 향상합니다. 알림 및 대시보드의 종속성 분석은 더 빠른 분류 경로를 제공하며, 알림 또는 맞춤 대시보드에서 서비스 맵을 직접 표시하여 컨텍스트 전환을 없앱니다. APM 서비스 상태 뷰에서 이상 징후를 더 잘 표시해 ML 기반 성능 저하 신호를 더 쉽게 파악할 수 있습니다.

LLM 통합 가시성을 위한 Elastic의 새로운 Anthropic 통합은 Anthropic의 Admin API를 폴링하여 Claude API 플랫폼의 조직 전체 텔레메트리, 토큰 사용량, 비용 및 속도 제한 구성을 Elasticsearch로 수집합니다. 사전 구축된 Kibana 대시보드와 즉시 사용 가능한 알림도 함께 제공합니다.

Elastic Security 9.5는 분석가가 의사 결정을 내리는 데 더 많은 시간을 쓰고 분류해야 할 알림은 줄일 수 있게 합니다. 더 강력한 엔드포인트 보호 기능은 알림이 발생하기도 전에 더 많은 위협을 차단합니다. Attack Discovery는 분석가가 작업하는 것과 동일한 방식으로 발생한 알림을 처리하여 실제 공격을 밝혀내므로 팀은 원시 알림에 묻힌 채 하루를 시작하지 않아도 됩니다. 또한 그 모든 과정의 기반에서 자동화가 실행되어 이러한 조사를 시작하고 기계적인 작업을 처리하므로, 의사 결정은 분석가가 담당합니다.

Alert Zero(알림 제로)는 SOC의 ‘받은 편지함 제로’에 해당하며, 에이전트와 분석가가 함께 알림 대기열을 실제로 중요한 항목만 남도록 처리한 상태를 의미합니다. 이는 팀이 지향하는 목표입니다. 알림이 전혀 없다는 뜻도 아니고, 분석가를 대체한다는 뜻도 아닙니다. Attack Discovery는 SOC를 알림 제로에 더 가깝게 이끌어 주는 기능입니다. 이제 Attack Discovery는 분석가처럼 원시 이벤트를 위협 헌팅하고, 엔터티 위험을 확인하며, 처음 발생한 알림을 넘어 추가 근거를 확인한 후에야 어떤 항목을 공격으로 판단합니다. 따라서 팀은 수많은 원시 알림이 가득한 화면 대신 검증된 공격의 간결한 목록을 확인할 수 있습니다. 규칙이 놓친 항목을 발견하면 그 공백을 메울 ES|QL 규칙의 초안을 작성합니다. 이 초안은 저장되기 전에 분석가의 승인을 받아야 합니다.

이제 모든 실행은 수동으로 시작하든, 정기적으로 실행되도록 설정하든, Elastic Workflow에서 트리거하든 동일한 조사를 거칩니다. 별도의 알림 분석 워크플로우는 정탐 또는 오탐으로 알림을 분류하여 다른 측면에서 노이즈를 처리합니다. 따라서 분석가는 신뢰도가 낮은 알림에 몇 시간씩 허비하지 않으며, Attack Discovery에는 더 정제된 조사 대상이 남습니다.

Elastic Security 9.5의 새로운 엔드포인트 기능은 보호를 강화하고 더 많은 기기로 적용 범위를 확장합니다. 공격자는 커널에 도달하기 위해 이미 서명되어 신뢰할 수 있는 상태의 취약한 드라이버를 반입합니다. Elastic의 위협 연구 팀은 이러한 드라이버를 위해 VirusTotal, loldrivers.io 및 Microsoft 차단 목록과 같은 공개 정보 출처를 모니터링합니다. 상시 실행 프로세스를 통해 Elastic은 새 드라이버가 공개될 때마다 YARA 규칙을 자동으로 생성하고 즉시 배포하므로, 릴리스 주기를 기다리지 않고 보호 기능이 변화에 발맞춰 유지됩니다. AI 기반 공격은 1분 이내에 한 시스템에서 다음 시스템으로 이동할 수 있어, 어떤 대응 워크플로우가 반응할 수 있는 속도보다 빠릅니다. 따라서 신속한 대응이 중요합니다. Windows on ARM은 이제 Elastic Defend에서 완전히 지원되어 Surface 및 기타 ARM 기반 노트북도 완전한 보호 범위에 포함됩니다. 또한 Agent Builder의 새로운 엔드포인트 문제 해결 스킬은 정책 및 성능 문제를 표시하므로, 팀은 엔드포인트 문제를 해결하는 데 소요하는 시간을 줄일 수 있습니다.

Elastic Workflows는 SOC에 네이티브 자동화를 제공하므로, 별도의 SOAR 솔루션을 구매, 통합 또는 유지 관리하지 않고도 탐지 결과가 보강, 케이스 생성 및 대응을 자동으로 트리거할 수 있습니다. 사람은 판단이 필요한 의사 결정에 계속 집중합니다.

스택 릴리스 사이에도 Elastic은 성과에 안주하지 않았습니다. Elastic 9.4와 9.5 사이의 기간도 결코 조용하지 않았습니다. 혹시 놓쳤을지 모르는 주요 발표를 정리했습니다. 

• Jina AI 업데이트: 

  • jina-embeddings-v5-omni는 네이티브 이미지, 오디오 및 비디오 지원으로 v5-text 모델 제품군을 확장합니다. 재인덱싱 없이 단일 임베딩 공간에서 네 가지 모달리티 전체에 걸쳐 거의 100개 언어를 지원합니다.

  • 엄격한 데이터 상주 요구 사항이 있는 팀을 위해 Jina On-Prem도 이제 제공됩니다. 이 솔루션은 전체 Jina AI 모델 라인업(예: 리더, 임베딩 및 재순위 지정 등)을 패키징하여 자체 하드웨어에서 전적으로 실행할 수 있도록 하며, 배포 후 외부로 호출을 전혀 수행하지 않는 완전한 에어 갭 환경에서 실행됩니다. 비용은 토큰별로 과금되지 않고 고정적이며 예측 가능합니다. 임베딩 모델은 일반 하드웨어에서 훨씬 큰 모델에 버금가는 정확도로 단일 임베딩 공간에서 약 100개 언어에 걸쳐 텍스트, 이미지, 오디오 및 비디오를 검색합니다.

  • Elastic은 jina-reranker-v3를 바로 대체할 수 있는 후속 모델인 jina-reranker-v3.5를 출시했습니다. jina-reranker-v3.5는 매개변수가 6억 개에 불과하지만 판례에서 이전 모델보다 50% 이상 뛰어난 성능을 보입니다. 의료 및 금융 재순위 지정에서도 추가 성능 향상을 제공하며, 긴 문서에서는 최대 56% 더 빠르게 실행됩니다. 널리 사용되는 오픈 소스 재순위 지정 모델이자 크기가 7배 이상인 Qwen3-Reranker-4B와 비교하면, 일반 검색과 한 가지 구조화된 데이터 벤치마크에서는 확실히 앞서며, 다른 모든 영역에서도 남은 격차 대부분을 좁힙니다.

• 원격 재인덱싱 기능은 이제 Elastic Cloud Serverless에서 정식 출시되어, 팀은 리전에 관계없이 모든 Elastic Cloud Hosted 배포 또는 Serverless 프로젝트의 인덱스를 Serverless 환경으로 직접 원활하게 마이그레이션할 수 있습니다. 이 작업은 Serverless 인프라의 특성을 고려해 설계되었습니다. 확장 이벤트나 소프트웨어 배포로 인해 노드가 종료되어도 작업을 자동으로 재개하므로, 수동 개입 없이 마이그레이션이 계속 진행됩니다. 

Elastic 9.5에는 조직이 데이터에서 최대한의 가치를 얻도록 지원하는 다양한 새 기능과 개선된 기능이 대거 포함되어 있습니다.

Elastic 9.5는 이제 Elastic Cloud에서 이용 가능합니다. Elastic Cloud는 이번 최신 릴리스의 모든 새로운 기능을 포함하고 있는 호스팅형 Elasticsearch 서비스입니다.