Nueva integración de Elastic y Amazon S3 Storage Lens: Simplificar la gestión, controlar los costos y reducir el riesgo

A medida que los datos y las aplicaciones aumentan a una tasa exponencial, generan logs, métricas y rastreos a un ritmo acelerado; por lo que el almacenamiento y la gestión se tornan incluso más complejos. La nueva integración de Elastic y Amazon Simple Storage Service (Amazon S3) Storage Lens proporciona a los clientes una visión completa de toda la organización de las métricas de uso y actividad de Amazon S3 junto con sus otros sets de datos de AWS y en las instalaciones.

Los SRE e ingenieros de DevOps ahora pueden usar las poderosas capacidades de búsqueda y analíticas de la plataforma de búsqueda de Elastic (incluidas las capacidades de creación de dashboards, análisis de machine learning integrado y alertas basadas en umbrales) para identificar tendencias y correlacionar sus datos de Amazon S3 Storage Lens con otros indicadores de rendimiento en todo su entorno. Esta información también puede aprovecharse para optimizar los costos de almacenamiento mediante la identificación y migración de objetos a los que se accede con poca frecuencia a un almacenamiento menos costoso.

Analicemos más a fondo la integración de Elastic en S3 Storage Lens y cómo enviar con facilidad las métricas de S3 Storage Lens a Elastic Cloud.

Obtener información clara sobre el uso del almacenamiento

Amazon S3 proporciona almacenamiento flexible y rentable; sin embargo, puede ser desafiante optimizar el uso y la rentabilidad de las cubetas de almacenamiento en constante crecimiento en una organización grande. Con Elastic, los equipos de DevOps e infraestructura pueden ver, agregar y analizar métricas de S3 Storage Lens junto con eventos de seguridad, métricas de aplicaciones y logs del sistema a fin de tomar decisiones informadas sobre la optimización del almacenamiento.

Elastic Observability ofrece visibilidad unificada en todo el ecosistema en el cloud y en las instalaciones para que los usuarios puedan monitorear y reaccionar ante los eventos que se produzcan en cualquier lugar de su entorno. Elastic reúne los logs, las métricas y los rastreos a escala en una sola pila con machine learning para ayudar a detectar problemas de rendimiento y descubrir las causas raíz; antes de que los usuarios se vean afectados.

• Ve las métricas de S3 Storage Lens junto con otros sets de datos de AWS (como Amazon Elastic Compute Cloud [Amazon EC2] y Amazon S3 Glacier) además de otros sets de datos en el cloud y en las instalaciones.
• Usa el modelado de series temporales para detectar anomalías en los datos actuales y prevé tendencias con base en datos históricos.
• Recibe notificaciones si las métricas de almacenamiento de objetos de Amazon S3 superan o caen por debajo de un determinado umbral en un intervalo de tiempo establecido gracias a las alertas de umbral para determinar la sobre- y subutilización del almacenamiento, desde el nivel organizativo hasta la cubeta o cuenta de Amazon S3.
• Para controlar los costos y mantenerlos dentro del presupuesto, identifica los objetos listos para archivar que pueden migrarse a otros almacenamientos de menor costo, como Amazon S3 Glacier o Amazon S3 Glacier Deep Archive.
• Optimiza el rendimiento y la disponibilidad con capacidades amplias en el monitoreo de infraestructura, APM y monitoreo de la experiencia del usuario final, incluido el rastreo distribuido integral, el rastreo de errores, el mapeo de la dependencia del servicio, el tiempo de actividad y el estado de la API.

Los usuarios pueden instalar la integración de Elastic en S3 Storage Lens directamente desde la UI web de Kibana, que contiene alertas prediseñadas y dashboards interactivos que ayudan a las organizaciones a obtener rápidamente el máximo valor de sus datos. Elastic ofrece diferentes opciones de análisis, desde dashboards prediseñados personalizables y dashboards completamente personalizables hasta UI específicas de los casos de uso adaptadas para los flujos de trabajo de los especialistas.

Detectar, investigar y responder a amenazas cambiantes

Como Elastic ofrece un esquema común y un repositorio único, los mismos datos de observabilidad de S3 Storage Lens y otros sets de datos también pueden usarse para la detección y respuesta extendidas (XDR) a fin de reducir el tiempo medio de detección a cero. Elastic Security reúne SIEM y la seguridad de endpoint, lo que permite a las organizaciones ingestar y retener grandes volúmenes de datos de diferentes fuentes, almacenar y buscar datos durante más tiempo, e incrementar la búsqueda de amenazas a través de detecciones y machine learning. Elimina los silos de datos, reduce la fatiga por alertas y prepara la organización para detener amenazas rápido y a escala del cloud.

Almacenar datos, logs y métricas de forma rentable

La mayoría de las organizaciones retienen datos históricos para comprender mejor los patrones y mejorar su estándar de operaciones, pero suelen enfrentarse al desafío de reducir los costos de almacenamiento y mantener la accesibilidad a los datos. Buenas noticias: Elastic permite a las organizaciones retener grandes cantidades de datos históricos en almacenamientos de objetos de bajo costo como Amazon S3 (y mantenerlos completamente activos y buscables). Esto permite a las organizaciones mantener de forma segura sus logs, eventos y métricas de AWS y en las instalaciones con fines de uso, análisis y cumplimiento. Mantén los datos (de cualquier granularidad, por cualquier periodo) y luego escala a medida que aumentan los datos. La gestión y división en niveles de datos se automatiza a través de las capacidades de gestión de ciclo de vida del índice yescalado automático, según el rendimiento de los datos, la resiliencia y los requisitos de retención de la organización.

Primeros pasos con Elastic y Amazon S3 Storage Lens

Este diagrama de arquitectura de referencia es una representación relativamente estándar del envío de varias métricas de cubetas S3 desde las métricas de Cloudwatch hasta Elastic Cloud.

Pasos de implementación:

Ve a Management->Integrations (Gestión->Integraciones) en la UI de Kibana y busca S3 Storage Lens. Haz clic en la integración de AWS S3 Storage Lens para ver más detalles, haz clic en Add AWS S3 Storage Lens (Agregar AWS S3 Storage Lens) y proporciona la configuración adecuada, y luego haz clic en Save integration (Guardar integración).

AWS publica las métricas de AWS S3 Storage Lens en CloudWatch una vez cada 24 horas. Los agentes de Elastic recopilarán los datos a diario, de forma predeterminada, o con menos frecuencia según la configuración del agente.

Explora las métricas recopiladas para varios casos de uso personalizados con Kibana Lens.

Resumen

¿Estás listo para reducir la complejidad operativa y analizar los datos del almacén de objetos Amazon S3 con otros logs, métricas y rastreos, todo desde un único panel? Esta integración optimizada en AWS es solo un ejemplo de cómo Elastic está en constante evolución para ofrecer a los clientes una experiencia sin complicaciones, que les permita operar donde quieran y como quieran.

Para obtener más información sobre otras integraciones de AWS, visita la biblioteca de integraciones de Elastic. Para dar los primeros pasos en el uso de Elastic en AWS, visita el AWS Marketplace (Elastic) o elastic.co.