Ingeniería

Migración de Splunk al Elastic Stack: migración de datos

Cuando se lanzó Splunk por primera vez hace casi 20 años, ayudó a muchas organizaciones a aprovechar el poder de los logs para obtener información comercial con precios basados en el volumen de datos ingestados por día. Durante las últimas dos décadas, el volumen, la variedad y la velocidad de los datos generados por sistemas y usuarios han aumentado exponencialmente. Las exigencias de negocios y operaciones han superado rápidamente el cumplimiento y el reporte básico. Las metodologías de desarrollo y los requisitos de monitoreo evolucionaron con rapidez, y el aumento en las exigencias de Machine Learning para proporcionar información sobre los datos requiere de la capacidad de búsqueda en tiempo real. 

Las organizaciones están llegando a los límites de datos (también conocidos como "Splunk pico")

Hoy en día, las organizaciones deben poder buscar en petabytes de datos en milisegundos para obtener información en tiempo real sobre las operaciones, impulsar sistemas de Machine Learning y escalar a la velocidad de los negocios. El sistema de precios basado en la ingesta de datos ha hecho que el costo de Splunk sea prohibitivo. Esto sumado a los desafíos de escalar la tecnología ha hecho que muchas organizaciones lleguen a lo que llaman el "Splunk pico", en el que ya no pueden permitirse agregar más datos a sus sistemas. Estas organizaciones suelen eliminar datos valiosos para casos de uso de seguridad y observabilidad. Para complicar aún más las cosas, las aplicaciones prémium de Splunk tienen un modelo de precios diferente, y algunas se basan en plataformas y arquitecturas completamente diferentes, lo que dificulta predecir costos y administrar la infraestructura de estas herramientas dispares. El reciente desuso de la licencia perpetua de Splunk también ha impulsado a muchas empresas a buscar una solución nueva.

Elastic se creó con la búsqueda como caso de uso inicial, por lo que está diseñado para la velocidad y escalabilidad desde el comienzo. Esa velocidad y esa escalabilidad también impulsan una familia de ofertas de soluciones cada vez más amplia, todas basadas en un solo stack. Con un modelo de licencias open source flexible y precios justos basados en recursos para las ofertas prémium, cada vez más organizaciones eligen migrar de Splunk a Elastic.

Una característica clave de Elastic es su modelo de licencias open source que permite a los usuarios nuevos comenzar sin tener que comprar una licencia. La licencia es bastante permisiva e incluso brinda a los desarrolladores la posibilidad de integrar Elasticsearch en su propia oferta. Cuando los desarrolladores están listos para aprovechar características prémium como Machine Learning, APM, replicación entre clusters, seguridad de endpoint o herramientas de orquestación, simplemente deben actualizar su licencia. No es necesario desplegar más herramientas, arquitecturas separadas o hardware adicional. El modelo open source también ayuda manteniendo bajo control los costos asociados con la administración de varios entornos para desarrollo, organización y producción.

Migración de datos de Splunk a Elastic en cuatro pasos

Por sus ventajas únicas sobre Splunk, muchas organizaciones están realizando el cambio a Elastic. Muchas de estas organizaciones nos solicitaron mejores prácticas para completar la migración. Aunque nunca hay un botón fácil para migrar de una plataforma de datos a otra, sí hay algunas técnicas simples que las organizaciones pueden seguir.

Fase 1: identificación de fuentes de datos que no se ingestan en Splunk

Un primer paso fácil es revisar las fuentes de datos que no se incorporaron en Splunk debido a limitaciones de costo (licencias) o técnicas. Estas suelen ser fuentes de datos de alto volumen como DNS, DHCP, endpoint y logs de aplicaciones. Comenzar a ingestar estas fuentes de datos previamente inexploradas en Elastic permite a la organización crear casos de uso nuevos y también dar los primeros pasos con el Elastic Stack. Y puedes comenzar rápidamente descargando la distribución Basic gratuita del Elastic Stack o activando una prueba gratuita de Elasticsearch Service en Elastic Cloud.

Fase 2: inventario de fuentes de datos para migrar de Splunk a Elastic

Para planificar adecuadamente una migración a Elastic, es importante tener un inventario de las fuentes de datos que actualmente se ingestan en Splunk. Una forma sencilla de hacerlo es a través de una búsqueda SPL:

| eventcount summarize=false index=* index=_* 
| dedup index
| fields index
| map maxsearches=100 search="|metadata type=sourcetypes index=\"$index$\"
| eval index=\"$index$\""
| fields index sourcetype

Una vez que ejecutas la búsqueda en la aplicación Splunk Search, tienes la opción de exportar la lista de fuentes de datos en varios formatos.

Fase 3: migración de flujos de datos existentes de Splunk a Elastic

Beats es nuestra familia de agentes de datos que se puede usar para enviar datos de miles de sistemas a Elastic. Sin embargo, es posible que muchos usuarios de Splunk ya tengan desplegado Universal Forwarder de Splunk en los sistemas. Puedes bifurcar los datos al Elastic Stack usando Splunk Universal Forwarder cuando comienzas con la migración. Desafortunadamente, Splunk impone limitaciones técnicas y de licencias a la manera en la que puedes enviar datos a sistemas de terceros con su Universal Forwarder, por lo que es una buena idea revisar la documentación y la licencia para conocer el mejor método. Con el tiempo deberías reemplazar Universal Forwarder con módulos de Beats para mayor flexibilidad, seguridad y confiabilidad. El equipo Consultoría de Elastic tiene una vasta experiencia en trabajar con fuentes de datos difíciles y personalizadas, y puede ayudarte con el proceso de migración.

Fase 4: migración de datos antiguos de Splunk a Elastic

Aunque la mayoría de las organizaciones querrán comenzar con datos recientes, suele haber casos de uso que requieren la migración de datos antiguos en Splunk a Elastic. Existen varios métodos para hacerlo según el volumen de datos. El método más sencillo es exportar los datos desde la interfaz de Splunk, siguiendo la documentación de Splunk

Exporta sets de datos más pequeños a través de CSV o JSON para importarlos a Elasticsearch.

También puedes usar la API de Splunk para exportar datos o puedes conectarte a través de ODBC. El enfoque que uses dependerá del caso de uso, volumen de datos y tipo de datos con los que trabajes.

Buenas migraciones

Si bien estos cuatro pasos ayudarán a tu organización a planificar y migrar datos de Splunk a Elastic, también necesitarás capacitar a tu equipo. Nuestro curso de capacitación Kibana for Splunk SPL Users (Kibana para usuarios de Splunk SPL) está diseñado para ayudar a tu equipo con la transición. También ofrecemos servicios de consultoría para ayudarte con el proceso de migración. Si deseas ver cómo otras empresas realizaron con éxito el cambio de Splunk a Elastic para un mejor retorno de la inversión, mayor velocidad y escalabilidad mejorada, echa un vistazo a esta historia de usuario de la empresa de transporte compartido Lyft. Mientras, puedes leer más en nuestra página de alternativa a Splunk y comunicarte con nosotros si tienes preguntas específicas.