Box: Despliegue del Elastic Stack para lograr observabilidad: un microservicio a la vez

En los últimos años, el equipo de ingeniería de Box estaba cada vez más preocupado de que su backend heredado para reportes no estaba escalando. Y a medida que el roadmap de Box crecía, el equipo de Observabilidad estaba interesado en adoptar una solución más confiable y rentable para la aplicación y el logging operativo que lo que proporcionaba Splunk.

Estos fueron procesos de misión crítica que cobraron mayor importancia, especialmente cuando Box continuó en su camino de transformar una infraestructura monolítica en cientos de microservicios para permitirle crecer, innovar y ofrecer nuevas características orientadas al cliente.

Debido a que la solución de logging heredada de Box tenía un precio basado en la cantidad de datos ingestados, a veces Box tenía que recortar los proyectos de logging para limitar los costos o los ingenieros de Box decidían no registrar eventos de microservicios recién desplegados.

Esa era una realidad en ese momento y era contraria a la misión de Box de transformarse rápidamente en una plataforma líder de administración de contenido en la nube. Esta transformación exigió que Box desglosara su monolito en microservicios, una dirección que requiere un logging más completo e integral, no menos.

Además, el uso de Box de MySQL para reportes empresariales tuvo sus propios problemas. Entre ellos se encontraba la incapacidad de representar datos de logs de uso para grandes empresas, como cuando se abrían archivos, se movían a una carpeta diferente o incluso se compartían, debido a la enorme cantidad de eventos que se generaban.

Entonces, a partir de 2015, después de examinar el panorama competitivo de precios, la capacidad de expansión, el soporte y la seguridad, Box eligió Elastic.

Aprovechando el Elastic Stack, Box ha adoptado un enfoque de observabilidad escalable y preparado para el futuro con un modelo de precios basado en la cantidad de memoria gestionada en lugar de la ingesta de datos. Esta transición a Elastic, no solo fortalece las capacidades de reportes de Box y reduce drásticamente los costos, sino también captura logs desde los microsistemas de Box para comprender el rendimiento y el comportamiento. Estos logs también están disponibles en cualquier momento.

El caso de uso de reporte fue el punto de entrada para Elastic a Box. Ese éxito de reemplazar MySQL para los reportes por Elastic generó confianza y fiabilidad en Elastic. Estos fueron los principales factores que llevaron a Box a comenzar a reemplazar su solución de logging por Elastic, un nuevo microservicio a la vez.

Aun así, un nuevo sistema de reportes y logging debe generar la aceptación de los ingenieros o enfrentarse a posibles fallas o una lenta adopción. Con la elección de Box del Elastic Stack, los ingenieros ahora están más motivados que nunca para ejecutar reportes a escala y programar logs para microservicios existentes o nuevos: todo ello posiciona a Box para tener aún más éxito.

Entretanto, el viaje inicial de Box comenzó con unos pocos terabytes de almacenamiento y un puñado de desarrolladores en el equipo de Almacenamiento que desarrollaron y adoptaron las nuevas características de reportes de Box junto con la ayuda de consultores de Elastic en el sitio y sesiones de capacitación de Elastic. Hoy en día, alrededor de 500 ingenieros en una gran parte de equipos en Box están adoptando el Elastic Stack tanto para reportes como para logging, y para visualizar terabytes de datos diariamente en cientos de dashboards de Kibana.

Como sabemos, el primer movimiento de Box con Elastic fue migrar los logs de la empresa a Elasticsearch con fines de reportes y servir como backend para las analíticas de datos. Este pipeline de datos evolucionaría más tarde para admitir el nuevo entorno de logging de Box respaldado por Elastic.

Para el proyecto de reportes, la empresa aprovecha las características de seguridad obligatorias, como el control de acceso basado en roles y la autenticación de usuarios. Estas y otras características, como poder saber quién accedió a qué archivo de Box cuándo y dónde, permitieron a Box satisfacer las obligaciones de cumplimiento que implican seguridad y privacidad.

El cambio inicial a este proyecto de reportes de Elasticsearch, conocido internamente como "Newsroom", solucionó los problemas relacionados con los problemas de filtrado y las inconsistencias entre los logs empresariales y la Analítica de Negocio. Box ya no tenía problemas para producir reportes de que estaba cumpliendo sus SLA, por ejemplo. Para las grandes empresas, a veces los reportes no se cargaban en absoluto, y para las medianas empresas, tardaban demasiado en obtenerse.

Otras correcciones incluidas:

• Capacidad obtenida para filtrar eficientemente los logs de uso en función de los usuarios/carpetas
• Capacidad para adquirir eventos relacionados con usuarios específicos en la empresa o una carpeta específica
• Reportes de estadísticas que se muestran completos en la consola de administración
• Incoherencia de los logs empresariales y la Analítica de Negocio resuelta

La antigua solución de logging de Box tenía un precio basado en la cantidad de datos ingestados, que en ese momento era de aproximadamente 7 terabytes por día. Desde entonces, ha crecido a alrededor de 20 terabytes por día y se espera que aumente aún más. Para no hacer saltar la banca, eso significaba que Box tenía que elegir dónde implementar las características de observabilidad en su plataforma de microservicios en constante crecimiento, un problema insostenible que se resolvió al cambiar a Elastic.

El costo no era la única preocupación. Con su plataforma de logging anterior, los indexadores a veces fallaban. La latencia también era un problema y las alertas no eran confiables.

Con eso en mente, y a medida que la escala de datos de logging diario estaba explotando, la empresa rediseñó su infraestructura de logging en 2017.

Box está moviendo continuamente todo el logging operativo y de aplicaciones de forma segura a Elasticsearch con un enfoque trifurcado de separación de logging de retención, ad hoc e interactivo a través de un pipeline cuyo nombre interno en código es Almost-Real-Time-Analytics o "Arta".

Box dice que la producción y el mantenimiento de sistemas de nivel empresarial que funcionen con los SLA garantizados es fundamental. Por lo tanto, los ingenieros de Box deben tener visibilidad de sus sistemas y los logs que están generando. Ahmed dice que Elastic ha provisto al equipo de Observabilidad de Box con un sistema de logging que ofrece capacidades sofisticadas de búsqueda con una sobrecarga de indexación mínima, todo a un costo razonable a medida que Box escala.

Con esta observabilidad impulsada por Elastic, además de los cientos de dashboards de Kibana para visualizar estos datos, los ingenieros de Box tienen información al alcance de la mano. Pueden ver si se producen problemas cuando los clientes abren sus archivos de Box, si se agregaron colaboradores a los archivos, si los archivos se agregaron a una carpeta, entre otras opciones. El logging también proporciona a los ingenieros una ruta rápida para solucionar problemas, como la latencia de carga de archivos del cliente, para cumplir con los requisitos de SLA de tiempo de actividad.

Además, para asegurar que los clientes de Box continúen teniendo una excelente experiencia de usuario, el logging es fundamental para el acto de codificación en Box para garantizar que se hayan confirmado los cambios de código, dice Dave Ward, director sénior de ingeniería de Box.

"Cuando realizas un cambio para agregar nuevas características o corregir, ¿mi cambio produjo el resultado deseado?" Ward pregunta. "¿Veo errores al insertar código? Si el pipeline de observabilidad no funcionara según lo previsto, no podríamos garantizar el buen funcionamiento de nuestros sistemas. Que Arta aproveche Elasticsearch es una misión crítica para mantener nuestra agilidad y liberar cadencia a escala".

Hoy, Box está en camino de ejecutar gran parte de sus flujos de logging centrados en el desarrollador y a nivel de producción en Arta. A medida que la compañía continúa agregando flujos de logging nuevos y existentes a partir de su desarrollo continuo de microservicios, el equipo de Box está buscando crear nuevas mejoras en estabilidad, resistencia, eficiencia operativa y reducir aún más los costos.

Para el futuro, Box está considerando centralizar más sus métricas de rastreo en una plataforma enmarcada bajo Elastic. Box también se está asociando activamente con los ingenieros de Elastic y refinando y compartiendo comentarios sobre productos.

La empresa está interesada en otras características de Elastic como Elastic APM para el monitoreo de rendimiento de aplicaciones, Machine Learning para ayudar a detectar y alertar sobre problemas, así como las capacidades de mapeo GeoIP de Elastic para que Box pueda visualizar en Kibana de qué parte del mundo provienen las búsquedas, comenzando en la dirección IP.

Box también está explorando Elastic SIEM para ayudar a impulsar las operaciones de seguridad, así como embellecer sus dashboards de Kibana con Canvas, además de examinar muchas otras características de Elastic.

En términos financieros, la adopción de Elastic ha ayudado a reducir el precio a la mitad cuando se trata de cargas de datos. Además, los problemas de reportes e inconvenientes bajo MySQL se han reforzado. Y la latencia causada, en parte, por su antigua solución de logging con indexación en lectura en comparación con la indexación en escritura de Elastic, se está convirtiendo en algo del pasado.

"Vaciar el mar a cucharadas o vaciar un estanque a cucharadas para obtener los datos". Así es como Wadhwani describe la diferencia en latencia. "Las búsquedas en Kibana con Elasticsearch son mucho más rápidas", dice Wadhwani.

En un nivel menos cuantificable, cuando se trata del retorno de la inversión, Box está alentando activamente a sus ingenieros a producir la cantidad correcta de logs para lograr el nivel de observabilidad necesario para desarrollar productos de calidad empresarial.

Estos y otros cambios sutiles están ayudando a Box a cumplir con los acuerdos de SLA internos y externos, y al mismo tiempo están alentando a los desarrolladores de Box a innovar a medida que Box escala.