Elasticsearch Service: Precios de transferencia de datos y almacenamiento de snapshot
En agosto de 2018, introdujimos una reducción de precios significativa en los precios de Elasticsearch Service, junto con un conjunto completo de nuevas características, como plantillas de despliegue, nuevos tipos de instancias y soporte de arquitectura caliente-tibia (hot/warm). En el mismo anuncio de precios, aclaramos que comenzaríamos a desglosar y a cobrar por los costos de almacenamiento de snapshot y de transferencia de datos para brindarte más control sobre el uso y los gastos. Durante el período promocional, se descontaron en su totalidad estos nuevos cargos, es decir, aparecían como elementos de línea de costo cero en tus facturas mensuales.
El período promocional para los costos de transferencia de datos y almacenamiento de snapshot finalizará el 28 de febrero de 2019. Este artículo describe estos cargos en detalle y brinda algunos consejos para que los usuarios puedan controlar estos costos.
Precios del almacenamiento de snapshot
Los costos del almacenamiento de snapshot están vinculados al costo de almacenamiento de snapshot de backup en el almacenamiento de objetos de IaaS subyacente (por ejemplo, S3 en AWS o GCS en Google Cloud). Estos costos de almacenamiento NO se refieren al almacenamiento de disco que permanece en los índices de Elasticsearch, ya que estos ya están incluidos en el costo del cluster (hoy en día, denominado de forma genérica "despliegue").
Como suelen hacerlo todos los proveedores Cloud, medimos y facturamos el almacenamiento de snapshot usando dos dimensiones:
- Tamaño de almacenamiento (GB/mes)
- Requisitos de la API de almacenamiento (1K requisitos/mes)
El tamaño del almacenamiento se calcula midiendo el espacio de almacenamiento (GB) ocupado por todas las snapshots de todos los despliegues vinculados a una cuenta. El mismo precio por unidad se aplica a todas las regiones. Para calcular los cargos por pagar, medimos la cantidad de almacenamiento cada hora y producimos un tamaño promedio (en GB) para un mes dado. Después, la cantidad promedio se usa para facturar la cuenta por los GB/mes usados en un ciclo de facturación (un mes calendario).
Por ejemplo, si el almacenamiento usado en abril de 2019 fue 100 GB durante 10 días y después, 130 GB durante los siguientes 20 días del mes, el almacenamiento promedio sería 120 GB/mes, calculado como (100*10 + 130*20)/30.
Los costos de llamada de la API de almacenamiento se calculan contando la cantidad total de llamadas para hacer backup o restablecer snapshots creadas por todos los despliegues asociados con una cuenta. A diferencia del tamaño de almacenamiento, esta dimensión es acumulativa, se suma durante el ciclo de facturación, y se factura al precio de 1000 solicitudes.
En el momento de publicación de este artículo (1 de febrero de 2019), las tarifas para estas dos dimensiones son las siguientes:
- Tamaño de almacenamiento: $0.033 por GB/mes
- Solicitudes de API de almacenamiento: $0.0018 por cada 1000 llamadas de API
Brindamos una prestación gratuita de 100 GB/mes para todas las cuentas en todos los despliegues de la cuenta. Cualquier almacenamiento medido usado que sea menor a esa cantidad no se facturará. Siempre que superes el límite de 100 GB/mes, facturaremos el almacenamiento usado en exceso de la prestación gratuita de 100 GB/Mes.
También brindamos una prestación gratuita de 100,000 solicitudes de API para todas las cuentas cada mes en todos los despliegues de cuenta. Cuando superes este límite, se cobrará solo por el uso de las solicitudes de API en exceso de la prestación gratuita.
Nota: Una operación de snapshot no equivale a una llamada de API. Podría haber miles de llamadas de API asociadas a una única operación de snapshot, cuando los diferentes archivos se escriben, se eliminan, se modifican, etc. El precio que ofrecemos es por 1000 llamadas de API, es decir, $0.0018 por cada 1000 llamadas de API o $1.8 por un millón de llamadas.
Precios de transferencia de datos
Los costos de transferencia de datos se relacionan con el volumen de datos (carga) que entra, sale y permanece dentro de los despliegues de Elasticsearch.
Nos organizamos para medir y facturar transferencia de datos a partir de tres dimensiones:
- Datos de entrada (gratis)
- Datos de salida
- Datos dentro del despliegue
Datos de entrada se refiere a todo el tráfico que entra en el cluster. Eso incluye solicitudes de indexación con carga de datos, así como consultas enviadas al cluster (aunque el tamaño de byte de este último es generalmente mucho menor).
Datos de salida se refiere a todo el tráfico que sale del cluster. Incluye resultados de búsqueda, así como datos de monitoreo que salen del cluster. Se aplica el mismo valor, independientemente del destino de los datos, ya sea a otra región, a internet o a la misma región pero a una cuenta diferente.
Datos dentro del despliegue se refiere a todo el tráfico enviado entre los componentes del despliegue. Incluye, en su mayoría, la sincronización de datos entre nodos de un cluster distribuidos en diferentes zonas de disponibilidad, gestionada automáticamente por el shard del cluster de Elasticsearch. También incluye datos relacionados con las consultas de búsqueda ejecutadas entre múltiples nodos de un cluster. Es importante aclarar que los clusters de Elasticsearch de un único nodo también pueden generar cargos dentro del cluster por los datos intercambiados con los nodos de Kibana u otros nodos, como Machine Learning o APM. Estos cargos deberían ser menores en esos casos.
El uso de transferencia de datos se calcula de manera similar a las solicitudes de API de almacenamiento, ya que se suma a un valor acumulativo en el ciclo de facturación.
En el momento de publicación de este artículo (Artículo original en Ingles, al 1 de febrero de 2019), las tarifas para estas dos dimensiones son las siguientes:
- Datos de entrada: $0 por GB/transferencia. Esta dimensión es gratuita.
- Datos de salida: $0.032 por GB/transferencia
- Datos dentro del despliegue: $0.016 por GB/transferencia
También ofrecemos una prestación gratuita de 100 GB/mes, lo cual cubre los datos de salida y los datos dentro del despliegue de forma separada y en todos los despliegues de la cuenta. Una vez que superes este límite, se aplica un cargo por cualquier transferencia de datos en exceso a partir de la prestación gratuita de 100 GB/mes.
Preguntas frecuentes
¿Dónde puedo ver mis costos de almacenamiento de snapshot y de transferencia de datos?
Para facilitar el control de los gastos a petición del almacenamiento de snapshot y de la transferencia de datos, hemos agregado elementos de línea a las facturas disponibles para descarga en la consola del usuario. Además, agregaremos una vista del mes a la fecha de los costos acumulados en la consola del usuario para estimar mejor los próximos valores.
Factura de ejemplo:
¿Cuándo y cómo se lanzará?
Los nuevos cargos aparecerán en tu factura del 1 de febrero de 2019 (por el consumo correspondiente a enero de 2019). Sin embargo, los cargos se bonificarán por completo. Esto servirá como una estimación de los cargos de transferencia de datos y almacenamiento durante los próximos meses. Haremos lo mismo con la factura del 1 de marzo de 2019 (por el consumo correspondiente a febrero de 2019). La medición para facturación real comenzará el 1 de marzo de 2019 y aparecerá en la factura del 1 de abril de 2019.
¿Cómo puedo controlar los costos del almacenamiento de snapshot?
Las snapshots en Elasticsearch trabajan guardando datos de forma incremental en cada evento de snapshot. Esto significa que el tamaño efectivo de la snapshot puede ser mayor que el tamaño de los índices actuales. El tamaño aumenta a medida que se usan más datos en el cluster y cuando se cambian los datos con frecuencia (registros agregados, eliminados o modificados). Para permitir control más allá de adaptar los cambios a los datos (que no siempre es práctico), incluimos un parámetro avanzado en la consola del usuario de Elastic Cloud en el submenú de snapshots denominado conteo de snapshots. Mantuvimos las 100 snapshots por defecto (acumuladas), pero puedes modificarlo a cualquier valor entre [2 y 100].
Advertencia: Reducir la cantidad de snapshots reduce de forma efectiva el período de retención de los índices. Esto significa que existirá solo un punto de restauración reciente, y este puede expirar rápidamente.
Con respecto a los requisitos de la API, estos se ejecutan siempre que se toma o se restaura una snapshot. Aunque la restauración no suele ser una opción frecuente, por defecto, se toman snapshots cada 30 minutos para mantener un punto de restauración reciente y actualizado. Hemos incluido un nuevo parámetro denominado intervalo de snapshot, que se puede cambiar a 24 horas como máximo. Esto resulta en menos llamadas de API.
Advertencia: Reducir el intervalo de snapshot puede resultar en la pérdida parcial de datos, ya que una operación para restaurar una snapshot más antigua no mostrará los datos que se modificaron desde la última snapshot.
Finalmente, en cuanto a la lógica implementada con la API de Elasticsearch para crear o restaurar snapshots, te recomendamos que revises ese proceso para evitar cargos adicionales.
¿Cómo puedo controlar los costos de mi transferencia de datos?
Es más difícil controlar la transferencia de datos fuera de los despliegues y entre nodos del cluster, ya que esta es una función del caso de uso empleada para el cluster y no siempre se puede personalizar. Algunos casos de consultas de batch ejecutadas en intervalos frecuentes se pueden revisar, si aplica.
¿Cómo afectará mi facturación?
Teniendo en cuenta las diferentes formas de usar Elasticsearch en los diferentes casos de uso, es difícil predecir el costo exacto del almacenamiento de snapshot y la transferencia de datos en tu cuenta. Por eso, implementamos dos facturas "gratuitas" que te mostrarán la cantidad que se cobraría, pero con los cargos en cero. Esperamos que esto te ayude a estimar mejor tus gastos y a prepararte para el cambio.
Soy un cliente Gold/Platinum anual. ¿También afectará mi facturación?
Los clientes anuales existentes con contrato, incluso los niveles Estándar anual, Gold y Platinum, no tendrán costos adicionales hasta que renueven el contrato según los nuevos términos, con entrada en vigor el 1 de enero de 2019. Todos los nuevos clientes anuales recibirán su facturación con los nuevos precios, al igual que los nuevos clientes mensuales.
Mis despliegues son en GCP. ¿Esto también aplica a mi caso?
Sí. Los costos de almacenamiento de snapshot y transferencia de datos aplican a todos los proveedores Cloud y tienen la misma tarifa desde la fecha de esta publicación.