Elasticsearch Service: preços de transferência de dados e armazenamento de instantâneos

Em agosto de 2018, lançamos uma significativa redução de preços do Elasticsearch Service, juntamente com um monte de novos recursos como modelos de implantação, novos tipos de instância e suporte a arquitetura hot-warm. No mesmo anúncio de preços, observamos que começaríamos a separar e cobrar os custos de armazenamento de instantâneos e de transferência de dados para lhe oferecer maior controle sobre a utilização e os gastos. Durante o período promocional, esses novas cobranças receberam descontos totais, ou seja, elas apareceram como itens com linha de custo zero em suas faturas mensais.

O período promocional sobre os custos de transferência de dados e armazenamento de instantâneos terminará em 28 de fevereiro de 2019. Esta postagem de blog descreve essas cobranças em detalhes e fornece algumas dicas e avisos sobre como os usuários podem controlar esses custos.

Preços de armazenamento de instantâneos

Os custos de armazenamento de instantâneos são atrelados ao custo de armazenar os instantâneos de backup no armazenamento de objetos IaaS subjacente (por exemplo, S3 no AWS ou GCS na nuvem do Google). Esses custos de armazenamento NÃO são para armazenamento de disco que faz a persistência dos índices do Elasticsearch, porque esses já estão incluídos no custo do cluster (mais genericamente chamado de “implantação” atualmente).

Como é comum com todos os provedores de nuvem, mensuramos e faturamos o armazenamento de instantâneos usando duas dimensões:

• Tamanho de armazenamento (GB/mês)
• Solicitações de API de armazenamento (1.000 solicitações/mês)

O tamanho do armazenamento é calculado mensurando o espaço de armazenamento (GBs) ocupado por todos os instantâneos de todas as implantações atreladas a uma conta. O mesmo preço unitário se aplica a todas as regiões. Para calcular as cobranças devidas, mensuramos a quantidade de armazenamento por hora e geramos um tamanho médio (em GB) para um determinado mês. O valor médio é usado para cobrar o valor pelo GB/mês usado em um ciclo de cobrança (um mês-calendário).

Por exemplo, se o armazenamento usado em abril de 2019 fosse de 100 GB por 10 dias, e de 130 GB pelos 20 dias restantes do mês, o armazenamento médio seria de 120 GB/mês, calculado como (100 x 10 + 130 x 20)/30.

Os custos de chamada à API de armazenamento são calculados contando o número total de chamadas para fazer backup ou restauração de instantâneos tirados por todas as implantações associadas a uma conta. Diferentemente do tamanho de armazenamento, essa dimensão é cumulativa, somada em todo o ciclo de cobrança e cobrada a um preço de 1.000 solicitações.

Até a data desta redação (1º de fevereiro de 2019), as taxas para essas duas dimensões são de:

• Tamanho de armazenamento - $0,033 por GB/mês
• Solicitações de API de armazenamento - $0,0018 por 1.000 chamadas de API

Fornecemos uma franquia gratuita de 100 GB/mês a todas as contas em todas as implantações de conta. Qualquer utilização de armazenamento mensurada abaixo desse valor não será cobrada. Sempre que o limite de 100 GB/mês for ultrapassado, cobraremos pelo armazenamento usado em excesso da franquia gratuita de 100 GB/mês.

Também fornecemos uma franquia gratuita de 100.000 solicitações de API a todas as contas mensalmente em todas as implantações de conta. Depois que esse limite for ultrapassado, uma cobrança ocorrerá pelo uso de solicitações de API em excesso somente da franquia gratuita.

Observação: Uma única operação de instantâneo não é equivalente a uma única chamada à API. Pode haver milhares de chamadas de API associadas a uma única operação de instantâneo, à medida que diferentes arquivos são gravados, excluídos, modificados etc. O preço que tabelamos está em milhares de chamadas de API, ou seja: $0,0018 para 1.000 chamadas de API ou $1,8 por um milhão de chamadas.

Preços de transferência de dados

Os custos de transferência de dados respondem pelo volume de dados (carga) entrando, saindo e trafegando internamente pelas implantações do Elasticsearch.

Estamos prontos para mensurar e cobrar a transferência de dados usando três dimensões:

• Dados recebidos (gratuito)
• Dados enviados
• Dados intraimplantação

Os Dados recebidos respondem por todo o tráfego que entra no cluster. Isso inclui solicitações de índice com carga de dados, além de consultas enviadas ao cluster (apesar de o tamanho de byte deste último ser normalmente bem menor).

Os Dados enviados respondem por todo o tráfego que sai do cluster. Isso inclui resultados de pesquisa, além de dados de monitoramento enviados ao cluster. A mesma taxa se aplica independentemente do destino dos dados, seja para outra região, para a Internet ou para a mesma região porém de conta diferente.

Os Dados intraimplantação respondem por todo o tráfego enviado entre os componentes da implantação. Isso inclui principalmente a sincronização de dados entre nós de um cluster espalhados entre diferentes zonas de disponibilidade, que são gerenciados automaticamente pelo sharding de cluster do Elasticsearch. Também incluem dados relacionados a consultas de pesquisa executadas em vários nós de um cluster. Observe que clusters do Elasticsearch de único nó também podem implicar cobranças intracluster responsáveis por dados trocados com nós do Kibana ou outros nós como aprendizado de máquina ou APM. A expectativa é que essas cobranças sejam de menor valor nesses casos.

A utilização de transferência de dados é calculada de maneira semelhante às solicitações de API de armazenamento, no sentido de que é somada até um valor cumulativo em um ciclo de cobrança.

Até a data desta redação (1º de fevereiro de 2019), as taxas para essas três dimensões são de:

• Dados recebidos - $0 por GB/transferidos - Esta dimensão é gratuita
• Dados enviados - $0,032 por GB/transferidos
• Dados intraimplantação - $0,016 por GB/transferidos

Também fornecemos uma franquia gratuita de 100 GB/mês, que cobre dados enviados e dados intraimplantação separadamente e entre todas as implantações da conta. Depois que esse limite for ultrapassado, uma cobrança será aplicada para qualquer transferência de dados usada em excesso da franquia gratuita de 100 GB/mês.

Perguntas frequentes

Onde posso ver meus custos de armazenamento de instantâneos e transferência de dados?

Para facilitar o rastreamento de custos sob demanda do armazenamento de instantâneos e transferência de dados, adicionamos itens de linha a faturas que estão disponíveis para download no console do usuário. Além disso, adicionaremos uma visão dos custos acumulados desde o início do mês até a data atual no console do usuário para melhor estimar o valor da próxima cobrança.

Exemplo de fatura:

Quando e como isso será implantado?

As novas cobranças aparecerão em sua fatura de 1º de fevereiro de 2019 (referente à utilização em janeiro de 2019). Entretanto, as cobranças serão revertidas em um crédito total. Isso servirá como uma estimativa pelas cobranças de transferência e armazenamento de dados nos meses seguintes. O mesmo exercício será repetido para a fatura de 1º de março de 2019 (referente à utilização em fevereiro de 2019), e a mensuração faturável real começará em 1º de março de 2019 para aparecer na fatura de 1º de abril de 2019.

Como posso controlar meus custos de armazenamento de instantâneos?

A maneira como os instantâneos trabalham no Elasticsearch é salvando os dados de maneira incremental em cada evento de instantâneo. Isso significa que o tamanho de instantâneo eficaz pode ser maior do que o tamanho dos índices atuais. O tamanho fica maior à medida que os dados são usados no cluster, além de quando os dados são alterados com frequência (registros adicionados, excluídos ou modificados). Para permitir o controle além da adaptação das alterações nos dados (o que nem sempre é prático), incluímos um parâmetro avançado no console do usuário do Elastic Cloud no submenu de instantâneos, chamado Snapshot count (Contagem de instantâneos). Mantivemos o padrão atual de 100 instantâneos (implantados), mas isso pode ser alterado para qualquer valor entre [2 e 100].

Aviso: A redução do número de instantâneos efetivamente reduz o período de retenção de índices. Isso significa que somente um ponto de restauração recente existirá e poderá vencer rapidamente.

Quanto às solicitações de API, elas são executadas sempre que um instantâneo é tirado ou restaurado. Apesar de a restauração normalmente não ser uma opção frequente, os instantâneos são tirados por padrão a cada 30 minutos para manter um ponto de restauração recente e atualizado. Incluímos um novo parâmetro chamado Snapshot interval (Intervalo de instantâneo), que pode ser alterado em até 24 horas, resultando em menos chamadas de API.

Aviso: A redução do intervalo de instantâneos pode resultar em perda parcial de dados, porque uma operação de restauração de um instantâneo mais antigo não responderá por todos os dados que foram alterados desde o último instantâneo.

Por fim, no caso de qualquer lógica implementada usando a API do Elasticsearch para criar ou restaurar instantâneos, é recomendável revisar esse processo para evitar cobranças em excesso.

Como posso controlar meus custos de transferência de dados?

A transferência de dados fora das implantações e entre nós do cluster é mais difícil de controlar, porque ela é uma função do caso de uso empregado para o cluster e nem sempre pode ser ajustada. Alguns casos de consultas em lote executadas em intervalos frequentes podem ser revistos, se aplicável.

Como isso afetará minha conta de cobrança?

Considerando as várias maneiras de usar o Elasticsearch em diferentes casos de uso, é difícil prever os custos exatos de armazenamento de instantâneos e de transferência de dados para sua conta. Para isso implementamos duas contas de “carência“ que mostrarão o valor que teria sido cobrado, mas que zeraram as cobranças. Esperamos que isso ajude a melhor estimar seus custos e a se preparar para a alteração.

Sou cliente Annual Gold ou Platinum. Isso afetará minhas contas de cobrança também?

Os clientes anuais existentes com contrato, incluindo camadas Standard Annual, Gold e Platinum não terão custos adicionais até fazerem a renovação do contrato sob os novos termos, em vigor desde 1º de janeiro de 2019. Todos os novos clientes anuais serão cobrados usando os novos preços, o mesmo acontecendo com novos clientes mensais.

Minhas implantações estão em GCP. Isso também se aplica a mim?

Sim. Os custos de armazenamento de instantâneos e de transferência de dados se aplicam a todos os provedores de nuvem e têm a mesma taxa, até o momento da redação desta postagem de blog.