Como economizar até meio milhão de dólares na AWS?

Olá Habr! Apresento a você a tradução do artigo “Como reduzir seus custos da AWS? Economize até US $ 500 mil com essas diretrizes! ” autor George Batschinski.



Neste artigo, detalharemos como o Back4App reduziu suas despesas da AWS de US $ 55.492 por mês para US $ 20.074 por mês e economizou US $ 500.000 por ano. Descreveremos etapas práticas com base em nossa própria experiência de redução de custos na AWS e compartilharemos dicas que também foram úteis para nós.

A AWS continua inovando e dominando o mercado de nuvem. Ele cresceu tanto que se tornou uma parte essencial da estratégia da Amazon. Estou entusiasmado com a AWS, mas as dúvidas sobre a complexidade da nuvem e o custo me levaram à idéia de otimizar o uso da nuvem. Apesar de a AWS oferecer uma lista cada vez maior de serviços especializados para diferentes tipos de desenvolvimento, nem sempre é a maneira mais direta, rápida ou acessível. Idealmente, assim que você for para a nuvem, precisará pensar imediatamente na arquitetura para reduzir custos. Esse material ajudará a acelerar a otimização de custos e contém casos da vida real que encontramos durante nosso empreendimento de corte de custos.

Uma breve visão geral do que você encontrará neste artigo:

• Solicite empréstimos da AWS e receba até US $ 100.000;
• Transfira a transferência de dados para o Cloud Front e economize até 75%;
• Use IP privado (não Elastic IP) e pare de pagar pela transferência de dados entre zonas de acesso;
• Economize até 90% com instâncias spot;
• Economize até 75% comprando Instâncias reservadas no AWS Marketplace;
• Obtenha nós reservados do Elastic Cache e economize até 77%;
• Reserve seus dados no S3, mas não no EBS, e economize até 75%;
• Configure o dimensionamento automático para recursos ociosos;
• Escolha a região da Virgínia do Norte e fique longe de São Paulo;
• Atualize para novas gerações de instâncias e economize até 20%;
• Localize o terminal S3 na sua VPC e ative a Rede aprimorada no EC2.

Veja como era a nossa conta da AWS em janeiro de 2019. O custo total da nuvem é de US $ 55.492.



Veja como era a nossa conta da AWS em maio de 2019. O custo total foi de US $ 20.074.

1. Empréstimos da AWS

Primeiro de tudo! Antes de começar a fazer qualquer coisa, verifique se sua empresa está qualificada para empréstimos da AWS. Veja como você pode obter esses empréstimos:

Solicite empréstimos à AWS

Assim foi no nosso caso! Em 2016, nossa empresa cresceu bastante rapidamente. Nossa fatura da AWS começou a aumentar e não tínhamos idéia ou tempo para otimizar o uso da AWS. Como não tínhamos financiamento, percebemos que receberíamos empréstimos da AWS ou desapareceríamos. Preparamos nosso argumento para nossa conta para gerentes da AWS, demonstrando a rapidez com que estamos crescendo e as vantagens da AWS em nos apoiar em nosso site. Mostramos a ele que não tínhamos financiamento e que seria forçado a ir ao Google Cloud (eles nos ofereceram US $ 100.000 em empréstimos para a migração para a AWS) se não recebêssemos empréstimos da AWS. A resposta levou cerca de uma semana e a AWS nos forneceu US $ 100.000 para uso em 12 meses. Também foi um bom negócio para a AWS! Desde que os empréstimos expiraram, gastamos mais de US $ 750.000 com a AWS.

Créditos para testar e lançar a Prova de Conceito

Se você pretende testar um novo serviço da AWS ou o tipo de instância, solicite empréstimos ao seu gerente de contas. O número de empréstimos dependerá dos seus custos mensais e do esforço geral para iniciar o POC. Esses empréstimos geralmente são válidos apenas por três meses e você precisa garantir a velocidade do POC. No nosso caso, conseguimos US $ 3.000 em empréstimos para testar a família de instâncias i3.

Créditos de inicialização

Se você fundou sua empresa ou lançou uma startup, essa é uma ótima maneira de avançar. O valor dos empréstimos varia de US $ 1.000 a US $ 100.000, dependendo de como você apresenta seu caso da AWS. Existem várias maneiras de obter esses empréstimos.

Aceleradores

Uma das principais vantagens dos aceleradores de inicialização nos bônus que eles fornecem. Um desses bônus são empréstimos de provedores de nuvem. A quantia que você pode receber dependerá do Acelerador em que você está representado. Alguns dos melhores, por exemplo, YC, Alchemist, Wayra e 500 Startups, oferecerão US $ 100.000 em empréstimos da AWS. No nosso caso, fomos aceitos pelo Alchemist Accelerator e emitimos US $ 100.000 em empréstimos. Infelizmente, não conseguimos usar esses empréstimos, pois antes disso já tínhamos aproveitado outros empréstimos. Por exemplo, se você aceitar dois aceleradores por US $ 100.000 cada, não poderá usar US $ 200.000, apenas US $ 100.000.

Fundos de risco e grupos de anjos

Alguns grupos WF / Angel fornecem empréstimos como parte do programa de bônus. No nosso caso, conseguimos obter US $ 10.000 em empréstimos de marketing, válidos por dois anos de um de nossos investidores. Infelizmente, não conseguimos usá-los. As empresas não podem usar créditos promocionais da AWS se já tiverem recebido um montante igual ou superior a empréstimos.

Todos os principais provedores de nuvem fornecem empréstimos para startups

Todos os principais players do mercado de nuvem oferecem empréstimos para startups. Com a AWS / Google, os empréstimos podem chegar a US $ 100.000. No Azure, você pode obter US $ 360.000 por três anos.

2. Implementar economia de custos na AWS

A parte mais fácil acabou, e agora vamos aos desafios! Não há pílula mágica para reduzir custos na AWS, você precisa trabalhar duro e seguir um procedimento regular para monitorar os custos! Reduzir os custos da nuvem deve ser sua rotina diária! Imagine quanto você economiza em 365 dias! A quantidade de tempo que você investe depende do tamanho da sua organização e dos custos da AWS. Passo cerca de 30 minutos por dia monitorando minha conta e priorizando ações de corte de custos. Além disso, os engenheiros da Back4App gastam pelo menos 1 hora por dia em iniciativas de redução de custos.

A primeira iniciativa que concluímos: criar uma planilha simples no Excel para priorizar iniciativas de redução de custos.

Os principais critérios pelos quais determinamos a economia:

• Potencial de economia - maiores ganhos com a economia
• Dificuldade - Quão difícil é aplicar o esforço e o trabalho necessário
• Proprietário - quem executará a ação

No nosso caso, as maiores economias são o uso do Elastic Compute Cloud (EC2), e esse foi o primeiro assunto que começamos a entender.

3. EC2 - Nuvem de computação elástica

Desativar instâncias não utilizadas

O primeiro ponto a ser tomado para reduzir custos no EC2 é desativar instâncias não utilizadas. Não há nada complicado, e a maior parte do trabalho é bastante direta. Tudo o que você precisa fazer é fazer uma lista de todas as instâncias, carregar o arquivo do excel a partir do exemplo e definir cada uma. No nosso caso, dividimos nossas instâncias em 3 categorias principais:

• Instâncias que devem funcionar continuamente
• Instâncias que podem ser paradas
• Instâncias que podem ser excluídas

Não pare, mas exclua instâncias

Remova instâncias não utilizadas quando possível! Se você apenas os interromper, continuará pagando pelo uso do EBS!

Reduzir o excesso de recursos

Essa ação é um pouco mais complicada e é absolutamente necessário selecionar corretamente o tamanho da instância. Certifique-se de avaliar pelo menos uma semana de dados para aumentar a probabilidade de uma alteração correta da instância. A abordagem pela qual controlamos esse processo foi dividir as instâncias em três categorias principais:

• Tamanho correto
• Reduzir tamanho da instância
• Aumentar tamanho da instância

A maneira de verificar os dados históricos de uma instância é extremamente simples. No painel de controle da AWS, vá para Serviços> EC2> Instâncias> Instâncias em execução, selecione Instância> Monitoramento. Por exemplo, você pode verificar a métrica de utilização da CPU.

Reduza o tamanho da instância sequencialmente

Reduza o tamanho da instância passo a passo. Por exemplo, não reduza o tamanho de t2.xlarge para t2.medium. Primeiro, reduza-o de t2.2xlarge para t2.xlarge. Veja uma semana, verifique quantos recursos são usados ​​e repita as etapas em uma nova. Ao executar essas etapas, você minimizará as chances de erros ou tempo de inatividade.

Usar instâncias reservadas

A reserva de instâncias pode aumentar sua economia em até 70%. Lembre-se de que, quando você reserva uma instância, paga 24/7 pela duração da reserva. Você pagará independentemente de usar ou não a instância.

Existem dois tipos de capacidades redundantes:

Padrão - que você pode vender no AWS Marketplace, não é possível converter para outro tipo de instância, mais barato que as instâncias conversíveis.

Conversível - você não poderá vendê-lo no AWS Marketplace, mas poderá convertê-lo em uma instância de um tipo diferente, mais cara que as instâncias padrão.

Instâncias conversíveis podem ser confusas

Instâncias conversíveis são muito difíceis! Cada vez que você converte instâncias, você só pode aumentar o tamanho da instância. Considere a seguinte situação:

Você adquire t3.medium, uma instância reservada conversível.
Você decide converter a instância t3.medium para m5.large.

Você certamente terá sucesso! Depois de usar a instância m5.large por algum tempo, você desejará retornar ao t3.medium.

E isso já é impossível!

Você não poderá reduzir o consumo da instância conversível, mas apenas aumentar o valor pago por ela. Portanto, comece com uma pequena instância reservada e aumente-a com o tempo. Não comece com uma instância grande, porque você não pode reduzir seu consumo ou vendê-lo no AWS Marketplace'e. Se você cometer um erro com uma instância reservada conversível, estará inscrito em um pagamento mensal de 12 ou 36 meses. No Back4App, sempre obtemos o t2.nano e aumentamos conforme necessário.

Prefiro instâncias reservadas padrão do que conversíveis pelos seguintes motivos:

• Eles são mais baratos
• Eles têm maior liquidez - podem ser vendidos no AWS Marketplace a qualquer momento.
• Eles podem ser comprados no AWS Marketplace com desconto.

Use o AWS Marketplace para instâncias reservadas

Instâncias reservadas são ótimas, mas a compra de instâncias reservadas no AWS Marketplace é ainda melhor!

O AWS Marketplace pode ser muito mais barato

O AWS Marketplace parece um mercado de valores mobiliários! Às vezes, você pode comprar uma instância reservada padrão com um preço muito mais acessível do que comprar diretamente da AWS. A razão é simples; Às vezes, as empresas possuem instâncias redundantes que não estão mais em uso, mas continuam pagando por elas. A redução do preço da acomodação acelera o processo de compra.

Aqui vou dar um exemplo do que aconteceu com o Back4App. Eu estava procurando por 4 instâncias reservadas r4.large. Consegui encontrar instâncias no AWS Marketplace com uma taxa efetiva de 75% mais barata em comparação com os preços sob demanda. A AWS vendeu o mesmo tipo de instâncias reservadas, mas com um desconto de 62%.

O AWS Marketplace possui condições flexíveis de compra

Outra vantagem do AWS Marketplace é que você pode comprar instâncias com um período de uso flexível. A própria AWS fornece apenas opções por 12 e 36 meses para a compra de instâncias reservadas. O AWS Marketplace é muito mais flexível! Você pode comprar, por exemplo, instâncias reservadas por 15 meses pelo mesmo preço que por 36 meses. Algumas empresas preferem obrigações de longo prazo (36 meses) e, antes que a obrigação expire, elas as vendem no AWS Marketplace. O novo cliente usará apenas a instância pelo período restante, por exemplo:

• Tempo total de aquisição: 36 meses
• Comprador inicial: usa instância por 21 meses
• Segundo comprador: o compra no mercado e o usa pelos 15 meses restantes.

A principal dificuldade é encontrar as instâncias corretas no AWS Marketplace. Uma ótima maneira de simplificar a pesquisa de instâncias é procurá-las em várias zonas de acesso, e não apenas na onde você está localizado. Depois de adquirir uma instância, você pode modificá-la e atribuí-la a outra zona de acessibilidade ou transformá-la em uma instância regional. Isso não é nada difícil, mas siga as instruções abaixo:

• Etapa 1 - Vá para o painel de instâncias reservadas
• Etapa 2 - Clique em Comprar instâncias reservadas
• Etapa 3 - na Classe da Oferta, selecione Padrão
• Etapa 4 - No canto superior direito da janela pop-up, selecione "Mostrar apenas ofertas que reservam capacidade"
• Etapa 5 - Clique em Pesquisar
• Etapa 6 - Obtenha uma instância da Zona de disponibilidade 1b
• Etapa 7 - Aguarde a instância se tornar ativa
• Etapa 8 - Selecione a instância que foi comprada
• Etapa 9 - Clique no botão Ações
• Etapa 10 - Clique em Modificar instâncias reservadas
• Etapa 11 - Escopo - Alterar zona ou região de disponibilidade
• Etapa 12 - Clique em Continuar
• Etapa 13 - Clique em Enviar modificações

Seguir estas etapas permitirá que você compre instâncias reservadas padrão em qualquer zona de disponibilidade e modifique-a para sua zona de disponibilidade.

AWS Marketplace para empresas fora dos EUA

Esclarecimentos importantes para usuários fora da jurisdição dos EUA. Você não pode vender instâncias reservadas padrão no Marketplace, a menos que tenha uma entidade legal estadual. Se sua empresa encontrar fora dos Estados Unidos, você poderá comprar instâncias no Marketplace, mas não poderá vendê-las.

Usar instâncias spot

Eu amo instâncias spot! Você pode economizar até 90% usando-os, e isso não exigirá grandes investimentos! O único ponto negativo de instâncias Spot é que a AWS pode excluir essas instâncias rapidamente ou após um aviso de dois minutos. Nesse sentido, esse tipo de instância pode ser usado apenas para cargas tolerantes a falhas ou flexíveis.

Use o SpotInst para executar instâncias spot

Uma maneira segura de executar instâncias Spot e minimizar o risco de inatividade é usar a plataforma SpotInst. Este serviço se conecta à sua conta da AWS e gerencia a distribuição de instâncias Spot. Se a instância estiver desativada, o serviço a substituirá por On Demand e evitará o tempo de inatividade. As tarifas também são bastante interessantes, elas cobram 20% do que foi economizado (entre a diferença no preço do On-demand e do Spot).

Um ótimo cenário para instâncias Spot é usar uma cópia de servidores para bancos de dados ou para extensões de aplicativos flexíveis. Use o SpotInst para controlar a alocação de instâncias Spot, e provavelmente você nunca encontrará tempo de inatividade associado ao uso dessa classe de instâncias.

Escalonamento automático (recursos inativos, automação de instâncias de inicialização / parada do EC2)

O AWS Auto Scaling monitora seus aplicativos e ajusta automaticamente a energia para manter energia estável e previsível pelo menor custo. Você pode configurar o dimensionamento automático para iniciar e parar automaticamente as instâncias do EC2. O dimensionamento automático leva em consideração as métricas de recursos, como CPU, solicitações de API e tempos de ativação / desativação.

Para minimizar os custos, você deve usar o dimensionamento automático + Instâncias spot + Instâncias reservadas. Vamos dar uma olhada na situação real que encontramos no Back4App. As cargas de trabalho mudam ao longo do dia. O número de solicitações que recebemos não é uniforme e possui cargas de pico de uso em determinadas horas. Para resolver esse problema, alocamos instâncias reservadas para o limite mínimo de consumo e escalamos com instâncias spot. A figura abaixo ajuda a entender a configuração. Aqui está o quanto você pode economizar:

• Instâncias reservadas: no Back4App, usamos uma combinação de 12/36 instâncias reservadas padrão mensais. Nossa economia média é de 50% em comparação com os preços sob demanda.
• Escalonamento automático: iniciamos / paramos instâncias com base no número total de solicitações de API que cada instância recebe. Temos três períodos de pico durante o dia, e a economia comparada aos recursos inativos que funcionariam 24 horas com carga máxima é de aproximadamente 75%.
• Instâncias spot: temos uma mistura de duas famílias de instâncias que funcionam no Spotinst para maximizar o tempo de atividade. Nossa economia é de 55% em comparação com os preços sob demanda. Essa é a nossa economia, levando em consideração todo o valor que pagamos ao SpotInst. O uso de instâncias spot diretamente da AWS poderia economizar cerca de 70%, mas aumentaria os riscos. Gostamos de jogar de forma moderada e decidimos devolver algumas de nossas economias ao SpotInst.

Ajustar escala

Personalize sua escala vertical e horizontal (Cloudformation)

Escolha a região correta da AWS para salvar

• Os preços variam entre as regiões! Escolha o errado e você pagará em excesso.
• As regiões mais baratas são North Virginia, Ohio e Oregon.

Os mais caros: São Paulo, Sydney e Hong Kong
Considere o seguinte exemplo:

• 4 x instâncias t3.medium
• EBS de 30 Gb dedicado a cada instância
• Tráfego total de 1 TB

A mesma configuração será 102% mais cara em São Paulo do que na Virgínia do Norte.

• $ 221.65 / mês em Virgínia do Norte
• $ 449,05 / mês em São Paulo

A centralização das operações em uma região também tem suas vantagens.

• É muito mais fácil controlar a alocação de instâncias reservadas.
• As tarifas de tráfego entre regiões não serão aplicadas

Na Back4App, não conseguimos centralizar todas as operações na Virgínia do Norte devido à nossa cobertura comercial e aos requisitos do cliente. Decidimos criar um cluster nos EUA, Europa e Ásia. Centralizamos nossas operações nesses clusters e expandimos cada região o máximo possível.

Atualizar gerações anteriores de recursos

Ocasionalmente, a AWS lança novos tipos de instâncias. Novas gerações são mais poderosas e baratas.

A velha geração de instâncias

C4.large

2 núcleos

3,75 GB de memória

US $ 0,100 / hora

A nova geração de instâncias

C5.large

2 núcleos

4 gb de memória

US $ 0,085 / hora

A nova geração é 15% mais barata e 6% mais poderosa!

Permitir rede aprimorada

Habilite a rede aprimorada para obter melhor desempenho da instância!

4. EBS - Elastic Block Store

O EBS fornece volumes de armazenamento seguro para uso com instâncias do EC2 na nuvem da AWS.Cada volume EBS é duplicado na zona de disponibilidade para protegê-lo contra falhas de hardware, fornecendo alta disponibilidade e confiabilidade. O custo de cada gigabyte armazenado depende do tipo de volume que você usará. Os tipos mais comuns são SSD de uso geral e magnéticos.

SSD de uso geral

$ 0,10 / GB-mês

Magnético

$ 0,05 / GB-mês

Tipo EBS - SSD x Magnético

Comece a marcar suas instâncias e faça o download desta planilha para facilitar sua vida. Por exemplo, determine se o volume é magnético ou SSD.

• Escolha Magnético em vez de SSD sempre que possível.
• Substitua o volume SSD sempre que possível.

Tamanho do EBS - reduza volumes excessivos

O segundo ponto a ser salvo no EBS é determinar o tamanho de cada volume anexado. Volumes excessivos e gigabytes não utilizados são frequentemente usados.

Excluir instâncias - a interrupção não afetará o pagamento do EBS

A interrupção de instâncias não o protege dos custos do EBS! Seu volume continuará sendo armazenado e será incluído no pagamento! Se você não precisar mais da instância e dos dados, exclua a instância! Essa ação reduzirá os custos do EC2 e EBS.

A AWS permite aumentar sequencialmente o tamanho do EBS, mas não permite diminuí-lo. Em geral, é melhor ter volumes menores que os grandes e usar o EBS somente quando necessário.

Vamos estimar o quão caro pode ser. Digamos que você use 10 instâncias t3.small e cada instância use 50 GB de armazenamento SSD EBS.

A fatura mensal será:

• Custo mensal de EC2 = 10 x US $ 15,23 = 152,30
• Capacidade total do EBS: 10 x 50 GB = 500 GB
• Preço por GB: US $ 0,10 por mês
• Custo mensal do EBS: US $ 50,00
• Custo total: $ 182.30

Este exemplo simples mostra que o EBS pode subir até 32% do custo do EC2 e constituir uma parte significativa da sua conta. Este é um valor oculto constante que precisa ser controlado.

Dê uma olhada no armazenamento efêmero

Avalie os prós e os contras do armazenamento efêmero. Dos benefícios, você não precisa pagar custos ocultos para o EBS, o atraso será menor e você poderá obter descontos em instâncias reservadas. Das desvantagens, é provável que você não use todo o armazenamento interno (pelo qual continua pagando), e o uso de instâncias Spot se tornará muito mais difícil.

Remova volumes não utilizados

Outra ação que economizará dinheiro é a remoção de volumes desconectados e não utilizados.

Use o S3 para manter os backups do

EBS pelo menos duas vezes mais caros que o S3! De fato, você deve salvar backups no S3, e não no EBS. Primeiro, verifique se seus backups são salvos de forma incremental e se as versões antigas são excluídas periodicamente.

5. Serviço de cache elástico - nós reservados

Poucos sabem que você pode comprar instâncias reservadas para o Elastic Cache. As economias são bastante significativas:

• Reserva de 1 ano - 65% de desconto
• Reserva de 3 anos - 77% de desconto

O processo é semelhante à aquisição de instâncias do EC2. Para comprar um nó reservado, você deve fazer o seguinte:

• Vá para o Elastic Cache (não instâncias reservadas do EC2)
• Ir para nós reservados
• Clique no botão azul "Comprar nó reservado" no canto superior direito
• Escolha Redis ou Memcached
• Selecionar tipo de nó
• Escolha o período de reserva desejado
• Escolha o tipo de oferta (1 ou 3 anos)
• Clique em Next

Outras economias de custo com o Elastic Cache são quase as mesmas do EC2. Você precisa desativar os nós não utilizados e reduzir o tamanho dos próprios nós.

Não existe um AWS Marketplace para Elastic Cache.

Observe que não existe um Marketplace para nós reservados! Antes de comprar, certifique-se de usá-lo por pelo menos um ano.

6. Transferência de dados

Essa linha de custo pode sair de controle rapidamente! Já é difícil controlar de onde e de onde vêm os dados e o rastreamento é ainda mais difícil. Além disso, existem vários tipos de transferência de dados. Por exemplo, transferência de dados da nuvem, transferência de dados entre regiões, transferência de dados entre zonas de acesso, transferência de dados S3, etc.

Vou contar como o Back4App reduziu o custo da transferência de dados e como os rastreou.

Como reduzir os custos de transferência de dados na AWS?

Aqui estão algumas coisas que você pode fazer para reduzir os custos de dados.

Conecte o terminal S3 ao Cloudflare e outros serviços CDN.

CDN (rede de entrega de conteúdo ou rede de dados) Essa ação simples pode reduzir seus custos de transferência de dados em até cinco vezes, dependendo da quantidade de cache que você mantém.

IPs elásticos - use seus próprios endereços IP sempre que possível

Este é um ótimo exemplo! A calculadora da AWS diz que a transferência de dados para a nuvem é gratuita para instâncias do EC2, mas você também precisa preencher o campo "Public IP / Elastic IP Data Transfer". Se você selecionar uma conexão usando um endereço IP público ou elástico ou um Elastic Load Balancer na rede Amazon, pagará taxas de transferência de dados inter-regionais, mesmo que as instâncias estejam dentro da mesma zona de disponibilidade. Para transferir dados dentro de uma zona de acesso, você pode facilmente evitar esses custos (e melhorar o desempenho da rede) usando seus endereços IP pessoais sempre que possível.

Use uma zona de disponibilidade - zona de disponibilidade

Usando uma zona de disponibilidade em vez de várias, você pode economizar significativamente. Evite ou interrompa a transferência de dados entre regiões.

Use a API GraphQL

Uma das vantagens significativas do GraphQL é a redução da entrega em excesso de dados e, como resultado, a redução na quantidade total de dados transferidos. Substituir o REST pode ser uma tarefa assustadora, dependendo de como seu aplicativo está estruturado; Além disso, vale a pena avaliar antecipadamente a viabilidade dessa transição. Outra alternativa é usar o GraphQL sequencialmente para novos produtos e recursos.

Descontos por Volume na Transferência de Dados

Isso é pouco aplicável, pois os volumes necessários para descontos são muito grandes. Isso pode ser útil apenas para grandes empresas ou grandes contas.

Use o CloudFront!

Você pode economizar uma fortuna se aplicar esta ação! Também permitirá aumentar a velocidade de seus aplicativos e, geralmente, reduzir a latência - uma oferta ganha-ganha. Vou falar sobre isso um pouco abaixo.

Como acompanhar os custos de transferência de dados?

Existem duas maneiras fáceis de rastrear custos de dados.

• Explorador de custos
• Contas

Eles representam os dados coletados de maneiras diferentes e, dadas as duas versões, você pode entender melhor como o dinheiro é gasto na transferência de dados.

Para acessar o relatório do Explorador de custos, acesse Meu painel de cobrança e selecione Explorador de custos. Selecione o relatório Gastar por exibição de serviço e uma nova janela será aberta. O relatório preparado para os últimos 6 meses será aberto e começaremos com ele. Observe que, na coluna Serviço, NÃO há contas de dados! Esses custos estão ocultos pelos filtros e você precisa ir mais fundo para encontrá-los.



Para exibir os custos de transferência de dados, você precisará configurar os filtros da seguinte maneira:

• Clique em Mais filtros para expandi-los.
• Escolha Grupo de tipos de uso
• As informações de transferência de dados são exibidas
• Escolha Transferência de dados - Inter AZ
• Escolha Transferência de dados - Saída da Internet
• Data Transfer – Region to Region Out
• S3 Data Transfer Out
• Apply Filters

Depois de aplicar todos os filtros, o relatório terá a seguinte aparência:



Agora você classificou as informações sobre o tráfego e de onde ele vem, de S3 ou EC2. Se desejar, você pode aplicar um processo semelhante e dividir ainda mais os custos por região e zona de acessibilidade.

Outra maneira de mostrar os custos de tráfego é com um relatório de cobrança. Vá para Meu painel de cobrança e clique em Contas à esquerda.

O relatório terá a seguinte aparência:



Observe que há uma análise interna mostrando os custos da transferência de dados do EC2. Clique em Transferência de dados e a análise por região será exibida.



Depois de selecionar uma região, será exibida uma discriminação por tipo de dados transmitidos (tráfego de saída, entre zonas de disponibilidade, inter-regional).

7. CloudFront

Os preços sob demanda do Cloudfront estão diminuindo rapidamente à medida que o volume aumenta. Vamos imaginar a transmissão de tráfego de 100 TB. Custará US $ 0,060 / Gb, que é cerca de 15% menos comparado à mesma quantidade de dados via ELB.

Contrato Privado na Nuvem e Preços de Volume

Aqui está a melhor maneira de reduzir os custos de dados! A AWS prefere usar seu serviço CloudFront e, dependendo do volume, você pode reduzir o preço do tráfego de saída do CloudFront para US $ 0,02 / Gb. Provavelmente, isso exigirá um compromisso de dois anos e, se você planeja usar a AWS por um longo tempo, é uma ótima oferta. Para fazer esse arranjo, você precisa entrar em contato com o gerente da sua conta e perguntar sobre o contrato privado do CloudFront.

Certificado SSL personalizado do Amazon CloudFront

Verifique se você está usando este certificado. Custa US $ 20 por dia, e o mesmo pode ser comprado da Cloudflare por US $ 25 por mês. Com um contrato de Preços privados e de volume, você não poderá usar outros serviços CDN (Cloud Delivery Network), e esta ação não estará disponível para você.

8. S3 - Serviço de Armazenamento Simples

Algumas recomendações para reduzir os preços do armazenamento S3.

Ponto final S3 VPC

Uma ótima idéia de economia que poucas pessoas recebem é o uso do terminal S3 VPC. A colocação de um terminal S3 na sua VPC (Virtual Private Cloud) fornece acesso a dados ao S3 e oferece seu próprio caminho dentro da nuvem, e a AWS não cobra como se fosse tráfego público. Dependendo do volume, essa técnica pode economizar vários milhares de dólares por mês.

Use o modelo de armazenamento correto e a classe de armazenamento apropriada.

Existem cinco modelos de armazenamento no total:
Padrão S3

$ 0,023 / GB

Parâmetros:

• Failover entre zonas de disponibilidade
• Baixa latência e alto rendimento
• Resistente a eventos que afetam toda a zona de disponibilidade.

Acesso infrequente S3

$ 0,0125 / GB

Parâmetros:

• Ideal para armazenamento a longo prazo, backups e arquivos em caso de recuperação de backup
• Failover entre zonas de disponibilidade
• Para acesso pouco frequente, já que quanto maior o custo de acessar arquivos

Acesso infrequente de uma zona S3

$ 0,010 / GB

Parâmetros:

• Uma zona de disponibilidade
• Para acesso pouco frequente
• Ótima opção para backups de backup

Geleira S3

$ 0,004 / GB

Opções:

• Tipo de armazenamento seguro, confiável e barato para arquivos de dados
• Failover entre zonas de disponibilidade
• As opções de upload de dados podem levar de alguns minutos a várias horas

S3 Glacier Deep Archive

$ 0.00099 / GB

Parâmetros:

• O menor preço por gigabyte e suporte para armazenamento de longo prazo e preservação digital de dados que podem ser necessários algumas vezes por ano.
• Tempo de descarregamento em 12 horas
• Failover entre zonas de disponibilidade

Os preços da API S3 podem ser confusos.

Observe que toda vez que você altera a classe de armazenamento de objetos, paga pelo número de solicitações. Pode ser muito difícil! Vou compartilhar a situação que ocorreu no Back4App. Um de nossos clientes armazena milhões de objetos pequenos e os dados raramente são procurados. Inicialmente, mantivemos todos os objetos no S3 Standard e decidimos transferi-los para o S3 Glacier para salvar. Até aí tudo bem! Mas não levamos em conta que a AWS cobra US $ 0,05 por cada 1000 chamadas para o Glacier! No nosso caso, o número de solicitações era enorme; portanto, o custo da mudança não compensava! Antes de mover objetos entre as classes de armazenamento, é necessário considerar o preço das solicitações ao S3 e realizar uma análise de retorno.

Excluir dados não utilizados no S3

A maneira mais fácil e eficaz de economizar no S3 é simplesmente excluir dados antigos e não utilizados. Dê uma olhada nos backups antigos e no balde S3 não utilizado. Faça uma análise e, se possível, exclua os dados.

9. Escolha o plano de suporte técnico da AWS com sabedoria

Existem 4 tipos de suporte técnico no total:

• Básico - Grátis
• Desenvolvedor - US $ 29 / mês ou 3% da fatura todo mês
• Comercial - US $ 100 / mês ou 10 a 3% da conta, dependendo do volume
• Empresa - US $ 15.000 por mês

Tentamos o plano de negócios e ficamos insatisfeitos com o resultado. Em nossa opinião, é muito caro para o nível de suporte e suporte que ele fornece. Não posso dizer nada sobre o nível Enterprise, pois não o usamos. (O nível Enterprise é adequado, por exemplo, para grandes empresas antes de lançar grandes estreias ou produtos.)

Envolva o seu gerente regional da AWS

Use seu gerente regional e arquiteto de soluções ao máximo! Eles trabalham separadamente da equipe de suporte central e podem fornecer serviços muito mais adequados. A equipe da AWS geralmente é muito qualificada e ajuda muito! As recomendações que eles forneceram sobre configurações avançadas de segurança e o uso do GDPR foram simplesmente as melhores! Fiquei impressionado com a consciência técnica e o desejo de nos ajudar a alcançar melhores resultados. Esse suporte faz você pensar duas vezes antes de alterar seu provedor de nuvem.

10. Monitoramento e Gerenciamento

É difícil superestimar a importância de calcular e conhecer os custos diários. Você deve configurar um monitoramento detalhado de seus custos e dedicar algum tempo todos os dias para se familiarizar com eles. Imagine quanto você pode economizar em 365 dias!

O monitoramento diário ajudará a detectar tendências suspeitas e a agir imediatamente. As melhores práticas relacionadas ao monitoramento e gerenciamento estão listadas abaixo:

• Monitoramento regular
• Usando relatórios como:
• Relatório de gerenciamento de faturamento e custo
• Contas mensais
• Explorador de custos - custos mensais de serviço
• Explorador de custos - usando o RI
• Explorador de custos - Cobertura do RI
• Marcar tudo
• Meça a média, acompanhe, relate exceções
• Relacione seu ambiente ao modelo de responsabilidade compartilhada da AWS
• Use CloudWatch e Trusted Advisor para monitorar custos
• Combine suas contas e obtenha descontos por volume

11. Redesenho da arquitetura

Alterar a arquitetura geralmente é o exercício que consome mais tempo. Pode levar de semanas a meses, dependendo do tamanho da sua arquitetura.
Nossa experiência com o Back4App mostra que você deve tentar as etapas mais simples primeiro. Em geral, mudanças sucessivas proporcionam economias significativas no curto prazo. Ganhe dinheiro com essas mudanças e ganhe experiência para reconstruir sua arquitetura.

12. Conclusão

Não existe uma fórmula mágica para reduzir imediatamente os custos na AWS! É necessário desenvolver um hábito rotineiro de verificar despesas, estabelecer prioridades e trabalhar duro para alcançar seus objetivos.

Aqui está uma breve visão geral das etapas que nos ajudaram a reduzir nossa pontuação na AWS.

• Excluir instâncias EC2 não utilizadas
• Reduzir o excesso de energia
• Mover o fluxo de dados para o CloudFront
• Alterne para novas gerações de instâncias
• Use técnicas como rede aprimorada
• Salvar backups no S3
• Reservar instâncias no AWS Marketplace e nós de cache elástico
• Mantenha uma combinação saudável de instâncias Spot, Reservadas e Sob Demanda
• Automatize o dimensionamento automático
• Use o S3 Standard e o Glacier