Comment économiser jusqu'à un demi-million de dollars en AWS?

Bonjour, Habr! Je vous présente la traduction de l'article «Comment réduire vos coûts AWS? Économisez jusqu'à 500 000 $ avec ces directives! » auteur George Batschinski.



Dans cet article, nous détaillerons comment Back4App a réduit ses dépenses AWS de 55 492 $ par mois à 20 074 $ par mois et économisé 500 000 $ par an. Nous décrirons les étapes pratiques basées sur notre propre expérience de réduction des coûts dans AWS et partagerons des conseils qui nous ont également été utiles.

AWS continue d'innover et de dominer le marché du cloud. Il a tellement grandi qu'il est devenu un élément clé de la stratégie d'Amazon. Je suis enthousiasmé par AWS, mais les doutes sur la complexité et le coût du cloud m'ont conduit à optimiser l'utilisation du cloud. Malgré le fait qu'AWS propose une liste sans cesse croissante de services spécialisés pour divers types de développement, ce n'est pas toujours le moyen le plus direct, le plus rapide ou le plus abordable. Idéalement, dès que vous accédez au cloud, vous devez penser immédiatement à l'architecture afin de réduire les coûts. Ce matériel aidera à accélérer l'optimisation des coûts et contient des cas réels que nous avons rencontrés lors de notre entreprise de réduction des coûts.

Un bref aperçu de ce que vous trouverez dans cet article:

• Demandez des prêts auprès d'AWS et obtenez jusqu'à 100 000 $;
• Transférez le transfert de données vers Cloud Front et économisez jusqu'à 75%;
• Utilisez une adresse IP privée (pas Elastic IP) et arrêtez de payer pour le transfert de données entre les zones d'accès;
• Économisez jusqu'à 90% avec les instances ponctuelles;
• Économisez jusqu'à 75% en achetant des instances réservées sur AWS Marketplace;
• Obtenez des nœuds Elastic Cache réservés et économisez jusqu'à 77%;
• Réservez vos données dans S3, mais pas dans EBS et économisez jusqu'à 75%;
• Configurer la mise à l'échelle automatique pour les ressources inactives;
• Choisissez la région de la Virginie du Nord et éloignez-vous de Sao Paulo;
• Mettez à niveau vers de nouvelles générations d'instances et économisez jusqu'à 20%;
• Localisez le point de terminaison S3 dans votre VPC et activez le réseau amélioré sur EC2.

Voici à quoi ressemblait notre compte AWS en janvier 2019. Le coût total du cloud est de 55 492 $.



Voici à quoi ressemblait notre compte AWS en mai 2019. Le coût total était de 20 074 $.

1. Prêts AWS

Tout d'abord! Avant de commencer quoi que ce soit, assurez-vous que votre entreprise est éligible aux prêts AWS. Voici comment vous pouvez obtenir ces prêts:

Demandez des prêts à AWS

C'était donc dans notre cas! En 2016, notre entreprise a connu une croissance assez rapide. Notre facture AWS a commencé à augmenter et nous n'avions ni idée ni temps pour optimiser l'utilisation d'AWS. Comme nous n'avions pas de financement, nous avons réalisé que nous allions soit recevoir des prêts d'AWS, soit disparaître. Nous avons préparé notre dossier pour notre compte de gestionnaires dans AWS, démontrant à quelle vitesse nous grandissons et les avantages pour AWS de nous soutenir sur notre site. Nous lui avons montré que nous n'avions pas de financement et serions obligés d'aller sur Google Cloud (ils nous ont offert 100 000 $ de prêts pour la migration vers AWS) si nous ne recevions pas de prêts d'AWS. La réponse a pris environ une semaine et AWS nous a fourni 100 000 $ pour une utilisation sur 12 mois. C'était également une bonne affaire pour AWS! Depuis l'expiration des prêts, nous avons dépensé plus de 750 000 $ avec AWS.

Crédits pour tester et lancer Proof Of Concept

Si vous avez l'intention de tester un nouveau service d'AWS ou le type d'instance, demandez des prêts à votre responsable de compte. Le nombre de prêts dépendra de vos coûts mensuels et de l'effort global pour lancer POC. Ces prêts ne sont généralement valables que pour trois mois, et vous devez vous assurer de la vitesse du POC. Dans notre cas, nous avons pu obtenir 3 000 $ de prêts pour tester la famille d'instances i3.

Crédits de démarrage

Si vous avez fondé votre entreprise ou lancé une startup, c'est un excellent moyen d'avancer. Le montant des prêts varie de 1 000 $ à 100 000 $, selon la façon dont vous présentez votre dossier AWS. Il existe plusieurs façons d'obtenir ces prêts.

Accélérateurs

L'un des principaux avantages des accélérateurs de démarrage dans les bonus qu'ils fournissent. L'un de ces bonus est les prêts des fournisseurs de cloud. Le montant que vous pouvez recevoir dépend de l'accélérateur dans lequel vous êtes représenté. Certains des meilleurs, par exemple, YC, Alchemist, Wayra et 500 Startups vous offriront 100 000 $ en prêts AWS. Dans notre cas, nous avons été acceptés par Alchemist Accelerator et émis 100 000 $ en prêts. Malheureusement, nous n'avons pas pu utiliser ces prêts, car auparavant nous avions déjà profité d'autres prêts. Par exemple, si vous acceptez deux accélérateurs pour 100 000 $ chacun, vous ne pourrez pas utiliser 200 000 $, seulement 100 000 $.

Fonds de capital-risque et groupes d'anges

Certains groupes WF / Angel accordent des prêts dans le cadre du programme de bonus. Dans notre cas, nous avons réussi à obtenir 10 000 $ de prêts à la commercialisation, valables deux ans auprès d'un de nos investisseurs. Malheureusement, nous n'avons pas pu les utiliser. Les entreprises ne peuvent pas utiliser les crédits promotionnels AWS si elles ont déjà reçu un montant de prêts égal ou supérieur.

Tous les principaux fournisseurs de cloud fournissent des prêts aux startups

Tous les principaux acteurs du marché du cloud proposent des prêts aux startups. Avec AWS / Google, les prêts peuvent aller jusqu'à 100 000 $. Chez Azure, vous pouvez obtenir 360 000 $ pour trois ans.

2. Réalisez des économies sur AWS

La partie facile est terminée et passons maintenant aux défis! Il n'y a pas de pilule magique pour réduire les coûts dans AWS, vous devez travailler dur et suivre une procédure régulière pour surveiller les coûts! Réduire les coûts du cloud devrait être votre routine quotidienne! Imaginez combien vous économisez en 365 jours! Le temps que vous investissez dépend de la taille de votre organisation et de vos coûts AWS. Je passe environ 30 minutes par jour à surveiller mon compte et à prioriser les actions de réduction des coûts. De plus, les ingénieurs de Back4App consacrent au moins 1 heure par jour à des initiatives de réduction des coûts.

La première initiative que nous avons terminée: créer une feuille de calcul simple dans Excel pour hiérarchiser les initiatives de réduction des coûts.

Les principaux critères par lesquels nous déterminons les économies:

• Potentiel d'économies - Gains les plus élevés grâce aux économies
• Difficulté - À quel point est-il difficile d'appliquer l'effort et le travail requis
• Propriétaire - Qui exécutera l'action

Dans notre cas, les plus grandes économies sont l'utilisation d'Elastic Compute Cloud (EC2), et c'est le premier sujet que nous avons commencé à comprendre.

3. EC2 - Elastic Compute Cloud

Désactivez les instances inutilisées

Le premier point à prendre pour réduire les coûts sur EC2 est de désactiver les instances inutilisées. Il n'y a rien de compliqué, et la plupart du travail est assez simple. Il vous suffit de faire une liste de toutes les instances, de charger le fichier Excel de l'exemple et de les définir. Dans notre cas, nous avons divisé nos instances en 3 catégories principales:

• Des instances qui doivent fonctionner en continu
• Instances pouvant être arrêtées
• Instances pouvant être supprimées

N'arrêtez pas, mais supprimez les instances

Supprimez les instances inutilisées lorsque cela est possible! Si vous les arrêtez, vous continuerez à payer pour utiliser EBS!

Réduisez les ressources excédentaires

Cette action est un peu plus compliquée et il est absolument nécessaire de sélectionner correctement la taille de l'instance. Veuillez vous assurer d'évaluer au moins une semaine de données pour augmenter la probabilité d'un changement d'instance correct. L'approche par laquelle nous avons contrôlé ce processus était de diviser les instances en 3 catégories principales:

• Taille correcte
• Réduire la taille de l'instance
• Augmenter la taille de l'instance

La façon de vérifier les données historiques d'une instance est extrêmement simple. Dans le panneau de configuration AWS, accédez à Services> EC2> Instances> Exécution d'instances, sélectionnez Instance> Surveillance. Par exemple, vous pouvez vérifier la métrique d'utilisation du processeur.

Réduisez la taille des instances de manière séquentielle

Réduisez progressivement la taille de votre instance. Par exemple, ne réduisez pas la taille de t2.xlarge à t2.medium. Tout d'abord, réduisez-le de t2.2xlarge à t2.xlarge. Regardez une semaine, vérifiez combien de ressources sont utilisées et répétez les étapes sur une nouvelle. En effectuant ces étapes, vous minimiserez les risques d'erreurs ou de temps d'arrêt.

Utiliser des instances réservées

La réservation d'instances peut augmenter vos économies jusqu'à 70%. Veuillez garder à l'esprit que lorsque vous réservez une instance, vous payez 24/7 pour la durée de la réservation. Vous paierez, que vous utilisiez l'instance ou non.

Il existe deux types de capacités redondantes:

Standard - que vous pouvez vendre sur AWS Marketplace, vous ne pouvez pas le convertir en un autre type d'instance, moins cher que les instances convertibles.

Convertible - Vous ne pourrez pas le vendre sur AWS Marketplace, mais vous pouvez le convertir en une instance d'un type différent, plus cher que les instances standard.

Les instances convertibles peuvent prêter à confusion

Les instances convertibles sont très difficiles! Chaque fois que vous convertissez des instances, vous ne pouvez qu'augmenter la taille de l'instance. Considérez la situation suivante:

Vous acquérez t3.medium, une instance réservée convertible.
Vous décidez de convertir t3.medium en instance m5.large.

Vous réussirez certainement! Après avoir utilisé l'instance m5.large pendant un certain temps, vous souhaiterez revenir à t3.medium.

Et c'est déjà impossible!

Vous ne pourrez pas réduire la consommation de l'instance convertible, mais seulement augmenter le montant que vous payez pour cela. Alors s'il vous plaît, assurez-vous de commencer avec une petite instance réservée et de l'augmenter au fil du temps. Ne commencez pas avec une grande instance, car vous ne pouvez pas réduire sa consommation ou la vendre sur AWS Marketplace'e. Si vous faites une erreur avec une instance réservée convertible, vous êtes abonné à un paiement mensuel de 12 ou 36 mois. Chez Back4App, nous obtenons toujours d'abord t2.nano et l'augmentons au besoin.

Je préfère les instances réservées standard aux convertibles pour les raisons suivantes:

• Ils sont moins chers
• Ils ont une liquidité plus élevée - ils peuvent être vendus à tout moment sur AWS Marketplace.
• Ils peuvent être achetés sur le AWS Marketplace à prix réduit.

Utilisez AWS Marketplace pour les instances réservées

Les instances réservées sont excellentes, mais l'achat d'instances réservées sur AWS Marketplace est encore mieux!

AWS Marketplace peut être beaucoup moins cher

AWS Marketplace ressemble à un marché des valeurs mobilières! Vous pouvez parfois acheter une instance réservée standard à un prix beaucoup plus abordable que d'acheter directement auprès d'AWS. La raison est simple; Les entreprises possèdent parfois des instances redondantes qui ne sont plus utilisées, mais continuent de les payer. La baisse du prix de l'hébergement accélère le processus d'achat.

Ici, je vais donner un exemple de ce qui s'est passé avec Back4App. Je cherchais 4 instances réservées r4.large. J'ai réussi à trouver des instances sur AWS Marketplace avec un taux effectif de 75% moins cher par rapport aux prix à la demande. AWS a vendu le même type d'instances réservées, mais avec une remise de 62%.

AWS Marketplace propose des conditions d'achat flexibles

Un autre avantage d'AWS Marketplace est que vous pouvez acheter des instances avec une période d'utilisation flexible. AWS lui-même ne propose que des options pour 12 et 36 mois pour l'achat d'instances réservées. AWS Marketplace est beaucoup plus flexible! Vous pouvez acheter, par exemple, des instances réservées pour 15 mois pour le même prix que pour 36 mois. Certaines entreprises préfèrent les obligations à long terme (36 mois) et avant l'expiration de l'obligation, elles les vendent sur AWS Marketplace. Le nouveau client n'utilisera l'instance que pour la période restante, par exemple:

• Durée totale d'acquisition: 36 mois
• Acheteur initial: utilise l'instance pendant 21 mois
• Deuxième acheteur: l'achète sur la place de marché et l'utilise pendant les 15 mois restants.

La principale difficulté est de trouver les bonnes instances sur AWS Marketplace. Un excellent moyen de simplifier la recherche d'instances est de les rechercher dans plusieurs zones d'accès, et pas seulement dans celle où vous vous trouvez. Une fois que vous avez acquis une instance, vous pouvez la modifier et l'affecter à une autre zone d'accessibilité, ou la transformer en une instance régionale. Ce n'est pas du tout difficile à faire, mais veuillez suivre les instructions ci-dessous:

• Étape 1 - Accédez au tableau de bord des instances réservées
• Étape 2 - Cliquez sur Acheter des instances réservées
• Étape 3 - dans la catégorie d'offre, sélectionnez Standard
• Étape 4 - Dans le coin supérieur droit de la fenêtre contextuelle, sélectionnez «Afficher uniquement les offres réservant de la capacité»
• Étape 5 - Cliquez sur Rechercher
• Étape 6 - Obtenez une instance de la zone de disponibilité 1b
• Étape 7 - Attendez que l'instance devienne active
• Étape 8 - Sélectionnez l'instance qui a été achetée
• Étape 9 - Cliquez sur le bouton Actions
• Étape 10 - Cliquez sur Modifier les instances réservées
• Étape 11 - Portée - Modifier la zone ou la région de disponibilité
• Étape 12 - Cliquez sur Continuer
• Étape 13 - Cliquez sur Soumettre les modifications

En suivant ces étapes, vous pourrez acheter des instances réservées standard dans n'importe quelle zone de disponibilité et les modifier pour votre zone de disponibilité.

AWS Marketplace pour les entreprises en dehors des États-Unis

Précision importante pour les utilisateurs en dehors de la juridiction américaine. Vous ne pouvez pas vendre des instances réservées standard sur la place de marché à moins d'avoir une entité juridique d'État. Si votre entreprise trouve en dehors des États-Unis, vous pourrez acheter des instances sur Marketplace, mais vous ne pourrez pas les vendre.

Utiliser des instances ponctuelles

J'adore les instances Spot! Vous pouvez économiser jusqu'à 90% en les utilisant, et cela ne nécessitera pas de gros investissements! Le seul inconvénient des instances Spot est qu'AWS peut supprimer ces instances en un rien de temps ou après un avertissement de deux minutes. À cet égard, ce type d'instances ne peut être utilisé que pour des charges tolérantes aux pannes ou flexibles.

Utilisez SpotInst pour exécuter des instances ponctuelles

Un moyen sûr d'exécuter des instances Spot et de minimiser les risques d'indisponibilité consiste à utiliser la plateforme SpotInst. Ce service se connecte à votre compte AWS et gère la distribution des instances Spot. Si l'instance est désactivée, le service la remplace par On Demand et évite les temps d'arrêt. Les tarifs sont également assez intéressants, ils facturent 20% de ce qui a été économisé (entre la différence de prix du On-demand et du Spot).

Un excellent scénario pour les instances Spot consiste à utiliser une copie des serveurs pour les bases de données ou pour les extensions d'application flexibles. Utilisez SpotInst pour contrôler l'allocation des instances Spot, et vous ne rencontrerez probablement jamais de temps d'arrêt associés à l'utilisation de cette classe d'instances.

Mise à l'échelle automatique (ressources inactives, automatisation des instances EC2 de démarrage / arrêt)

AWS Auto Scaling surveille vos applications et ajuste automatiquement l'alimentation pour maintenir une alimentation stable et prévisible au moindre coût. Vous pouvez configurer la mise à l'échelle automatique pour démarrer et arrêter automatiquement les instances EC2. La mise à l'échelle automatique prend en compte les métriques de ressources telles que le processeur, les demandes d'API et les heures d'activation / désactivation.

Pour minimiser les coûts, vous devez utiliser la mise à l'échelle automatique + les instances Spot + les instances réservées. Regardons la situation réelle que nous avons rencontrée dans Back4App. Les charges de travail changent tout au long de la journée. Le nombre de demandes que nous recevons n'est pas uniforme et a des charges d'utilisation de pointe à certaines heures. Pour résoudre ce problème, nous allouons des instances réservées à la limite de consommation minimale et les adaptons avec des instances ponctuelles. La figure ci-dessous vous aide à comprendre la configuration. Voici combien vous pouvez économiser:

• Instances réservées: Chez Back4App, nous utilisons un mélange d'instances réservées standard mensuelles 12/36. Nos économies médianes sont de 50% par rapport aux prix à la demande.
• Mise à l'échelle automatique: nous démarrons / arrêtons les instances en fonction du nombre total de demandes d'API reçues par chaque instance. Nous avons trois périodes de pointe pendant la journée, et les économies par rapport aux ressources inactives qui fonctionneraient 24 heures à charge maximale sont d'environ 75%.
• Instances Spot: nous avons un mélange de deux familles d'instances qui fonctionnent sur Spotinst pour une disponibilité maximale. Nos économies sont de 55% par rapport aux prix à la demande. Ce sont nos économies, en tenant compte du montant total que nous payons SpotInst. L'utilisation d'instances ponctuelles directement à partir d'AWS pourrait nous faire économiser environ 70%, mais augmenterait les risques. Nous aimons jouer de façon mesurée et nous avons décidé de redonner une partie de nos économies à SpotInst.

Ajuster l'échelle

Personnalisez votre mise à l'échelle verticale et horizontale (Cloudformation)

Choisissez la bonne région AWS à enregistrer

• Les prix varient selon les régions! Choisissez le mauvais et vous paierez trop.
• Les régions les moins chères sont la Virginie du Nord, l'Ohio et l'Oregon.

Les plus chers: Sao Paulo, Sydney et Hong Kong
Prenons l'exemple suivant:

• 4 instances t3.medium
• EBS 30 Go dédié à chaque instance
• 1 To total de trafic

La même configuration sera 102% plus chère à Sao Paulo qu'en Virginie du Nord.

• 221,65 $ / mois en Virginie du Nord
• 449,05 $ / mois à Sao Paulo

La centralisation des opérations dans une région présente également ses avantages.

• Il est beaucoup plus facile de contrôler l'allocation des instances réservées.
• Les frais de trafic interrégionaux ne s'appliqueront pas

Chez Back4App, nous n'avons pas pu centraliser toutes les opérations en Virginie du Nord en raison de notre couverture commerciale et des exigences de nos clients. Nous avons décidé de créer un cluster aux USA, en Europe et en Asie. Nous avons centralisé nos opérations dans ces grappes et étendu chaque région autant que possible.

Mettre à jour les générations précédentes de ressources

AWS lance occasionnellement de nouveaux types d'instances. Les nouvelles générations sont plus puissantes et moins chères.

L'ancienne génération d'instances

C4.large

2 noyaux

3,75 Go de mémoire

0,100 USD / heure

La nouvelle génération d'instances

C5.large

2 noyaux

4 Go de mémoire

0,085 USD / heure

La nouvelle génération est 15% moins chère et 6% plus puissante!

Autoriser un réseau amélioré

Activez le réseau amélioré pour de meilleures performances d'instance!

4. EBS - Elastic Block Store

EBS fournit des volumes de stockage sécurisés à utiliser avec les instances EC2 dans le cloud AWS. EBS , , . , . General Purpose SSD Magnetic.

General Purpose SSD

$ 0.10/-

Magnetic

$ 0.05/-

EBS – SSD x Magnetic

, . , Magnetic SSD.

• Magnetic SSD , .
• SSD , .

EBS –

, EBS – . .

– EBS

EBS! ! , ! EC2 EBS.

AWS EBS, . , , , EBS .

, . , 10 t3.small 50GB SSD EBS .

:

• EC2 = 10 x $ 15.23 = 152.30
• EBS : 10 x 50 = 500
• : $ 0.10-
• EBS : $ 50.00
• : $ 182.30

, EBS 32% EC2 . , .



(ephemeral storage). , EBS, Reserved . , , ( ), Spot .

, – .

S3,

EBS , S3! , S3, EBS. , , , .

5. Elastic Cache – Reserved Nodes

, reserved Elastic Cache. :

• 1 – 65%
• 3 – 77%

EC2 . reserved node, :

• Elastic Cache ( EC2 Reserved instances)
• Reserved Nodes
• «Purchase Reserved Node»
• Redis Memcached
• Offering Type (1 3 )
• Next

Elastic Cache , EC2. .

Elastic Cache AWS Marketplace'

, Marketplace Reserved Nodes! , .

6.

- ! , , . , . , , , , S3 , ..

, Back4App , .

AWS?

, .

S3 endpoint Cloudflare CDN .

CDN (Content Delivery Network ) , , .

IP – IP

! AWS , EC2 , «Public IP/ Elastic IP Data Transfer». Public Elastic IP , Elastic Load Balancer , . , ( ), IP , .

– Availability Zone

, . .

GraphQL API

GraphQL , , . REST , , ; , . – GraphQL .

, . .

CloudFront!

, ! – . .

?

• Cost Explorer

- , , , .

Cost Explorer, My Billing Dashboard Cost Explorer. Spend by Service View . 6 , . , Service ! , .



:

• More Filters,
• Usage Type Group
• Data Transfer – Inter AZ
• Data Transfer – Internet Out
• Data Transfer – Region to Region Out
• S3 Data Transfer Out
• Apply Filters

:



, S3 EC2. , .

billing report. My Billing Dashboard Bills .

:



, , EC2. Data Transfer .



, ( , , ).

7. CloudFront

On-demand Cloudfront . 100 Tb . $ 0.060 / Gb, 15% ELB.

Cloud Front &

! AWS CloudFront , CloudFront $0.02/Gb. , AWS , . , CloudFront Private Contract.

Amazon CloudFront SSL-Cert-Custom

, . $20 , Cloudflare $25 . Private & Volume Pricing, CDN (Cloud Delivery Network) , .

8. S3 – Simple Storage Service

S3 .

S3 VPC endpoint

, – S3 VPC endpoint. S3 endpoint VPC (Virtual Private Cloud) S3 , AWS , . , .

:
S3 Standard

$ 0.023 /

:

• ,

S3 Infrequent Access

$ 0.0125 /

:

• ,
• ,

S3 One-Zone Infrequent Access

$ 0.010 /

:

S3 Glacier

$ 0.004 /

:

• , ,

S3 Glacier Deep Archive

$ 0.00099 /

:

• , .
• 12

S3 API

, , , . ! , Back4App. , . S3 Standard S3 Glacier . ! , AWS $ 0.05 1000 Glacier! , , ! , S3 .

S3

S3 . S3 . .

9. AWS

4 :

• Basic –
• Developer — $ 29 / 3%
• Business — $ 100 / 10-3% ,
• Enterprise — $ 15.000

Business . , . Enterprise, . ( Enterprise , , .)

AWS

! . AWS ! , GDPR ! . , .

10.

. , . 365 !

. :

• , :
• Billing & Cost Management
• Cost Explorer –
• Cost Explorer – RI
• Cost Explorer – RI
• tag'
• , ,
• AWS
• CloudWatch Trusted Advisor

11.

. , .
Back4App , . , . .

12.

, AWS! , , , .

, AWS.

• EC2
• CloudFront
• enhanced network
• S3
• AWS Marketplace & Elastic Cache Nodes
• Spot, Reserved On-Demand
• autoscaling
• S3 Standard, Glacier