Comparaison des performances des machines virtuelles pour 6 plateformes cloud: Selectel, MCS, I. Cloud, Google Cloud, AWS et Azure

Tout à l'heure, je suis tombé sur deux articles d'un blog d'entreprise liés aux nuages ​​- un sur Kubernetes, et le second était une tentative de mesurer les performances en utilisant une technique qui me semblait douteuse (ce n'est pas sans raison qu'il s'agissait d'un spoiler).

J'ai aussi quelque chose à dire sur les K8, mais parlons des performances.

La méfiance à l'égard des résultats a été causée par de nombreux facteurs, mais les principaux pour moi étaient les suivants: il n'y avait pas de paramètres pour exécuter les tests, le nombre d'itérations n'a pas été annoncé, la façon dont les machines ont été choisies n'ont pas été annoncées et il n'y avait pas non plus de configuration détaillée. C'est douteux en général.
En général, j'utilise principalement Google Cloud et AWS (au total, je les ai rencontrés pendant une douzaine d'années d'expérience) et je ne travaille pas particulièrement avec des fournisseurs de cloud nationaux, mais, par coïncidence, j'ai des comptes actifs dans Selectel, MCS, I. Cloud et, après ce test, également dans Azure.

Heureusement, toutes ces plateformes sont publiques et quoi que j'essaye, tout le monde peut y aller, répéter et vérifier s'il le souhaite.

Le résultat de tout cela a été la pensée - pourquoi ne pas dépenser quelques centaines de roubles , tout le week - end et vraiment ne pas mesurer pensivement les six plates-formes et découvrir laquelle donne les meilleures performances en termes de coût et en nombre absolu avec les mêmes configurations, et en même temps comparer les fournisseurs mondiaux avec Russe.
Et comme il s'est avéré, pour clarifier certaines des «fonctionnalités» dans l'allocation des ressources et vous rappeler ainsi que d'autres que c'est loin d'être toujours et pas sur toutes les plateformes pour le même prix que vous pouvez obtenir des performances prévisibles.

Les résultats n'étaient pas pour autant phénoménaux, mais à mon avis extrêmement curieux.

Pour ceux intéressés, je demande chat.

Méthodologie

Machines virtuelles

Chaque fournisseur de cloud s'exécute séquentiellement dans différentes zones de disponibilité (s'il y a deux zones, puis 1 machine dans la première zone et 2 dans la seconde), trois machines virtuelles avec 4 CPU, 8 Go de RAM et un disque système de 50 Go.

Le type de processeur / instance est le plus récent disponible, s'il y a un choix.

Type de machine virtuelle - partagé avec allocation complète du noyau.

Type de disque - SSD réseau avec possibilité de remontage sur une autre VM.

Les options d'allocation garantie des IOPS ou des machines optimisées pour cela n'ont pas été utilisées, si cela n'est pas prévu par les conditions générales d'utilisation, et vous ne pouvez pas le refuser.

Le système de fichiers par défaut est ext4.

Aucun réglage manuel du système n'a été effectué.

Une série de tests a été lancée sur chacune des machines; les valeurs totales pour chaque machine ont été moyennées.

Les performances totales de la plate-forme sont exprimées comme la moyenne arithmétique des valeurs de test moyennes pour chacune des machines virtuelles, mais l'écart-type est également dans les tableaux pour les personnes intéressées.

Système d'exploitation - Ubuntu 16.04 est le dernier niveau de correctif disponible.

Calcul des coûts

Le calcul des coûts a été effectué sans tenir compte des éventuels bonus accumulés par le fournisseur, sans tenir compte du coût du trafic, à partir du calcul du fonctionnement de la machine virtuelle pour un mois civil complet sans arrêt.

En outre, certaines plates-formes vous permettent de réduire considérablement le coût des ressources grâce à certaines restrictions (auxquelles vous pouvez survivre très habilement).

Pour AWS, ce sont des instances Spot; pour GCE, ce sont des instances Preemptible. Avec une architecture d'application appropriée, ils peuvent être utilisés avec succès sans lui nuire, mais avec l'avantage d'un portefeuille, il a été testé par moi personnellement et par des dizaines d'entreprises utilisant les deux.
Le type de disque dans Selectel peut également être attribué à cette catégorie. Malgré le fait que les disques de type «Quick» aient participé aux principales mesures, il existe toujours un «Universal» nettement moins cher, pas brillant en vitesse, mais adapté à un grand nombre de tâches. Les options avec son utilisation ont également été prises en compte dans les calculs finaux.

Les tests

Pour exécuter les tests, ce script a été écrit à partir duquel tous les paramètres de lancement sont visibles:


Pour tous les tests, à l'exception du processeur Sysbench, plus c'est mieux.

Les résultats de tous les lancements ont été collectés dans des feuilles de calcul Excel pour de nouveaux calculs.
Eh bien, je l'ai fait en quelque sorte - je vous l'ai dit, maintenant je dois vous dire ce qui s'est passé.

Test

Un exemple de machine n'est pas un test.

Les nuages ​​sont généralement comparés aux serveurs de fer conventionnels. Je n'y vois pas beaucoup de sens, car le cloud n'est pas seulement et pas tellement directement la puissance de calcul, mais principalement l'écosystème, mais, néanmoins, je pense que beaucoup seront toujours intéressés par une telle comparaison. Eh bien, en général, quelque chose doit être comparé. Avec quelque chose de proche, célèbre et compréhensible.
Je n'avais pas la machine à repasser à portée de main, mais il y a une toute nouvelle station de travail Dell, c'est aussi un serveur domestique avec un processeur bien connu (E5-4650L @ 2,60 GHz), la quantité appropriée de mémoire DDR3 EEC pas la plus rapide (pour être honnête - la plus lente de ceux qui étaient généralement compatibles) et le SSD SmartBuy, acheté il y a environ 4 ans et récemment déplacé vers cet assemblage.

Puisque tout cela fonctionne sous FreeBSD 11.2, une virtualochka appropriée a été créée en utilisant bhyve et un test y a été exécuté.


Si vous traduisez les résultats dans une vue tabulaire, vous obtenez ce qui suit:

Test	Ter 1	Ter 2	Ter 3	Moyenne	Stdev
FIO READ IOPS	3715,00	3875,00	3694,00	3761.33	99,00
FIO WRITE IOPS	1591,00	1659,00	1583,00	1611,00	41,76
CPU STRESS-NG 1	12227.00	12399,00	12134.00	12253.33	134,45
CPU STRESS-NG 2	23812.00	23558.00	21254.00	22874.67	1409.27
CPU STRESS-NG 4	39495.00	39876.00	42370.00	40580.33	1561,56
CPU Sysbench pour 1	11.06	11.05	11.05	11.05	0,01
CPU Sysbench pour 2	5.62	5,57	5,54	5,57	0,04
CPU Sysbench pour 4	2,84	2,88	2,82	2,85	0,03
Sysbench mem t 1	2537704.01	2536025.17	2472121.34	2515283.51	37388.96
Sysbench mem t 2	3182800.43	3379413.65	3306495.59	3289569.89	99393.41
Sysbench mem t 4	4300089.71	4163689.93	4163996.47	4209258.70	78662.11

Eh bien, il y a des données de référence, maintenant directement les résultats des fournisseurs de tests.

De plus, je ne citerai pas les journaux complets pour ne pas gonfler l'article, mais je les ai stockés, si vous le souhaitez, demandez un lien, je le partagerai, bien que les données qu'ils contiennent ont été transférées dans la table.

Nuage Yandex

Résultats pour la zone ru-central1-a:


Résultats pour la zone ru-central1-b:


Résultats pour la zone ru-central1-c:


Résultats résumés:

Test	Moyenne	Min. Moyenne	Avg max	Stdev	StDev%
FIO READ IOPS	543,89	534,33	550,00	8.38	1,5%
FIO WRITE IOPS	232,78	228,67	235,67	3,66	1,6%
CPU STRESS-NG 1	10526.11	10147.33	11117.33	518,72	4,9%
CPU STRESS-NG 2	20340.89	19842.00	21330.00	856,61	4,2%
CPU STRESS-NG 4	22039.67	18280.33	28703.67	5786,99	26,3%
CPU Sysbench pour 1	11,65	11,33	11,96	0,31	2,7%
CPU Sysbench pour 2	6.37	5.88	6,86	0,49	7,7%
CPU Sysbench pour 4	3,55	3,40	3,71	0,16	4,5%
Sysbench mem t 1	2137230.43	2081791.40	2195173.28	56732.39	2,7%
Sysbench mem t 2	2511195.10	2430456.68	2570853.73	72533.45	2,9%
Sysbench mem t 4	2968665.32	2841193.56	3089212.43	124154,35	4,2%

Je veux porter une attention particulière à un fait remarquable.

Avec une charge complète de tous les cœurs de machines virtuelles dans les zones A et B, les performances totales sont inférieures à celles d'une charge de seulement deux cœurs sur quatre.

De plus, j'ai pris plus de voitures supplémentaires dans l'une des zones et j'ai effectué un test pour elles - le problème n'a pas disparu.

Je suppose qu'il s'agit d'un problème technique et qu'il est associé aux caractéristiques matérielles des machines utilisées pour les hyperviseurs et à leur prise en compte lors de l'allocation des ressources (je rappelle ce cas de la pratique). Eh bien, ou avec autre chose, je ne peux pas regarder à l'intérieur, mais je ne veux vraiment pas deviner.

J'espère que les camarades de Y. Oblak liront cet article et en feront quelque chose, et s'ils sont très chanceux, ils vous diront exactement quoi, sinon cela s'avère quelque peu offensant et parfois désagréable (beaucoup d'applications se concentrent sur le nombre de cœurs pour calculer le nombre de threads) .

Mail.RU Cloud (MCS)

Mail.ru n'a que deux zones d'accès, donc deux tests ont été effectués sur différentes machines dans la même zone.

Résultats pour la zone Moscou-Est (première VM):


Résultats pour la zone Moscou-Est (deuxième VM):


Résultats pour la zone Moscou-Nord:


Résultats résumés:

Test	Moyenne	Min. Moyenne	Avg max	Stdev	StDev%
FIO READ IOPS	531,67	485,33	590,00	53,36	10,0%
FIO WRITE IOPS	228.11	209,00	252,33	22/11	9,7%
CPU STRESS-NG 1	7924.89	6982.67	9755.33	1585,44	20,0%
CPU STRESS-NG 2	15920.56	14030.33	19665.67	3243.41	20,4%
CPU STRESS-NG 4	29070.44	21204.00	38715.33	8890.10	30,6%
CPU Sysbench pour 1	14.13	12,55	15,57	1,52	10,7%
CPU Sysbench pour 2	6,88	6.22	7,51	0,64	9,3%
CPU Sysbench pour 4	3,57	3.17	3,96	0,40	11,2%
Sysbench mem t 1	1486997.99	1234232.59	1989543.58	435 219,81	29,3%
Sysbench mem t 2	1834038.01	1726650.20	1982621.08	132864.82	7,2%
Sysbench mem t 4	2319512.93	2195498.93	2412902.32	111890.39	4,8%

Il est intéressant de noter qu'il n'y a aucun problème de dégradation des performances lors de l'utilisation de quatre threads, et il semble que des noyaux honnêtes (quoique plutôt faibles) soient émis.

De plus, dans la zone Nord, des processeurs nettement plus puissants sont utilisés que dans la zone Est, la différence de performances à pleine charge atteint deux fois. Pour le même prix. Tirez vos propres conclusions.

Selectel

Les résultats de ses tests étaient très intéressants. En termes absolus, il fournit les machines 4 cœurs les plus puissantes de tous les fournisseurs testés.

Résultats pour la zone "Moscou - Berzarin-1":


Résultats pour la zone "Moscou - Berzarin-2":


Résultats pour la zone "Saint-Pétersbourg - Dubrovka-1":


Tableau récapitulatif avec les résultats:

Test	Moyenne	Min. Moyenne	Avg max	Stdev	StDev%
FIO READ IOPS	2216.33	1729.33	2611.33	448.14	20,2%
FIO WRITE IOPS	952,78	742,33	1123,00	193,49	20,3%
CPU STRESS-NG 1	13443.67	10829.33	18403.67	4297.59	32,0%
CPU STRESS-NG 2	27168.89	22079.67	36822.00	8363.96	30,8%
CPU STRESS-NG 4	54083.67	43917.33	74306.00	17513.14	32,4%
CPU Sysbench pour 1	11,72	11.18	11,99	0,46	4,0%
CPU Sysbench pour 2	5,86	5,60	6.00	0,23	3,9%
CPU Sysbench pour 4	2,94	2,82	3.01	0,11	3,7%
Sysbench mem t 1	2239669.75	2159904.22	2398917.72	137912.86	6,2%
Sysbench mem t 2	2301520.36	2009501.56	2453758.38	252972.39	11,0%
Sysbench mem t 4	2766419.51	2284841.25	3178049.76	450 693,81	16,3%

Comme je l'ai dit, parmi tous les testés, ce fournisseur fournit les machines les plus productives basées sur 4 threads. Mais ici, il y a une particularité - encore une fois, pour le même prix, nous obtenons une productivité presque 2 fois différente - comparer les résultats de Berezin-2 avec les autres.

Je voudrais également mentionner les disques très rapides à un prix raisonnable, les meilleurs disponibles parmi les trois fournisseurs nationaux testés. Dans le même temps, une machine avec le processeur le plus rapide a le lecteur le plus lent sur trois.

Il s’agit d’une sorte de loterie, bien que, même si vous n’avez pas de chance, tout restera très, très décent.

Google cloud

Les résultats des tests GCE n'ont pas apporté de surprise particulière.

Tout est assez prévisible, homogène et généralement conforme à ce qui est revendiqué.

Résultats pour la zone europe-west1-b:


Résultats pour la zone Europe-Ouest-1c:


Résultats pour la zone Europe-Ouest1-D:


Tableau récapitulatif avec les résultats:

Test	Moyenne	Min. Moyenne	Avg max	Stdev	StDev%
FIO READ IOPS	931.67	907,33	975,00	37,62	4,0%
FIO WRITE IOPS	399,67	389,00	418,67	16,50	4,1%
CPU STRESS-NG 1	14209.89	14156.00	14309.67	86,50	0,6%
CPU STRESS-NG 2	28642.56	28352.00	29062.67	372,63	1,3%
CPU STRESS-NG 4	29738.56	29355.00	30085.67	366,69	1,2%
CPU Sysbench pour 1	12,61	12,54	12,65	0,06	0,5%
CPU Sysbench pour 2	6.36	6.29	6,44	0,07	1,1%
CPU Sysbench pour 4	3,50	3,49	3,52	0,01	0,4%
Sysbench mem t 1	2064102.94	2055526.35	2079643.49	13482.64	0,7%
Sysbench mem t 2	1426786.53	1368090.14	1538170.74	96508.32	6,8%
Sysbench mem t 4	2335620.59	2277993.80	2372470.75	50549.23	2,2%

Il n'y a même rien à commenter.

La productivité en 4 flux diffère à peine de deux, mais ne se dégrade pas.

En général, chaque cœur est très productif et moitié moins puissant que le cœur de la machine virtuelle de test, qui est hors compétition, et on ne peut pas dire qu'ils sont les plus faibles.

Les disques d'étoiles du ciel ne s'accrochent pas, mais pour la plupart des tâches, ils seront nombreux.

La seule chose à noter est une excellente homogénéité. Chacune des machines ne diffère pas plus par ses performances que par l'erreur de mesure, ce qui donne une excellente prévisibilité et une facilité de planification.

Aws

Le leader du marché, son test m'a un peu surpris, car ils ont le même problème que celui trouvé chez Y. Oblak.

Malgré le fait que je travaille avec lui depuis longtemps, il ne m'a pas suffi d'une manière ou d'une autre de découvrir la différence de performances entre les modes pleine charge et partiellement, donc les résultats m'ont surpris dans une certaine mesure.

Pour les tests, le type c5.xlarge a été utilisé, car le moins cher convenait aux exigences.

Résultats pour la zone eu-central-1a:


Résultats pour la zone eu-central-1b:


Résultats pour la zone eu-central-1c:


Tableau récapitulatif des résultats:

Test	Moyenne	Min. Moyenne	Avg max	Stdev	StDev%
FIO READ IOPS	1953,56	1937.33	1966,00	14,70	0,8%
FIO WRITE IOPS	839.33	832.33	844,67	6.33	0,8%
CPU STRESS-NG 1	21677.11	21626.67	21753.00	66,90	0,3%
CPU STRESS-NG 2	42960.33	42348.00	43277.67	530,41	1,2%
CPU STRESS-NG 4	40601.11	40041.67	40882.67	484,50	1,2%
CPU Sysbench pour 1	8.77	8.77	8.77	0,00	0,0%
CPU Sysbench pour 2	4,40	4.39	4,40	0,00	0,1%
CPU Sysbench pour 4	2,52	2,52	2,52	0,00	0,1%
Sysbench mem t 1	3057058.93	3042532.67	3064915.47	12594.10	0,4%
Sysbench mem t 2	1991422.87	1814117.21	2163753.34	174871.16	8,8%
Sysbench mem t 4	2597272.55	2320876.43	2818418.98	253330.90	9,8%

Comme je l'ai dit plus haut, les résultats m'ont surpris.

Oui, je comprends que le problème ne se manifeste explicitement qu'avec certains types de charge (il n'est pas visible dans Sysbench), mais compte tenu des résultats d'autres plates-formes, ce n'est clairement pas un problème avec le test, à savoir la limitation des performances.

Pour la défense d'AWS, je peux dire que lorsque vous créez une machine, cela vous permet de désactiver HyperThreading, ce qui permet au moins d'éliminer le problème des baisses de performances dans certaines applications.

Sinon, les disques ne garantissent pas de telles performances, mais ils prennent en charge Burst pour lisser les charges, donc si vous avez besoin de lire / écrire relativement souvent, rapidement, mais pas très souvent (par exemple, une fois toutes les quelques minutes), alors tout ira bien.

De plus, l'homogénéité des résultats est tout simplement excellente, tout est prévisible et sans surprise.

Azure

Au départ, je ne voulais pas l'inclure dans le test, car Je n'ai jamais vraiment travaillé avec lui et je n'avais même pas de compte là-bas. Mais, après y avoir réfléchi, j'ai décidé de le tester tout de même, pour une bonne raison , pour laquelle j'ai payé .

Je veux expliquer tout de suite que la région a été choisie selon le principe du «quelque part en Europe», et que le type de machine est 100% adapté aux conditions (4 processeurs, 8 Go de mémoire).
Dans la première itération du test, c'était A4 v2, marqué comme «Usage général», avec lequel cet article a été publié. Les connaisseurs qui sont venus aux commentaires m'ont expliqué ce que j'ai fait de mal et qu'il s'avère qu'Azure a une machine plus lente, peut coûter plus cher que celle que vous ne pouvez pas découvrir plus rapidement et sans lire la documentation ou googler . Après quoi les résultats ont été mis à jour en fonction du type de F4

Résultats pour la zone France-Centre-1:


Résultats pour la zone France-Centre-2:


Résultats pour la zone France-Centre-3:


Tableau récapitulatif des résultats:

Test	Moyenne	Min. Moyenne	Avg max	Stdev	StDev%
FIO READ IOPS	1094,56	1068,67	1134,00	34,71	3,2%
FIO WRITE IOPS	469.11	458,33	485,33	14h30	3,0%
CPU STRESS-NG 1	10353.56	10096,00	10641.00	273,73	2,6%
CPU STRESS-NG 2	20819.33	20489.00	21347.00	461,79	2,2%
CPU STRESS-NG 4	40362.44	39158.00	41720.33	1288.04	3,2%
CPU Sysbench pour 1	10.10	9,80	10,42	0,31	3,0%
CPU Sysbench pour 2	5.19	5,08	5.35	0,14	2,7%
CPU Sysbench pour 4	2,71	2,66	2,77	0,05	2,0%
Sysbench mem t 1	2536842.28	2457812.89	2623752.76	83250.19	3,3%
Sysbench mem t 2	2409424.00	2352580.84	2496940.39	76912,65	3,2%
Sysbench mem t 4	2752661.55	2676802.64	2814777.95	70006.71	2,5%

Bonne performance, l'une des meilleures parmi les plateformes présentées. Certes, le prix gâche tout.

Résumé

Performances

.

, .. , , .


,

CPU:



, - - AWS. Google Cloud.

Selectel. , ( , ).

:



AWS , - — Azure . -.

:



— Selectel. .

— AWS Burst- .
GCE Azure, . MSC, .

— .

, — .

stress-ng.
1 ( ):

Provider	Yandex.Cloud	MCS	Selectel	GCE	Aws	Azure
Price (cur)	3799.12	3608	4050.624	103.08	147.57	147.46
Price (rub)	3799.12	3608	4050.624	6747.6168	9659.9322	9652.7316
Alt price (cur)	3799.12	3608	3,454.94	35.6	56.07	9652.7316
Alt price (rub)	3799.12	3608	3,454.94	2330.376	3670.3422	9652.7316

.

, , , — , .

, , .

, - , AWS, Azure (, (-), ) GCE , 65.46 .

, Azure , 16 , ( ), , , Azure .

, , stress-ng , :


—

, , - :


—

, , , Selectel, .

, .

, stress-ng , :


—

, :



.

, AWS GCE .

Selectel, , «» ( , , AWS Spot Google Preemptible ).

, , .

Au lieu de conclusions

, — .

, , - «».
**UPDATE** Selectel, ..
**UPDATE2** Azure , ,