Comparação do desempenho da máquina virtual de 6 plataformas em nuvem: Selectel, MCS, I. Nuvem, Google Cloud, AWS e Azure

Agora, me deparei com dois artigos de um blog corporativo relacionado a nuvens - um sobre o Kubernetes, e o segundo foi uma tentativa de medir o desempenho usando uma técnica que parecia duvidosa para mim (não é à toa que um spoiler).

Eu também tenho algo a dizer sobre os K8s, mas vamos falar sobre desempenho.

A desconfiança nos resultados foi causada por muitos fatores, mas os principais para mim foram os seguintes: não havia parâmetros para executar os testes, o número de iterações não foi anunciado, como as máquinas escolhidas não foram anunciadas e também não houve configuração detalhada. É duvidoso em geral.
Em geral, uso principalmente o Google Cloud e a AWS (no total, já os encontro há mais de uma dúzia de anos) e não trabalho particularmente com provedores de nuvem domésticos, mas, por coincidência, tenho contas ativas em Selectel, MCS, I. Nuvem e, após este teste, também no Azure.

Felizmente, todas essas plataformas são públicas e, o que quer que eu tente, todos podem ir, repetir e verificar se quiserem.

O resultado de tudo isso foi o pensamento - por que não gastar algumas centenas de rublos , durante todo o final de semana e realmente não medir todas as seis plataformas e descobrir qual delas oferece o melhor desempenho em termos de custo e em números absolutos com as mesmas configurações e, ao mesmo tempo, comparar fornecedores globais com Russo.
E, como se viu, para esclarecer alguns dos "recursos" na alocação de recursos e lembrar a si e aos outros que está longe de ser sempre e não em todas as plataformas pelo mesmo dinheiro que você pode obter desempenho previsível.

Os resultados não foram fenomenais, mas, na minha opinião, extremamente curiosos.

Para os interessados, peço gato.

Metodologia

Máquinas virtuais

Cada provedor de nuvem é executado seqüencialmente em diferentes zonas de disponibilidade (se houver duas zonas, uma máquina na primeira zona e duas na segunda), três máquinas virtuais com 4 CPUs, 8 GB de RAM e um disco de sistema de 50 GB.

O tipo de processador / instância é o mais novo disponível, se houver uma opção.

Tipo de VM - compartilhado com alocação completa do kernel.

Tipo de disco - SSD de rede com capacidade de remontar para outra VM.

As opções para alocação garantida de IOPS ou máquinas otimizadas para isso não foram usadas, se não estiverem previstas nos termos de uso padrão e for impossível recusá-lo.

O sistema de arquivos padrão é ext4.

Nenhuma configuração manual do sistema foi feita.

Uma série de testes foi lançada em cada uma das máquinas; os valores totais para cada máquina foram calculados em média.

O desempenho total da plataforma é expresso pela média aritmética dos valores médios dos testes para cada uma das máquinas virtuais, mas o desvio padrão também está nas tabelas para os interessados.

Sistema operacional - Ubuntu 16.04 é o último nível de patch disponível.

Cálculo de custos

O cálculo do custo foi feito sem levar em consideração as cobranças de bônus do provedor, sem levar em conta o custo do tráfego, a partir do cálculo do trabalho da máquina virtual por um mês inteiro sem parar.

Além disso, algumas plataformas permitem reduzir significativamente o custo dos recursos através de certas restrições (das quais você pode sobreviver com muita habilidade).

Para a AWS, essas são instâncias Spot; para GCE, são instâncias preemptivas. Com uma arquitetura de aplicativo adequada, eles podem ser usados ​​com êxito sem causar danos, mas com o benefício de uma carteira, ela foi testada por mim pessoalmente e por dezenas de empresas que as usam.
O tipo de disco no Selectel pode ser atribuído à mesma categoria. Apesar do fato de os discos do tipo "Rápido" participarem das principais medidas, ainda existe um "Universal" significativamente mais barato, não brilhante em velocidade, mas adequado para um grande número de tarefas. As opções com seu uso também foram levadas em consideração nos cálculos finais.

Testes

Para executar os testes, este script foi escrito a partir do qual todos os parâmetros de inicialização são visíveis:


Para todos os testes, exceto a CPU Sysbench, mais é melhor.

Os resultados de todos os lançamentos foram coletados em planilhas do Excel para cálculos adicionais.
Bem, eu meio que fiz isso - já lhe disse, agora preciso contar o que aconteceu.

Teste

Um exemplo de máquina não é um teste.

As nuvens costumam ser comparadas aos servidores de ferro convencionais. Não vejo muito sentido nisso, uma vez que a nuvem não é apenas e não tanto o poder de computação direta, mas principalmente o ecossistema, mas, no entanto, acho que muitos ainda estarão interessados ​​nessa comparação. Bem, em geral, algo deve ser comparado. Com algo próximo, famoso e compreensível.
Eu não tinha a máquina de ferro à mão, mas há uma estação de trabalho Dell muito nova, é também um servidor doméstico com um processador conhecido (E5-4650L a 2.60GHz), a quantidade apropriada da memória DDR3 EEC mais rápida (para ser honesto - o mais lento daqueles que geralmente eram compatíveis) e o SmartBuy SSD, adquirido há cerca de 4 anos e recentemente transferido para esta montagem.

Como tudo isso funciona no FreeBSD 11.2, uma virtualochka adequada foi criada usando o bhyve e um teste foi executado lá.


Se você traduzir os resultados em uma exibição tabular, obterá o seguinte:

Teste	Ter 1	Ter 2	Ter 3	Média	Stdev
FIO LEIA IOPS	3715,00	3875,00	3694.00	3761,33	99,00
FIO ESCREVA IOPS	1591,00	1659,00	1583,00	1611,00	41,76
CPU STRESS-NG 1	12227,00	12399,00	12134,00	12253,33	134,45
CPU STRESS-NG 2	23812,00	23558,00	21254.00	22874.67	1409,27
CPU STRESS-NG 4	39495,00	39876,00	42370,00	40580.33	1561,56
CPU Sysbench para 1	11.06	11.05	11.05	11.05	0,01
Processador Sysbench para 2	5,62	5,57	5,54	5,57	0,04
CPU Sysbench para 4	2,84	2,88	2,82	2,85	0,03
Sysbench mem t 1	2537704.01	2536025.17	2472121.34	2515283.51	37388.96
Sysbench mem t 2	3182800.43	3379413.65	3306495.59	3289569.89	99393.41
Sysbench mem t 4	4300089.71	4163689.93	4163996.47	4209258.70	78662.11

Bem, existem dados de referência, agora diretamente os resultados dos provedores de testes.

Além disso, não citarei os logs completos para não inflacionar o artigo, mas os tenho armazenados, se desejar, solicite um link, compartilharei-o, embora os dados deles tenham sido transferidos para a tabela.

Yandex Cloud

Resultados para a zona ru-central1-a:


Resultados para a zona ru-central1-b:


Resultados para a zona ru-central1-c:


Resumo Resultados:

Teste	Média	Média de min	Média máxima	Stdev	StDev%
FIO LEIA IOPS	543,89	534,33	550,00	8.38	1,5%
FIO ESCREVA IOPS	232,78	228,67	235,67	3,66	1,6%
CPU STRESS-NG 1	10526.11	10147.33	11117.33	518,72	4,9%
CPU STRESS-NG 2	20340.89	19842.00	21330,00	856,61	4,2%
CPU STRESS-NG 4	22039.67	18280.33	28703.67	5786.99	26,3%
CPU Sysbench para 1	11,65	11,33	11,96	0,31	2,7%
Processador Sysbench para 2	6,37	5,88	6,86	0,49	7,7%
CPU Sysbench para 4	3.55	3,40	3,71	0,16	4,5%
Sysbench mem t 1	2137230.43	2081791.40	2195173.28	56732.39	2,7%
Sysbench mem t 2	2511195.10	2430456.68	2570853.73	72533.45	2,9%
Sysbench mem t 4	2968665.32	2841193.56	3089212.43	124154.35	4,2%

Quero prestar atenção especial a um fato notável.

Com uma carga completa de todos os núcleos de máquinas virtuais nas zonas A e B, o desempenho total é MAIS BAIXO do que com uma carga de apenas dois em cada quatro núcleos.

Além disso, peguei mais carros adicionais em uma das zonas e fiz um teste para eles - o problema não desapareceu.

Suponho que esse seja um problema técnico e esteja associado aos recursos de hardware das máquinas usadas para hipervisores e levando-os em consideração ao alocar recursos (lembro-me desse caso da prática). Bem, ou com outra coisa, não consigo olhar para dentro, mas realmente não quero adivinhar.

Espero que os camaradas de Y. Oblak leiam este artigo e façam algo com ele, e se tiverem muita sorte, eles lhe dirão exatamente o que, caso contrário, será um pouco ofensivo e às vezes desagradável (muitas aplicações focam no número de núcleos para calcular o número de threads) .

Nuvem Mail.RU (MCS)

O Mail.ru possui apenas duas zonas de acesso; portanto, dois testes foram realizados em máquinas diferentes na mesma zona.

Resultados para a zona leste de Moscou (primeira VM):


Resultados para a zona Moscou-Leste (segunda VM):


Resultados para a zona Moscou-Norte:


Resumo Resultados:

Teste	Média	Média de min	Média máxima	Stdev	StDev%
FIO LEIA IOPS	531,67	485,33	590,00	53,36	10,0%
FIO ESCREVA IOPS	228,11	209,00	252,33	22/11	9,7%
CPU STRESS-NG 1	7924.89	6982.67	9755,33	1585,44	20,0%
CPU STRESS-NG 2	15920.56	14030.33	19665.67	3243.41	20,4%
CPU STRESS-NG 4	29070.44	21204.00	38715.33	8890.10	30,6%
CPU Sysbench para 1	14,13	12,55	15,57	1,52	10,7%
Processador Sysbench para 2	6,88	6.22	7,51	0,64	9,3%
CPU Sysbench para 4	3.57	3,17	3,96	0,40	11,2%
Sysbench mem t 1	1486997.99	1234232.59	1989543.58	435.219,81	29,3%
Sysbench mem t 2	1834038.01	1726650.20	1982621.08	132864.82	7,2%
Sysbench mem t 4	2319512.93	2195498.93	2412902.32	111890.39	4,8%

Pelo interessante, quero observar que não há problemas de degradação do desempenho ao usar quatro threads, e parece que os kernels honestos (embora fracos) são emitidos.

Além disso, na zona Norte, processadores significativamente mais potentes são usados ​​do que na zona Leste, a diferença de desempenho em plena carga atinge duas vezes. Pelo mesmo dinheiro. Tire suas próprias conclusões.

Selectel

Os resultados de seus testes foram muito interessantes. Em termos absolutos, ele fornece as máquinas de quatro núcleos mais poderosas de todos os fornecedores testados.

Resultados para a zona "Moscow - Berzarin-1":


Resultados para a zona "Moscow - Berzarin-2":


Resultados para a zona "São Petersburgo - Dubrovka-1":


Tabela de resumo com os resultados:

Teste	Média	Média de min	Média máxima	Stdev	StDev%
FIO LEIA IOPS	2216,33	1729,33	2611,33	448,14	20,2%
FIO ESCREVA IOPS	952,78	742,33	1123,00	193,49	20,3%
CPU STRESS-NG 1	13443.67	10829.33	18403.67	4297.59	32,0%
CPU STRESS-NG 2	27168.89	22079.67	36822.00	8363.96	30,8%
CPU STRESS-NG 4	54083.67	43917.33	74306,00	17513.14	32,4%
CPU Sysbench para 1	11,72	11.18	11,99	0,46	4,0%
Processador Sysbench para 2	5,86	5,60	6,00	0,23	3,9%
CPU Sysbench para 4	2,94	2,82	3.01	0,11	3,7%
Sysbench mem t 1	2239669.75	2159904.22	2398917.72	137912.86	6,2%
Sysbench mem t 2	2301520.36	2009501.56	2453758.38	252972.39	11,0%
Sysbench mem t 4	2766419.51	2284841.25	3178049.76	450.693,81	16,3%

Como eu disse, de todos os testados, esse provedor fornece as máquinas mais produtivas baseadas em 4 threads. Mas aqui há uma peculiaridade - novamente, pelo mesmo dinheiro, obtemos uma produtividade quase duas vezes diferente - compare os resultados do Berezin-2 com o restante.

Além disso, gostaria de observar unidades muito rápidas a um preço razoável, o melhor disponível dos três fornecedores domésticos testados. Ao mesmo tempo, uma máquina com o processador mais rápido tem a unidade mais lenta dentre três.

Acontece uma espécie de loteria, embora, mesmo que você não tenha sorte, tudo ainda será muito, muito decente.

Google cloud

Os resultados dos testes GCE não trouxeram surpresas especiais.

Tudo é bastante previsível, homogêneo e geralmente consistente com o que é reivindicado.

Resultados para zone europe-west1-b:


Resultados para a zona europe-west-1c:


Resultados para a zona europe-west1-d:


Tabela de resumo com os resultados:

Teste	Média	Média de min	Média máxima	Stdev	StDev%
FIO LEIA IOPS	931,67	907,33	975,00	37,62	4,0%
FIO ESCREVA IOPS	399,67	389,00	418,67	16,50	4,1%
CPU STRESS-NG 1	14209,89	14156,00	14309.67	86,50	0,6%
CPU STRESS-NG 2	28642.56	28352.00	29062.67	372,63	1,3%
CPU STRESS-NG 4	29738.56	29355.00	30085.67	366,69	1,2%
CPU Sysbench para 1	12,61	12,54	12,65	0,06	0,5%
Processador Sysbench para 2	6,36	6.29	6,44	0,07	1,1%
CPU Sysbench para 4	3,50	3,49	3.52	0,01	0,4%
Sysbench mem t 1	2064102.94	2055526.35	2079643.49	13482,64	0,7%
Sysbench mem t 2	1426786.53	1368090.14	1538170.74	96508.32	6,8%
Sysbench mem t 4	2335620.59	2277993.80	2372470.75	50549.23	2,2%

Não há nada a comentar.

A produtividade em 4 fluxos dificilmente difere de dois, mas não se degrada.

Em geral, cada núcleo é muito produtivo e tem a metade do poder da máquina virtual de teste, que está fora de competição, e não se pode dizer que eles são os mais fracos.

Discos de estrelas do céu não agarram, mas para a maioria das tarefas, haverá muitos deles.

A única coisa que vale a pena notar é uma excelente homogeneidade. Cada uma das máquinas difere no desempenho não mais do que no erro de medição, o que oferece excelente previsibilidade e facilidade de planejamento.

Aws

O líder de mercado, seu teste me surpreendeu um pouco, pois eles têm o mesmo problema encontrado em Y. Oblak.

Apesar de estar trabalhando com ele há muito tempo, de alguma forma não foi suficiente para eu descobrir a diferença de desempenho entre os modos de carga total e parcialmente, então os resultados foram uma surpresa para mim, em certa medida.

Para o teste, foi utilizado o tipo c5.xlarge, como o mais barato adequado para os requisitos.

Resultados para a zona eu-central-1a:


Resultados para a zona eu-central-1b:


Resultados para a zona eu-central-1c:


Tabela de resumo dos resultados:

Teste	Média	Média de min	Média máxima	Stdev	StDev%
FIO LEIA IOPS	1953.56	1937.33	1966.00	14,70	0,8%
FIO ESCREVA IOPS	839,33	832,33	844,67	6.33	0,8%
CPU STRESS-NG 1	21677.11	21626.67	21753.00	66,90	0,3%
CPU STRESS-NG 2	42960.33	42348.00	43277.67	530,41	1,2%
CPU STRESS-NG 4	40601.11	40041.67	40882.67	484,50	1,2%
CPU Sysbench para 1	8,77	8,77	8,77	0,00	0,0%
Processador Sysbench para 2	4,40	4,39	4,40	0,00	0,1%
CPU Sysbench para 4	2,52	2,52	2,52	0,00	0,1%
Sysbench mem t 1	3057058.93	3042532.67	3064915.47	12594.10	0,4%
Sysbench mem t 2	1991422.87	1814117.21	2163753.34	174871.16	8,8%
Sysbench mem t 4	2597272.55	2320876.43	2818418.98	253330.90	9,8%

Como eu disse acima, os resultados me surpreenderam.

Sim, entendo que o problema se manifesta explicitamente apenas com alguns tipos de carga (não é visível no Sysbench), mas dados os resultados de outras plataformas, isso claramente não é um problema com o teste, ou seja, a limitação de desempenho.

Em defesa da AWS, posso dizer que, quando você cria uma máquina, ela permite desativar o HyperThreading, o que pelo menos ajuda a eliminar o problema com perdas de desempenho em alguns aplicativos.

Caso contrário, os discos não garantem esse desempenho, mas suportam o Burst para suavizar cargas, portanto, se você precisar ler / gravar relativamente, rapidamente, mas não com muita frequência (por exemplo, uma vez a cada poucos minutos), tudo ficará bem.

Além disso, a homogeneidade dos resultados é excelente, tudo é previsível e sem surpresas.

Azure

Inicialmente, eu não queria incluí-lo no teste, porque Eu nunca trabalhei com ele e nem tinha uma conta lá. Mas, pensando bem, decidi testá-lo da mesma forma, por um bom motivo , pelo qual paguei .

Quero explicar imediatamente que a região foi escolhida a partir do princípio "em algum lugar da Europa" e que o tipo de máquina é 100% adequado para as condições (4 processadores, 8 GB de memória).
Na primeira iteração do teste, era A4 v2, marcado como "Uso geral", com o qual este artigo foi publicado. Os conhecedores que chegaram aos comentários me explicaram o que eu fiz de errado e que o Azure tem uma máquina mais lenta, pode custar mais do que aquela que você não consegue descobrir mais rapidamente e sem ler a documentação ou pesquisar no Google . Após o qual os resultados foram atualizados com base no tipo de F4s

Resultados para a zona France-Central-1:


Resultados para a zona France-Central-2:


Resultados para a zona France-Central-3:


Tabela de resumo dos resultados:

Teste	Média	Média de min	Média máxima	Stdev	StDev%
FIO LEIA IOPS	1094,56	1068,67	1134,00	34,71	3,2%
FIO ESCREVA IOPS	469,11	458,33	485,33	14,30	3,0%
CPU STRESS-NG 1	10353.56	10096.00	10641,00	273,73	2,6%
CPU STRESS-NG 2	20819.33	20489,00	21347,00	461,79	2,2%
CPU STRESS-NG 4	40362.44	39158.00	41720.33	1288.04	3,2%
CPU Sysbench para 1	10,10	9,80	10,42	0,31	3,0%
Processador Sysbench para 2	5.19	5.08	5,35	0,14	2,7%
CPU Sysbench para 4	2,71	2,66	2,77	0,05	2,0%
Sysbench mem t 1	2536842.28	2457812.89	2623752.76	83250.19	3,3%
Sysbench mem t 2	2409424.00	2352580.84	2496940.39	76912.65	3,2%
Sysbench mem t 4	2752661.55	2676802.64	2814777.95	70006.71	2,5%

Bom desempenho, um dos melhores entre as plataformas apresentadas. É verdade que o preço estraga tudo.

Sumário

Desempenho

Vamos começar com uma tabela dinâmica de resultados.

Eu insiro com uma imagem, porque Eu quero usar cores, mas os dados estão nas tabelas apresentadas acima.


Quanto melhor,

melhor.Vamos dar uma olhada no desempenho da CPU:



em geral, a AWS mantém a liderança no desempenho medido médio para cargas de núcleo único e duplo. Em segundo lugar, está o Google Cloud.

Dos provedores russos, a Selectel se mostrou melhor. Além do terceiro lugar em termos de carga parcial, ele tem um primeiro único ao carregar todos os núcleos, mesmo levando em conta os resultados desiguais entre as zonas (o que é desagradável, mas neste caso não afeta).

Agora a memória: de



acordo com a velocidade de trabalhar com a memória, a memória morreA AWS mantém a palma da mão no modo de thread único, para thread duplo - Azure e I. Cloud para quatro threads.

Discos:



Em termos de velocidade do disco, temos um vencedor claro - o Selectel. Nenhum dos participantes da comparação oferece algo assim por dinheiro comparável.

Em segundo lugar, está a AWS, graças à velocidade permitida e geralmente decente.
Atrás dele estão o GCE e o Azure, e Y. Cloud e MSC fecham a lista, que oferece aproximadamente as mesmas soluções de desempenho.

Custo em relação ao desempenho

Agora vamos falar sobre outro fator interessante - custo.

Essa comparação não cobre, de forma alguma, o custo agregado das soluções em diferentes plataformas; seu objetivo é simples - comparar o custo de uma unidade de desempenho para diferentes fornecedores.

O cálculo é baseado no teste de esforço-ng.
Preços de liquidação por 1 mês de uso de cada instância (sem IVA):

Fornecedor	Yandex.Cloud	Mcs	Selectel	Gce	Aws	Azure
Preço (cur)	3799.12	3608	4050.624	103,08	147,57	147,46
Preço (rub)	3799.12	3608	4050.624	6747.6168	9659.9322	9652.7316
Alt Alt (preço atual)	3799.12	3608	3.454,94	35,6	56,07	9652.7316
Alt Alt (esfregar)	3799.12	3608	3.454,94	2330.376	3670.3422	9652.7316

A tabela de custos requer alguma explicação.

Para os provedores que têm a oportunidade de reduzir o custo dos recursos descritos no início do artigo, existem dois custos - o principal e o alternativo, calculados levando em consideração esses recursos.

Como esse não é um desconto e está vinculado a cenários de uso diferentes, tenho uma boa idéia para calcular o custo e levá-lo em consideração.

Além disso, devido à diferença de moedas, o custo da AWS, Azure (sim, eu sei que ele pode aparecer em rublos (de alguma forma), a calculadora deles me mostrou os valores em dólares) e o GCE é reduzido ao equivalente em rublo, correspondendo à taxa de 65,46 rublos por Dólar americano

Além disso, para o Azure, não foi possível alocar o custo do disco, o disco padrão da instância é de 16 GB, quanto o disco realmente custará da calculadora não é muito claro (também há o número de solicitações consideradas), portanto, o preço é indicado apenas para a instância em si , embora o total ainda não muda a situação, o Azure continua sendo o mais caro.

Portanto, o custo de cada solução, reduzido a rublos por papagaio no teste de estresse-ng para a quantidade mínima de recursos que foram obtidos no teste:


Menos é melhor

Se você calcular com base nos resultados médios do teste, a imagem não mudará fundamentalmente, mas algo ainda está fundamental mudança:


menos é melhor

Acontece que em todas as categorias, se você contar sem IVA, a Selectel vence, além disso, na categoria de cargas pesadas, com quase duas margens.

Agora vamos ver o que acontece se você reler o custo, levando em consideração possíveis economias, dependendo do cenário de uso.

O custo alternativo, levando em consideração a economia devido ao caso de uso, é reduzido a rublos por papagaio no teste de estresse para a quantidade mínima de recursos que foram obtidos no teste:


Menos é melhor

É o mesmo, mas a quantidade média de recursos:



aqui a imagem muda.

Em todos os cenários, exceto por uma carga pesada constantemente cheia com uma margem decente, a AWS e a GCE apresentam quase o mesmo custo por unidade de recursos.

No caso de uma carga pesada, eles são concorrentes da Selectel, que oferece recursos quase pelo mesmo dinheiro, mas com menos "concessões" (no entanto, seus nós são constantes e não são desativados a qualquer momento, ao contrário das instâncias do AWS Spot e do Google Preemptible).

Portanto, se você abordar a arquitetura com cuidado e competência, poderá economizar muito dinheiro em um local aparentemente vazio.

Em vez de conclusões

O teste acabou sendo longo, mas quanto a mim - interessante.

Para mim, tirei algumas conclusões sobre os resultados, espero que ajude você a analisar a questão do desempenho da plataforma em nuvem um pouco diferente e provavelmente facilite um pouco o tormento da escolha, bem como ajude a diagnosticar problemas de desempenho em algumas plataformas devido a "recursos" identificados.
** ATUALIZAÇÃO ** Atualizações e preços selecionados da Selectel, conforme O IVA seria levado em consideração incorretamente
** UPDATE2 ** Resultados atualizados do Azure para um novo tipo de nó, conclusões atualizadas, mas basicamente nada mudou