Armazenamento definido por software ou o que matou os dinossauros?



Uma vez que eles ocuparam o topo da cadeia alimentar. Por milênios. E então o impensável aconteceu: as nuvens fecharam o céu e deixaram de existir. No outro extremo do mundo, eventos que mudaram o clima: aumento da cobertura de nuvens. Os dinossauros se tornaram grandes e lentos demais: suas tentativas de sobreviver estavam fadadas ao fracasso. Predadores mais altos governaram a Terra por 100 milhões de anos, ficando maiores e mais fortes. Eles evoluíram para o que parecia ser um ser ideal no topo da cadeia alimentar, mas o Universo mudou instantaneamente a face do nosso planeta.

Ironicamente, foram as nuvens que destruíram os dinossauros há 66 milhões de anos. Da mesma forma, as nuvens hoje estão destruindo os sistemas clássicos de armazenamento de dados que estão "no topo da cadeia alimentar". Nos dois casos, o problema não estava nas nuvens, mas na capacidade de se adaptar a um mundo em mudança. No caso dos dinossauros, tudo aconteceu rapidamente: o efeito destrutivo das nuvens ocorreu poucos dias ou semanas após a queda do meteorito (ou uma erupção vulcânica - a escolha da teoria permanece com você). No caso de data warehouses clássicos, o processo leva anos, mas é claro que é irreversível.

Triássico: a era do grande ferro e o surgimento de aplicações migratórias


Então o que aconteceu? No ecossistema existente, havia sistemas de armazenamento de nível básico e intermediário, sistemas de nível corporativo e sistemas de armazenamento de conexão direta (DAS). Essas categorias foram determinadas por analistas, possuíam volumes próprios de mercado, indicadores de custo, confiabilidade, desempenho e escalabilidade. E então algo estranho aconteceu.

O advento das máquinas virtuais significou que vários aplicativos, provavelmente vários proprietários, poderiam estar em execução no mesmo servidor - essas alterações imediatamente colocaram em dúvida o futuro do armazenamento conectado diretamente. Em seguida, os proprietários das maiores infraestruturas hiperescaláveis ​​(hiperscalers): Facebook, Google, eBay etc., cansados ​​de pagar enormes quantias em dinheiro para armazenamento, desenvolveram seus próprios aplicativos que disponibilizavam dados em servidores regulares em vez de grandes sistemas de armazenamento "de ferro". Então a Amazon apresentou ao mercado algo estranho chamado Simple Storage Service ou S3. Não é um bloco, nem um arquivo, mas algo fundamentalmente novo: tornou-se impossível comprar um sistema, tornou-se possível comprar apenas um serviço. Espere, que tipo de luz brilhante é visível no céu? Outro asteróide?

Período jurássico: a era do "bom o suficiente"


Entramos na fase de desenvolvimento de armazenamento com a ideologia de "bom o suficiente". Os clientes que usam armazenamento, percebendo o que os hiperscalers faziam, começaram a questionar a imparcialidade do valor agregado que era dez ou até cem vezes superior ao ferro que pagavam pelo armazenamento corporativo. Matrizes de gama média começaram a ganhar participação de mercado nos sistemas de nível superior. Produtos como o HPE 3PAR mostraram um crescimento rápido. O EMC Symmetrix, uma vez que a matriz dominante (da palavra "maciço") de uma classe corporativa ainda mantinha algum território, mas estava diminuindo rapidamente. Muitos usuários começaram a transferir seus dados para a AWS.

Por outro lado, os inovadores de armazenamento começaram a emprestar idéias de hiperscalers usando tecnologias de sistemas distribuídos horizontalmente escaláveis ​​- uma ideologia oposta à escala vertical. Espera-se que o novo software de armazenamento possa funcionar em servidores regulares, assim como os hiperscalers. Chega de 10 a 100 preços múltiplos acima do custo do próprio equipamento. Em teoria, você pode usar qualquer servidor - a escolha depende da sua preferência. A era dos sistemas de armazenamento definido por software (SDS) começou: as nuvens fecharam o céu, as temperaturas caíram e a população de predadores mais altos começou a declinar.

Período cretáceo: o início da evolução dos sistemas de armazenamento definidos por software


Os primeiros dias de armazenamento definido por software foram tempestuosos. Muito foi prometido, mas poucos foram entregues. Ao mesmo tempo, ocorreu uma importante mudança tecnológica: a memória flash se tornou uma alternativa moderna à “ferrugem rotativa” (HDD). Este foi o período do surgimento de muitas startups de armazenamento e dinheiro de risco facilmente distribuído. Tudo seria ótimo, se não fosse por um problema: o armazenamento de dados requer uma atitude séria. Acontece que os clientes gostam de seus dados. Se eles perderem o acesso a eles ou se forem encontrados alguns bits incorretos em terabytes de dados, eles ficarão muito preocupados. A maioria das startups não sobreviveu. Os clientes obtiveram funcionalidade interessante, mas nem tudo foi bom com as ferramentas básicas. Receita ruim.

Período cenozóico: as matrizes de armazenamento dominam


Poucas pessoas falam sobre o que aconteceu depois, porque não é muito interessante - os clientes continuam comprando as mesmas matrizes clássicas de armazenamento. Obviamente, aqueles que moveram seus aplicativos para as nuvens também moveram os dados para lá. Mas para a grande maioria dos clientes que não desejam mudar completamente para a nuvem, ou não querem mudar completamente, a mesma Hewlett Packard Enterprise continuou a oferecer matrizes clássicas.

Como vivemos em 2019, por que ainda existe um negócio de armazenamento de bilhões de dólares com base em tecnologias da época do ano 2000? Porque eles trabalham! Simplificando, os requisitos de aplicativos de missão crítica não foram implementados por produtos criados na onda do hype. Produtos como o HPE 3PAR continuam sendo as melhores opções para clientes corporativos, e a nova rodada de evolução da arquitetura HPE 3PAR - HPE Primera - apenas confirma isso.

Por sua vez, os recursos de armazenamento definido por software eram excelentes: escalabilidade horizontal, uso de servidores padrão ... Mas o retorno disso foi: disponibilidade instável, desempenho imprevisível e regras específicas de escalabilidade.

A complexidade dos requisitos do cliente é que eles nunca se tornam mais fáceis. Ninguém dirá que a perda da integridade dos dados ou o aumento do tempo de inatividade são aceitáveis. É por isso que a arquitetura é tão importante para os sistemas de armazenamento que atendem simultaneamente aos requisitos dos modernos data centers em rápida evolução e, ao mesmo tempo, em busca de um compromisso, não deixa de ter as principais características dos sistemas de armazenamento de classe empresarial.

Período terciário: o surgimento de novas formas de vida


Vamos tentar descobrir como um dos recém-chegados ao mercado de armazenamento - Datera - conseguiu lidar com uma mistura tão difícil de requisitos de armazenamento historicamente estabelecidos e novos. Primeiro, devido à implementação da arquitetura orientada para a solução do dilema descrito acima. É impossível modificar a arquitetura antiga para resolver os problemas enfrentados por um data center moderno, assim como é impossível modificar a arquitetura de um sistema médio de armazenamento definido por software para atender aos requisitos de sistemas de classe empresarial: os dinossauros não se tornaram mamíferos porque a temperatura caiu.

Construir uma solução que atenda aos requisitos de armazenamento de classe corporativa e ao mesmo tempo leve em consideração todo o valor do dinamismo de um data center moderno não é uma tarefa fácil, mas era exatamente isso que a Datera pretendia fazer. Os especialistas da Datera trabalham nisso há cinco anos e encontraram uma receita para "preparar" um sistema de armazenamento definido por software de classe empresarial.

A principal dificuldade que Datera encontrou foi que era necessário usar o operador AND lógico em vez do OR visivelmente mais simples. Disponibilidade estável, desempenho previsível "AND", escalabilidade arquitetural "AND", "AND" código semelhante à orquestração, equipamento padronizado "AND", equipamento "AND" implementação de políticas de gerenciamento, flexibilidade "AND", flexibilidade "AND", gerenciamento analítico, "AND" security, "AND" integração com ecossistemas abertos. O operador lógico "AND" é um caractere mais longo que "OR" - essa é a principal diferença.

Período quaternário: data centers modernos e mudanças climáticas dramáticas determinam o desenvolvimento de armazenamento definido por software


Então, como a Datera criou uma arquitetura que atende aos requisitos dos sistemas tradicionais de armazenamento de classe corporativa e satisfaz as demandas de um datacenter moderno ao mesmo tempo? Tudo se resume novamente a este operador AND irritante.

Não havia sentido em resolver uma tarefa de cada vez para atender aos requisitos individuais. A soma de tais elementos não se tornará um todo. Como em qualquer sistema complexo, o estudo cuidadoso de todo o complexo de compromissos equilibrados foi importante aqui. Durante o desenvolvimento, os especialistas da Datera se concentraram em três princípios principais:

  • gerenciamento específico do aplicativo;
  • um único mecanismo para garantir a flexibilidade dos dados;
  • alta produtividade devido à redução de custos indiretos.

Uma propriedade comum desses princípios é a simplicidade. Gerenciamento de sistema simples, gerenciamento de dados simples com um único mecanismo elegante e fornecendo desempenho previsível (e alto), reduzindo custos. Por que a simplicidade é tão importante? Os mestres experientes do mundo do armazenamento sabem que não é possível atender aos requisitos de armazenamento de um data center dinâmico e moderno, usando apenas controle granular, muitas ferramentas de gerenciamento de dados e hiper otimização para aumentar a produtividade. Já conhecemos o complexo de técnicas como o dinossauro do sistema de armazenamento.

A familiaridade com esses princípios serviu bem ao Datera. A arquitetura que eles desenvolveram tem, por um lado, a disponibilidade, desempenho e escalabilidade de um sistema moderno de armazenamento de classe corporativa e, por outro lado, a flexibilidade e a velocidade necessárias para um moderno data center definido por software.

Disponibilidade de Datera na Rússia


Datera é um parceiro global de tecnologia da Hewlett Packard Enterprise. Os produtos Datera são testados quanto à compatibilidade e desempenho com vários modelos de servidor HPE ProLiant .

Você pode aprender mais sobre a arquitetura Datera no seminário on- line da HPE em 31 de outubro.

Source: https://habr.com/ru/post/pt472840/


All Articles