Visão geral técnica do NEC HYDRAstor HS8 e mais

Quando em nosso país as pessoas ouvem o nome da empresa NEC, a primeira coisa que as pessoas da geração mais velha se lembram é:

Aqueles que são um pouco mais jovens são:

(sob o corte muitas fotos)

NEC Corporation

Parece "N-si". E, em inglês, significa Corporação Elétrica N ippon. Embora em nosso país eles geralmente se pronunciam como NEC :).

• Sede do apartamento - Tóquio, Japão (na foto)
• Volume de negócios em 2018 - US $ 29 bilhões
• Total de funcionários 109.000 ou mais
• As principais fábricas estão localizadas no Japão, várias fábricas na Malásia
• 65% do volume de negócios - vendas no Japão
• 18 escritórios em 18 países
• 4 centros de pesquisa em 4 países

A empresa foi registrada em Tóquio em 1899 e nos primeiros anos atuou na produção de equipamentos telefônicos.
Hoje, a NEC produz uma gama bastante ampla de soluções, que podem ser encontradas no site oficial da empresa.

Mas gostaria de contar à comunidade respeitada sobre a linha de armazenamento de desduplicação NEC HYDRAstor para backups e, principalmente, sobre a família HS8 mais antiga.

NEC HYDRAstor HS8

O que me surpreendeu desde o início foi que a 5ª geração desses sistemas já havia sido lançada e na Rússia quase nada se sabe sobre eles. Pelo menos ao me comunicar com pessoas de fornecedores, integradores ou clientes, muitas vezes vi a surpresa como a primeira reação ao mencionar essas soluções.
Nas figuras abaixo, são apresentadas a programação atual do NEC HYDRAstor HS8 e as principais características dos modelos.

Os sistemas de armazenamento HYDRAstor são sistemas construídos com base na arquitetura de expansão. Consequentemente, o armazenamento NEC HS8 é um sistema escalável horizontalmente e pode ser expandido até 165 nós para aumentar a capacidade e o desempenho. Isso permite que você comece com uma configuração pequena e mais barata (Nr: modo único) e, em seguida, expanda-a sequencialmente conforme suas crescentes necessidades de backup. Como pode ser visto nas figuras, os clusters HS8 podem conter dois tipos de nós. Nós híbridos (Nó Híbrido), combinando as funções dos controladores (Nó do Acelerador), interagindo com os servidores de backup, bem como a função de armazenamento de dados (Nó do Armazenamento). E nós de armazenamento separados (Nó de Armazenamento), usados ​​para aumentar o espaço em disco disponível no sistema de armazenamento. Dependendo do modelo do sistema e dos requisitos do cliente, a proporção de nós híbridos e de armazenamento no cluster pode variar.

^{2 - Um (1) Terabyte (TB) = 1.000.000.000.000 bytes.
3 - Suposição: backup completo semanal e backup incremental diário e período de retenção de 3 meses para atingir uma taxa de redução de dados de 20: 1; 9 + 3 nível de resiliência.}

É possível configurar nós com discos de 8 TB, mediante solicitação do cliente. O desempenho máximo por nó, de acordo com o fornecedor, é de 61 TB / h ou 72 TB / h em 1HN + 1SN, mas isso está sujeito ao uso de desduplicação na origem (Transferência Dedupada) e dados que se prestam bem à desduplicação. Como muitos fornecedores, essa é mais uma figura de marketing - o chamado Best Case. E o pior caso é 450 MB / s por nó em 12 discos SATA - desde que os dados não possam ser duplicados e compactados completamente. I.e. todo o fluxo não compactado e não deduplicado vai para as unidades SATA, que são chamadas de o pior caso. Assim, o descrito acima é uma espécie de valores extremos, e a realidade em cada caso específico estará em algum lugar no meio.

A aparência dos nós HS8-5000 na frente é apresentada abaixo. De fato, esses são os próprios servidores da NEC com discos e placas de rede. CPU em todos os nós da geração E5-2600v3.


Vista traseira de um nó híbrido com portas internas e externas em 1Gbe. As portas internas são usadas para conexões intracluster entre os nós do HydraStor. As portas externas são usadas para conexões de clientes externos ao cluster (por exemplo, para servidores de mídia de backup). À direita, existem dois discos SAS que hospedam o sistema operacional do nó.


Vista traseira de um nó híbrido com portas internas e externas em 1Gbe e duas portas externas de 10Gbe.


Vista traseira de um nó híbrido com portas internas e externas em 1Gbe e quatro portas externas de 10Gbe.


Vista traseira de uma pilha de nós com portas internas em 1Gbe.


Conexões internas em um cluster de dois nós consistindo em dois nós híbridos sem o uso de comutadores. Ao atualizar de uma configuração de nó único para dois clusters de nó, é necessário planejar 4 horas de inatividade para reconfigurar LSNs internos (nós de armazenamento lógico). Os dados já gravados no cluster não são perdidos.


Conexões internas em um cluster de dois nós consistindo em um nó híbrido e um nó de cem nós sem usar comutadores.


Conexão esquemática de um cluster que consiste em mais de 2 nós usando comutadores Ethernet intra-cluster.


Para o trabalho dentro do cluster, são usados ​​comutadores L2 NEC de produção própria. Abaixo está um exemplo de empilhamento de switches intra-cluster NEC, que são usados ​​para conectar as portas internas dos nós do HydraStor. Dependendo do tamanho do cluster, podem ser usados ​​dois a três comutadores Ethernet de 48 portas por gabinete de telecomunicações. No máximo 39 comutadores de unidade única por cluster (incluindo comutadores L3 "de parte superior do rack"). Os switches são fornecidos com o cluster como parte de uma única solução.


Um exemplo de uma tabela de comutação de portas em comutadores Ethernet internos.
HNxxxx-M: Conecte-se à porta de manutenção do nó híbrido
HNxxxx-1/2/3/4: Conecte à porta iLAN1 / 2/3/4 do nó híbrido
SNxxxx-M: Conecte-se à porta de manutenção do nó de armazenamento
SNxxxx-1/2/3/4: Conecte ao nó da porta de armazenamento iLAN1 / 2/3/4
L3xxxxx-xx: conectar aos comutadores L3
Através dos comutadores L3, é fornecida conectividade entre os gabinetes de telecomunicações em grandes configurações.


Exemplo de entrega de um cluster NEC HydraStor pronto para instalação no gabinete de telecomunicações do cliente. 15 nós por gabinete, até 11 gabinetes na configuração máxima.


O HYDRAstor usa desduplicação global embutida em todo o cluster - DataRedux .
Durante a desduplicação, os dados são divididos em blocos de tamanho variável, o que permite responder com mais precisão às alterações de arquivo durante os backups subsequentes. Para blocos únicos, o algoritmo de compactação LZO é usado adicionalmente para reduzir o tamanho dos dados armazenados.


Alterar alguns dados no meio do arquivo não leva à formação de novos blocos exclusivos, como ocorre com a desduplicação usando blocos de comprimento constante. O algoritmo determina com bastante precisão a parte alterada do arquivo e todos os blocos subsequentes permanecem inalterados e deduplicados.


O armazenamento NEC HS8 oferece um alto nível de redundância de dados armazenados, superior ao usado pelo armazenamento convencional. Os dados gravados são divididos em vários blocos, adicionando somas de verificação especiais a esses blocos e, em seguida, distribuídos por discos em vários nós, o sistema de armazenamento NEC HS8 fornece recuperação de dados mesmo em caso de falhas em vários pontos simultaneamente. Ele pode lidar não apenas com falhas simultâneas de 3 discos, mas também de nós, impedindo a perda de informações em caso de falha. Para proteger os dados, os algoritmos de Erasure Coding são usados.


Devido ao fato de o HYDRAStor não usar RAID e discos HS dedicados, a recuperação de falhas (discos ou nós) é muito mais rápida do que quando o RAID é usado. Como a recuperação é realizada de acordo com o esquema de muitos para muitos, usando espaço livre para recuperação de dados.


Os dados armazenados são verificados periodicamente quanto à integridade. Se os dados estiverem danificados, eles serão restaurados automaticamente a partir das somas de verificação.


Os Dados Resilientes Distribuídos (DRD) são:
1. Proteção definida pelo usuário contra falhas de disco ou nó

• Proteção contra três falhas simultâneas por padrão
• A capacidade de usar vários níveis (1-6) de proteção para vários aplicativos em um sistema (diferentes sistemas de arquivos com o nível de proteção desejado para diferentes aplicativos)

2. Melhor proteção a menor custo.

• Por padrão, 75% da capacidade de armazenamento de dados e 25% para a proteção deles são usados.
• 1,5 vezes mais confiável que o RAID 6, com custos mais baixos e recuperação mais rápida
• Não há necessidade de discos sobressalentes (Hot Spare), a recuperação vai liberar espaço no cluster

3. Recuperação mais rápida com menos degradação no desempenho

• Apenas os dados são recuperados, não o disco inteiro
• Os dados são restaurados no modo muitos para muitos, ao contrário do RAID

A tabela abaixo mostra a dependência do número de falhas de disco ou nó permitidas para configurações de um e dois nós.
Um nível de segurança diferente do padrão (3) pode ser atribuído a cada sistema de arquivos recém-criado. Quanto maior o nível especificado pelo Resilience, mais confiáveis ​​os dados são protegidos contra perdas, mas também maior o custo do espaço em disco necessário para essa proteção. Comparado com soluções competitivas, aproximadamente os mesmos 25% dos custos de espaço em disco são incorridos pelos concorrentes ao usar o Raid6, o que permite que você não perca mais de 2 discos de um grupo de Raid. O HydraStor pode perder até 3 discos sem perda de dados, com os mesmos 25% do espaço em disco gasto na proteção de dados armazenados.


Uma tabela semelhante, apenas para configurações de monogonode.


Capacidade líquida em nós HS8 sem desduplicação e compactação.


Incluindo novos nós no cluster:

• A adição do novo HN (Nó Híbrido) aumenta linearmente o desempenho e a capacidade do cluster.
• Adicionar novo SN (Nó de Armazenamento) aumenta linearmente a capacidade do cluster
• Ao adicionar novos nós, o processo de redistribuição de dados armazenados para novos nós inicia automaticamente

A capacidade de armazenamento NEC HS8 pode ser facilmente aumentada à medida que a quantidade de dados aumenta. O armazenamento NEC HS8 pode armazenar dados com segurança por longos períodos de tempo usando a tecnologia distribuída de tolerância a falhas. Os dados migram automaticamente do nó antigo para o novo durante a substituição. Isso permite que você altere os nós em tempo real sem criar inconvenientes para os usuários. A substituição de nós também reduz significativamente os custos, prolongando a vida útil de um sistema existente, em comparação com a substituição completa de um sistema por um novo. Nós de três gerações podem estar simultaneamente em um cluster.


Universal Express I / O - protocolo leve de E / S NEC (instalado por um plug-in separado no servidor de mídia de backup)
1. Tem menos sobrecarga que o NFS / CIFS, o que significa que é mais produtivo
2. Funciona com muitos aplicativos de backup, por exemplo: RMAN, NetWorker, NetVault etc.
3. Suporta as seguintes funções:

• Compactação de dados durante a transmissão
• Criptografia de dados de transmissão
• Balanceamento de carga de rede

O Universal Express I / O Deduped Transfer é uma funcionalidade de E / S Universal Express licenciada separadamente que permite ativar a redução de redundância na origem.
O Deduped Transfer possui várias limitações e não funcionará se o número de tarefas de backup competitivas exceder:

1. 50 backups paralelos em um servidor de backup (o 51º backup será executado sem deduplicação na origem)
2. 100 backups paralelos por nó Hybryd (o 101º backup será executado sem deduplicação na origem)

A Transferência com Desduplicação requer uma licença adicional para o Universal Express I / O ou OST Suite (OpenStorage - Suite).

Requisitos para um servidor de backup usando a transferência com desduplicação:


Grade de acesso sincronizado - permite ativar o acesso a um sistema de arquivos por meio de vários nós híbridos ao mesmo tempo. O recurso requer uma licença separada. De fato, um único espaço para nome é incluído para um sistema de arquivos específico por meio de vários nós híbridos físicos. Ao mesmo tempo, o cliente pode não saber através de qual nó específico está conectado no momento. Para aumentar o desempenho de um sistema de arquivos, você pode simplesmente adicionar outro nó híbrido ao grupo de nós sincronizados. A gravação simultânea no mesmo arquivo de nós diferentes não é possível.

A Grade de acesso sincronizada simplifica o design do sistema e fornece um bom desempenho sem a necessidade de criar sistemas de arquivos separados em cada nó híbrido.


E / S dinâmica - balanceamento adaptável de fluxos externos. Distribuição dinâmica de fluxos de backup em todas as portas Ethernet externas (front-end) de todos os nós híbridos.

A E / S dinâmica funciona se houver licenças da Grade de Acesso Sincronizado e da Universal Express I / O no cluster. Os fluxos de dados são equilibrados igualmente entre vários nós híbridos e / ou sub-redes dentro de um cluster. Em uma configuração de modo único, também é possível configurar o balanceamento de fluxo nas portas físicas do nó (sem usar a licença da Grade de Acesso Sincronizado), mas você precisará usar sub-redes diferentes em cada porta externa física do nó. No entanto, uma alternativa para ambas as licenças em uma pequena configuração de modo único pode ser a coleção de várias interfaces externas na porta de ligação . Os seguintes tipos de agregação são suportados:

• balance-rr - lança sequencialmente pacotes, da primeira à última interface
• balance-alb - é a primeira alternativa a considerar se o LACP não for usado. Equilibra adaptativamente a carga em todas as interfaces, sem a necessidade de suporte dos comutadores. Mas isso pode causar alertas nos sistemas de monitoramento de rede para duplicação de endereços IP.
  
• backup ativo - uma das interfaces está ativa. Se a interface ativa falhar (link inativo etc.), outra interface substituirá a interface ativa. Nenhuma configuração de switch adicional é necessária
• IEEE 802.3ad ou LACP (requer configuração no lado do comutador do cliente)

Naturalmente, além de Bonding e Universal Express I / O, você pode configurar Jumbo Frames ao longo de toda a rota de tráfego (nas interfaces de rede do HydraStor inclusive).

Para integração com o Veritas NetBackup , os plugins OST são suportados para vários sistemas operacionais. Se o Universal Express I / O não for usado, o OST fornecerá um bom desempenho nos protocolos CIFS ou NFS. O NetBackup também pode equilibrar seus trabalhos em vários nós NEC HS. Para habilitar a desduplicação na origem, também é necessária uma licença de Transferência Dedupada . Além disso, a funcionalidade Cópia otimizada é suportada, o que permite que apenas blocos únicos sejam replicados para um site remoto.


A Replicação Automática de Imagem OST é um recurso que automatiza a importação de um catálogo de backup para um servidor de Backup em um site remoto. Isso permite acelerar a recuperação de dados em um site remoto no caso de uma falha completa do site original.


Plug-in OST - configuração FC - está disponível uma configuração para o HYDRAStor, na qual é possível gravar (ler) dados em nós híbridos, incluindo o protocolo FiberChannel. Inicialmente, apenas o NetBackup com um plug-in OST era suportado. Mas recentemente foi lançado um patch (disponível agora), cuja funcionalidade será adicionada à próxima versão do software e já funciona com o FC usando o protocolo Universal Express IO . Isso expande bastante a gama de softwares de backup que podem trabalhar com dados em um cluster via FC via Universal Express IO.


A figura abaixo mostra a configuração de nós híbridos com placas FC HBA instaladas.


A funcionalidade de failover para continuidade de negócios é o mecanismo de failover do cluster HYDRAstor. Os nós híbridos (HNs) monitoram o estado um do outro e, em caso de falha de um dos nós, um nó íntegro intercepta a entrada / saída do nó quebrado para ele próprio.
Ao usar o protocolo NFS, a E / S não para e as sessões no servidor de Backup não são redefinidas. Em outros casos, a reconexão é necessária.


Um exemplo um pouco mais ilustrativo do que na figura anterior. Não apenas os sistemas de arquivos passam de nó para nó, mas também os endereços IP através dos quais esses sistemas de arquivos são exportados.


Replicação otimizada para WAN

• Envia apenas dados exclusivos
• Reduz significativamente a carga de rede entre sites
• Elimina os custos de manutenção da fita
• Protege os dados por meio de criptografia on-the-fly

Topologia bidirecional 1 para 1 suportada para replicação


A topologia bidirecional N-para-M (ou muitos para muitos) também é suportada
Os dados podem ser copiados para outros 16 sistemas com uma configuração HYDRAstor de nó único. Além de copiar dados para outros 50 sistemas em uma configuração HYDRAstor de vários nós.


Recuperação de espaço - um local em um cluster, como em muitos núcleos de deduplicação, não é liberado imediatamente após a exclusão de arquivos ou sistemas de arquivos. É necessário o processo de Recuperação de Espaço, que prossegue em dois estágios: análise e pesquisa de mais blocos de dados não utilizados e o processo real de exclusão desses blocos. A recuperação de espaço pode ser iniciada manualmente ou de acordo com uma programação personalizada (por exemplo, durante horas em que os backups de dados ativos não são executados).


WORM (HydraLock) - Escreva uma vez, leia muitos. Uma tecnologia que permite ao longo do tempo impedir que os arquivos façam alterações neles e armazená-los ainda mais por um número especificado de anos. Por padrão, os dados são armazenados no estado inalterado por 10 anos.


Criptografia - o HYDRAStor suporta criptografia de dados para transferências e discos. Mas essa funcionalidade não está disponível na Rússia, de acordo com nossa legislação.


Lista de licenças Hydrastor HS8 opcionais adquiridas separadamente

Quase toda a funcionalidade da lista é analisada acima no artigo. Além do DirectDataShadow , que permite o backup direto de volumes dos sistemas de armazenamento M-Series da NEC (sem servidores e software de backup adicionais).

A compra do NEC HYDRAstor não requer licenciamento separado de desduplicação + compactação (DataRedux), além de protocolos de acesso a arquivos Cifs, NFS e acesso a objetos.

Monitoramento e notificação - o administrador do sistema pode receber notificações do sistema para o correio via SMTP (a) e SNMP (b) ou visualizá-las na interface de controle ©.


Ferramenta de estimativa de redução de dados HS - um utilitário de linha de comando do fornecedor disponível mediante solicitação. Usado para testar a desduplicabilidade e a compressibilidade dos dados do cliente. Disponível em Windows e Linux. A figura abaixo mostra um exemplo de listagem de um arquivo BAT, que pode ser executado com alguma frequência manualmente ou colocado no agendador de tarefas no Windows, por exemplo, para fazer uma imitação do backup diário de dados. HydraStor, .

CMD Windows:

hsSimulator.exe -d <tempDBfile> -o <CSVfile 1> <Files/directories to be measured (before update)> hsSimulator.exe -d <tempDBfile> -o <CSVfile 2> <Files/directories to be measured (after update)> 

Um exemplo de arquivo BAT para automatizar o lançamento de um utilitário agendado:

 @echo off set h=%TIME:~0,2% if "%h:~0,1%" equ " " set h=0%h:~1,1% set m=%TIME:~3,2% set s=%TIME:~6,2% set dd=%DATE:~0,2% set mm=%DATE:~3,2% set yyyy=%DATE:~6,4% c:\hsSimulator\hsSimulator.exe -dc:\hsSimulator\temp.db ^ -oc:\hsSimulator\test-%dd%-%mm%-%yyyy%_%h%.%m%.%s%.csv c:\temp 

Como resultado do trabalho do arquivo BAT, obtemos um arquivo CSV com a data e a hora no nome: test-10-06-2019_17.30.11.csv

Único nó HYDRAStor HS3-50

A NEC também possui um pequeno HYDRAStor HS3-50, que difere dos modelos antigos do HS8 em desempenho inferior e falta de suporte de cluster. I.e. pode ser usado apenas como um nó separado. Este modelo também usa uma geração de CPU E5-2600v3. A funcionalidade é totalmente comparável com o modelo único HS8-5001S. Ele pode ser licenciado em múltiplos de 8 TB e a capacidade bruta máxima é de 24 TB. Está posicionado para pequenas instalações e escritórios remotos da empresa, com a capacidade de replicar dados em sistemas mais antigos para o escritório central.


Capacidade líquida em nós HS3 sem deduplicação e compactação:

Dispositivo virtual HYDRAStor

O HYDRAStor Virtual Appliance é um aplicativo virtual com o mesmo software das versões de ferro do HS3 / HS8 e com a possibilidade de replicação para essas versões de ferro. Escalável até 15 TB de capacidade utilizável. Os requisitos de instalação são apresentados na figura abaixo. Está posicionado para pequenas empresas e escritórios remotos, além do HS3-50.
Mediante solicitação, o fornecedor pode fornecer licenças de avaliação para o HYDRAStor Virtual Appliance por 90 dias.

<sup>Notas de rodapé em tabelas
1. Compactação de backup típica, dependendo do tipo de dados.
2. Capacidade calculada com base em: 1 GB = 1.000.000.000 bytes, 1 TB = 1.000 GB.
3. Cálculo do HS VA no servidor host VMware ESXi com 2 Intel Xeon E5-2470 a 2.30GHz (8 núcleos cada), 96 GB de memória, 6x SATA HDD (7.200 rpm 4 TB) em RAID6
4. A taxa de compactação de dados é assumida como 20: 1.
5. O tipo de CPU deve ser Nehalem-C (Westmere) ou superior (por exemplo, processador Intel Xeon E56xx / L56xx / X56xx) com uma frequência de 1,5 GHz ou superior.
6. Os valores de capacitância são calculados com base em: 1GiB = 1.073.741.824 bytes, 1 GB = 1.000.000.000 bytes, 1 TB = 1.000 GB.</sup>

NEC HYDRAStor HS6

A NEC possui outra solução mais barata que a família HS8 de sistemas HYDRAstor e está posicionada para armazenamento de arquivos (principalmente conteúdo de mídia). Ele usa a desduplicação não como uma variável, mas como um bloco fixo. Caso contrário, as mesmas tecnologias estão disponíveis como para o HS8. Na última coluna da linha Capacidade, há um erro de digitação, referente a Petabytes, não Terabytes.


E quantas fotos mostram como a NEC se vê no contexto dos concorrentes :).
NEC HS8 vs DataDomain


NEC HS8 vs StoreOnce


Comparação de desempenho (por controlador TB / h)


Comparação de desempenho (por sistema TB / h)


Na verdade, foi tudo o que consegui “compilar” a partir da extensa e extensa documentação da NEC nesses sistemas :).