Este artigo faz parte de uma série sobre a criação de NAS e foi escrito para um tipo específico de sistema.
O backup é a segunda tarefa principal que eu queria resolver usando o NAS, depois do sistema de gerenciamento de repositório .
Sua decisão se arrastou ...
Muitos artigos e até vários livros já foram escritos sobre esse tópico, e muitas cópias foram quebradas em disputas sobre esse assunto.
Abaixo está uma tentativa de descobrir esse monte de material, colocá-lo na sua cabeça e criar um pequeno sistema de forma relativamente competente.
O sistema de backup (SRK) é determinado por:
- Política de backup. A política define os principais objetivos e metas do backup, os requisitos para ele, com base na lista de ameaças para cada sistema de backup, e também justifica sua necessidade.
- Regulamentos de backup baseados em políticas. O regulamento descreve os algoritmos de backup e recuperação responsáveis por backups, condições de armazenamento para backups, etc.
- Implementação instrumental. Na verdade, software e hardware.
O processo de backup regular é dividido nas seguintes partes principais:
- Início periódico da cópia.
- Inicie a recuperação sob demanda.
- Testando o processo de cópia.
Pontos de interface do sistema com a plataforma NAS:
tank0/apps/backup - armazenamento de tank0/apps/backup .tank1/apps/backup - armazenamento de tank1/apps/backup .https://backup.NAS.cloudns.cc - interface do sistema baseada na Web.
Repositórios de backup são sistemas de arquivos separados .
Isso é necessário porque suas opções podem ser muito diferentes, tanto dos sistemas de arquivos normais quanto entre si.
Por exemplo, se necessário, a desduplicação por meio do FS pode ser ativada e a compactação pode ser desativada.
Princípios de backup
Vale a pena entender que, embora eu esteja descrevendo aqui um caso especial de backup adaptado às necessidades de uma pequena rede, os princípios, observações e padrões são comuns em todos os lugares.
Em casos simples, alguns deles podem ser negligenciados, mas é desejável saber.
Esses princípios são baseados em políticas e regulamentos.
Aqui estão alguns básicos:
- 3-2-1 . Faça pelo menos três backups, em dois formatos de armazenamento, dos quais pelo menos um deve ser armazenado em um local fisicamente separado. É desejável observar o princípio. No meu caso, esse princípio é parcialmente implementado. Em primeiro lugar, existem três máquinas diferentes nas quais os dados são parcialmente duplicados: NAS, trabalho e laptop. Em segundo lugar, a replicação para a nuvem está planejada.
- Verifique o que foi copiado . Caso contrário, pode acontecer que em um momento crucial, os dados não possam ser restaurados. Verifique melhor através do processo de recuperação.
- Use as ferramentas certas para a tarefa . É provável que, ao copiar uma frota de máquinas virtuais, um sistema para copiar arquivos com um agente em uma máquina tenha um desempenho ruim. O software especializado copia mais rapidamente e menos custosos nos recursos da máquina. É importante que a ferramenta seja confiável e simples. O IBS não é algo com o qual você normalmente queira se divertir.
- É melhor copiar tudo, com a exceção óbvia do excesso . Ou "é melhor ultrapassar do que não terminar". Será possível descartar o excesso, mas se a política inversa for usada, poderá ser impossível restaurar um arquivo valioso que você esqueceu de especificar explicitamente.
- Deve ser possível selecionar e restaurar dados rapidamente . É aconselhável "um clique" e não espere uma hora. Formalmente, você precisa ter um RTO aceitável baixo e RPO suficiente. É extremamente conveniente se o IBS permitir restaurar acidentalmente excluído e escolher entre várias versões, e não apenas a mais recente (por exemplo, se estiver danificada, porque erros lógicos não são excluídos).
No final do artigo, existem links para fontes que você pode estudar para se familiarizar mais com esses pontos e ler sobre outros.
Política de backup
Obviamente, o objetivo de qualquer backup é reduzir o custo da destruição não planejada de dados em situações de emergência.
Isso é conseguido duplicando dados valiosos de máquinas em funcionamento para armazenamento de terceiros.
Tarefas de backup
As seguintes tarefas são definidas para fins de backup:
- Realçar dados de destino.
- Salvando os dados especificados para recuperação subseqüente.
- Recuperação de dados salvos.
- Garantir a estabilidade dos dados armazenados para alteração e destruição.
- Diferenciação do acesso aos dados armazenados.
- Fornecendo controle do sistema e processo de backup.
Requisitos de sistema
Além disso, na lista, os requisitos funcionais e não funcionais são misturados:
- O backup deve ser realizado:
- No horário.
- A pedido.
- Se você pular a anterior.
- O backup de dados deve ser fornecido pelo menos 1 vez por dia, com profundidade de 1 mês. A prática de tirar instantâneos, bem como usar a versão anterior do sistema em uma máquina que funciona, mostra que isso é suficiente para mim.
- O tempo de recuperação de dados não deve exceder 2 minutos por 1 GB (o limite da largura de banda da rede é 81 s. Por 1 GB). Levando em consideração a largura de banda da LAN e a velocidade do disco, como fatores limitantes.
- Todos os canais devem ser criptografados. Dados confidenciais, como dados de autorização em serviços online, podem ser salvos.
- Deve ser possível criptografar os backups do usuário com uma chave secreta na máquina do usuário, sem a possibilidade de descriptografia no servidor. Isso é importante porque os usuários não precisam confiar no servidor.
- A cópia incompleta não deve demorar muito, por exemplo, mais de 30 minutos. Internet é usada para copiar dados de um laptop.
- Deve haver o potencial de replicar cópias para a nuvem (a capacidade de configurar de forma flexível a replicação para um armazenamento em nuvem específico) com criptografia de backups. Essa também é uma das consequências do "princípio 3-2-1".
- Deve haver um gerenciamento centralizado simples com integração à interface da web.
- Um mínimo de melhorias e configurações complexas no servidor.
Composição de recursos reservados
No meu caso, é bastante típico:
- A principal máquina de trabalho. Computador de mesa.
- Máquina de trabalho móvel. O laptop
- Roteador LAN. Ele armazena configurações de rede, que podem conter logins e senhas para uma conexão com a Internet e alguns serviços.
- NAS Sim, a configuração do NAS também é redundante. Apesar do fato de que a maioria dos FS possui snapshots.
Composição da ameaça
É aqui, o quê e o que deve ser protegido e de que maneira.
Para fazer isso, compilei uma pequena tabela de ameaças. Todas as principais ameaças ao computador móvel repetem as ameaças ao computador parado.
Os computadores tablet praticamente não diferem dos dispositivos móveis, desse ponto de vista.
Termos adicionais da política
É aconselhável levá-los em consideração:
- Testes regulares de recuperação devem ser realizados.
- Os procedimentos de recuperação de falhas devem ser documentados.
- As ações devem ser regulamentadas no caso de uma falha secundária: o que fazer se, após a restauração, o sistema não estiver operacional ou os dados não puderem ser restaurados.
- É necessário testar se o processo de recuperação depende de equipamentos específicos
(que pode falhar no momento da recuperação). Eu, no meu caso, não vou verificar isso, limitado apenas a uma verificação básica do sistema. - Se você tiver um backup completo do sistema, deverá fazer o backup imediatamente após uma atualização substancial.
- Se o volume acumulado de backups incrementais exceder o volume de backup completo, é racional fazer um backup completo não programado. Ou seja, a frequência de criação de backups completos deve ser aumentada nesse caso.
Não levo em consideração o último ponto da política, porque geralmente meu fluxo de trabalho não muda e é suficiente monitorar o volume por um tempo, apenas para a configuração inicial.
Empiricamente, verificou-se que o esquema "mês, semana, dia, hora" está bem comigo.
Para sistemas maiores, pode ser necessário alterar a frequência de backup dinamicamente para cada sistema.
Regulamentos de backup
Após o desenvolvimento de uma política, é possível prosseguir com o desenvolvimento de um regulamento diretamente.
No caso geral, pode haver vários regulamentos: geral, para administradores do IBS, usuários, responsáveis pelo armazenamento, administradores de sistemas de destino, etc.
Porém, no caso de um sistema pequeno, geralmente é uma pessoa e, portanto, existe apenas um regulamento.
Os objetivos dos regulamentos
- Definindo procedimentos de backup de dados.
- Definindo procedimentos de recuperação de dados.
- Definindo um procedimento de verificação de integridade do sistema.
- Condições de armazenamento de backup e requisitos de mídia.
- Simplificando o trabalho.
Exemplo de regulamento
Sob o spoiler, você pode ver como são as regras em uma grande organização, usando o exemplo do regulamento Rosreestr retirado de fontes abertas .
Regulamento do Rosreestr.REGULAMENTO DO BACKUP DE DADOS NOS DEPARTAMENTOS TERRITORIAIS DE ROSRESTR
Sumário
- Disposições Gerais
- Ordem de backup.
- Monitorando os resultados.
- Suporte regulatório.
- Rotação da mídia de backup.
- Restaurar informações de um backup.
- Apêndice 1
- Apêndice 2 Lista de pessoas responsáveis pelo backup.
1 Geral
Este regulamento estabelece os requisitos básicos para organizar o backup (recuperação) de programas e dados armazenados em bancos de dados nos servidores da autoridade territorial de Rosreestr, bem como para fazer backup de hardware.
O presente regulamento destina-se a:
- determinação da categoria de informações sujeitas a backup obrigatório;
- determinar o procedimento para fazer backup de dados para a restauração subsequente do desempenho dos sistemas de informação em caso de perda total ou parcial de informações causada por falhas ou mau funcionamento de hardware ou software, erros do usuário, emergências (incêndio, desastres naturais, etc.);
- determinar o procedimento para recuperar informações no caso de tal necessidade;
- agilizando o trabalho e determinando a responsabilidade dos funcionários relacionados ao backup e restauração de informações.
O backup de informações significa a criação de cópias completas dos bancos de dados de produção do Office para a rápida recuperação do sistema de gerenciamento de informações do Registro Unificado de Empresas do Estado AIS "Justiça" no caso de uma emergência que resulte em danos ou perda de dados.
Todos os bancos de dados de produção de todos os departamentos territoriais do Office estão sujeitos a backup.
A mídia de armazenamento da máquina que contém uma cópia de backup recebe um carimbo de confidencialidade para o carimbo mais alto de informação neles contido.
Os backups são armazenados fora da sala do servidor, o acesso aos backups é limitado. A lista de pessoas que têm acesso aos dados é formada com base em um pedido por escrito do chefe da unidade de tecnologia da informação (TI), acordado com o chefe da unidade de segurança da informação (SI). Os direitos de acesso a meios técnicos reservados, matrizes e mídia de armazenamento são alterados com base em um aplicativo do chefe do departamento de TI, acordado com o chefe do departamento de SI. As tentativas detectadas de acesso não autorizado às informações e hardware reservados, bem como outras violações de IS que ocorreram durante o processo de backup, são relatadas à unidade de IS com uma nota de serviço durante o dia útil após a detecção do evento especificado.
2 Ordem de backup
O backup é feito por meio regular do Oracle DBMS. O backup pode ser feito:
- Manualmente - o operador responsável pelo backup inicia o procedimento de exportação do Oracle (um exemplo de início do procedimento no Apêndice 1).
- Automaticamente - o arquivo executável que chama o procedimento de exportação Oracle é iniciado automaticamente pelo sistema operacional, de acordo com o agendamento.
O backup do banco de dados é realizado pelo menos 1 vez por dia. O período de armazenamento do banco de dados de backup é de pelo menos 1 mês.
A estratégia de backup deve garantir a recuperação síncrona de dados localizados em diferentes esquemas de banco de dados. Por exemplo, o esquema HED (o repositório de documentos eletrônicos) deve ser copiado simultaneamente com o esquema AIS Justice.
Os meios materiais e técnicos do sistema de backup devem fornecer desempenho suficiente para salvar as informações no prazo e em intervalos especificados. As pessoas responsáveis pela organização diária do backup monitoram a disponibilidade da quantidade de espaço em disco necessária para o backup.
3 Monitoramento de resultados
Os resultados de todos os procedimentos de backup são monitorados pelos funcionários responsáveis indicados no Apêndice 2, até 10 horas no dia útil seguinte à data estabelecida para a execução desses procedimentos.
Se um erro for detectado, a pessoa responsável pelo monitoramento dos resultados o reportará ao serviço de suporte técnico do desenvolvedor, o mais tardar 11 horas do dia útil atual.
4 Suporte regulatório
Para organizar o processo de backup, você deve:
- Defina uma lista de pessoas responsáveis por executar o processo de backup e monitorar seus resultados (Apêndice 2).
- Prepare e aprove uma programação de backup.
- Preparar e aprovar documentos regulatórios internos sobre a nomeação dos responsáveis pelo backup dos dados.
5 Mídia de backup rotativa
O sistema de backup deve fornecer a capacidade de substituir periodicamente (descarregar) a mídia de backup sem perda de informações, além de garantir a restauração das informações atuais dos sistemas automatizados no caso de falha de qualquer um dos dispositivos de backup. Todos os procedimentos para carregar, descarregar mídia do sistema de backup, bem como sua transferência para o Serviço de Segurança e vice-versa, são executados pelo administrador de backup mediante solicitação e na presença de um funcionário responsável do Serviço de Segurança do Cliente (de acordo com o Apêndice No. 2).
Como novas transportadoras, é permitido reutilizar aquelas para as quais o período de armazenamento das informações contidas expirou.
Informações confidenciais da mídia que não são mais usadas no sistema de backup devem ser apagadas usando o software PGP.
Se necessário, a restauração dos dados dos backups é realizada pelo funcionário responsável do departamento de TI especificado no Apêndice No. 2.
A recuperação de dados de backups ocorre no caso de seu desaparecimento ou violação devido ao acesso não autorizado ao sistema, exposição a vírus, erros de software, erros de funcionários e falhas de hardware.
A restauração do software do sistema e do software de uso geral é realizada a partir de sua mídia, de acordo com as instruções do fabricante.
A restauração de software especializado é realizada a partir da mídia de distribuição ou de suas cópias de backup, de acordo com as instruções para instalação ou restauração deste software.
As informações que não estão relacionadas à constante alteração dos bancos de dados são restauradas a partir da mídia de backup. Isso usa a cópia mais recente das informações.
Em caso de violação parcial ou desaparecimento dos registros do banco de dados, a restauração é realizada a partir da última cópia diária não perturbada. Todas as informações são restauradas a partir da última cópia.
7 Apêndice 1
Um exemplo de como iniciar o utilitário de exportação Oracle na linha de comandos:
exp userid = JUST_USER / PASSWORD @ SERVER owner = (JUST_USER, HED_USER) direto = Y consistente = Y statistics = NENHUMA compactação = N arquivo = C: \ BACKUP.DMP log = C: \ BACKUP.LOG
onde:
JUST_USER / PASSWORD @ SERVER - nome do proprietário do esquema / senha @ nome do servidor;
owner = (JUST_USER, HED_USER) - lista de esquemas copiados; neste exemplo, o esquema AIS Justice e o esquema HED são exportados simultaneamente;
file = C: \ BACKUP.DMP - caminho e nome do arquivo de exportação criado;
log = C: \ BACKUP.LOG - caminho e nome do arquivo de log de exportação criado.
8 Apêndice 2. Lista de pessoas responsáveis pelo backup
Aqui você encontrará outro exemplo com uma breve descrição.
Procedimento de reserva
Composição dos dados de backup:
- Máquinas de trabalho:
- Diretórios pessoais de usuários (
/home/* ). . - .
- , (
/opt ). - (
/etc ). - .
- .
- .
- .
- :
- NAS:
- :
:
- .
- , .
/etc/apt/apt.conf.d , , .- Mikrotik .
- NAS .
:
:
, Debian ( Squeeze 2011 ), Slackware ReiserFS .
:
Mikrotik , RouterOS .
, .
, .
:
- Veeam , , . , Acronis, , .
- .
- .
.
, .
.Soluções Unix Utility
Soluções baseadas em rsync, tar, rdiff-backup, etc. não são considerados devido à grande quantidade de trabalho que precisará ser realizado e à falta da interface WEB necessária.
BareOS (Backup de recuperação de arquivamento aberto de código aberto) - fork do Bacula desde 2010.
Prós:
- Sistema depurado estável.
- Suporta vários tipos de agentes em diferentes sistemas operacionais.
- Ele suporta vários tipos de backup: incremental, diferencial, completo.
- A interface WEB é muito desenvolvida e funcional.
- Configuração flexível.
- Há um driver FUSE que mostra backups.
- Existe uma ligação para Python que permite que você interaja com o Director.
- (, ).
- .
- .
Contras:
.
:
- .
- .
- Web-.
- .
- . , .
- .
- , SMB, rsync.
- Web-.
- , .
- , , .
- .
Contras:
- Perl, CPAN.
- , , .
, , , . , SSH , , , .. . - ( , ).
- .
:
- .
- Web-.
- .
- ( .. ).
- Windows, Linux, MacOS X.
- : , .
- .
- .
- (, Outlook, ).
- . , .
- (, ..) .
- .
- , .
- , .
- .
- Internet.
- (, ) .
- .
- (, USB ).
- .
- GUI .
Contras:
- Windows, , .
- NTFS.
- LDAP, , , AD .
.
:
- .
- .
- . , .
- / . . .
- . .
- .
- FUSE , host/.
Contras:
- Web- .
- RAM (~2.7GB 1TB).
- ACL .
- RAM .
- ( ).
- ( ). .
- restic.
.
:
- .
- .
- ( Python, C ).
- .
- : LZ4, zlib, LZMA.
- FUSE , .
- : Linux, macOS, BSD, etc.
- Web-, .
- .
Contras:
- Web- .
- Windows ( Linux subsystem cygwin).
, rsync.
:
- inotify fsevents . rsync .
- rsync.
- Lua, Lua.
- .
- .
Contras:
.
.
:
- , .
- , TLS, , SSL .
- , "" , .
- .
- , : , .
- , .
- .
- : .
- RAID.
- *nix-like , Windows native, Windows cygwin.
- GUI.
Contras:
UrBackup .
, .
.
UrBackup
, :
# zfs create -o com.sun:auto-snapshot=false -p tank0/apps/backup # zfs set compression=on tank0/apps/backup
, , UrBackup ZFS .
, :
# zfs set dedup=on tank0/apps/backup
UrBackup :
# mkdir /tank0/docker/services/urbackup # cd /tank0/docker/services/urbackup # vim docker-compose.yml # docker-compose up -d
docker-compose .
Web- .
docker-compose.yml version: '2' networks: docker0: external: name: docker0 services: urbackup: uroni/urbackup-server image: restart: always expose: - 55414 ports: # - 55413:55413 - 55415:55415 - 35623:35623/udp volumes: - /tank0/apps/backup/urbackup/database:/var/urbackup - /tank0/apps/backup/urbackup/backups:/backups - /tank0/apps/backup/urbackup/log:/var/log - /etc/localtime:/etc/localtime:ro networks: - docker0 environment: - VIRTUAL_HOST=backup.* - VIRTUAL_PORT=55414 - VIRTUAL_PROTO=http - CERT_NAME=NAS.cloudns.cc - TZ=Europe/Moscow
Docker uroni/urbackup-server , tristanteu/urbackup-docker .
.
, :
- . UrBackup LDAP .
- LDAP. LDAP . " ". , .
- .
- , . . . , NAS, .
- -.
:
:
LDAP , : , .
:
ou=users,dc=nas,dc=nas?memberOf,objectClass?sub?(&(memberOf=cn=users_backup,ou=groups,dc=nas,dc=nas)(uid={USERNAME}))
- , .
, , .
, :
-:
, , .
, UrBackup:
- TCP 55415 — .
- TCP 55414 — Web- HTTP.
- TCP 55413 — Web- FastCGI, Web-. Porque NAS HTTP/HTTPS, .
- TCP 35621 — .
- UDP 35622 — . . .
- TCP 35623 — .
- UDP 35623 — .
, 55415 , 35621, 35622, 35623 .
, .
:
UrBackup , .. , :
.
shell :
TF=`mktemp` && wget "https://NAS.system.cloudns.cc/x?a=download_client&lang=ru&clientid=1&authkey=KEY&os=linux" -O $TF && sh $TF; rm $TF
:
~
NAS , :
- :
/etc;/home;/var;/root;/tank0/apps;/tank0/docker . - :
/tank0/apps/backup;/tank1/apps/backup;/tank0/apps/cloud/nextcloud/html/data .
, , , , , .
, , , " ", , :
:
~
Os problemas
, UrBackup , . .
— -, .
:
ERROR: Internet mode not enabled. Please set "internet_mode_enabled" to "true".
.
:
~
/etc/default/urbackupclient , .
, /usr/local/var/urbackup/data/settings.cfg .
, , :
internet_server=NAS.system.cloudns.cc internet_server_port=55415 internet_authkey=44R3MUIdB computername=zenbook internet_mode_enabled=true
, , -.
, , , .
Debian, , /etc/apt/apt.conf.d/80full-backup :
DPkg::Post-Invoke {"test -x /usr/local/bin/urbackupclientctl && /usr/local/bin/urbackupclientctl start -f || true"; };
NAS, . , mtbackup SSH, NAS.
Python , , , UrBakup, .
:
, : . , .
, :
, - , .
.
, , .
- , , Storj .
Literatura
, , :
, :
.
, RTO, RPA, RPO. , , , .
- NAS , , , .