Un article sur la façon dont CommVault sauvegarde PostgreSQL

Dans cet article, nous passerons en revue notre expérience de l'utilisation des sauvegardes CommVault pour PostgreSQL. Pour ce faire, nous analyserons une petite partie de l'un de nos projets passés, où nous avons mis en place une sauvegarde de la base de données PostgreSQL depuis le client.

À propos de CommVault

CommVault est une plate-forme évolutive unique qui offre une protection intégrée des données et une gestion de contenu. La plate-forme prend en charge des modules logiciels avec des fonctions de sauvegarde et de restauration des données, leur archivage, déduplication, réplication, distribution hiérarchique des supports et cryptage. Les modules de la plate-forme fonctionnent avec du contenu d'entreprise provenant de diverses sources et fournissent une récupération complète des informations dans l'environnement d'entreprise et sa disponibilité constante même à partir des archives grâce à une indexation intelligente unique des documents dans un référentiel virtuel. La plateforme est également équipée d'outils d'analyse avancés qui génèrent des rapports sur les actions des utilisateurs et des applications et sur le fonctionnement de l'infrastructure.

CommVault protège, restaure et gère les données et leur accès dans des environnements physiques et virtuels.

À propos de la sauvegarde PostgreSQL

Pour effectuer une sauvegarde de la base de données PostgreSQL, un agent (iDataAgent) est utilisé, qui est installé sur le serveur sur lequel la base de données s'exécute. L'agent est conçu pour gérer et protéger efficacement les données commerciales importantes dans les bases de données PostgreSQL. Vous pouvez utiliser cet agent pour sauvegarder et restaurer l'intégralité du serveur PostgreSQL ou des bases de données individuelles. Si nécessaire, vous pouvez également restaurer des tables individuelles.

Caractéristiques clés:

PostgreSQL iDataAgent offre la flexibilité de sauvegarder des bases de données dans différents modes et de les restaurer en un minimum de temps. Vous pouvez sauvegarder ou sauvegarder l'intégralité du serveur PostgreSQL, des bases de données individuelles ou des journaux archivés à tout moment.

Les fonctionnalités de sauvegarde et de restauration qui peuvent être effectuées dans différents modes:

• iDataAgent offre la possibilité de restaurer l'intégralité du serveur PostgreSQL. Toutes les bases de données situées sur le serveur source peuvent être restaurées sur le serveur de destination.
• Définissez une base de données unique ou un groupe de bases de données en tant que données de sous-client et sauvegardez et restaurez.
• Sauvegardez uniquement les journaux sur le serveur PostgreSQL. Ces fichiers journaux peuvent être utilisés pour récupérer les transactions de base de données perdues en raison d'un système d'exploitation ou d'une panne de disque.
• Restaurez l'intégralité de votre serveur PostgreSQL à un moment précis pour la sauvegarde basée sur le système de fichiers.
• Affichez et vérifiez l'état des opérations de sauvegarde et de récupération à partir de Job Controller et Event Viewer dans la console CommCell. Suivez l'état de votre travail avec des rapports que vous pouvez enregistrer et distribuer.
• Utilisez des sauvegardes de niveau bloc comme un moyen plus rapide de sauvegarder des données, car les sauvegardes sont uniquement pour les extensions (ou les parties modifiées de la base de données) et non pour la base de données PostgreSQL entière.
• Déduplication au niveau du bloc La déduplication offre un moyen plus intelligent de stocker des données en identifiant et en supprimant les doublons dans les opérations de protection des données.

L'architecture

Schéma



Comment ça marche:

La plate-forme CommVault est déployée sur le réseau en tant que partie du serveur de gestion CommServe et d'un serveur MediaAgent distinct (il est recommandé d'utiliser un serveur physique).

Un agent (iDataAgent) est installé sur le serveur avec la base de données PostgreSQL et ses politiques de sauvegarde sont configurées conformément aux exigences. iDataAgent collecte les données nécessaires, les compresse, les dédoublonne, si nécessaire, les chiffre et les transfère à MediaAgent.

De plus, les données sont placées sur le système de stockage, sur une bandothèque ou sur un stockage cloud.
Pour la récupération, les données sont extraites du stockage et copiées sur le serveur avec PostgreSQL.

Configuration dans la console CommVault

Voyons maintenant comment procéder dans la console de gestion.

1. Pour démarrer la sauvegarde de la base de données pour le moment, sélectionnez dans la console du navigateur CommCell:

Ordinateurs clients | | PostgreSQL | | DumpBasedBackupSet.

Cliquez avec le bouton droit sur le dossier par défaut dans le sous - client et sélectionnez Sauvegarder .



2. Sélectionnez Complète comme type de sauvegarde et sélectionnez Immédiat .

3. Cliquez sur OK . La sauvegarde PostgreSQL démarre .



4. Pendant l'exécution du travail, son état peut être surveillé par la fenêtre de travail de la console CommCell .



5. Une fois la tâche terminée, vous pouvez voir les détails de la tâche terminée dans la fenêtre Historique de sauvegarde . Sélectionnez le dossier par défaut dans le sous - client et sélectionnez Historique de sauvegarde .



6. Dans la fenêtre Historique de sauvegarde , vous pouvez voir les données suivantes sur les tâches terminées:

- Erreurs de sauvegarde lors de l'achèvement d'une tâche;
- Éléments sauvegardés avec succès;
- Détails de la mission;
- Événements;
- Fichiers journaux;
- Média sur lequel les données sont stockées.

Pourquoi vous pouvez sauvegarder

Sauvegarde basée sur le vidage:

• Bases de données système PostgreSQL;
• Bases de données utilisateurs PostgreSQL
• Sauvegarde d'un système de fichiers (sauvegarde basée sur un système de fichiers).

Bases de données PostgreSQL (données et journaux) (données et journaux):

• Fichiers journaux.

Ce qui n'est pas copié:

• Fichiers d'application PostgreSQL (fichiers d'application);
• Données du système d'exploitation.

Utilisez File System iDataAgent pour sauvegarder les composants ci-dessus.

Défi

Le client devait déployer la plateforme CommVault pour sauvegarder ses services. L'un des services était la base de données PostgreSQL, qui a été déployée dans une configuration en cluster de 2 nœuds: Master et Standby. Les deux fonctionnaient sur des serveurs physiques.

Fonctionnalités de configuration du client PostgreSQL

La configuration du cluster PostgreSQL a été choisie pour garantir la tolérance aux pannes du serveur de base de données.

Le client a effectué la sauvegarde de la base de données PostgreSQL à l'aide de pg_dump.

Le schéma de travail est présenté dans la figure ci-dessous:

Configurer la sauvegarde avec CommVault

Pour unifier la plate-forme de sauvegarde et profiter du stockage de sauvegarde, nous avons décidé d'utiliser CommVault pour sauvegarder la base de données PostgreSQL.

Parce que le client a utilisé la configuration du cluster PostgreSQL, pour la sauvegarde, nous avons décidé d'utiliser l'option de sauvegarde basée sur le système de fichiers pour la sauvegarde de fichiers. Dans le même temps, j'ai dû abandonner l'utilisation de la sauvegarde par blocs (Block Level Backup), car La version du noyau Linux utilisée sur laquelle PostgreSQL est déployé est supérieure à celle de CommVault officiellement prise en charge. En raison du fait que le service est essentiel pour l'organisation, ils ont décidé de faire un calendrier de sauvegarde selon le tableau:

	Copie complète	Journaux des transactions
Graphique	Une fois par jour, à 23 heures	Toutes les heures pendant 24 heures
Durée de conservation des copies	7 jours	1 jour

Le volume total de la base de données était supérieur à 1,5 To et afin de respecter les RTO et RPO requis, un réseau LAN distinct a été utilisé pour la sauvegarde à une vitesse de 10 Gb / s.

La sauvegarde a été effectuée selon le schéma ci-dessous:



Les sauvegardes ont été prises à partir d'un serveur de secours PostgreSQL et stockées sur un serveur sur lequel MediaAgent est installé. Ensuite, une fois par mois, des copies complètes ont été téléchargées sur le cloud Amazon pour une durée de conservation d'un an.

Tous les paramètres nécessaires ont été définis et la sauvegarde a réussi.

Fonctionnalités de configuration de la sauvegarde PostgreSQL

Lors de l'installation et de la configuration de la sauvegarde, nous avons rencontré quelques difficultés, qui sont répertoriées ci-dessous. Je pense qu'il sera utile de prendre en compte ces fonctionnalités lors de l'exécution de projets similaires et lors de la configuration des administrateurs de base de données PostgreSQL.

1. Vérifiez que les nœuds maître et de secours ont les mêmes paramètres de service PostgreSQL définis conformément à la documentation CommVault:
   documentation.commvault.com/commvault/v11_sp14/article?p=21491.htm
2. Vérifiez que les paramètres spécifiés dans le dépannage de sauvegarde sont cohérents avec ceux spécifiés par les liens:
   documentation.commvault.com/commvault/v11_sp14/article?p=21723.htm
   documentation.commvault.com/commvault/v11_sp14/article?p=21518.htm
3. Assurez-vous que les droits d'accès au serveur de base de données et aux bases de données ont été définis conformément aux exigences suivantes:
   documentation.commvault.com/commvault/v11_sp14/article?p=21523.htm

Récupération

La sauvegarde est bonne. Naturellement, nous nous intéressons non seulement au processus de sa création, mais aussi à sa restauration. Pour tout ce qui a été fait.

Dans cette situation, la restauration, basée sur notre expérience, peut être nécessaire pour le client dans 2 cas:

1. Restaurer la base de données à un certain moment afin d'accéder à des données qui, par exemple, pourraient être supprimées de la base de données;
2. En cas de perte de l'ensemble du cluster de base de données PostgreSQL.

Pour restaurer la base de données, lisez simplement la documentation à ce lien: documentation.commvault.com/commvault/v11_sp14/article?p=21502.htm

Nous attirons également votre attention sur les fonctionnalités et étapes suivantes lors de la récupération:

1. Suivez TOUJOURS la procédure de récupération avec le DBA PostgreSQL. Cela vous aidera à éviter les mauvaises actions et à résoudre rapidement les problèmes qui surviennent pendant le processus de récupération;
2. La récupération doit être effectuée sur un nœud ayant le rôle de maître;
3. Lors de la restauration, assurez-vous de vérifier que les services PostgreSQL ne démarrent pas une fois l'opération terminée;
4. Dans le nœud restauré, modifiez les paramètres en rôle maître, car dans notre cas, nous avons sauvegardé les nœuds de secours;
5. Désactivez les services sur le nœud de secours, activez-les sur le nœud maître, puis activez le nœud de secours et configurez à nouveau la réplication.

Conclusion

Dans cet article, nous n'avons pas pris en compte la sauvegarde du système d'exploitation Linux lui-même et des autres systèmes. Cela devrait être fait séparément. La documentation CommVault décrit cela en détail. Si notre article suscite l'intérêt et que les souhaits sont nombreux, nous décrirons certainement comment sauvegarder d'autres systèmes. Écrivez dans les commentaires quels systèmes pourraient vous intéresser.

Nous espérons que notre expérience vous aidera à mettre en place une sauvegarde par le DBA PostgreSQL.

Auteurs:
Sergey Alexandrov, chef du groupe de sauvegarde, Softline
Artyom Khmelenko, ingénieur en chef, Softline