Mon expérience d'administration IBM DB2 Express-C lorsqu'il est utilisé avec 1C: Enterprise

J'ai eu la chance de travailler avec IBM DB2. Tant sur 1C que sur le serveur de Django, ce SGBD a été utilisé en même temps, il a traité les demandes OLAP assez rapidement (bien qu'il fût nécessaire de configurer manuellement les index, et du serveur Web, bien sûr, pour que la réponse soit dans les 2 secondes). En 2015, je me suis préparé cette petite instruction, pour ne pas l'oublier. Et en plus du curriculum vitae, peut-être que quelqu'un a lu sur papier, les années de travail restantes étaient inactives. Une généralisation de mon expérience avec DB2. Je l'ai corrigé un peu et suggère de le lire ici pour élargir mes horizons. Peut-être que quelqu'un sera intéressé. Je dois dire tout de suite que depuis, je n'ai plus travaillé avec DB2, tout a été oublié, mais je me souviens encore de quelque chose. La critique et les clarifications sont les bienvenues, mais comme je ne travaille plus, peut-être pas pour moi, mais pour quelqu'un d'autre, elles seront utiles.

Il existe de nombreuses instructions sur Internet pour organiser le travail de 1C: Enterprise avec le SGBD IBM DB2. Pour commencer, ce n'est pas mal du tout, mais pas suffisant pour une utilisation en production. J'ai précédemment recommandé de commencer avec IBM DB2 avec le cours de formation Big Data University DB101RU. J'ai moi-même suivi ce cours, réussi l'examen en 2012, je pense que c'est très utile. Il est dommage que la ressource ait cessé d'exister. Sur la nouvelle plateforme, je n'ai rien trouvé de tel. En production, IBM DB2 nécessite une configuration et une maintenance supplémentaires, dont les plus nécessaires seront brièvement décrites ici. Nous envisageons une édition gratuite d'IBM DB2 Express-C pour les versions Windows 10.1fp2 et 10.5fp4 (la première est prise en charge par 1C pour travailler en mode test, la seconde est officiellement prise en charge, il est dommage que les nouvelles versions ne soient payantes que). Il est judicieux d'installer 64 bits 10,5 où la RAM (taille du tampon pour la vitesse) ou la taille d'enregistrement (EXTENDED_ROW_SZ = ENABLE) sont très exigeantes lorsque vous utilisez des types composites contenant de longues chaînes de taille fixe.

La toute première chose à faire est de passer à l'utilisation de journaux archivés afin de faire des sauvegardes sans interrompre le fonctionnement de 1C: Enterprise, et de pouvoir restaurer la base de données à tout moment (la restauration vers 10.1fp2 a ses propres particularités en raison d'une erreur non corrigée bug dans la version gratuite - le déplacement manuel des fichiers journaux est requis). Contrairement à MS SQL, l'archivage des journaux n'est pas effectué à certains moments prédéterminés (dans MS SQL, il n'est pas solide, il y a peut-être autre chose), et lorsque le fichier journal atteint une certaine taille prédéterminée, il n'est pas nécessaire de sauvegarder le journal avant l'opération de restauration, désactivez simplement la base. L'archivage des journaux dans deux directions est facile à configurer, dont l'un se trouve sur un lecteur réseau, par exemple. De plus, en cas de coupures brèves du réseau, l'augmentation de l'espace occupé par les revues actives n'est pas significative. Pour les journaux actifs, vous devez fournir suffisamment d'espace libre pour pouvoir restaurer la base de données à tout moment. Si pendant le travail du programmeur avec la base 1C, des retours fréquents sont requis à divers moments proches, une sauvegarde suffit pour restaurer, le choix des fichiers journaux pour la récupération est très simple. Assurez-vous d'activer la base de données au début de l'instance, sinon nous obtiendrons un grand nombre de petits fichiers journaux avec activation implicite. De toute évidence, vous devez définir la durée de stockage de sauvegarde (il me semble que vous devez stocker les journaux pendant au moins deux mois) et configurer la suppression automatique. La base et les sauvegardes (journaux) doivent se trouver sur des disques physiques différents, dans des cas extrêmes, vous pouvez effectuer des sauvegardes sur un autre ordinateur du réseau local.

L'activation de la base est également nécessaire pour une autre raison. Pour un fonctionnement normal, vous devez installer la maintenance en ligne et hors ligne de Windows. À ce stade, la base doit être active. Périodiquement, vous devez consulter l'historique de la base de données pour savoir quelles actions ont été effectuées pendant la fenêtre hors ligne. La fenêtre de maintenance hors ligne doit probablement être définie entre 22h00 et 0h00, car il n'y a pas de tâches de maintenance 1C lourdes pour le moment. Peut-être que pour les petites bases, une fenêtre d'une heure suffit.

Périodiquement, vous devez exécuter une vérification de la nécessité d'une réorganisation en mode manuel et, après avoir analysé l'état des tables et des index, effectuer une réorganisation des objets individuels. La réorganisation manuelle de plusieurs milliers de tables et d'index peut prendre du temps. L'analyse est facilement accélérée par un simple filtre (sur .js, par exemple) utilisant regexp.

AUTOCONFIGURE, bien sûr, doit être effectuée périodiquement, en corrigeant manuellement les paramètres individuels, par exemple, en définissant votre propre taille de fichier journal.

Après une journée, il est possible et plus souvent d'effectuer une sauvegarde en ligne de la base de données (ne nécessite pas un arrêt et la présence d'un DBA), la fréquence dépend du temps de récupération requis, qui à son tour dépend du nombre de fichiers journaux d'archivage après la dernière sauvegarde, c'est-à-dire de la charge sur la base de données. Pour les bases de données moyennes, grandes et lourdement chargées, il est judicieux d'utiliser différents types de sauvegardes incrémentielles afin de réduire l'espace occupé par les sauvegardes et de réduire le temps de récupération à partir des sauvegardes. Après chaque sauvegarde et avant la restauration, vérifiez l'intégrité des sauvegardes. La durée de stockage de sauvegarde est à la discrétion du DBA, mais pas inférieure à la durée de stockage des journaux.

Au moins une fois par mois, effectuez des vérifications de l'état de la base de données hors ligne et en ligne (en mode hors ligne, le travail avec la base de données est suspendu pendant plusieurs minutes) et, si nécessaire, effectuez des réparations (le plus important pour les «serveurs» sans onduleur). Effectuez une sauvegarde hors ligne de la base de données sur une base mensuelle, seules les sauvegardes hors ligne seront stockées pendant une longue période, car lorsque vous modifiez la version de DB2, la sauvegarde en ligne ne sera pas possible de déployer. Si «1C: Enterprise» ne permet même pas une traduction à court terme de la base de données hors ligne pour vérification ou sauvegarde, il est possible d'effectuer les actions indiquées dans une copie développée de la base de données. La base de données est restaurée de la sauvegarde vers un autre emplacement sans aucun problème, par exemple, sur un autre disque sur un autre serveur. Il convient de noter que les sauvegardes et les journaux archivés peuvent être compressés à l'aide des outils DB2 (dans ce cas, l'outil de vérification des sauvegardes reste fonctionnel et l'outil de vérification des journaux archivés ne fonctionne pas).

Avant de vérifier hors ligne la base de données et la sauvegarde hors ligne, vous devez définir la base de données et les tâches planifiées à verrouiller. En cas d'urgence, vous pouvez faire avec la stabilisation de la base de données, mais comme l'utilisateur sous lequel le serveur 1C: Enterprise est exécuté est inclus dans le groupe SYSADM_GROUP, cela n'annulera pas la possibilité de connecter 1C à la base de données au mauvais moment et, par conséquent, nécessitera une seconde lancement de l'emploi.

Si la base de données ne fonctionne pas rapidement, vous devez, après la mise à jour des statistiques, obtenir les plans de requête les plus sévères, expérimenter les index dans 1C dans une copie de la base de données, suivre les modifications apportées au plan de requête dans IBM Data Studio (dans ce cas, l'utilisation d'Eclipse est justifiée, dans d'autres cas, cela suffit pour faire avec l'interface de commande ou utilisez les recommandations de DB2 Design Advisor et, si nécessaire, créez manuellement des index en dehors de 1C. Dans le même temps, commencez à collecter des informations détaillées sur les performances à l'aide des outils DB2 (plus d'une douzaine de scripts SQL) et analysez la charge avec le moniteur système. Pour réduire la charge sur le système de disques, la base de données doit être installée sur un disque haute vitesse distinct de taille suffisante (sauf, bien sûr, si une matrice de disques de serveur RAID 10 normale est disponible), il est possible de placer des journaux actifs sur le SSD avec le système d'exploitation. Probablement, vous devrez également modifier l'emplacement des tempos du serveur 1C: Enterprise. Si l'achat d'un disque n'est prévu que pour les petites organisations, il est permis d'utiliser temporairement un seul disque physique pour la base de données.

Examinez quotidiennement db2diag.log pour les erreurs, ainsi que les résultats des actions avec la base de données. Archivez lorsque vous atteignez une taille de plusieurs dizaines de mégaoctets. Far Manager peut être un moyen pratique d'afficher le journal (il est supposé qu'il y a peu d'erreurs dans la base de données), il vous sera également utile si vous devez déplacer manuellement les journaux d'archivage à restaurer à un moment donné.

Un des avantages compétitifs d'IBM DB2, comme il me semble, peut être considéré que dans les cas où pour le fonctionnement normal de MS SQL Server un serveur 1C: Enterprise 64 bits est requis, IBM DB2 peut le faire avec 32 bits.

UPD: Peut-être, il n'a pas fait attention lors de la vérification des versions de DB2 prises en charge par 1C: Enterprise avant la publication. Dans l'original de ce texte de 2015, environ 10,5 images par seconde, il était dit: lorsqu'il est utilisé avec 1C: Enterprise, "aucune erreur n'a encore été détectée". C'est-à-dire, pour le moment, du nouvel Express-C, seul le 10.1 est possible (avec ses fonctionnalités et ses limites). Aujourd'hui, seulement 11,1 sont officiellement pris en charge. Il est possible que quelqu'un ait suffisamment de Developer-C avec une taille de base de données allant jusqu'à 100 Go. Je n'ai pas modifié le lien vers la documentation - il est facile de basculer ici.

UPD: J'ai tout relu, cela devrait probablement être clair pour quelqu'un qui traitait avec DB2, mais peut-être qu'une clarification est nécessaire pour ceux qui sont nouveaux dans l'utilisation de ce SGBD, par exemple

devrait voir l'histoire de la base

devrait apporter ici aussi

effectuer des vérifications de l'état de la base de données hors ligne et en ligne

ici , ici et ici , mais dans ce dernier cas, il peut déjà être nécessaire
Et voici

L'analyse est facilement accélérée par un simple filtre (sur .js, par exemple) utilisant regexp.

peut causer des difficultés, je ne sais pas si quelqu'un le fait, s'appuie sur l'automatisation, le maximum est limité à cette requête: db2 "SELECT substr(TABSCHEMA,1,20), substr(TABNAME,1,20) FROM SYSIBMADM.ADMINTABINFO WHERE REORG_PENDING = 'Y'" CependantEnsuite, analysez la description et lancez la réorganisation des objets sélectionnés ou augmentez la fenêtre de maintenance hors ligne. Après plusieurs itérations, il devient clair quels objets ne font pas de réorganisation.
J'espère que je n'ai rien confondu, j'ai remonté les archives de scripts de cinq ans, probablement sur ordonnance. Je ne sais pas si ce supplément sera utile à quiconque.

Liens vers les ressources / fichiers mentionnés

Les informations de base, à l'exception de celles obtenues lors de cours qui n'existent plus, peuvent être trouvées ici (alors le lien était différent).

Beaucoup a déjà été oublié, mais un lien vers le document pdf «Meilleures pratiques. Réglage et surveillance des performances du système de base de données »a été trouvé (le lien est maintenant nouveau, l'ancien wiki cesse d'exister à partir du 2020-01-01, mais ici tout n'est pas encore assez stable jusqu'à présent).