Comment se faire des amis Progress OpenEdge et Oracle DBMS

Depuis 1999, notre banque utilise le système bancaire intégré BISKVIT sur la plate-forme Progress OpenEdge pour desservir le back-office, largement utilisé dans le monde, y compris dans le secteur financier. Les performances de ce SGBD vous permettent de lire jusqu'à un million ou plus d'enregistrements par seconde dans une base de données (DB). Notre Progress OpenEdge sert environ 1,5 million de dépôts de particuliers et environ 22,2 millions de contrats pour des produits actifs (prêts automobiles et hypothèques), et est également responsable de tous les règlements avec le régulateur (CB) et SWIFT.



En utilisant Progress OpenEdge, nous sommes confrontés au fait que nous devons nous lier d'amitié avec Oracle DBMS. Au départ, cet ensemble constituait le «goulot d'étranglement» de notre infrastructure - jusqu'à ce que nous installions et configurions Pro2 CDC - un produit Progress qui vous permet d'envoyer des données des SGBD Progress aux SGBD Oracle directement, en ligne. Dans cet article, nous expliquerons en détail, avec tous les pièges, comment se lier efficacement avec OpenEdge et Oracle.

Comment c'était: télécharger des données sur QCD via le partage de fichiers

Tout d'abord, quelques faits sur notre infrastructure. Le nombre d'utilisateurs actifs de la base de données est d'environ 15 000. Le volume de toutes les bases de données productives, y compris les répliques et les unités de secours, est de 600 To, la plus grande base de données est de 16,5 To. Dans le même temps, les bases de données sont constamment réapprovisionnées: rien que l'année dernière, environ 120 To de données productives ont été ajoutées. Le système fournit 150 serveurs frontaux sur la plate-forme x86. Les bases de données sont hébergées sur 21 serveurs de plateforme IBM.


Les systèmes frontaux, divers ABS et services bancaires sont intégrés à OpenEdge Progress (IBS BISQUIT) via le bus Sonic ESB. Les données sont téléchargées sur QCD par échange de fichiers. Une telle solution, jusqu'à un certain point dans le temps, a immédiatement rencontré deux gros problèmes - les faibles performances de téléchargement des informations vers l'entrepôt de données de l'entreprise (QCD) et le temps nécessaire pour réconcilier les données (réconciliation) avec d'autres systèmes.

Par conséquent, nous avons commencé à chercher un outil qui pourrait accélérer ces processus. La solution à ces deux problèmes était précisément le nouveau produit Progress OpenEdge - Pro2 CDC (Change Data Capture). Commençons donc.

Installez Progress OpenEdge et Pro2Oracle

Pour exécuter Pro2 Oracle sur l'ordinateur Windows d'un administrateur, il vous suffit d'installer le Progress OpenEdge Developer Kit Classroom Edition, qui peut être téléchargé gratuitement. Répertoires d'installation par défaut d'OpenEdge:

DLC: C: \ Progress \ OpenEdge
WRK: C: \ OpenEdge \ WRK

Les processus ETL nécessitent des licences Progress OpenEdge version 11.7+ - à savoir OE DataServer pour Oracle et 4GL Development System. Ces licences sont incluses avec Pro2. Pour un fonctionnement complet de DataServer pour Oracle avec une base de données Oracle distante, Full Oracle Client est installé.

Sur le serveur Oracle, vous devez installer la version d'Oracle Database 12+, créer une base de données vide et ajouter l'utilisateur (appelons-le cdc ).

Pour installer Pro2Oracle, téléchargez le dernier package de distribution à partir du centre de téléchargement de Progress Software . Décompressez l'archive dans le répertoire C: \ Pro2 (le même kit de distribution est utilisé pour configurer Pro2 sous Unix et les mêmes principes de configuration sont appliqués).

Création d'une base de données de réplication cdc

La base de données de réplication cdc (repl) est utilisée par Pro2 pour stocker les informations de configuration, y compris la carte de réplication, les noms des bases de données répliquées et leurs tables. Il contient également une file d'attente de réplication composée de notes sur le fait que la ligne de table dans la base de données source a changé. Les données de la file d'attente de réplication sont utilisées par les processus ETL pour identifier les lignes qui doivent être copiées dans Oracle à partir de la base de données source.

Créez une base de données cdc distincte.

Activer OpenEdge Change Data Capture

Passons maintenant au mécanisme CDC lui-même, grâce auquel les données seront répliquées dans un domaine technologique supplémentaire. Dans chaque base de données source Progress OpenEdge, vous devez ajouter des zones de stockage distinctes dans lesquelles les données source seront dupliquées et activer le mécanisme lui-même à l'aide de la commande proutil .

Création d'un support de schéma pour DataServer pour Oracle

Ensuite, nous devons créer le support de schéma de base de données sur le serveur où les données du SGBD de progression vers le SGBD Oracle seront répliquées. DataServer Schema Holder est une base de données Progress OpenEdge vide sans utilisateurs ni données d'application, contenant une carte de correspondance entre les tables source et les tables Oracle externes.

La base de données des titulaires de schéma pour Progress OpenEdge DataServer pour Oracle pour Pro2 doit être située sur le serveur de processus ETL; elle est créée séparément pour chaque branche.

Configurer le panneau d'administration et le schéma de réplication

Le panneau d'administration Pro2 configure les paramètres Pro2, y compris la configuration du schéma de réplication et la génération de programmes de processus ETL (Processor Library), de programmes de synchronisation principaux (Bulk-Copy Processor), de déclencheurs de réplication et de stratégies CDC OpenEdge. Il existe également des outils principaux pour surveiller et gérer les processus ETL et CDC. Tout d'abord, nous configurons les fichiers de paramètres.



Pour configurer les raccourcis Windows, accédez au répertoire C: \ Pro2 \ bprepl \ Scripts et modifiez le raccourci «Pro2 - Administration». Pour ce faire, ouvrez les propriétés du raccourci et dans la ligne Démarrer dans indiquez le répertoire d'installation Pro2. Une opération similaire doit être effectuée pour les étiquettes «Pro2 - Editor» et «RunBulkLoader».

Configurer l'administration Pro2: télécharger la configuration principale

Nous lançons la console.



Accédez à la «DB Map».



Pour lier les bases de données dans Pro2 - Administration, accédez à l'onglet DB Map . Nous ajoutons la cartographie des bases de données sources - Schema Holder - Oracle .



Accédez à l'onglet Mappage . Dans la liste Base de données source , la première base de données source connectée est sélectionnée par défaut. À la droite de la liste doit figurer Toutes les bases de données connectées - les bases de données sélectionnées sont connectées. Une liste des tableaux de progression de bisquit devrait être visible ci-dessous à gauche. À droite, une liste des tables de la base de données Oracle.

Création de schémas SQL et de bases de données dans Oracle

Pour créer une carte de réplication, vous devez d'abord générer le schéma SQL dans Oracle. Dans Administration Pro2, exécutez l'élément de menu Outils -> Générer du code -> Schéma cible , puis dans la boîte de dialogue Sélectionner une base de données, sélectionnez une ou plusieurs bases de données source et transférez-les vers la droite.



Cliquez sur OK et sélectionnez le répertoire pour enregistrer les schémas SQL.

Ensuite, nous créons la base. Cela peut être fait, par exemple, via Oracle SQL Developer . Pour ce faire, connectez-vous à la base de données Oracle et chargez le schéma pour ajouter des tables. Après avoir modifié la composition des tables Oracle, vous devez mettre à jour les schémas SQL dans le porte-schéma.



Une fois le téléchargement terminé, quittez la base de données bisquitsh et ouvrez le panneau d'administration Pro2. Les tables de la base de données Oracle doivent apparaître dans l'onglet Mappage à droite.

Tables de cartographie

Pour créer une carte de réplication dans le panneau d'administration Pro2, accédez à l'onglet Mappage, sélectionnez la base de données source. Nous cliquons sur Map Tables, sélectionnons à gauche les tables Select Changes qui doivent être répliquées dans Oracle, les transférons vers la droite et confirmons la sélection. Une carte sera créée automatiquement pour les tables sélectionnées. Répétez l'opération pour créer une carte de réplication pour d'autres bases de données source.

Génération de la bibliothèque du processeur de réplication Pro2 et des programmes du processeur de copie en bloc

La bibliothèque de processeurs est conçue pour les processus de réplication spéciaux (ETL) qui traitent la file d'attente de réplication Pro2 et transmettent les modifications à la base de données Oracle. Après la génération, les programmes de la bibliothèque du processeur de réplication sont automatiquement enregistrés dans le répertoire bprepl / repl_proc (paramètre PROC_DIRECTORY) . Pour générer la bibliothèque du processeur de réplication, accédez à Outils -> Générer du code -> Bibliothèque du processeur. Une fois la génération terminée, les programmes apparaîtront dans le répertoire bprepl / repl_proc .

Les programmes de traitement en bloc sont utilisés pour synchroniser les bases de données de progression source avec la base de données Oracle cible sur la base du langage de programmation Progress ABL (4GL). Pour les générer, accédez à l'élément de menu Outils -> Générer du code -> Processeur de copie en bloc . Dans la boîte de dialogue Sélectionner une base de données, sélectionnez la base de données source, transférez-la sur le côté droit de la fenêtre et cliquez sur OK . Une fois la génération terminée, les programmes apparaîtront dans le répertoire bprepl \ repl_mproc .

Configuration des processus de réplication dans Pro2

La division des tables en ensembles desservis par un thread de réplication distinct peut améliorer les performances et l'efficacité d'Oracle Pro2. Par défaut, toutes les connexions créées dans la mappe de réplication pour les nouvelles tables de réplication sont liées au flux numéro 1. Il est recommandé de diviser les tables en différents flux.

Des informations sur l'état des flux de réplication s'affichent sur l'écran Administration de Pro2 dans l'onglet Moniteur de la section État de la réplication. Une description détaillée des valeurs des paramètres se trouve dans la documentation Pro2 (répertoire C: \ Pro2 \ Docs).

Créer et activer des politiques CDC

Les politiques sont un ensemble de règles pour le mécanisme OpenEdge CDC, selon lesquelles les modifications des tables sont suivies. Au moment de la rédaction, Pro2 ne prend en charge que les stratégies CDC de niveau 0, c'est-à-dire que seul le fait d' une modification d'enregistrement est suivi.

Pour créer une stratégie CDC sur le panneau d'administration, accédez à l'onglet Mappage, sélectionnez la base de données source et cliquez sur le bouton Ajouter / Supprimer des stratégies. Dans la fenêtre Sélectionner les modifications qui s'ouvre, sélectionnez sur le côté gauche et transférez vers la table de droite pour laquelle vous devez créer ou supprimer une stratégie CDC.

Pour l'activer, ouvrez à nouveau l'onglet Mappage, sélectionnez la base de données source et cliquez sur le bouton (In) Activer les stratégies . Sélectionnez et transférez vers le côté droit du tableau les stratégies que vous devez activer, cliquez sur OK. Après cela, ils sont marqués en vert. En utilisant (In) Activer les stratégies , vous pouvez également désactiver les stratégies CDC. Toutes les opérations sont effectuées en ligne.



Après avoir activé la stratégie CDC, les notes sur les enregistrements modifiés sont enregistrées dans la zone de stockage «ReplCDCArea» conformément à la base de données d'origine. Ces notes seront traitées par un processus CDCBatch spécial qui, sur leur base, créera des notes dans la file d'attente de réplication Pro2 de la base de données cdc (repl) .

Ainsi, nous avons deux files d'attente pour la réplication. La première étape est CDCBatch: à partir de la base de données d'origine, les données vont d'abord à la base de données CDC intermédiaire. La deuxième étape consiste à transférer les données de la base de données CDC vers Oracle. Il s'agit d'une caractéristique de l'architecture actuelle et du produit lui-même, alors que les développeurs n'ont pas pu établir de réplication directe.

Synchronisation principale

Après avoir activé le mécanisme CDC et configuré le serveur de réplication Pro2, nous devons démarrer la synchronisation principale. Commande de démarrage de la synchronisation principale:

/pro2/bprepl/Script/replLoad.sh nom-table bisquit

Une fois la synchronisation initiale terminée, les processus de réplication peuvent être démarrés.

Démarrer les processus de réplication

Pour démarrer les processus de réplication, vous devez exécuter le script replbatch.sh . Avant de commencer, assurez-vous qu'il existe des scripts de réplication pour tous les threads - replbatch1, replbatch2, etc. Si tout est en place, ouvrez la ligne de commande (par exemple, proenv) , accédez au répertoire / bprepl / scripts et démarrez le script. Dans le panneau d'administration, nous vérifions que le processus correspondant a reçu le statut RUNNING.

Résultats

Après la mise en œuvre, nous avons considérablement accéléré le téléchargement des informations vers l'entrepôt de données de l'entreprise. Les données elles-mêmes sont transmises à Oracle en ligne. Pas besoin de passer du temps sur certaines requêtes de longue durée pour collecter des données à partir de différents systèmes. De plus, dans cette solution, le processus de réplication peut compresser les données, ce qui a également un effet positif sur la vitesse. Maintenant, la réconciliation quotidienne du système BISKVIT avec d'autres systèmes a commencé à prendre 15-20 minutes au lieu de 2-2,5 heures, et une réconciliation complète - plusieurs heures au lieu de deux jours.