Automatisieren mit Jenkins das Erstellen und Rollen von Artefakten von Metadatenmodellartefakten für Tabellen im Repository

Alles begann mit der Tatsache, dass wir schnell und korrekt EDWEX-, JSON- und DDL-Strukturen bilden und diese dann auf verschiedenen Konturen relationaler Datenbanken rollen mussten. Mit Konturen meine ich Abkürzungen, die jeder kennt - DEV, TST, UAT, PRD.



Zu dieser Zeit haben wir fast alles manuell erledigt: Wir haben DDL generiert und edwex und json basierend auf Metadaten aus der Oracle-Datenbank gesammelt. Es gibt viele Eingabeparameter. Wenn Sie eine verpassen, werden Sie eine Entität falsch bilden. Und da der gesamte Bildungsprozess konsistent und kontinuierlich war, wird der Fehler erst ganz am Ende erkannt. Lesen Sie unter dem Schnitt, wie wir alle Fehler automatisiert und überwunden haben.

Ein bisschen über Infrastruktur

Bevor wir die Daten in die Tabellen relationaler Datenbanken eintragen, müssen wir sie aus der Quelle akzeptieren - in einem beliebigen Format, beispielsweise in Excel. Daten von der Quelle, die den internen Mechanismus verwenden, werden nach Hadoop (Data Lake) transportiert. In Hive ist das Hive-Add-On installiert. Mithilfe dieser Funktion können wir den Inhalt von Dateien mithilfe einer SQL-ähnlichen Syntax anzeigen.

Um die Daten in Data Lake in Form von Tabellen zu übertragen, benötigen wir json's, die auf Basis von Metadaten gebildet werden. Um Daten im Excel-Format zu analysieren, müssen wir EDWEX-Dateien erstellen. EDWEX-Dateien (EDW_EXTRACTOR) sind bestimmte Artefakte, die Tabellensätze mit dem Namen sowie Feldsätze für jede dieser Tabellen enthalten, die auf der Grundlage von Metadaten erstellt werden. Abhängig von der Modellversion und der Quell-ID variieren die Felder. Die Bildung von DDL ist erforderlich, um die Tabellen selbst in der Hive-Datenbank auf der Ebene der Betriebsdaten und in der Greenplum-Datenbank auf der Ebene der detaillierten und aggregierten Daten zu erstellen. Das heißt, die Daten werden in erster Linie an Hive übertragen, bei Bedarf gefiltert und an Greenplum übertragen, um anschließend Daten zu bearbeiten und darauf basierend Storefronts zu erstellen.

So automatisieren Sie

Um das Problem zu lösen, haben wir verwendet:

• Jenkins - als Orchester und Werkzeug zur Umsetzung des CI-Prozesses.
  
• Python - implementiert Funktionen und Unit-Tests.
  
• SQL - um auf die Metadatendatenbank zuzugreifen.
  
• Shell-Skript - zum Kopieren von Artefakten zwischen Verzeichnissen und zum Erstellen von Skripten in Multijob-Projekten, die auf dem Jenkins-Server ausgeführt werden.
  

Zunächst arbeiten wir mit einer großen Anzahl von Quellen. Daher übergeben wir die IDs der Quellen mithilfe des Shell-Skripts als Startparameter an SQL-Funktionen, um sie zu identifizieren. Die resultierenden SQL-Funktionen werden anschließend automatisch in der Metadatendatenbank ausgeführt. Basierend auf den verfügbaren Metadaten bilden diese Funktionen eine Datei mit einer Liste neuer SQL-Funktionen für jede der Quelltabellen, sodass wir sie anschließend im ausführbaren Programm aufrufen können. Das Ergebnis der Ausführung der generierten Funktionen ist die Übertragung der DDL-, JSON- oder EDWEX-Werte auf den Ausgabeparameter.

Hier verbindet sich Python mit allen ausführbaren Funktionen und Unit-Tests. Bevor eines der Module zum Rollen von Artefakten mithilfe von Komponententests gestartet wird, wird die korrekte Parameterübertragung überprüft, um Python-Skripte auszuführen. Tests überprüfen nicht nur die Richtigkeit der Eingabeparameter, sondern auch deren Vorhandensein im Metadatenmodul, die Größe der erstellten Dateien und das Datum ihrer Erstellung. Tests überwachen auch die Anzahl der neu erstellten Artefakte und die Anzahl der vorhandenen Artefakte. Daher optimieren wir die Verwendung von Serverressourcen, da wir nur neue Dateien zum Rollen verwenden und vorhandene Modelle nicht erneut installieren.

Und erst nach erfolgreichem Bestehen aller Prüfungen wird ein Python-Programm ausgeführt, das die erforderlichen Artefakte erstellt und das Ergebnis in die erforderlichen Projektordner auf dem Server zerlegt. Python leitet die generierten JSON-Dateien nicht nur in Verzeichnisse, sondern bildet auch Strukturen in Data Lake, damit die Daten korrekt geladen werden. Beim Generieren von DDL-Artefakten werden diese nicht nur für eine spätere Analyse und Wiederverwendung gespeichert, sondern können auch mithilfe neuer Modelle und Strukturen, die im Metadatenmodul angegeben sind, sofort in der Datenbank installiert werden. Auf diese Weise können Sie in kurzer Zeit Hunderte von Tabellen ohne manuelle Arbeit erstellen.

Und wo ist Jenkins hier?

Jenkins tritt ein, wenn es notwendig ist, alle diese Prozesse visuell über eine Schnittstelle zu verwalten.

Dieses Tool wurde ausgewählt, weil es:

• deckt den Bedarf an Automatisierung der Montage und Installation vollständig ab
  
• Mit dieser Option können Sie einen Mechanismus zum Zusammensetzen von Artefakten mit der Implementierung des Selbsttestprozesses entwerfen
  
• Ermöglicht die einfache Verwaltung von Jobstarts und die Überwachung der Ausführung für eine Person, die weit von der Programmierung entfernt ist
  
• Mit dieser Option können Sie den Protokollierungsmechanismus so konfigurieren, dass das Ergebnis der Ausführung für jede Person im Team verständlich ist. Das Problem in der Baugruppe wird explizit angegeben oder der Vorgang wird erfolgreich abgeschlossen.
  

Um die Aufgaben zu lösen, haben wir mehrere Multijob-Projekte erstellt. Diese Art von Projekt wurde verwendet, da es mit einem einzigen Start parallel zu anderen Jobs arbeiten kann. Jeder Job ist für die Implementierung seines Funktionsblocks verantwortlich. Deshalb haben wir den sequentiellen Prozess des Erhaltens von Artefakten durch autonome parallele ersetzt. Alles beginnt separat: die Bildung von EDWEX, JSON, DDL, die Bildung der Struktur in HIVE, die Installation von Tabellenstrukturen in der Datenbank. Wir analysieren das Ergebnis in verschiedenen Stadien der Bildung von Artefakten und starten bei Erfolg weitere Aktionen.

Der Jenkins-Teil wird ohne viele Tricks implementiert. String- oder Run- Parameter werden an die Eingabe gesendet, um den Python-Code zu starten. Der Parameter String ist ein Fenster zur Eingabe eines Werts vom Typ str vor dem Start. Der Ausführungsparameter kann im laufenden Betrieb zur Ausführung an einen anderen Job übertragen werden. Dazu reicht es aus, nur anzugeben, aus welchem ​​Projekt die empfangene Variable übernommen werden muss. Außerdem wird ein Knoten als separater Parameter für die Ausführung übergeben. Hier wird gerade die Aufteilung in Laufzeiten auf DEV, TST, UAT, PRD implementiert. Ein separater Job wurde verwendet, um die empfangenen EDWEX-Dateien mit der Revisionsnummer an SVN zu übertragen, um Versionen der geänderten Strukturen verfolgen zu können.

Eine Beispielschnittstelle in Jenkins:



Das Ergebnis der Jobausführung ist die Erstellung und Installation der erforderlichen Artefakte, deren Übertragung an SVN und die Erstellung eines HTML-Berichts, der den Erfolg des Bestehens von Komponententests sowie die Ergebnisse der Zusammenstellung und Installation von Artefakten anzeigt. Jobs können einzeln mit Ihren Händen oder im automatischen Modus ausgeführt werden, nachdem zuvor eine Ausführungskette erstellt wurde.


Architektur des Montage- und Installationsmechanismus

Zusammenfassend

Es wurde viel Arbeit geleistet, um die Bildung von Artefakten zu automatisieren. Zuvor mussten Sie manuell auf den Server klettern, Shell-Skripte ausführen und dann die Daten lange Zeit mit Ihren Händen studieren und bearbeiten. Klicken Sie nun einfach auf die Schaltfläche Start, geben Sie die ID des Quellsystems, die Modellnummer und die Ausführungsschleife an. Mit Hilfe von Jenkins war es möglich, den gesamten Montage- und Installationsmechanismus von Artefakten in unabhängige Stufen zu strukturieren und zu zerlegen. Die notwendigen Überprüfungen wurden hinzugefügt, bevor mit der Bildung von Artefakten und deren Integration begonnen wurde. Die empfangenen Artefakte werden automatisch an SVN übertragen, was die Arbeit mit verwandten Teams von Systemanalysten und Datenmodellierern vereinfacht. Es werden Überprüfungen durchgeführt, um Leerlaufstarts der Artefaktbildung zu vermeiden und deren Richtigkeit zu bestätigen.

Infolgedessen haben wir den zeitaufwändigen Prozess des Zusammenstellens und Installierens von Modellartefakten von mehreren Stunden auf einige Minuten reduziert. Und vor allem haben sie das Auftreten von Fehlern aufgrund des menschlichen Faktors beseitigt, die unweigerlich in einem komplexen Routineprozess auftraten.