Life Hacks für Entwickler: Effektives Verwenden von SQ (Source Qualifier) ​​im Informatica Power Center

Hallo an alle Habroresidents!

Wir eröffnen den ersten Blog des RDTEX- Unternehmens mit Life-Hacks für Entwickler. Wir hoffen, dass einer der Leser sie ausnutzt.

Life Hacks wurden im Rahmen der Arbeit an einem Projekt erfunden, um Daten von einem System auf ein anderes zu übertragen und anschließend Berichte in einer der führenden Banken der Russischen Föderation zu erstellen.

Verwendete Technologien:

Datenquellensystem - Oracle RDBMS (Version 11.2.0.4.0)
Datenempfängersystem - RDBMS Oracle (Version 11.2.0.4.0)
Integrationsbus - Informatica (Version 10.1.1)

Bei der Implementierung eines großen Integrationsprojekts sind folgende Probleme aufgetreten:

1. Ineffiziente Verwendung von SQ [Source Qualifier] im Informatica Power Center

Bei Verwendung von SQ [Source Qualifier] in Informatica Power Center wurde eine Einschränkung der Anzahl der Eingabezeichen festgestellt. Die maximal zulässige Anzahl von Zeichen beträgt 32767. Ein Beispiel für die irrationale Verwendung von Source Qualifier ist in der folgenden Abbildung dargestellt:


Abbildung 1 Screenshot vom SQ Informatica Power Center

Dieser Screenshot zeigt, dass Leerzeichen den Zeichenraum verschlingen, wodurch komplexe SQL-Abfragen nicht vollständig passen (d. H. Sie werden abgeschnitten, wenn sie in den Quellqualifizierer eingefügt werden).

Die folgende Abbildung zeigt die korrekte Verwendung des Quellqualifikators (Änderungen sind rot hervorgehoben):


Abbildung 2 Screenshot von SQ Informatica Power Center mit einer geänderten Abfrage

Wenn wir zur nächsten Zeile gehen und die Ausrichtung die N-te Anzahl von Zeichen kostet, können wir den gesamten SQL-Code anpassen.

2. Falsche Konvertierung von unendlich großen Zahlen

Unendlich viele wurden in folgendem Format in die Oracle-Datenbank hochgeladen:

1267650600228230000000000000000

Und sie sollten im folgenden Format geladen werden:

1267650600228229401496703205376
Das heißt, Die Werte wurden ab einer bestimmten Ziffernposition gerundet.

Wir bieten folgende Lösung an:

Während der Entwicklung von Zuordnungen in Informatica Power Center wird das Feldformat (z. B. Zeichenfolge) sofort auf ein bestimmtes Stadium für Werte festgelegt, die definitiv groß werden, während:

• Wenn wir das Dezimalformat verwenden und die Werte bis zu 28 Zeichen enthalten können, müssen Sie Eigenschaften → "Hochpräzise aktivieren" → "Ja" in den Workflow-Eigenschaften in Workflow Manager aktivieren.
• Wenn wir das Doppelformat verwenden, können in diesem Fall Werte mit mehr als 15 Zeichen (z. B. 20) zu diesem Attribut kommen, dann wird der Wert auf 15 signifikante Stellen abgeschnitten und im Rest Null (0) gesetzt (d. H. Die letzten 5 Zeichen sind Null ) In diesem Fall ist es besser, das Zeichenfolgenformat festzulegen und die Größe auf das gewünschte Format zu erhöhen (z. B. Zeichenfolge20).

Wenn Sie die Verwendung des Tools zusammenfassen, können die folgenden Vorteile unterschieden werden:

1. Das Tool eignet sich zum Übertragen einer großen Datenmenge in Terabyte (z. B. bis zu 25 bis 30 TB), insbesondere wenn Sie sie mit einer Mindestanzahl von Konvertierungen (fast eins zu eins) übertragen müssen.
2. Möglichkeit des automatischen "Ziehens" von Attributen (Option "Attribute weitergeben") sowie des "Hervorhebens" innerhalb der Zuordnung (woher und woher die Daten stammen);
3. Die Möglichkeit, den Betriebsmodus sowohl eines ETL-Tools als auch eines ELT-Tools auszuwählen (hängt vom jeweiligen IT-Projekt ab).

Und ein paar Minuspunkte für die Objektivität des Bildes:

1. Fehlen einer „komplexen“ Datentransformationslogik;
2. Unter dem Gesichtspunkt der Unterstützung des Tools selbst und des Verständnisses der Logik einzelner Transformationen ist es einigen Wettbewerbern (z. B. Oracle Data Integrator) unterlegen.