Hallo liebe Freunde.
Heute möchte ich eine Lebensgeschichte darüber erzählen, wie DWH-Speicher in Tele2 vor der Einführung von QCD (EDW) eingerichtet wurden.
Ich bin 2012 in die Abteilung Tele2 IT in der Abteilung Berichtssysteme eingetreten. Zu diesem Zeitpunkt wurde bereits ein DWH-Repository im Unternehmen erstellt, auf dem sich bereits viele Berichtsprozesse und mehr drehten.
Ein wenig über den technischen Stack, der damals dort verwendet wurde. Für die Speicherung wurde die Oracle-Datenbank mit einer Kapazität von 60-100 TB T4-4-Server mit 1 TB Betriebsleistung verwendet. Dort wurden Daten aus verschiedenen Quellen heruntergeladen. Die wichtigsten waren jedoch 4 Oracle-Abrechnungsbasen, die im Wesentlichen eine Ladeplattform darstellten. Und es gab eine Abteilung, die diese Datenbanken unterstützte und Dienstleistungen erbrachte. Die Trennung dieser Basen erfolgte nach Makroregionen. Grund: Volumen sind zu groß. Das heißt, wenn ein Teilnehmer beispielsweise von einer Moskauer SIM-Karte anruft, werden die Anrufkosten in der entsprechenden Abrechnung berechnet.
Die Top-End-Hardware ging immer in Abrechnungsdatenbanken, und die Ressourcen wurden den verbleibenden Systemen nach dem Restprinzip zugewiesen. Normalerweise wurde der Server für DWH immer etwas schwächer. Das heißt, Die Abrechnung hat eine T5-4-Hardware, dann hat DWH eine T4-4-Vererbung.
Diese Ressourcen waren jedoch immer ausreichend, um aktuelle Aufgaben abzudecken und die Berichterstattung einzuschränken. Daten aus der Abrechnung wurden über DB-Link heruntergeladen. Klassische ETL-Prozesse wurden eingerichtet, wenn nächtliche Daten mit kleinen Konvertierungen heruntergeladen wurden (z. B. durch Hinzufügen von Ersatzschlüsseln). Es gab zwei Arten von ETL: Volllast für kleine Volumes und inkrementelle für große Tabellen wie z. B. Anrufdetails, Gebühren, Zahlungen usw. Es gab auch eine so große Quelle wie Textdateien, die Anrufinformationen und Internetverkehr von Switches und Basisstationen herunterladen. Daten werden als Textdateien mit Oracle SQL Loader Loadern heruntergeladen. Das Inkrement zur Basis betrug normalerweise 10-20 GB pro Tag.
Partitionierungstabellen, Indizes, Optimierung von Abfrageplänen und Hinweise in DWH mussten ständig verwendet werden. Es gab keinen Tag ohne Aufhängen oder lange Spielstunden, an dem es notwendig war, in den Anforderungsplan einzusteigen.
Die DWH-Speicherstruktur in Tele2 vor der Einführung von EDW.
Eine der Hauptaufgaben der DWH war es auch, Monatsabschlüsse (ETFs) zu erstellen. Aufgrund des großen Volumens wurde es 4 Tage lang auf dem DWH-Server berücksichtigt. Um mir vorzustellen, was es ist, sage ich, dass es sich um ein Oracle-Paket mit 5.000 Zeilen PL / SQL-Code mit komplexer verzierter Logik handelt, und all dies wird minimiert. Anschließend wird der Bericht in Form von CSV-Dateien auf FTP oder eine Netzwerkfreigabe hochgeladen. Und das alles ohne den Einsatz von Boxed-Lösungen. Das heißt, handgeschriebene, optimierte und automatisierte Funktionalität im Laufe der Jahre.
Die DWH-Datenbank wurde jedoch nicht nur zur Bereitstellung regelmäßiger Berichte verwendet, sondern auch als Betriebsspeicher. Zum Beispiel drehte sich alles um den Prozess der Bereitstellung verschiedener Informationen für Abonnenten von einem persönlichen Konto auf der Tele2-Website.
Erwähnenswert ist auch das Oracle Application Express (APEX) -System, das einen besonderen Platz für die Berichterstellung hat. APEX ist eine Umgebung für die schnelle Entwicklung von WEB-Schnittstellen, entweder zur Berichterstellung oder zum Einrichten eines Geschäftsprozesses. Darauf wurde von Hand die schriftliche Funktion "Berichts-Upload" erstellt, mit der Benutzer einen Bericht für sich selbst erstellen konnten. Das heißt, Eine Person kommt herein, wählt eine Reihe von Feldern für ihren Bericht aus. Falls gewünscht, kann sie die Quelle als Excel-Datei abrufen und erhält dann einen Bericht an die E-Mail in Form einer archivierten CSV-Datei. In DWH wird eine Vielzahl von PL / SQL-Prozeduren und -Funktionen geschrieben, die im Wesentlichen ein integrierter Skriptgenerator für Berichte waren. Darüber hinaus war dieses Tool im Unternehmen so beliebt, dass über 8 Jahre mehr als eine halbe Million Berichte mit unterschiedlichem Wichtigkeitsgrad erstellt wurden.
APEX hat auch viele andere interessante Dinge entwickelt. Zum Beispiel handgeschriebene Funktionen für Workflow- und Marketing-Automatisierungssysteme. Im ersten Fall billigten die Mitarbeiter die Dokumente. Und zweitens veranstaltete die Marketingabteilung verschiedene Veranstaltungen für Kunden. Zum Beispiel verteilte er Massen-SMS an Abonnenten über neue Tarife und Dienste. Und das alles ging über DWH und es gab eine Integration mit dem SMS-Kanal.
Außerdem sind einige Berichtssysteme wie Crostal Reports und IBM Lotus über RPT-Dateien mit DWH verbunden.
In der beigefügten Abbildung oben sehen Sie die alte DWH-Repository-Struktur und den Datenfluss für 2012. Mit der Struktur hat es derzeit nichts zu tun.
All dies funktionierte mehr oder weniger erfolgreich, bis das Unternehmen erkannte, dass die Berichterstellung nicht mehr ausreichte, und beschloss, QCD, BI-Systeme und BigData einzuführen.
Im Allgemeinen gab es viele interessante Dinge. Vielleicht werde ich darauf eingehen. Bis bald.