SDMX (Statistical Data and Metadata eXchange)

Im russischsprachigen Internet gibt es nur sehr wenige Informationen über SDMX, obwohl dieser Standard seit langem von vielen Ländern und internationalen Organisationen für die Veröffentlichung und den Austausch von Daten verwendet wird. Die Standardentwicklungsinitiative wurde von sieben internationalen Organisationen ins Leben gerufen, die mit Statistiken arbeiten, die die Entwicklung gesponsert haben. Das Hauptziel bestand darin, den Austausch statistischer Daten zwischen solchen Organisationen zu vereinfachen, einen Standard für einen solchen Austausch zu erstellen und den Geschäftsprozess für die Implementierung dieses Standards zu beschreiben. Ein einziger Ansatz ermöglicht es Ihnen nicht nur, den Zugriff auf statistische Daten zu vereinfachen, sondern durch die Verwendung von Metadaten (Daten zu Daten) auch das Verständnis ihrer Bedeutung und ihres Inhalts zu verbessern.

Die Hauptwebsite der SDMX-Initiative ist sdmx.org , die auch eine Liste genehmigter domänenübergreifender Konzepte, Nachschlagewerke und Klassifizierer enthält. Jede Organisation, die dem Standard beitritt, kann ihn durch ein spezielles administratives Registrierungsverfahren erweitern und ergänzen.

Der Standard ist kein strenger Leitfaden für Maßnahmen. Unternehmen wählen selbst aus, welche SDMX-Elemente sie für welche Zwecke verwenden.

Die SDMX-Standardbeschreibung enthält die folgenden Komponenten:

• Informationsmodell
• XSD-Schemata zur Beschreibung von Struktur, Inhaltsmodell und Datentypen
• Inhaltsorientierte Richtlinien
• Eine Reihe von Programmen und Tools für die Arbeit mit SDMX

Das SDMX-Informationsmodell ist die Grundlage des Standards. Es wird durch Konzepte ( CONCEPT ), Einschränkungen ( CONSTRAIN ), Regeln und Operationen dargestellt, um das Format und die Zusammensetzung der von der Organisation offengelegten statistischen Daten zu bestimmen. Im Rahmen dieses Artikels ist nicht geplant, alle SDMX-Entitäten, sondern nur die Hauptkomponenten vollständig zu beschreiben.

SDMX-Informationsmodell

Wie unterscheiden sich Statistiken von regulären Daten? Ja, im Allgemeinen nichts.

Statistische Daten - eine Reihe geordneter, klassifizierter Daten zu einem Massenphänomen oder -prozess. Sie zeichnen sich durch eine Reihe von Messungen (Konzepte in Bezug auf SDMX) aus, von denen eine normalerweise ein Zeitraum ist. BI-Tools werden normalerweise verwendet, um solche Daten zu verarbeiten und zu analysieren.

Die statistische Beobachtung ist eine Reihe spezifischer Werte von Konzepten, die jede Einheit der Gesamtheit des Datenarrays eindeutig charakterisieren.

Die Zahl „208.36“ ist eine statistische Beobachtung, die durch eine Reihe von Konzepten definiert wird (alle Daten sind fiktiv).

In SDMX ist das Konzept das Grundobjekt der Struktur und stellt ein qualitatives Merkmal statistischer Beobachtungen dar. Werte für ein Konzept können eine Zahl, eine Zeichenfolge, ein Datum oder Werte aus Codeverzeichnissen ( CODELIST ) sein. Diese Darstellung kann in der Datenstrukturdefinition neu definiert werden, wenn das Konzept als Dimension oder Attribut verwendet wird.

Code-Referenzen sind eine einfache Schlüsselwertliste. In der Liste sind die vielen Werte aufgeführt, die in der Ansicht verwendet werden: Indikatoren, Attribute und andere Elemente des SDMX-Strukturteils. Sie werden durch andere strukturelle Metadaten ergänzt, die die für verschiedene Sprachen spezifische Beschreibung und die hierarchische Organisation von Codes widerspiegeln können.

Das Prinzip der Codierung von SDMX-Strukturobjekten ist im Standard definiert: Lateinische Buchstaben in Großbuchstaben, Zahlen und Unterstrichen sind zulässig. Darüber hinaus werden versionierte Strukturen unterstützt.

Beschreibung der Datenstruktur Die Datenstrukturdefinition ( DSD ) bestimmt die geeignete Zusammensetzung und Reihenfolge der Konzepte für die Bildung des endgültigen Datensatzes ( DATASET ). Jedes in der Struktur enthaltene Konzept erhält eine Definition seiner Rolle im Datensatz:

• Dimension ( DIMENSION ) - die Hauptdatenkennung. Die Menge der Werte aller Dimensionen mit Ausnahme der temporären bildet einen eindeutigen Code ( CODE ) der Reihe im Rahmen einer Datenstruktur.
• Attribut ( ATTRIBUTE ) - bietet eine zusätzliche Beschreibung entweder für einen Datensatz oder für eine bestimmte Beobachtung. Ein Beispiel für ein Attribut kann eine Maßeinheit oder ein Beobachtungsstatus sein (vorläufig, prognostiziert, überarbeitet usw.).
• Der unmittelbare Wert ist ( MEASURE ) Beobachtung.

Somit kann das obige Beispiel durch die folgende Datenstruktur beschrieben werden:

Konzept	Rolle	Datentyp
Frequenz	Messung	Nachschlagewerk
Land	Messung	Nachschlagewerk
Funktionskategorie	Messung	Nachschlagewerk
Zeitraum	Zeitmessung	Datum
Maßeinheit	Attribut	Nachschlagewerk
Wert	Wert	Nummer

Ein Datensatz ( DATASET ) ist eine Sammlung homogener Daten mit einer gemeinsamen DSD-Struktur. Es kann zu einem bestimmten Zeitpunkt Zeitreihen oder mehrere Reihen enthalten ( Querschnittsdaten ).

Kommunikationskonzepte, Codelisten, DSD und DATASET

Ein Beispiel für einen Datensatz von der Website der Europäischen Zentralbank. Das Feld „Schlüssel“ enthält eine Reihe von Messungen für jede Zeitreihe, die durch einen Punkt getrennt sind und einen eindeutigen Schlüssel bilden

Zeitreihendaten

Metadaten

In SDMX werden Metadaten in zwei Gruppen unterteilt:

• Strukturelle Metadaten sind eine Reihe von Konzepten zur Beschreibung und Identifizierung statistischer Daten und Metadaten.
• Referenzmetadaten sind eine große Anzahl von Konzepten, die Datensätze definieren und qualifizieren und normalerweise nicht eine Beobachtung oder eine Reihe von Daten beschreiben, sondern den gesamten Datensatz oder sogar die Organisation, die die Daten bereitstellt. Referenzmetadaten liegen normalerweise im Text- oder HTML-Format vor und verwenden Konzepte, die den Inhalt, die Methodik und die Qualität der Daten beschreiben.

Die Beschreibung der Metadatenstruktur Metadata Structure Definition ( MSD ) enthält Informationen zur Organisation von Metadatensätzen, die Referenzwerte enthalten (ähnlich wie DSDs). Insbesondere beschreibt MSD, was im Austausch von Metadaten enthalten ist und wie Konzepte zueinander in Beziehung stehen, wie sie angezeigt werden (in Form von Text oder Werten aus dem Verzeichnis) und mit welcher Art von Objekt (Agentur, Datenfluss, Datenanbieter, Datensatz usw.). sie sind verbunden.

Der Referenzmetadatensatz ( METADATASET ) ist eine Information, die den statistischen Ansatz, die Organisation, die die Daten oder Datenstruktur bereitstellt, den Veröffentlichungskalender, die Datenqualität usw. gemäß der Metadatenstruktur direkt beschreibt.

Übermittlung von Referenzmetadaten auf der Website der Europäischen Zentralbank

Inhaltsrichtlinien

Inhaltsorientierte Richtlinien sind eine Reihe von Richtlinien innerhalb des SDMX-Standards. Ihr Ziel ist maximale Kompatibilität beim Austausch von Daten und Metadaten zwischen Organisationen. Ihre Verwendung zwischen statistischen Organisationen wird so weit wie möglich gefördert. Die Hauptdokumente sind:

• Domänenübergreifende Konzeptliste
• Statistische Themenbereiche
• Allgemeines Metadatenwörterbuch

Die Liste der domänenübergreifenden Konzepte enthält eine Liste statistischer Konzepte, die sich auf den statistischen Prozess und die Datenqualität beziehen. Diese Liste basiert auf Konzepten internationaler Sponsoring-Organisationen. Es ist nicht erschöpfend und wird in Zukunft ergänzt.

Konzepte können sowohl für Daten als auch für Metadaten verwendet werden. Jedes Konzept verfügt über einen eindeutigen Code und eine Beschreibung des Kontexts, in dem dieses Konzept verwendet werden kann, sowie eine Darstellung im SDMX-Standard.

Statistische themenorientierte Domänen (inhaltsorientierte Domänen ) sind eine Klassifizierung auf höchster Ebene, die auf der Arbeit der Wirtschaftskommission der Vereinten Nationen für Europa (UNECE) zu statistischen Domänen basiert. Die Klassifizierung bietet einen Ausgangspunkt für die Organisation des Austauschs statistischer Daten und Metadaten.

Das Metadata Common Vocabulary Metadata Dictionary ( MCV ) enthält die Konzepte und zugehörigen Dimensionen, die in den Struktur- und Referenzmetadaten internationaler Organisationen und nationaler Agenturen verwendet werden. MCV ist ein Vokabular, das die Verwendung einer gemeinsamen Terminologie empfiehlt, um die Kommunikation und das Verständnis zu vereinfachen. MCV ist eng mit domänenübergreifenden Konzepten verbunden und enthält auch alle diese Konzepte, wobei deren Definition und Beschreibung des Kontexts angegeben werden.

IT-Tools für die Arbeit mit SDMX

Eine Liste der Tools für die Arbeit mit SDMX finden Sie unter sdmx.org .

Das Hauptwerkzeug für die Arbeit mit strukturellen Metadaten ist die Entwicklung der Metadatentechnologie - Fusion Registry . Es funktioniert als Webanwendung. Es gibt zwei Versionen - Community (kostenlose Version mit eingeschränkten Funktionen) und Enterprise Edition (kostenpflichtig). Diese Software verwendet den Internationalen Währungsfonds sdmxcentral.imf.org als einen einzigen Registrar (eine einzige Stelle für die Erfassung und Verbreitung von Daten und Metadaten). Dieses Softwareprodukt verwendet auch die SDMX-Community - registry.sdmx.org .

Die neuesten Versionen von Fusion Registry haben fast alle Funktionen des Standards implementiert. Die Anwendung kann auch als SDMX-Registrar arbeiten. Leider gibt es keine Möglichkeit, Daten und Metadaten im SDMX-Format zu generieren.

Datenstruktur-Assistent - Java-Anwendung zum Erstellen struktureller Metadaten der Versionen 2.0 und 2.1 unterstützt die Erstellung aller grundlegenden SDMX-Entitäten.

Der SDMX-Konverter ist das Hauptwerkzeug für die Arbeit mit von Eurostat erstellten SDMX-Daten. Ermöglicht das Erstellen eines Datensatzes (jedoch keine Metadaten) aus Dateien im Excel-, CSV- und FLR-Format sowie das Konvertieren von Daten zwischen verschiedenen SDMX-Formaten.

Anstelle einer Schlussfolgerung

Die Standardisierung statistischer Informationen innerhalb des SDMX-Standards vereinfacht die Verbreitung und Analyse von Daten erheblich. Durch die Verwendung von Webdiensten können wir die Verarbeitung von Informationsfeldern vereinfachen und die Verbindung verwandter Systeme sicherstellen, sodass jeder Benutzer die Möglichkeit hat, für ihn interessante makroökonomische Indikatoren in verschiedenen Ländern der Welt zu erhalten und zu vergleichen. Die angegebenen Vorteile des SDMX-Standards liegen dem abteilungsübergreifenden Projekt zugrunde, das derzeit in Russland durchgeführt wird, um den Standard in die Praxis der Verbreitung statistischer Daten sowohl durch Informationsaustausch mit internationalen Organisationen als auch im Rahmen der Bereitstellung von Daten für einen unbegrenzten Benutzerkreis mithilfe von Portaltechnologien einzuführen.