SDMX (échange de données statistiques et de métadonnées)

Il existe très peu d'informations sur SDMX sur Internet en russe, malgré le fait que cette norme est utilisée depuis longtemps pour la publication et l'échange de données par de nombreux pays et organisations internationales. L'initiative de développement standard a été lancée par sept organisations internationales travaillant avec des statistiques qui ont parrainé le développement. L'objectif principal était de simplifier l'échange de données statistiques entre ces organisations, de créer une norme pour un tel échange et de décrire le processus opérationnel de mise en œuvre de cette norme. Une approche unique vous permet non seulement de simplifier l'accès aux données statistiques, mais aussi grâce à l'utilisation de métadonnées (données sur les données) rend la compréhension de leur signification et de leur contenu plus accessible.

Le site principal de l'initiative SDMX est sdmx.org , qui contient également une liste de concepts interdomaines approuvés, d'ouvrages de référence et de classificateurs. Chaque organisation adhérant à la norme peut l'étendre et la compléter en utilisant une procédure d'enregistrement administratif spéciale.

La norme n'est pas un guide d'action strict; les organisations choisissent elles-mêmes quels éléments SDMX elles utiliseront et à quelles fins.

La description standard SDMX contient les composants suivants:

• Modèle d'information
• Schémas XSD pour décrire la structure, le modèle de contenu et les types de données
• Lignes directrices axées sur le contenu
• Un ensemble de programmes et d'outils pour travailler avec SDMX

Le modèle d'information SDMX est le fondement de la norme. Il est représenté par des concepts ( CONCEPT ), des restrictions ( CONSTRAIN ), des règles, des opérations pour déterminer le format et la composition des données statistiques divulguées par l'organisation. Dans le cadre de cet article, il n'est pas prévu de décrire entièrement toutes les entités SDMX, uniquement les principaux composants.

Modèle d'information SDMX

En quoi les statistiques diffèrent-elles des données régulières? Oui, en général, rien.

Données statistiques - ensemble de données classées et ordonnées sur un phénomène ou un processus de masse. Ils sont caractérisés par un ensemble de mesures (concepts, en termes de SDMX), dont l'une est généralement une période de temps. Les outils BI sont généralement utilisés pour traiter et analyser ces données.

L'observation statistique est un ensemble de valeurs spécifiques de concepts qui caractérisent de manière unique chaque unité de la totalité du tableau de données.

Le nombre «208,36» est une observation statistique définie par un ensemble de concepts (toutes les données sont fictives)

Dans SDMX, le concept est l'objet de base de la structure et représente une caractéristique qualitative des observations statistiques. Les valeurs d'un concept peuvent être un nombre, une chaîne, une date ou des valeurs provenant de répertoires de code ( CODELIST ). Cette représentation peut être redéfinie dans la définition de la structure de données lorsque le concept est utilisé comme dimension ou attribut.

Les références de code sont une simple liste de valeurs-clés. La liste répertorie les nombreuses valeurs qui seront utilisées dans la vue: indicateurs, attributs et autres éléments de la pièce structurelle SDMX. Ils sont complétés par d'autres métadonnées structurelles, qui peuvent refléter la description spécifique aux différentes langues et l'organisation hiérarchique des codes.

Le principe de codage des objets structurels SDMX est défini dans la norme: les lettres latines en majuscules, les chiffres et les traits de soulignement sont autorisés. De plus, les structures versionnées sont prises en charge.

Description de la structure des données La définition de la structure des données ( DSD ) détermine la composition et l'ordre appropriés des concepts pour la formation de l'ensemble de données final ( DATASET ). Chaque concept inclus dans la structure reçoit une définition de son rôle dans l'ensemble de données:

• Dimension ( DIMENSION ) - l'identifiant principal des données. L'ensemble des valeurs de toutes les dimensions, sauf celle temporaire, forme un code unique ( CODE ) de la série dans le cadre d'une structure de données.
• Attribut ( ATTRIBUTE ) - fournit une description supplémentaire pour un ensemble de données ou pour une observation spécifique. Un exemple d'attribut peut être une unité de mesure ou un statut d'observation (préliminaire, prévu, révisé, etc.).
• La valeur immédiate est l'observation ( MEASURE ).

Ainsi, l'exemple ci-dessus peut être décrit par la structure de données suivante:

Concept	Rôle	Type de données
La fréquence	Mesure	Ouvrage de référence
Pays	Mesure	Ouvrage de référence
Catégorie fonctionnelle	Mesure	Ouvrage de référence
Période	Mesure du temps	Date
Unité	Attribut	Ouvrage de référence
Valeur	Valeur	Numéro

Un ensemble de données ( DATASET ) est une collection de données homogènes qui a une structure DSD commune. Il peut contenir des séries chronologiques ou plusieurs séries à un certain moment ( données transversales ).

CONCEPTS de communication, CODELISTS, DSD et DATASET

Un exemple d'un ensemble de données provenant du site Web de la Banque centrale européenne. Le champ «Clé» contient un ensemble de mesures pour chaque série chronologique, séparées par un point, elles forment une clé unique

Données de séries chronologiques

Métadonnées

Dans SDMX, les métadonnées sont divisées en deux groupes:

• Les métadonnées structurelles sont un ensemble de concepts utilisés pour décrire et identifier des données statistiques et des métadonnées.
• Les métadonnées de référence sont un large ensemble de concepts qui définissent et qualifient les ensembles de données et qui décrivent généralement non pas une observation ou une série de données, mais l'ensemble des données ou même l'organisation qui fournit les données. Les métadonnées de référence sont généralement au format texte ou HTML et utilisent des concepts qui décrivent le contenu, la méthodologie et la qualité des données.

La description de la structure des métadonnées La définition de la structure des métadonnées ( MSD ) comprend des informations sur l'organisation des ensembles de métadonnées qui contiennent des valeurs de référence (similaires aux DSD). En particulier, MSD décrit ce qui est inclus dans l'échange de métadonnées et comment les concepts sont liés les uns aux autres, comment ils seront affichés (sous forme de texte ou de valeurs du répertoire) et avec quel type d'objet (agence, flux de données, fournisseur de données, ensemble de données, etc.) ils sont connectés.

L'ensemble de métadonnées de référence ( METADATASET ) est une information décrivant directement l'approche statistique, l'organisation fournissant les données ou la structure de données, le calendrier de publication, la qualité des données, etc., conformément à la structure des métadonnées.

Soumission des métadonnées de référence sur le site Internet de la Banque centrale européenne

Lignes directrices sur le contenu

Les directives orientées contenu sont un ensemble de directives dans la norme SDMX. Leur objectif est une compatibilité maximale dans l'échange de données et de métadonnées entre organisations. Leur utilisation entre organismes statistiques est encouragée autant que possible. Les principaux documents sont:

• Liste de concepts interdomaines
• Domaines thématiques statistiques
• Dictionnaire général des métadonnées

La liste Concepts interdomaines contient une liste de concepts statistiques liés au processus statistique et à la qualité des données. Cette liste est basée sur les concepts utilisés par les organisations internationales de parrainage. Il n'est pas exhaustif et sera complété à l'avenir.

Les concepts peuvent être utilisés à la fois pour les données et les métadonnées. Chaque concept a un code unique et une description du contexte dans lequel ce concept peut être utilisé, ainsi qu'une présentation dans la norme SDMX.

Les domaines axés sur les sujets statistiques ( domaines axés sur le contenu ) sont une classification de haut niveau fondée sur les travaux de la Commission économique des Nations Unies pour l'Europe (CEE-ONU) sur les domaines statistiques. La classification offre un point de départ dans l'organisation de l'échange de données statistiques et de métadonnées.

Le dictionnaire de métadonnées du vocabulaire commun des métadonnées ( MCV ) contient les concepts et les dimensions associées utilisés dans les métadonnées structurelles et de référence des organisations internationales et des agences nationales. MCV est un vocabulaire qui recommande l'utilisation d'une terminologie commune afin de simplifier la communication et la compréhension. MCV est étroitement lié aux concepts interdomaines et contient également tous ces concepts, indiquant leur définition et leur description du contexte.

Outils informatiques pour travailler avec SDMX

Une liste d'outils pour travailler avec SDMX est disponible sur sdmx.org .

Le principal outil pour travailler avec des métadonnées structurelles est le développement de la technologie des métadonnées - Registre de fusion . Il fonctionne comme une application Web. Il existe deux versions - Community (version gratuite avec fonctionnalités limitées) et Enterprise Edition (payante). Ce logiciel utilise le Fonds monétaire international sdmxcentral.imf.org en tant que bureau d'enregistrement unique (un seul point de collecte et de diffusion des données et des métadonnées). Ce produit logiciel utilise également la communauté SDMX - registry.sdmx.org .

Les dernières versions de Fusion Registry ont presque entièrement implémenté toutes les fonctionnalités de la norme. L'application peut également fonctionner en tant que registraire SDMX. Malheureusement, il n'est pas possible de générer des données et des métadonnées au format SDMX.

Assistant de structure de données - Application Java pour la création de versions de métadonnées structurelles 2.0 et 2.1, prend en charge la création de toutes les entités SDMX de base.

Le convertisseur SDMX est l'outil principal pour travailler avec les données SDMX créées par Eurostat. Vous permet de créer un ensemble de données (mais pas de métadonnées) à partir de fichiers au format Excel, CSV, FLR, ainsi que de convertir des données entre différents formats SDMX.

Au lieu d'une conclusion

La normalisation des informations statistiques au sein de la norme SDMX simplifie considérablement la diffusion et l'analyse des données. L'utilisation de services Web nous permet de simplifier le traitement des tableaux d'informations et d'assurer la connexion des systèmes connexes, offrant à tout utilisateur la possibilité d'obtenir et de comparer des indicateurs macroéconomiques qui l'intéressent dans différents pays du monde. Les avantages indiqués de la norme SDMX sous-tendent le projet interministériel actuellement mis en œuvre en Russie pour introduire la norme dans la pratique de la diffusion de données statistiques à la fois par l'échange d'informations avec des organisations internationales et dans le cadre de la fourniture de données à un cercle illimité d'utilisateurs utilisant des technologies de portail.