SDMX (dados estatísticos e troca de metadados)

Há muito pouca informação sobre o SDMX na Internet em russo, apesar de esse padrão ter sido usado há muito tempo para a publicação e troca de dados por muitos países e organizações internacionais. A iniciativa de desenvolvimento padrão foi lançada por sete organizações internacionais que trabalham com estatísticas que patrocinaram o desenvolvimento. O principal objetivo era simplificar a troca de dados estatísticos entre essas organizações, criar um padrão para essa troca e descrever o processo de negócios para implementar esse padrão. Uma abordagem única não apenas permite simplificar o acesso a dados estatísticos, mas também através do uso de metadados (dados sobre dados), tornando mais acessível o entendimento de seu significado e conteúdo.

O site principal da iniciativa SDMX é o sdmx.org , que também contém uma lista de conceitos aprovados entre domínios, livros de referência e classificadores. Cada organização que ingressa no padrão pode expandi-lo e complementá-lo usando um procedimento de registro administrativo especial.

O padrão não é um guia estrito de ação; as próprias organizações escolhem quais elementos do SDMX usarão e para quais fins.

A descrição padrão do SDMX contém os seguintes componentes:

• Modelo de informação
• Esquemas XSD para descrever estrutura, modelo de conteúdo e tipos de dados
• Diretrizes orientadas a conteúdo
• Um conjunto de programas e ferramentas para trabalhar com o SDMX

O modelo de informação SDMX é a base do padrão. É representado por conceitos ( CONCEITO ), restrições ( CONSTRAIN ), regras, operações para determinar o formato e a composição dos dados estatísticos divulgados pela organização. Na estrutura deste artigo, não está planejado descrever completamente todas as entidades do SDMX, apenas os componentes principais.

Modelo de Informação SDMX

Como as estatísticas são diferentes dos dados regulares? Sim, em geral, nada.

Dados estatísticos - um conjunto de dados classificados e ordenados sobre um fenômeno ou processo de massa. Eles são caracterizados por um conjunto de medidas (conceitos, em termos de SDMX), um dos quais geralmente é um período de tempo. As ferramentas de BI geralmente são usadas para processar e analisar esses dados.

A observação estatística é um conjunto de valores específicos de conceitos que caracterizam exclusivamente cada unidade da totalidade da matriz de dados.

O número "208.36" é uma observação estatística definida por um conjunto de conceitos (todos os dados são fictícios)

No SDMX, o conceito é o objeto básico da estrutura e representa uma característica qualitativa das observações estatísticas. Os valores para um conceito podem ser um número, uma sequência, uma data ou valores dos diretórios de código ( CODELIST ). Essa representação pode ser redefinida na definição da estrutura de dados quando o conceito é usado como uma dimensão ou atributo.

As referências de código são uma lista simples de valores-chave. A lista lista os muitos valores que serão usados ​​na exibição: indicadores, atributos e outros elementos da parte estrutural do SDMX. Eles são complementados por outros metadados estruturais, que podem refletir a descrição específica para diferentes idiomas e a organização hierárquica de códigos.

O princípio de codificação de objetos estruturais do SDMX é definido no padrão: letras latinas em maiúsculas, números e sublinhado são permitidos. Além disso, estruturas com versão são suportadas.

Descrição da estrutura de dados A definição da estrutura de dados ( DSD ) determina a composição e a ordem dos conceitos apropriadas para a formação do conjunto final de dados ( DATASET ). Cada conceito incluído na estrutura recebe uma definição de seu papel no conjunto de dados:

• Dimensão ( DIMENSION ) - o principal identificador de dados. O conjunto de valores de todas as dimensões, exceto o temporário, forma um código exclusivo ( CODE ) da série na estrutura de uma estrutura de dados.
• Atributo ( ATTRIBUTE ) - fornece uma descrição adicional para um conjunto de dados ou para uma observação específica. Um exemplo de um atributo pode ser uma unidade de medida ou um status de observação (preliminar, previsto, revisado etc.).
• O valor imediato é a observação ( MEASURE ).

Assim, o exemplo acima pode ser descrito pela seguinte estrutura de dados:

Conceito	Função	Tipo de dados
Frequência	Medição	Livro de referência
País de origem	Medição	Livro de referência
Categoria funcional	Medição	Livro de referência
Período	Medição do tempo	Data
Unidade	Atributo	Livro de referência
Valor	Valor	Número

Um conjunto de dados ( DATASET ) é uma coleção de dados homogêneos que possui uma estrutura DSD comum. Pode conter séries temporais ou várias séries em um determinado momento ( Dados Transversais ).

CONCEITOS, CODELISTAS, DSD e DATASET

Um exemplo de um conjunto de dados do site do Banco Central Europeu. O campo "Chave" contém um conjunto de medidas para cada série temporal, separadas por um ponto, elas formam uma chave exclusiva

Dados de séries temporais

Metadados

No SDMX, os metadados são divididos em dois grupos:

• Metadados estruturais é um conjunto de conceitos usados ​​para descrever e identificar dados e metadados estatísticos.
• Os metadados de referência são um grande conjunto de conceitos que definem e qualificam conjuntos de dados e que geralmente descrevem não uma observação ou uma série de dados, mas todo o conjunto de dados ou mesmo a organização que fornece os dados. Os metadados de referência geralmente estão no formato texto ou HTML e usam conceitos que descrevem o conteúdo, a metodologia e a qualidade dos dados.

A descrição da estrutura de metadados Definição da Estrutura de Metadados ( MSD ) inclui informações sobre como os conjuntos de metadados são organizados que contêm valores de referência (semelhantes aos DSDs). Em particular, o MSD descreve o que está incluído na troca de metadados e como os conceitos se relacionam, como serão mostrados (na forma de texto ou valores do diretório) e com que tipo de objeto (agência, fluxo de dados, provedor de dados, conjunto de dados, etc.) eles estão conectados.

Conjunto de metadados de referência ( METADATASET ) são informações que descrevem diretamente a abordagem estatística, a organização que fornece os dados ou a estrutura de dados, calendário de publicação, qualidade dos dados etc., de acordo com a estrutura de metadados.

Submissão de metadados de referência no site do Banco Central Europeu

Diretrizes de conteúdo

As diretrizes orientadas a conteúdo são um conjunto de diretrizes dentro do padrão SDMX. Seu objetivo é a compatibilidade máxima na troca de dados e metadados entre organizações. Seu uso entre organizações estatísticas é incentivado o máximo possível. Os principais documentos são:

• Lista de conceitos entre domínios
• Áreas temáticas estatísticas
• Dicionário Geral de Metadados

A lista Conceitos entre domínios contém uma lista de conceitos estatísticos relacionados ao processo estatístico e à qualidade dos dados. Esta lista é baseada nos conceitos usados ​​pelas organizações patrocinadoras internacionais. Não é exaustivo e será complementado no futuro.

Os conceitos podem ser usados ​​para dados e metadados. Cada conceito possui um código exclusivo e uma descrição do contexto em que esse conceito pode ser usado, além de uma apresentação no padrão SDMX.

Os domínios estatísticos orientados a assuntos ( domínios orientados a conteúdo ) são uma classificação de nível superior com base no trabalho da Comissão Econômica para a Europa das Nações Unidas para a Europa (UNECE) em domínios estatísticos. A classificação oferece um ponto de partida na organização da troca de dados estatísticos e metadados.

O Dicionário de Metadados de Vocabulário Comum de Metadados ( MCV ) contém os conceitos e dimensões associadas usados ​​nos metadados estruturais e de referência de organizações internacionais e agências nacionais. MCV é um vocabulário que recomenda o uso de terminologia comum para simplificar a comunicação e o entendimento. O MCV está intimamente ligado aos conceitos entre domínios e também contém todos esses conceitos, indicando sua definição e descrição do contexto.

Ferramentas de TI para trabalhar com SDMX

Uma lista de ferramentas para trabalhar com o SDMX está disponível em sdmx.org .

A principal ferramenta para trabalhar com metadados estruturais é o desenvolvimento da Metadata Technology - Fusion Registry . Funciona como um aplicativo da web. Existem duas versões - Comunidade (versão gratuita com recursos limitados) e Enterprise Edition (paga). Este software usa o Fundo Monetário Internacional sdmxcentral.imf.org como um único registrador (um único ponto de coleta e disseminação de dados e metadados). Este produto de software também usa a comunidade SDMX - registry.sdmx.org .

As versões mais recentes do Fusion Registry implementaram quase toda a funcionalidade do padrão. O aplicativo também pode funcionar como um registrador SDMX. Infelizmente, não há possibilidade de gerar dados e metadados no formato SDMX.

Assistente para estrutura de dados - aplicativo Java para criar metadados estruturais versões 2.0 e 2.1, suporta a criação de todas as entidades básicas do SDMX.

O conversor SDMX é a principal ferramenta para trabalhar com dados SDMX criados pelo Eurostat. Permite criar um conjunto de dados (mas não metadados) de arquivos no formato Excel, CSV, FLR, bem como converter dados entre diferentes formatos SDMX.

Em vez de uma conclusão

A padronização de informações estatísticas dentro do padrão SDMX simplifica bastante a disseminação e análise de dados. O uso de serviços da web nos permite simplificar o processamento de matrizes de informações e garantir a conexão de sistemas relacionados, oferecendo a qualquer usuário a oportunidade de obter e comparar indicadores macroeconômicos de interesse para ele em diferentes países do mundo. As vantagens indicadas do padrão SDMX formam a base de um projeto interdepartamental atualmente sendo implementado na Rússia para introduzir o padrão na prática de disseminação de dados estatísticos tanto por meio de troca de informações com organizações internacionais quanto no âmbito de fornecer dados a um círculo ilimitado de usuários usando tecnologias de portal.