Utilisation des ensembles de données du portail russe de données ouvertes data.gov.ru

La dernière fois que j'ai analysé des ensembles de données: répartition par catégories et formats de fichiers, le degré de remplissage des champs dans les passeports des ensembles de données, etc. Maintenant, je vais essayer de comprendre à quelle fréquence les ensembles de données sont intéressés et à quelle fréquence les ensembles de données sont-ils utilisés? Quels ensembles de données intéressent les utilisateurs du portail?

Pour mener une évaluation, il est nécessaire de déterminer par quels critères la réaliser. Les descriptions des ensembles de données contiennent des informations sur le nombre de vues. Vous n'avez pas besoin d'être un génie pour comprendre que si quelqu'un regarde des informations sur un ensemble de données, alors, apparemment, il ne le fait pas par accident. Et, par conséquent, le critère que l'ensemble de données a suscité l'intérêt sera le nombre de vues. Et si l'ensemble de données n'est pas seulement intéressant, mais peut être utile, il sera téléchargé. Ainsi, le nombre de téléchargements sera un critère d'utilité.

Et vous pouvez imaginer que le portail est un magasin. Les produits d'un magasin sont des ensembles de données. Le coût des marchandises est la quantité d'efforts qui doivent être dépensés pour télécharger (trouver où se trouve ce lien) et utiliser (par exemple, afficher ou utiliser comme source de données à vos propres fins). Par conséquent, le nombre de vues est le nombre d'acheteurs potentiels et le nombre de téléchargements est le nombre d'achats.

Les acheteurs vont au magasin, regardent les marchandises, évaluent. Si l'acheteur ne trouve pas le produit ou ne comprend pas s'il lui convient, il partira. Si le produit présente un intérêt pour l'acheteur, il peut l'acheter (télécharger), si le prix (la quantité d'efforts dépensés pour le téléchargement et l'utilisation) convient. Par exemple, un certain ensemble de données m'a intéressé et je veux le télécharger. Mais il s'avère que c'est dans un format difficile à utiliser pour moi. Dans le même temps, sur un autre site, il y a les mêmes données, mais sous une forme plus pratique ou plus récente, ou avec une meilleure description, respectivement, l'ensemble de données ne sera pas téléchargé.

Premièrement, les caractéristiques statistiques les plus simples pour le nombre de vues:

• total - 2,03 millions;
• minimum - 2;
• moyenne - 161;
• médiane - 61;
• maximum - 28,1 mille

La grande valeur du maximum par rapport à la moyenne et à la médiane, ainsi que la différence entre la médiane et la moyenne, font clairement allusion à la répartition inégale du nombre de vues et de la «longue queue».

Pour vérifier visuellement cela, je divise le nombre de vues en 1000 groupes uniformément répartis (moyenne) et j'obtiens une courbe assez lisse. Ensuite, je construis la dépendance de la somme de toutes les vues sur le nombre moyen de vues et du nombre d'ensembles de données sur le nombre moyen de vues.



Que montre le graphique?

Un grand nombre d'ensembles de données a un nombre de vues presque nul, mais le nombre total de vues de ces ensembles est important. De plus, environ 100 à 1 000 déclins. De 1000 à 5000 une distribution assez uniforme. A partir de 5000 de croissance.

Les nombres sont sélectionnés à l'œil nu. Et voici à quoi ressemble la même chose sur le diagramme.



Les deux tiers des ensembles de données ont été consultés moins de 100 fois.
Un tiers des ensembles de données ont été consultés de 100 à 1 000 fois.
Environ un pour cent a été vu de 1000 à 5000 fois.
Et moins d'un dixième d'un pour cent des ensembles de données a été consulté plus de 5 000 fois.
Mais si vous considérez la somme des vues, l'image est différente.
Ces kits qui ont été consultés moins de 100 fois ne représentent que 16%.

Près des deux tiers, c'est-à-dire la majeure partie des vues, concernent des ensembles de données qui ont été visualisés de 100 à 1 000 fois.

Environ 14% sont des ensembles de données qui ont été consultés de 1000 à 5000 fois.

Et près de 7% tombent sur des décors qui ont été visionnés plus de 5 000 fois (et il y en a moins d'un dixième du total).

Mais ce n'est pas exactement ce dont vous avez besoin pour évaluer l'utilisation des ensembles de données. Les ensembles de données ont été disposés à des moments différents, de sorte que l'utilisation de valeurs absolues, en l'occurrence le nombre de vues, n'a pas beaucoup de sens. Pour une comparaison correcte, j'utiliserai la valeur relative - le nombre de vues par mois.

Caractéristiques statistiques du nombre de vues d'ensembles de données par mois:

• minimum - 0,184;
• moyenne - 8,49;
• médiane - 5,33;
• maximum - 1,76 mille

En fait, la situation avec le nombre de vues par mois ressemble au nombre de vues - une distribution inégale avec une longue queue.



Je vais diviser conditionnellement tous les ensembles de données par le nombre moyen de vues comme suit:
moins d'une fois par mois;

• d'une fois par mois à une fois par semaine;
• d'une fois par semaine à une fois par jour;
• d'une fois par jour à une fois par heure;
• plus d'une fois par heure.

Apparemment, les ensembles de données qui sont consultés moins d'une fois par mois sont totalement inutiles. Il existe environ 6% de ces ensembles de données et il est logique qu'ils ne représentent que 0,2% du nombre total de vues.

Un tiers des ensembles de données sont consultés une fois par mois à une fois par semaine. Et ils représentent environ 6% du nombre total de vues. Il semble que quelqu'un regarde parfois.

Un peu plus de la moitié des ensembles de données ont été consultés une fois par semaine à une fois par jour. Et ils représentent près de la moitié du nombre total de vues. Pas trop souvent, mais attention.

Les ensembles de données qui sont consultés plus d'une fois par jour, et leur total est de 2,5%, représentent plus du tiers du nombre total de vues. Voici ce qui suscite l'intérêt.

Mais le plus grand intérêt est causé par ces ensembles de données qui sont consultés plus d'une fois par heure. Il n'y a que 0,03 du nombre total, et ils représentent près de 4% du nombre total de vues.

Ainsi, seulement 3% de tous les ensembles de données peuvent en effet être considérés comme intéressants. Un troisième est sans intérêt. Et un peu plus de la moitié peut parfois intéresser quelqu'un.

Il y a beaucoup de marchandises dans le magasin. Mais plus d'un tiers d'entre eux ne sont presque pas intéressés par les acheteurs. Plus de la moitié des produits ne sont pas particulièrement intéressants pour les acheteurs, mais leur intérêt pour eux est stable. Et 3% des marchandises sont vraiment intéressantes.

Mais ce n'est que la moitié de la bataille.

Même si l'acheteur est entré dans le magasin et que le produit l'intéressait, l'achètera-t-il?

Si l'ensemble de données a été téléchargé, cela signifie que quelqu'un en avait besoin (et, peut-être, c'est même très utile). Ainsi, comme mentionné ci-dessus, je déterminerai l'utilité de l'ensemble de données en fonction du nombre de téléchargements.

Tout d'abord, comme d'habitude, quelques statistiques:

• total - 63,2 milliers;
• minimum - 0;
• la moyenne est de 5,01;
• médiane - 1;
• maximum - 2,33 mille

De quoi parle-t-on? Distribution inégale? Longue queue?

Non. Il me semble qu'avec une médiane égale à un, un résultat intéressant peut être attendu.



Il semble que personne ne télécharge la plupart des ensembles de données.

Conditionnellement, j'ai divisé le nombre de téléchargements comme suit:

• 0 - jamais;
• 1 fois
• 2 fois;
• moins de 10;
• de 10 à 100;
• de 100 à 1000;
• plus de 1000.

Regardons le diagramme.



Et que voyons-nous?

La moitié des ensembles de données n'ont jamais été téléchargés du tout. Même pour vérifier que cela fonctionne, ils ne l'ont pas téléchargé. Même par accident. JAMAIS!

Une seule fois téléchargé 16% des ensembles de données. Peut-être par hasard ou pour vérifier qu'ils le sont. Ils représentent environ 3% du nombre total de téléchargements.

Deux fois, 7% des ensembles de données ont été téléchargés et ils représentent environ 3% du nombre total de téléchargements. Deux fois aussi, un résultat douteux.

Près de 17% des ensembles de données ont été téléchargés moins de 10 fois, et ils représentaient 17% du nombre total de téléchargements.

Si mis ensemble, il s'avère que 90% des ensembles de données ne sont pas du tout intéressants ou pratiquement pas d'intérêt?

Environ 10% des ensembles de données ont été téléchargés de 10 à 100 fois et leur part est d'environ 40%.
0,5% des ensembles de données ont été téléchargés de 100 à 1 000 fois, mais ils représentent un quart de tous les téléchargements.

Plus de 1000 fois ont téléchargé seulement 0,02% du nombre total d'ensembles de données, et ils représentent environ 8% de tous les téléchargements.

En conséquence, la moitié des ensembles de données n'ont jamais été nécessaires à personne. 10% des ensembles de données présentent un intérêt stable pour leur utilisation. Moins de 1% de l'ensemble de données est vraiment utile.

La moitié des marchandises dans le magasin n'achètent pas en principe. Un tiers des biens sont achetés très rarement. 10% des biens sont en demande stable. Et moins de 1% des marchandises sont vraiment demandées par les clients.

Mais, comme pour le nombre de vues, il est plus correct de considérer non pas des valeurs absolues, mais des valeurs relatives.

Par analogie, au lieu du nombre de téléchargements, il y aura le nombre de téléchargements par mois.

Statistiques brièvement:

• minimum - 0;
• moyenne - 0,276;
• médiane - 0,02;
• le maximum est de 145.

Il est logique que la même chose avec le même.



Il est clair que la moitié des ensembles de données ne sont jamais téléchargés et le graphique n'est pas trop joli.

Le tableau est plus informatif.



La même moitié des ensembles (apparemment l'erreur d'arrondi a entraîné une différence dans les fractions) n'est jamais téléchargée. Ce fait est déjà connu.

Près de la moitié des ensembles de données (45%) sont téléchargés moins d'une fois par mois, et ils représentent 42% du nombre total de téléchargements.

D'une fois par mois à une fois par semaine, environ 4% sont téléchargés, mais ils représentent près d'un quart des téléchargements.

D'une fois par semaine à une fois par jour, environ 0,8% des ensembles de données sont téléchargés, mais ils représentent près de 23% du nombre total de téléchargements.

Enfin, seulement 0,05% des ensembles de données sont téléchargés d'une fois par semaine à une fois par heure, mais ils représentent près de 11% de tous les téléchargements.

Si, par exemple, vous considérez que le portail est un magasin, le nombre de vues est le nombre de visiteurs du magasin et le nombre de téléchargements est le nombre d'achats, alors vous pouvez calculer la conversion:


K = N / N0 * 100%, où

K est le taux de conversion;
N - le nombre d'acheteurs réels (clients qui ont acheté les biens ou utilisé le service);
N0 - le nombre de visiteurs du magasin ou du site.

Pour le portail de données ouvertes, le niveau de conversion sera d'environ 3%. Que ce soit beaucoup ou peu, chacun peut décider par lui-même.

Conclusions

Seulement environ 3% des ensembles de données sont vraiment intéressants pour quelqu'un. Mais, en même temps, près de la moitié est vue d'une fois par semaine à une fois par jour.

La moitié des ensembles de données n'ont jamais été téléchargés par personne.

Moins de 1% des ensembles de données sont vraiment intéressants.

Et ensuite?

Ensuite, nous verrons comment les ensembles de données sont évalués, vérifions si les liens vers les ensembles de données fonctionnent. Voyons à quelle fréquence les jeux de données sont mis à jour et la taille des fichiers de jeux de données. Existe-t-il une relation entre le format de fichier de l'ensemble de données et le nombre de téléchargements.

PS A titre d'illustration, j'ai posté plusieurs tableaux de bord .
Les ressources sont limitées, des erreurs peuvent donc survenir lors du démarrage.
Écrivez les commentaires dans les commentaires.