Verwendung von Datensätzen aus dem russischen offenen Datenportal data.gov.ru

Das letzte Mal, als ich Datensätze analysiert habe: Verteilung nach Kategorien und Dateiformaten, Grad der Ausfüllung von Feldern in Pässen von Datensätzen usw. Jetzt werde ich versuchen zu verstehen, wie oft Datensätze interessiert sind und wie oft Datensätze verwendet werden. Welche Datensätze sind für Portalbenutzer von Interesse?

Um eine Bewertung durchführen zu können, muss festgelegt werden, nach welchen Kriterien sie durchgeführt werden soll. In den Beschreibungen der Datensätze finden Sie Informationen zur Anzahl der Ansichten. Sie müssen kein Genie sein, um zu verstehen, dass jemand, der Informationen zu einem Datensatz betrachtet, dies anscheinend nicht zufällig getan hat. Das Kriterium, dass der Datensatz Interesse weckte, ist daher die Anzahl der Aufrufe. Und wenn der Datensatz nicht nur interessant ist, sondern auch nützlich sein kann, wird er heruntergeladen. Somit ist die Anzahl der Downloads ein Kriterium für die Nützlichkeit.

Und Sie können sich vorstellen, dass das Portal ein Geschäft ist. Produkte in einem Geschäft sind Datensätze. Die Kosten für Waren sind der Aufwand, der aufgewendet werden muss, um Daten herunterzuladen (herauszufinden, wo sich dieser Link befindet) und Daten zu verwenden (z. B. anzuzeigen oder als Datenquelle für Ihre eigenen Zwecke zu verwenden). Dementsprechend ist die Anzahl der Aufrufe die Anzahl der potenziellen Käufer und die Anzahl der Downloads die Anzahl der Käufe.

Käufer gehen in den Laden, schauen sich Waren an, bewerten. Wenn der Käufer das Produkt nicht finden kann oder nicht versteht, ob er für ihn geeignet ist, wird er gehen. Wenn das Produkt für den Käufer von Interesse ist, kann er es kaufen (herunterladen), wenn der Preis (der Aufwand für das Herunterladen und Verwenden) passt. Zum Beispiel hat mich ein bestimmter Datensatz interessiert und ich möchte ihn herunterladen. Es stellt sich jedoch heraus, dass es sich um ein Format handelt, das für mich schwierig zu verwenden ist. Gleichzeitig gibt es auf einer anderen Site dieselben Daten, aber in einer bequemeren oder neueren Form oder mit einer besseren Beschreibung wird der Datensatz nicht heruntergeladen.

Erstens die einfachsten statistischen Merkmale für die Anzahl der Ansichten:

• insgesamt - 2,03 Millionen;
• Minimum - 2;
• Durchschnitt - 161;
• Median - 61;
• maximal - 28,1 Tausend

Der große Wert des Maximums im Vergleich zum Durchschnitt und zum Median sowie die Differenz zwischen dem Median und dem Durchschnitt deuten deutlich auf die ungleichmäßige Verteilung der Anzahl der Ansichten und des „langen Schwanzes“ hin.

Um dies visuell zu überprüfen, teile ich die Anzahl der Ansichten in 1000 gleichmäßig verteilte Gruppen (Durchschnitt) und erhalte eine ziemlich glatte Kurve. Dann baue ich die Abhängigkeit der Summe aller Ansichten von der durchschnittlichen Anzahl von Ansichten und der Anzahl von Datensätzen von der durchschnittlichen Anzahl von Ansichten auf.



Was zeigt die Grafik?

Eine große Anzahl von Datensätzen hat eine Anzahl von Ansichten nahe Null, aber die Gesamtzahl der Ansichten dieser Sätze ist groß. Ferner sinken ungefähr 100 bis 1000. Von 1000 bis 5000 eine ziemlich gleichmäßige Verteilung. Ab 5000 Wachstum.

Die Zahlen werden per Auge ausgewählt. Und so sieht das gleiche auf dem Diagramm aus.



Zwei Drittel der Datensätze wurden weniger als 100 Mal angezeigt.
Ein Drittel der Datensätze wurde 100- bis 1000-mal angezeigt.
Etwa ein Prozent wurde 1000 bis 5000 Mal angesehen.
Und weniger als ein Zehntel Prozent der Datensätze wurde mehr als 5.000 Mal angezeigt.
Wenn Sie jedoch die Summe der Ansichten berücksichtigen, ist das Bild anders.
Die Kits, die weniger als 100 Mal angesehen wurden, machen nur 16% aus.

Fast zwei Drittel, dh der Großteil der Ansichten, entfallen auf Datensätze, die 100- bis 1000-mal angezeigt wurden.

Etwa 14% sind Datensätze, die 1000 bis 5000 Mal angezeigt wurden.

Und fast 7% fallen auf Sets, die mehr als 5.000 Mal angesehen wurden (und es gibt weniger als ein Zehntel der Gesamtzahl).

Dies ist jedoch nicht genau das, was Sie benötigen, um die Verwendung von Datensätzen zu bewerten. Datensätze wurden zu unterschiedlichen Zeiten angelegt, daher ist die Verwendung von Absolutwerten, in diesem Fall der Anzahl der Ansichten, wenig sinnvoll. Für einen korrekten Vergleich verwende ich den relativen Wert - die Anzahl der Aufrufe pro Monat.

Statistische Merkmale für die Anzahl der Ansichten von Datensätzen pro Monat:

• Minimum - 0,184;
• Durchschnitt - 8,49;
• Median - 5,33;
• maximal - 1,76 Tausend

Tatsächlich ähnelt die Situation mit der Anzahl der Aufrufe pro Monat der Anzahl der Aufrufe - eine ungleichmäßige Verteilung mit einem langen Schwanz.



Ich werde alle Datensätze bedingt durch die durchschnittliche Anzahl der Ansichten wie folgt teilen:
weniger als einmal im Monat;

• von einmal im Monat bis einmal in der Woche;
• von einmal pro Woche bis einmal am Tag;
• von einmal am Tag bis einmal pro Stunde;
• mehr als einmal pro Stunde.

Datensätze, die anscheinend weniger als einmal im Monat angezeigt werden, sind anscheinend völlig unnötig. Es gibt ungefähr 6% solcher Datensätze und es ist logisch, dass sie nur 0,2% der Gesamtzahl der Ansichten ausmachen.

Ein Drittel der Datensätze wird einmal im Monat bis einmal in der Woche angezeigt. Und sie machen etwa 6% der Gesamtzahl der Aufrufe aus. Es scheint, dass manchmal jemand zuschaut.

Etwas mehr als die Hälfte der Datensätze wurde von einmal pro Woche bis einmal pro Tag angezeigt. Und sie machen fast die Hälfte der Gesamtzahl der Aufrufe aus. Nicht zu oft, aber zuschauen.

Datensätze, die mehr als einmal am Tag angezeigt werden und deren Gesamtmenge 2,5% beträgt, machen mehr als ein Drittel der Gesamtzahl der Aufrufe aus. Hier ist, was Interesse weckt.

Das größte Interesse wird jedoch durch die Datensätze verursacht, die häufiger als einmal pro Stunde angezeigt werden. Es gibt nur 0,03 der Gesamtzahl und sie machen fast 4% der Gesamtzahl der Aufrufe aus.

Somit können nur 3% aller Datensätze tatsächlich als interessant angesehen werden. Ein Drittel ist nicht von Interesse. Und etwas mehr als die Hälfte kann gelegentlich jemanden interessieren.

Es gibt viele Waren im Laden. Aber mehr als ein Drittel von ihnen interessiert sich fast nicht für Käufer. Mehr als die Hälfte der Produkte ist für Käufer nicht besonders interessant, aber ihr Interesse an ihnen ist stabil. Und 3% der Waren sind wirklich interessant.

Aber das ist nur die halbe Miete.

Selbst wenn der Käufer in den Laden ging und das Produkt ihn interessierte, wird er es kaufen?

Wenn der Datensatz heruntergeladen wurde, bedeutet dies, dass jemand ihn benötigt hat (und vielleicht sogar sehr nützlich ist). Wie oben erwähnt, werde ich daher die Nützlichkeit des Datensatzes anhand der Anzahl der Downloads bestimmen.

Zunächst wie üblich einige Statistiken:

• insgesamt - 63,2 Tausend;
• Minimum - 0;
• der Durchschnitt liegt bei 5,01;
• Median - 1;
• maximal - 2,33 Tausend

Worüber spricht das? Ungleichmäßige Verteilung? Langer Schwanz?

Nein. Es scheint mir, dass mit einem Median von eins ein interessantes Ergebnis erwartet werden kann.



Es scheint, dass niemand die meisten Datensätze herunterlädt.

Bedingt habe ich die Anzahl der Downloads wie folgt aufgeteilt:

• 0 - niemals;
• 1 mal;
• 2 mal;
• weniger als 10;
• von 10 bis 100;
• von 100 bis 1000;
• mehr als 1000.

Schauen wir uns das Diagramm an.



Und was sehen wir?

Die Hälfte der Datensätze wurde noch nie heruntergeladen. Selbst um zu überprüfen, ob es funktioniert, haben sie es nicht heruntergeladen. Auch aus Versehen. NIE!

Nur einmal heruntergeladen 16% der Datensätze. Vielleicht durch Zufall oder um zu überprüfen, ob sie es sind. Sie machen etwa 3% der Gesamtzahl der Downloads aus.

Zweimal wurden 7% der Datensätze heruntergeladen und sie machen etwa 3% der Gesamtzahl der Downloads aus. Auch zweimal ein zweifelhaftes Ergebnis.

Fast 17% der Datensätze wurden weniger als zehnmal heruntergeladen, und sie machten 17% der Gesamtzahl der Downloads aus.

Zusammengenommen stellt sich heraus, dass 90% der Datensätze überhaupt nicht interessant oder praktisch nicht von Interesse sind?

Etwa 10% der Datensätze wurden 10 bis 100 Mal heruntergeladen, und ihr Anteil beträgt etwa 40%.
0,5% der Datensätze wurden 100- bis 1000-mal heruntergeladen, sie machen jedoch ein Viertel aller Downloads aus.

Mehr als 1000 Mal wurden nur 0,02% der Gesamtzahl der Datensätze heruntergeladen, und sie machen etwa 8% aller Downloads aus.

Infolgedessen wurde die Hälfte der Datensätze von niemandem benötigt. 10% der Datensätze sind für die Verwendung von stabilem Interesse. Weniger als 1% des Datensatzes ist wirklich nützlich.

Die Hälfte der Waren im Laden kauft grundsätzlich nicht. Ein Drittel der Waren wird sehr selten gekauft. 10% der Waren sind stabil nachgefragt. Und weniger als 1% der Waren sind bei den Kunden wirklich gefragt.

Wie bei der Anzahl der Ansichten ist es jedoch korrekter, nicht absolute, sondern relative Werte zu berücksichtigen.

In Analogie wird anstelle der Anzahl der Downloads die Anzahl der Downloads pro Monat angegeben.

Statistik kurz:

• Minimum - 0;
• Durchschnitt - 0,276;
• Median - 0,02;
• das Maximum ist 145.

Es ist logisch, dass wieder das gleiche mit dem gleichen.



Es ist klar, dass die Hälfte der Datensätze nie heruntergeladen wird und die Grafik nicht allzu hübsch aussieht.

Das Diagramm ist informativer.



Die gleiche Hälfte der Sätze (anscheinend hat der Rundungsfehler zu einem Unterschied in den Brüchen geführt) wird nie heruntergeladen. Diese Tatsache ist bereits bekannt.

Fast die Hälfte der Datensätze (45%) wird weniger als einmal im Monat heruntergeladen und macht 42% der Gesamtzahl der Downloads aus.

Von einmal im Monat bis einmal in der Woche werden ungefähr 4% heruntergeladen, aber sie machen fast ein Viertel der Downloads aus.

Von einmal pro Woche bis einmal am Tag werden etwa 0,8% der Datensätze heruntergeladen, aber sie machen fast 23% der Gesamtzahl der Downloads aus.

Und schließlich werden nur 0,05% der Datensätze von einmal pro Woche bis einmal pro Stunde heruntergeladen, aber sie machen fast 11% aller Downloads aus.

Wenn Sie beispielsweise davon ausgehen, dass das Portal ein Geschäft ist, die Anzahl der Aufrufe die Anzahl der Besucher des Geschäfts und die Anzahl der Downloads die Anzahl der Käufe ist, können Sie die Conversion berechnen:


K = N / N0 * 100%, wobei

K ist die Umrechnungsrate;
N - die Anzahl der echten Käufer (Kunden, die die Waren gekauft oder die Dienstleistung genutzt haben);
N0 - die Anzahl der Besucher des Geschäfts oder der Website.

Für das offene Datenportal beträgt der Conversion-Level ca. 3%. Ob es viel oder wenig ist, jeder kann selbst entscheiden.

Schlussfolgerungen

Nur etwa 3% der Datensätze sind für jemanden wirklich interessant. Gleichzeitig wird fast die Hälfte von einmal pro Woche bis einmal am Tag angesehen.

Die Hälfte der Datensätze wurde noch nie von jemandem heruntergeladen.

Weniger als 1% der Datensätze sind wirklich von Interesse.

Was weiter?

Und dann werden wir uns ansehen, wie Datensätze ausgewertet werden, und prüfen, ob Links zu Datensätzen funktionieren. Mal sehen, wie oft Datasets aktualisiert werden und wie groß die Dataset-Dateien sind. Gibt es einen Zusammenhang zwischen dem Dateiformat des Datensatzes und der Anzahl der Downloads?

PS Zur Veranschaulichung habe ich mehrere Dashboards gepostet.
Die Ressourcen sind begrenzt, sodass beim Booten Fehler auftreten können.
Schreiben Sie Bewertungen in die Kommentare.