रूसी ओपन डेटा पोर्टल data.gov.ru से डेटासेट का उपयोग करना

पिछली बार जब मैंने डेटा सेटों का विश्लेषण किया था: श्रेणियों और फ़ाइल स्वरूपों द्वारा वितरण, डेटा सेटों के पासपोर्ट में किस क्षेत्र को भरा जाता है, आदि। अब मैं यह समझने की कोशिश करूंगा कि कितनी बार डेटासेट में रुचि है और कितनी बार डेटासेट का उपयोग किया जाता है? पोर्टल उपयोगकर्ताओं के लिए कौन से डेटासेट रूचि रखते हैं?

मूल्यांकन करने के लिए, यह निर्धारित करना आवश्यक है कि इसे बनाने के लिए कौन से मापदंड हैं। डेटा सेट के विवरण में विचारों की संख्या के बारे में जानकारी है। आपको यह समझने के लिए एक प्रतिभा होने की ज़रूरत नहीं है कि अगर किसी ने डेटा सेट के बारे में जानकारी देखी, तो, जाहिर है, उसने दुर्घटना से ऐसा नहीं किया। और, इसलिए, जो मानदंड निर्धारित किया गया है, वह ब्याज की संख्या को दर्शाने वाला है। और अगर डाटासेट न केवल दिलचस्प है, बल्कि उपयोगी हो सकता है, तो इसे डाउनलोड किया जाएगा। इस प्रकार, डाउनलोड की संख्या उपयोगिता की एक कसौटी होगी।

और आप सोच सकते हैं कि पोर्टल एक स्टोर है। एक स्टोर में उत्पाद डेटा सेट हैं। माल की लागत प्रयास की राशि है जिसे डाउनलोड करने के लिए खर्च करने की आवश्यकता है (यह लिंक कहां है) और उपयोग करें (उदाहरण के लिए, अपने स्वयं के प्रयोजनों के लिए डेटा स्रोत के रूप में देखें या उपयोग करें)। तदनुसार, विचारों की संख्या संभावित खरीदारों की संख्या है, और डाउनलोड की संख्या खरीद की संख्या है।

खरीदार दुकान पर जाते हैं, सामानों को देखते हैं, मूल्यांकन करते हैं। यदि खरीदार को उत्पाद नहीं मिल रहा है या वह समझ नहीं पा रहा है कि क्या वह उसके लिए उपयुक्त है, तो वह चला जाएगा। यदि उत्पाद खरीदार के लिए दिलचस्पी का है, तो वह इसे (डाउनलोड) खरीद सकता है, अगर कीमत (डाउनलोड करने और उपयोग करने के लिए खर्च की गई राशि) सूट। उदाहरण के लिए, एक निश्चित डेटा ने मुझे दिलचस्पी दी, और मैं इसे डाउनलोड करना चाहता हूं। लेकिन यह पता चला है कि यह एक प्रारूप में है जिसका उपयोग करना मेरे लिए मुश्किल है। उसी समय, किसी अन्य साइट पर समान डेटा होता है, लेकिन अधिक सुविधाजनक रूप में या नए रूप में, या बेहतर विवरण के साथ, क्रमशः, डेटा सेट डाउनलोड नहीं किया जाएगा।

सबसे पहले, विचारों की संख्या के लिए सबसे सरल सांख्यिकीय विशेषताएं:

• कुल - 2.03 मिलियन;
• न्यूनतम - 2;
• औसत - 161;
• माध्य - 61;
• अधिकतम - 28.1 हजार

औसत और माध्यिका की तुलना में अधिकतम का बड़ा मूल्य, साथ ही मंझला और औसत के बीच का अंतर, स्पष्ट रूप से विचारों की संख्या और "लंबी पूंछ" के असमान वितरण पर संकेत देता है।

इसे नेत्रहीन रूप से सत्यापित करने के लिए, मैं 1000 समान रूप से वितरित समूहों (औसत) में विचारों की संख्या को विभाजित करता हूं और एक काफी चिकनी वक्र प्राप्त करता हूं। तब मैं औसत संख्या पर विचारों की संख्या और विचारों की औसत संख्या पर डेटा सेट की संख्या पर सभी विचारों के योग की निर्भरता का निर्माण करता हूं।



ग्राफ क्या दिखाता है?

बड़ी संख्या में डेटा सेट में नज़दीकी शून्य संख्या होती है, लेकिन इन सेटों के विचारों की कुल संख्या बड़ी होती है। इसके अलावा, लगभग 100 से 1000 की गिरावट। 1000 से 5000 तक काफी समान वितरण। 5000 की वृद्धि से।

संख्या का चयन आंख से किया जाता है। और यहाँ वही है जो आरेख पर समान दिखता है।



दो तिहाई डेटा सेट 100 से कम बार देखे गए।
डेटा सेट का एक तिहाई 100 से 1000 बार देखा गया।
लगभग एक प्रतिशत 1000 से 5000 बार देखा गया था।
और डेटा सेट के एक प्रतिशत के दसवें हिस्से को 5,000 से अधिक बार देखा गया है।
लेकिन अगर आप विचारों के योग पर विचार करते हैं, तो तस्वीर अलग है।
जिन किटों को 100 से कम बार देखा गया है वे केवल 16% बनाते हैं।

लगभग दो-तिहाई, यानी विचारों का थोक, डेटा सेट पर गिरता है जो 100 से 1000 बार देखा गया था।

लगभग 14% डेटा सेट हैं जिन्हें 1000 से 5000 बार देखा गया था।

और लगभग 7% ऐसे सेट पर आते हैं जिन्हें 5,000 से अधिक बार देखा गया था (और कुल के दसवें से भी कम हैं)।

लेकिन यह बिल्कुल वैसा नहीं है जैसा आपको डेटा सेट के उपयोग का मूल्यांकन करने के लिए आवश्यक है। डेटा सेट अलग-अलग समय पर निर्धारित किए गए थे, इसलिए पूर्ण मूल्यों का उपयोग, इस मामले में विचारों की संख्या, बहुत मतलब नहीं है। एक सही तुलना के लिए, मैं सापेक्ष मूल्य का उपयोग करूंगा - प्रति माह विचारों की संख्या।

प्रति माह डेटासेट के विचारों की संख्या के लिए सांख्यिकीय विशेषताएं:

• न्यूनतम - 0.184;
• औसत - 8.49;
• माध्यिका - 5.33;
• अधिकतम - 1.76 हजार

वास्तव में, प्रति माह विचारों की संख्या के साथ स्थिति विचारों की संख्या जैसा दिखता है - एक लंबी पूंछ के साथ एक असमान वितरण।



मैं सभी डेटा सेट को सशर्त रूप से निम्न प्रकार से विचारों की औसत संख्या से विभाजित करूंगा:
महीने में एक बार से कम;

• महीने में एक बार से लेकर सप्ताह में एक बार;
• सप्ताह में एक बार दिन में एक बार से;
• दिन में एक बार प्रति घंटे से एक बार तक;
• प्रति घंटे एक से अधिक बार।

डेटासैट जो महीने में एक बार से भी कम बार देखा जाता है, जाहिरा तौर पर, कुछ पूरी तरह से अनावश्यक है। लगभग 6% ऐसे डेटा सेट हैं और यह तर्कसंगत है कि वे कुल विचारों के केवल 0.2% के लिए जिम्मेदार हैं।

डेटा सेट का एक तिहाई महीने में एक बार सप्ताह में एक बार देखा जाता है। और उनकी कुल संख्या का लगभग 6% हिस्सा है। ऐसा लगता है कि कोई कभी-कभी देखता है।

सप्ताह में एक बार दिन में एक बार से थोड़ा अधिक डेटा सेट देखे गए। और वे कुल विचारों की संख्या का लगभग आधा हिस्सा हैं। बहुत बार नहीं, लेकिन देखो।

डेटासैट को दिन में एक बार से अधिक बार देखा जाता है, और उनकी कुल संख्या 2.5% होती है, जो कुल विचारों की संख्या के एक तिहाई से अधिक है। यहाँ ब्याज क्या है।

लेकिन सबसे बड़ी दिलचस्पी उन डेटा सेटों के कारण होती है जिन्हें प्रति घंटे एक से अधिक बार देखा जाता है। कुल संख्या के केवल 0.03 हैं, और उनके पास कुल संख्या के लगभग 4% दृश्य हैं।

इस प्रकार, सभी डेटा सेट का केवल 3% वास्तव में दिलचस्प माना जा सकता है। एक तिहाई कोई दिलचस्पी नहीं है। और आधे से थोड़ा अधिक कभी-कभी किसी को ब्याज दे सकता है।

स्टोर में बहुत सारे सामान हैं। लेकिन उनमें से एक तिहाई से अधिक खरीदारों में लगभग दिलचस्पी नहीं है। आधे से अधिक उत्पाद खरीदारों के लिए विशेष रूप से दिलचस्प नहीं हैं, लेकिन उनमें उनकी रुचि स्थिर है। और 3% सामान वास्तव में दिलचस्प हैं।

लेकिन यह केवल आधी लड़ाई है।

यहां तक ​​कि अगर खरीदार दुकान में चला गया और उत्पाद ने उसे दिलचस्पी ली, तो क्या वह इसे खरीदेगा?

यदि डेटा सेट डाउनलोड किया गया था, तो इसका मतलब है कि किसी को इसकी आवश्यकता है (और, शायद, यह बहुत उपयोगी भी है)। इस प्रकार, जैसा कि ऊपर उल्लेख किया गया है, मैं डाउनलोड की संख्या के आधार पर डेटा सेट की उपयोगिता निर्धारित करूंगा।

सबसे पहले, हमेशा की तरह, कुछ आँकड़े:

• कुल - 63.2 हजार;
• न्यूनतम - 0;
• औसत 5.01 है;
• माध्यिका - 1;
• अधिकतम - 2.33 हजार

ये कैसी बात कर रहा है? असमान वितरण? लंबी पूंछ?

नहीं। यह मुझे लगता है कि एक के बराबर एक औसत के साथ, एक दिलचस्प परिणाम की उम्मीद की जा सकती है।



ऐसा लगता है कि कोई भी अधिकांश डेटा सेट को बिल्कुल भी डाउनलोड नहीं करता है।

सशर्त रूप से, मैंने डाउनलोड की संख्या इस प्रकार विभाजित की है:

• 0 - कभी नहीं;
• 1 बार
• 2 बार;
• 10 से कम;
• 10 से 100 तक;
• 100 से 1000 तक;
• 1000 से अधिक।

आइए चित्र को देखें।



और हम क्या देखते हैं?

आधे डेटा सेट को कभी भी डाउनलोड नहीं किया गया है। यहां तक ​​कि यह जांचने के लिए कि यह काम करता है, उन्होंने इसे डाउनलोड नहीं किया। दुर्घटना से भी। कभी नहीं!

केवल एक बार 16% डेटा सेट डाउनलोड किया। शायद संयोग से या सत्यापित करने के लिए कि वे हैं। उनके पास डाउनलोड की कुल संख्या का लगभग 3% है।

दो बार 7% डेटा सेट डाउनलोड हुए और उनकी कुल डाउनलोड का लगभग 3% हिस्सा है। दो बार, भी, एक संदिग्ध परिणाम।

लगभग 17% डेटा सेट को 10 से कम बार डाउनलोड किया गया था, और उनके पास डाउनलोड की कुल संख्या का 17% था।

यदि एक साथ रखा जाता है, तो यह पता चलता है कि 90% डेटा सेट दिलचस्प या व्यावहारिक रूप से रुचि के नहीं हैं?

लगभग 10% डेटा सेट 10 से 100 बार डाउनलोड किए गए, और उनका हिस्सा लगभग 40% है।
डेटा सेट का 0.5% 100 से 1000 बार डाउनलोड किया गया था, लेकिन वे सभी डाउनलोड के एक चौथाई के लिए जिम्मेदार हैं।

1000 से अधिक बार डेटा सेट की कुल संख्या का केवल 0.02% डाउनलोड किया गया, और वे सभी डाउनलोडों का लगभग 8% बनाते हैं।

नतीजतन, डेटा सेट के आधे हिस्से को कभी भी किसी की ज़रूरत नहीं थी। डेटा सेट का 10% उपयोग के लिए स्थिर ब्याज का है। डेटा सेट का 1% से कम वास्तव में उपयोगी है।

स्टोर का आधा सामान सिद्धांत रूप में नहीं खरीदते हैं। एक तिहाई सामान बहुत कम खरीदा जाता है। 10% माल स्थिर मांग में हैं। और 1% से भी कम माल वास्तव में ग्राहकों की मांग है।

लेकिन, विचारों की संख्या के साथ, यह निरपेक्ष मूल्यों पर विचार करने के लिए अधिक सही है, लेकिन रिश्तेदार नहीं हैं।

सादृश्य से, डाउनलोड की संख्या के बजाय, प्रति माह डाउनलोड की संख्या होगी।

सांख्यिकी संक्षेप में:

• न्यूनतम - 0;
• औसत - 0.276;
• माध्यिका - 0.02;
• अधिकतम 145 है।

यह तर्कसंगत है कि फिर से उसी के साथ समान है।



यह स्पष्ट है कि डेटा सेट का आधा हिस्सा कभी भी डाउनलोड नहीं होता है और ग्राफ़ बहुत सुंदर नहीं दिखता है।

चार्ट अधिक जानकारीपूर्ण है।



एक ही सेट के आधे (स्पष्ट रूप से गोल त्रुटि के कारण भिन्न में अंतर होता है) कभी भी डाउनलोड नहीं किया जाता है। यह तथ्य पहले से ही ज्ञात है।

लगभग आधे डेटा सेट (45%) महीने में एक बार से कम डाउनलोड किए जाते हैं, और उनकी कुल डाउनलोड का 42% हिस्सा होता है।

एक महीने में एक बार से एक सप्ताह तक, लगभग 4% डाउनलोड किया जाता है, लेकिन वे लगभग एक चौथाई डाउनलोड के लिए खाते हैं।

सप्ताह में एक बार से दिन में एक बार, लगभग 0.8% डेटा सेट डाउनलोड किए जाते हैं, लेकिन वे डाउनलोड की कुल संख्या का लगभग 23% हैं।

और अंत में, केवल 0.05% डेटा सेट को सप्ताह में एक बार से एक घंटे तक डाउनलोड किया जाता है, लेकिन उनके पास लगभग 11% सभी डाउनलोड हैं।

यदि, उदाहरण के लिए, आप मानते हैं कि पोर्टल एक स्टोर है, तो स्टोर पर आने वाले दर्शकों की संख्या और डाउनलोड की संख्या खरीद की संख्या है, फिर आप रूपांतरण की गणना कर सकते हैं:


के = एन / एन ० * १००%, कहाँ

K रूपांतरण दर है;
एन - वास्तविक खरीदारों की संख्या (जिन ग्राहकों ने सामान खरीदा या सेवा का इस्तेमाल किया);
N0 - स्टोर या साइट पर आगंतुकों की संख्या।

खुले डेटा पोर्टल के लिए, रूपांतरण स्तर लगभग 3% होगा। चाहे वह बहुत हो या थोड़ा, हर कोई अपने लिए फैसला कर सकता है।

निष्कर्ष

केवल 3% डेटा सेट वास्तव में किसी के लिए दिलचस्प हैं। लेकिन, एक ही समय में, लगभग आधा सप्ताह में एक बार से दिन में एक बार देखा जाता है।

आधा डेटा सेट कभी किसी ने डाउनलोड नहीं किया।

डेटा सेट का 1% से कम वास्तव में ब्याज है।

आगे क्या है?

और फिर हम देखेंगे कि डेटा सेट का मूल्यांकन कैसे किया जाता है, जांचें कि डेटा सेट के लिंक काम करते हैं या नहीं। आइए देखें कि डेटासेट कितनी बार अपडेट किए जाते हैं और डेटासेट फाइलें कितनी बड़ी हैं। क्या डेटा सेट के फ़ाइल प्रारूप और डाउनलोड की संख्या के बीच कोई संबंध है।

PS चित्रण के रूप में, मैंने कई डैशबोर्ड पोस्ट किए।
संसाधन सीमित हैं, इसलिए बूटिंग के दौरान त्रुटियां हो सकती हैं।
टिप्पणियों में समीक्षा लिखें।