खुले डेटा पोर्टल data.gov.ru से डेटा सेट का विश्लेषण

पिछली बार [ खुले डेटा साइट से डेटा डाउनलोड करना data.gov.ru ] मैं कुछ समस्याओं के साथ रूसी ओपन डेटा पोर्टल से डेटा डाउनलोड करने का तरीका जानने में कामयाब रहा। ओपन डेटा पोर्टल को संघीय अधिकारियों, क्षेत्रीय अधिकारियों और अन्य संगठनों के खुले डेटा (डेटा से संबंधित उद्धरण ।gov.ru) के बारे में सबसे अधिक प्रासंगिक जानकारी प्रदान करनी चाहिए। आइए देखें कि पोर्टल पर कौन सा डेटा है, वे कितने प्रासंगिक हैं और उन्हें किस रूप में रखा गया है।

नीचे दिया गया पाई चार्ट श्रेणी के आधार पर डेटा सेट का वितरण दिखाता है।



आधे से अधिक डेटा सेट (59.65%) "राज्य" श्रेणी के हैं। लगभग दस प्रतिशत (9.56%) "अर्थव्यवस्था" श्रेणी के हैं। दस प्रतिशत (7.61%) शिक्षा श्रेणी में डेटा सेट की संख्या है। बाकी पांच प्रतिशत से कम है। वितरण काफी स्वाभाविक है।

हम पोर्टल पर पोस्ट किए गए डेटा के साथ अपने परिचित का विस्तार करेंगे। डेटा सेट के पहले प्रकाशन की तारीख तक डेटा पोर्टल पर प्लेसमेंट के आंकड़ों को देखें।



2017 बस शुरू हो गया है, और यह स्वाभाविक है कि 2017 में पोस्ट किए गए डेटा की मात्रा बढ़ जाएगी। हां, जब मैं पाठ लिखता हूं, नए डेटा सेट पोर्टल पर अपलोड किए जाते हैं।
जाहिरा तौर पर, कोई व्यक्ति अतीत में वापस आने में कामयाब रहा, जिससे वह 1970 के दशक में डेटा रखने में कामयाब रहा।
सामान्य तौर पर, तस्वीर स्पष्ट होती है: पहले, तेज वृद्धि, फिर स्थिरता। हालाँकि स्थिरता के बारे में बात करना जल्दबाजी होगी।

एक दिलचस्प तस्वीर देखी जा सकती है अगर हम प्रासंगिकता की तारीख तक डेटा सेट के वितरण पर विचार करते हैं (उस तारीख के बाद डेटा सेट का वर्तमान संस्करण अपडेट किया जाना चाहिए)।



तुरंत 1 साल निकल जाता है। इस प्रकार, मैंने ऐसे डेटा सेट निर्दिष्ट किए हैं जिनमें अप-टू-डेट तारीख नहीं है। प्रासंगिकता की तारीख के निर्धारण के आधार पर, हम यह निष्कर्ष निकाल सकते हैं कि ये डेटा सेट हैं जिन्हें बिल्कुल भी अपडेट करने की आवश्यकता नहीं है। स्वाभाविक रूप से, ऐसे डेटा सेटों को अस्तित्व का अधिकार है। हमेशा अभिलेखीय (ऐतिहासिक) डेटा होता है जो बदलने की संभावना नहीं है (ठीक है, अगर इसमें कोई त्रुटि नहीं हैं), और वर्तमान - वर्तमान डेटा है जो लगातार बदल रहा है। वे और अन्य लोग रुचि के हो सकते हैं। आखिरकार, ऐसा होता है कि आपको यह पता लगाने की आवश्यकता है: अतीत में यह कैसे था (त्सार के तहत या सोवियत शासन के तहत)? लेकिन, निश्चित रूप से, वास्तविक (लाइव) डेटा जो लगातार अपडेट किया जाता है, अधिक दिलचस्प है।

यहां तक ​​कि अगर आप चार्ट को बहुत ध्यान से नहीं मानते हैं, तो यह स्पष्ट है कि कुछ डेटा को भविष्य में दूर के भविष्य में अपडेट किया जाना चाहिए। हम कह सकते हैं कि जिन लोगों ने उन्हें पोस्ट किया है, उन्हें भविष्य में जबरदस्त आत्मविश्वास है। अगले पांच, दस, बीस (?) साल वे कुछ भी नहीं बदलेंगे। या शायद यह सिर्फ एक गलती है? और यह संभव है।

लेकिन सामान्य तौर पर, तस्वीर काफी खुश है - इस साल अपडेट किए जाने वाले लगभग आधे डेटा प्लान।

और अब हम इस आनंदमय तस्वीर की पुष्टि करेंगे। अंतिम परिवर्तन की तारीख तक डेटा सेट के वितरण पर विचार करें।



हां। फिर से 1 साल। इन डेटासेट को संशोधित नहीं किया गया है। मैं सिर्फ किसी को पकड़ना चाहता हूं। जैसे, उन्होंने अपडेट करने का वादा किया, लेकिन बदलाव नहीं किया। या उन्होंने अपडेट करने और अपडेट करने का वादा नहीं किया। लेकिन अगली बार हम पैटर्न की तलाश करेंगे (या इसके अभाव में)।

पहले प्रकाशन और अंतिम अद्यतन के बारे में जानकारी को मिलाएं। यही है, अगर कोई अपडेट था - अपडेट की तारीख लें, अगर कोई अपडेट नहीं था - पहले प्रकाशन की तारीख लें। परिणाम अंतिम डेटा परिवर्तन की तारीख है।



सौंदर्य। प्रवृत्ति स्पष्ट रूप से दिखाई दे रही है - 2016-2017 में आधे से अधिक डेटा बदल गया या बनाया गया था। शायद आप उन्हें प्रासंगिक मान सकते हैं।

यह एक चेतावनी पर ध्यान देना आवश्यक है। कुछ डेटा सेट दोहराए जाते हैं: एक ही डेटा सेट नाम और मालिक रजिस्ट्री में कई बार पाए जाते हैं।



अपडेट करने के बजाय, डेटा सेट फिर से बाहर रखा गया था। कभी-कभी सेट को एक अलग श्रेणी में रखा जाता था। लेकिन अगर आप एक ही नाम, स्वामी और श्रेणी के साथ डेटा सेट देखते हैं, तो चित्र निम्नानुसार होगा।



कम से कम बहुत समान। लेकिन शायद ही आलोचनात्मक हो। कुछ डेटा मालिकों, जाहिरा तौर पर, डेटा को सावधानीपूर्वक फैलाने की आवश्यकता होती है।

पासपोर्ट डेटा सेट में टेक्स्ट फ़ील्ड भरने की एक छोटी सी जाँच।

मैदान	द्वारा निर्धारित करें	सेट नहीं है
नाम	100%	0%
विवरण	80.84%	19.16%
श्रेणी	100%	0%
मालिक	99.7%	0.03%
कीवर्ड	99.48%	0.52%
जिम्मेदार व्यक्ति	96.43%	3.57%
जिम्मेदार व्यक्ति फोन नंबर	96%	4%
जिम्मेदार व्यक्ति ईमेल	92.68%	7.32%
डेटा प्रारूप	97.79%	2.21%
लिंक डायल करें	96.86%	3.14%

नाम और श्रेणी को हर जगह परिभाषित किया गया है। लगभग पांचवां डेटा सेट में विवरण नहीं होता है। लगभग हर जगह मालिक को जाना जाता है और कुछ कीवर्ड सेट किए जाते हैं। जिम्मेदार व्यक्ति भी लगभग हर जगह मौजूद है। यह स्पष्ट नहीं है कि हमें डेटा सेट की आवश्यकता क्यों है जिसे डाउनलोड नहीं किया जा सकता है (लगभग 3%)।

नतीजतन, हम सभी डेटा सेट को दो श्रेणियों में विभाजित करते हैं: सभी फ़ील्ड निर्दिष्ट हैं, कम से कम एक फ़ील्ड निर्दिष्ट नहीं है।



तीस प्रतिशत (30.3%) में कम से कम एक अपरिभाषित क्षेत्र होता है। डेटा किस प्रारूप में अपलोड किया गया है?



ज्यादातर सादे सीमांकित पाठ प्रारूप (सीएसवी) में। दूसरे स्थान पर xml है। तीसरे जशन पर। स्पष्ट नेता सीएसवी प्रारूप है - आप इसे किसी भी पाठ संपादक में खोल सकते हैं, इसे प्रसंस्करण के लिए लगभग कहीं भी आयात कर सकते हैं, और थोड़े प्रयास के साथ इसे पाठ संपादक में तालिका के रूप में सम्मिलित कर सकते हैं। Xml प्रारूप भी देखने में काफी आसान है। लेकिन json प्रारूप के साथ समस्याएँ हो सकती हैं। यदि आप एक्सेल पर ध्यान केंद्रित करते हैं, जैसा कि सबसे अधिक इस्तेमाल किया जाने वाला स्प्रेडशीट संपादक है, तो json पहले से ही एक समस्या है। आप इस विषय पर Google कर सकते हैं और डाउनलोड करने का एक तरीका खोज सकते हैं, लेकिन प्रत्यक्ष नहीं। एक्सेल में लोडिंग जोंस के लिए बिल्ट-इन टूल्स नहीं हैं।

बेशक, समस्या निडर, गैर-घातक, लेकिन अप्रिय है। निश्चित रूप से, यह प्रारूप किसी को रोक देगा या बिगाड़ देगा।



वर्षों से वितरण से पता चलता है कि समय के साथ, सीएसवी प्रारूप का प्रभुत्व कायम है।



Json प्रारूप का उपयोग नाटकीय रूप से बढ़ेगा। यह xml प्रारूप का उपयोग कम करता है।
और यह समझाया जा सकता है। सीएसवी प्रारूप सबसे सरल है, इसलिए इसका उपयोग अक्सर किया जाता है। इसी समय, वेब सेवाएं अब जोंस प्रारूप और कम और कम xml का उपयोग कर तेजी से बढ़ रही हैं।

निष्कर्ष

रूसी खुले डेटा पोर्टल पर पोस्ट किए गए आधे से अधिक डेटा "राज्य" श्रेणी के हैं।

2016-2017 में आधे से अधिक डेटा को संशोधित या बनाया गया था।

तीस प्रतिशत डेटासेट पासपोर्ट में कम से कम एक बिना लाइसेंस वाला क्षेत्र होता है।

खुले डेटा को संग्रहीत करने के लिए सबसे सामान्य प्रारूप: सीएसवी, एक्सएमएल, जोंस। इसी समय, json प्रारूप में डेटा सेटों की संख्या में वृद्धि और xml प्रारूप में डेटा सेटों की संख्या में कमी देखी गई है।

आगे क्या है?

डेटा सेट का विश्लेषण करने के बाद, आइए देखें कि उनका उपयोग कितनी बार किया जाता है - देखा, डाउनलोड किया गया। उपयोगकर्ता डेटा सेट के लिए क्या रेटिंग निर्धारित करते हैं? क्या डेटासेट रुचि के हैं? कितनी बार डेटासेट अपडेट किए जाते हैं? क्या आकार डेटासेट? और क्या इस सबके बीच कोई रिश्ता है?