बड़े आंकड़ों में शोर। एन्ट्रापी विश्लेषण

मुझे एंस्कॉम्बे चौकड़ी ( Anscombe ) "( अंग्रेजी संस्करण ) नामक एक कार्य मिला।

चित्र 1 में 4 यादृच्छिक कार्यों (विकिपीडिया से लिया गया) का सारणीबद्ध वितरण दिखाया गया है।


अंजीर। 1. चार यादृच्छिक कार्यों का तालिका वितरण

चित्रा 2 इन यादृच्छिक कार्यों के वितरण मापदंडों को दर्शाता है


अंजीर। 2. चार यादृच्छिक कार्यों के वितरण पैरामीटर

और चित्रा 3 में उनके रेखांकन।


अंजीर। 3. चार यादृच्छिक कार्यों के रेखांकन

उच्च कार्यों के क्षणों और उनके सामान्यीकृत संकेतकों की तुलना करके इन कार्यों को अलग करने की समस्या को काफी हल किया जाता है: विषमता गुणांक और अधिक गुणांक। ये संकेतक चित्र 4 में प्रस्तुत किए गए हैं।


अंजीर। 4. तीसरे और चौथे क्रम के क्षणों के संकेत और विषमता और चार यादृच्छिक कार्यों के अतिरिक्त गुणांक

जैसा कि चित्र 4 में तालिका से देखा जा सकता है, सभी कार्यों के लिए इन संकेतकों का संयोजन अलग है।
पहला निष्कर्ष, जो स्वाभाविक रूप से बताता है कि अंकों के सापेक्ष पदों के बारे में जानकारी वितरण मापदंडों में यादृच्छिक वितरण के विचरण से उच्च स्तर पर संग्रहीत होती है।

कई विश्लेषक बड़े डेटा में विशेष प्रतिगमन समीकरणों को अलग करने की कोशिश कर रहे हैं और आज तक, यह सबसे छोटे अवशिष्ट फैलाव के साथ समीकरण का चयन करने की एक विधि है। जोड़ने के लिए बहुत कुछ नहीं था लेकिन मैंने इस तथ्य पर ध्यान आकर्षित किया कि यह सब जानकारी है, और जानकारी में एन्ट्रापी का एक संकेतक है। और यह, एन्ट्रापी, इसकी सीमा 0 से है, जब सूचना पूरी तरह से सफेद शोर के लिए निर्धारित होती है। और ट्रांसमिशन चैनल में सफेद शोर का एक समान वितरण होता है।

जब डेटा का विश्लेषण करने की आवश्यकता होती है, तो शुरू में यह माना जाता है कि उनमें संबंधित डेटा होते हैं जिन्हें एक रिश्ते के रूप में औपचारिक रूप देने की आवश्यकता होती है। और इससे पता चलता है कि डेटा सफेद शोर नहीं है। अर्थात्, पहला चरण प्रतिगमन समीकरण का चयन और अवशिष्ट विचरण का निर्धारण है। यदि प्रतिगमन को सही ढंग से चुना जाता है, तो अवशिष्ट विचरण सामान्य वितरण के कानून का पालन करेगा। आइए देखें और, आंकड़े 5-7 में, समान रूप से वितरित और सामान्य रूप से वितरित यादृच्छिक चर के लिए एन्ट्रापी सूत्र प्रस्तुत किए गए हैं।



अंजीर। 5. सामान्य रूप से वितरित की गई मात्रा के लिए अंतर एन्ट्रापी का सूत्र (VV Afanasyev, प्रश्न और कार्य में संभावना सिद्धांत । रूसी संघ के शिक्षा और विज्ञान मंत्रालय। यारोस्लाव राज्य शैक्षणिक विश्वविद्यालय केडी उशिनस्की के नाम पर रखा गया है।


अंजीर। 6. सामान्य रूप से वितरित मात्रा के लिए अंतर एन्ट्रापी का सूत्र। (Pugachev VS यादृच्छिक कार्यों का सिद्धांत और स्वचालित नियंत्रण समस्याओं के लिए इसका अनुप्रयोग । एड। द्वितीय, संशोधित और पूरक। - एम।: फ़िज़मैटिटिकल, 1960. - 883 पी।)


अंजीर। 7. समान रूप से वितरित मात्रा के लिए अंतर एन्ट्रापी का सूत्र। (Pugachev VS रैंडम फ़ंक्शंस का सिद्धांत और स्वचालित नियंत्रण समस्याओं के लिए इसके अनुप्रयोग । एड। 2, संशोधित और पूरक। - एम।: फ़िज़मैटिटिकल, 1960। - 8% पी।)

अगला, हम एक उदाहरण दिखाते हैं। लेकिन पहले हम यह स्थिति लेते हैं कि चार कार्यों में से प्रत्येक हाइपरप्लेन का समन्वय है, अर्थात्, उसी समय हम मॉडल के संचालन को बहुआयामी स्थान पर जांचते हैं। एक विमान को हाइपरक्यूब का एक दृढ़ संकल्प ड्रा। तंत्र चित्र 8 में प्रस्तुत किया गया है।




अंजीर। 8. कनवल्शन तंत्र के साथ प्रारंभिक डेटा


अंजीर। 9. आकृति में एकत्रित समूह।


अंजीर। 10. चार यादृच्छिक कार्यों और एक सारांश समूह के वितरण के पैरामीटर।

विभाजन अंतराल के आकार को चुनने के लिए तंत्र पर विचार करें। प्रारंभिक शर्तें चित्र 11 में प्रस्तुत की गई हैं।


अंजीर। 11. अंतराल में विभाजित करने के लिए प्रारंभिक शर्तें।

शर्त 1. यह भिन्नता क्षेत्र पर गैर-शून्य संभावना के साथ होनी चाहिए, अन्यथा, एन्ट्रापी अनंत के बराबर है। दोनों प्रारंभिक नमूने के लिए और अवशिष्ट के लिए।

शर्त 2. चूँकि चरम अंतराल के लिए नए डेटा आदि में एक बाहरी स्थिति की संभावना को नजरअंदाज करना असंभव है, इसलिए यह संभव है कि प्रायिकता वितरण के सामान्य या किसी अन्य रूप से स्वीकृत सैद्धांतिक कानून के अनुसार, प्रायिकता के सिद्धांत के अनुसार, संभावना को स्थापित करना आवश्यक है।

शर्त 3. अंतराल चरण को अवशिष्ट नमूने के प्रसार पर अंतराल की न्यूनतम आवश्यक संख्या प्रदान करनी चाहिए।

शर्त 4. अंतराल की संख्या विषम होनी चाहिए।

शर्त 5. अंतराल की संख्या को अध्ययन के लिए चयनित वितरण के सैद्धांतिक कानून के साथ विश्वसनीय समझौता सुनिश्चित करना चाहिए।


अंजीर। 12. शेष वितरण

चित्र 13 में अंतराल चयन तंत्र को परिभाषित करें।


अंजीर। 13. अंतराल चयन एल्गोरिथ्म

मुख्य समस्या, मेरी राय में, यह तय करना था कि पूंछ अंतराल को लागू करना है या नहीं। यदि अवशिष्ट फैलाव के लिए यह काफी स्वाभाविक लगता है, तो मुख्य श्रृंखला के लिए, यह काफी तनावपूर्ण है।


अंजीर। 14. सूचना एन्ट्रापी का निर्धारण करने में डेटा मूल्यों को संसाधित करने के परिणाम

निष्कर्ष। यह उपकरण कहां लगाया जा सकता है

चित्र 14 में तालिका के परिणामी संकेतकों की तुलना करते हुए, यह देखा जा सकता है कि उन्होंने डेटा संरचना में परिवर्तन का जवाब दिया। और इसका मतलब यह है कि उपकरण में संवेदनशीलता है, और आपको एनस्कोस्कोम चौकड़ी के काम के समान समस्याओं को हल करने की अनुमति मिलती है।

बिना किसी संदेह के, उच्च आदेशों के क्षणों की मदद से इन समस्याओं को हल किया जा सकता है। लेकिन इसके मूल में, सूचनात्मक प्रवेश एक यादृच्छिक चर के विचरण पर निर्भर करता है, अर्थात, यह विचरण की एक तृतीय-पक्ष विशेषता है। इसलिए, हम उन अंतरालों को इंगित कर सकते हैं जहां विचरण के विश्लेषण का उपयोग एक विशिष्ट परिणाम को जन्म दे सकता है।

एन्ट्रापी की संख्यात्मक विशेषता स्वतंत्र चर के साथ एक सहसंबंध विश्लेषण करने के लिए संभव बनाता है। एक संभावित कनेक्शन की अभिव्यक्ति के एक उदाहरण के रूप में, निम्नलिखित: मान लीजिए, बी से अंतराल पर, डेटा की एक श्रृंखला का शोर स्तर बढ़ गया, स्वतंत्र चर के मूल्यों की तुलना करते हुए, हमने पाया कि चर xn ने 5 से अधिक इकाइयों की सीमा में प्रवेश किया, इसके बाद चर, +5 से कम हो गया, शोर कम हो गया। इसके अलावा, एक अतिरिक्त जांच की जा सकती है और, यदि इस परिकल्पना की पुष्टि की जाती है, तो आगे के अध्ययनों में, चर xn को +5 से ऊपर उठने के लिए मना किया गया है। चूंकि इस मामले में, डेटा बेकार हो जाता है।

मुझे लगता है कि इस उपकरण का उपयोग करने के लिए अन्य विकल्प हैं।

कैसे उपयोग करें

इस पहलू में, "चलती औसत" के प्राकृतिक तंत्र की जांच की जाती है, मुझे लगता है कि सांख्यिकीय विश्लेषण से नमूना आकार सूत्र द्वारा प्राप्त नमूना आकार स्लिप क्षेत्र का एक उचित मात्रा देगा। वर्तमान विश्लेषण के अनुसार, यह निष्कर्ष निकाला गया था कि नमूना आकार न्यूनतम अनुपात से निर्धारित किया जाना चाहिए जो कम से कम संभावना पर पड़ता है। हमारे उदाहरण में, अवशिष्ट विचरण के लिए, अनुभवजन्य अंतराल का न्यूनतम अंश 0.15909 है। यह किया जाना चाहिए, क्योंकि यदि स्लिप वॉल्यूम में कोई अंतराल खाली हो जाता है, तो इस स्थिति में शोर का आंकड़ा अपमानजनक होगा या नियम यह काम करेगा कि 0 का लघुगणक माइनस इनफिनिटी के बराबर है। और एक सही तरीके से चयनित नमूना आकार के साथ, इस सूचक के ट्रांसेंडेंटल मूल्य सूचना की संरचना में एक कार्डिनल परिवर्तन का संकेत देंगे।