सफेद शोर एक काले वर्ग को खींचता है

कोई भी विश्लेषक, अपने काम की शुरुआत में, वितरण मापदंडों की पहचान का निर्धारण करने के नफरत के चरण से गुजरता है। फिर, अनुभव के संचय के साथ, उसके लिए, प्राप्त अवशिष्ट बिखराव के समन्वय का मतलब है कि बिग डेटा के विश्लेषण में कुछ चरण, पारित हो जाता है और आप आगे बढ़ सकते हैं। विभिन्न प्रतिगमन समीकरणों के अनुपालन के लिए सैकड़ों मॉडलों की जांच करने की कोई आवश्यकता नहीं है, ग्राहकों के साथ खंडों की खोज करने के लिए, मॉडल की संरचना की रचना करने के लिए। अपने आप को संदेह के साथ पीड़ा देने के लिए: "शायद कुछ और मॉडल है जो अधिक उपयुक्त है?"

मैंने सोचा: “लेकिन क्या होगा अगर आप विपरीत से जाएं। देखें कि सफेद शोर क्या कर सकता है। क्या सफेद शोर कुछ ऐसा बना सकता है जो हमारा ध्यान हमारे अनुभव से एक महत्वपूर्ण वस्तु के साथ तुलना करता है? "


अंजीर। सफेद शोर (नेटवर्क से ली गई फ़ाइल, आकार 448x235)।

इस मुद्दे पर, वह इस प्रकार है:

1. क्या संभावना है कि ध्यान देने योग्य लंबाई की क्षैतिज और ऊर्ध्वाधर रेखाएं दिखाई देंगी?
2. यदि वे प्रकट हो सकते हैं, तो क्या संभावना है कि वे एक निर्देशांक में अपने मूल के साथ मेल खाएंगे और एक आयताकार आकृति बनाएंगे?

पाठ में आगे, मैं बताऊंगा कि बिग डेटा विश्लेषण से जुड़े ये कार्य कैसे हैं।

G.Sekey की पुस्तक "संभावना सिद्धांत और गणितीय आँकड़ों में विरोधाभास" (पृष्ठ 43), मुझे एर्दोइस - रेनी प्रमेय का एक लिंक मिला, जो इस प्रकार है:
जब एक बार n सिक्का उछालते हैं, तो लंबाई के प्रतीक की एक श्रृंखला $$$\ log_2 {n}$1 के लिए झुकाव की संभावना के साथ मनाया गया, एन के साथ अनंत के लिए रुझान।

हमारे आंकड़े के लिए, इसका मतलब यह है कि 235 लाइनों में से प्रत्येक में 1 के लिए संभावना वाले रुझान हैं:



अर्थात्, हम क्षैतिज रूप से एक पंक्ति में पूरे - 8 काले बिंदुओं पर जाते हैं।

और सभी 448 स्तंभों के लिए, संभाव्यता 1 के साथ है, इस प्रकार है:



एक पंक्ति में पूरे - 7 काले बिंदुओं को छोड़ते हुए, लंबवत।

यहाँ से हमें यह संभावना मिलती है कि "सफ़ेद शोर" में इस चित्र के लिए आकार में 8x7 पिक्सेल की एक काली आयत खींची जाएगी:



जहां 1 एक पंक्ति में काले बिंदुओं का पहला अनुक्रम है, कहीं भी द्वि-आयामी अंतरिक्ष में।

मैं यह तर्क नहीं देता कि संभावना बहुत छोटी है, लेकिन शून्य नहीं।

आगे बढ़ते हुए, हम सभी लाइनों को एक में जोड़ सकते हैं और 102,225 अक्षरों की लंबाई के साथ एक रेखा प्राप्त कर सकते हैं। और फिर, Erds-Renyi प्रमेय द्वारा, प्रायिकता 1 के साथ, लंबाई की एक श्रृंखला मौजूद है:



और 1 मिलियन रिकॉर्ड की श्रृंखला के लिए:



जैसा कि आप देख सकते हैं, बिग डेटा के साथ एर्दोस-रेनी प्रमेय का कनेक्शन विशिष्ट रूप से पहचाना जाता है।

नोट। आगे मैं पहचान के अपने विश्लेषण का वर्णन करूंगा। उस रूप में, यह प्रमेय और इसका प्रमाण, जो जी सेके की पुस्तक में प्रस्तुत किया गया है, मुझे नहीं मिला।

हम पाते हैं कि एर्दोस-रेनी प्रमेय का उपयोग परीक्षण द्वारा किया जा सकता है, डेटा समरूपता की परिभाषा के द्वारा।

यह पहले आदेश (एमएक्स) के केंद्रीय क्षण वाले वितरण पर लागू होता है।
यह केवल एकल-चैनल अनुक्रमिक यादृच्छिक प्रक्रियाओं पर लागू किया जा सकता है।

इसे कैसे लागू करें

किसी भी वितरण, अपेक्षा के साथ, हम केंद्र से विचलन के रूप में कल्पना कर सकते हैं: बाएं-दाएं, ऊपर-नीचे। यही है, नुकसान: ईगल पूंछ।

तदनुसार, इस प्रमेय द्वारा, एक अंतराल का पता लगाया जाना चाहिए जिसमें लगातार मूल्यों, राशि में $$$m = \ log_2 {N}$MX (Y (xi)) से ऊपर या नीचे हैं।

नोट। इस पहलू में, मैं इस प्रमेय के प्रमाण को देखना चाहता था, यह समझने के लिए कि केवल एक ही पंक्ति है (केवल ऊपर या नीचे) या दो (ऊपर और नीचे)। मेरे विचारों के अनुसार, इन घटनाओं की समरूपता को दो अनुबंधों को जन्म देना चाहिए, और दूसरी ओर, एक समान प्रक्रिया के प्रमाण का विश्लेषण करते हुए, इन गणितज्ञों ने ग्राफ़ से संबंधित, फिर सुझाव दिया कि उन्होंने अधिकतम निर्धारित करने पर प्रमाण का निर्माण किया। जो वस्तुनिष्ठ कार्य को कम करने पर साक्ष्य के अस्तित्व की अनुमति देता है। 2 से अधिक विकल्पों के लिए, Erds-Renyi प्रमेय असममित संभावनाओं के लिए कैसे दिखता है, इस बारे में सवाल उठे।

अध्ययन के तहत आधार में केवल एक ऐसे अनुक्रमिक अनुबंध की खोज का व्यावहारिक परिणाम हमें यह मानने का अवसर देता है कि प्रस्तुत सभी आंकड़े सजातीय हैं।
दूसरा वाला। यदि, डेटा को संसाधित करके, Erd -s-Renyi प्रमेय के अनुसार, हमने पाया कि इसकी तुलना में अधिक मूल्यों की एक श्रृंखला है, तो आंकड़े में दिखाई गई स्थिति की संभावना है।


चित्र में दिखाई गई श्रृंखला उदाहरण के प्रयोजनों के लिए दो कार्यों की संरचना के रूप में बनाई गई है।

तीसरा निष्कर्ष। यदि, डेटा (1 मिलियन रिकॉर्ड) की प्रोसेसिंग करते हैं, तो Erds-Renyi प्रमेय द्वारा, 19 नंबर की लंबाई वाली एक भी पंक्ति नहीं मिली, लेकिन, कहते हैं, 17 संख्याओं वाले तीन अनुक्रम पाए गए। यह माना जा सकता है कि सामान्य डेटा में तीन कार्यों की संरचना होती है, और इन श्रृंखलाओं के स्थान पर, अंतराल निर्धारित करने के लिए जिसमें संक्रमण हो सकता है।

जब उन्होंने इस सामग्री पर काम किया, तो निम्नलिखित के बारे में एक अवलोकन किया गया। डेटा विश्लेषण के सभी विकसित तरीके प्रौद्योगिकियों के लिए किए जाते हैं, जब छोटी प्राकृतिक टिप्पणियों के अनुसार, 1 मिलियन या अधिक की सामान्य आबादी के गुणों को निर्धारित करने के लिए, 100 टिप्पणियों से बहुत बड़ी आबादी के मापदंडों को निर्धारित करना आवश्यक है। और आधुनिक कार्यों के लिए, जब एक विशाल डेटाबेस को विघटित करना आवश्यक होता है, तो आँकड़ों द्वारा विकसित उपकरण बहुत श्रमसाध्य होते हैं।

निरंतरता: भाग २ , भाग ३