क्या आंकड़ों को कम मात्रा में डेटा के साथ पढ़ा जा सकता है?

सामान्य तौर पर, इसका उत्तर हां है। खासकर जब आपके पास दिमाग और बेयस प्रमेय का ज्ञान हो।

आपको याद दिला दूं कि निश्चित संख्या में घटनाओं के होने पर माध्य और विचरण पर विचार किया जा सकता है। यूएसएसआर के पुराने मैनुअल में, आरटीएम (अग्रणी तकनीकी सामग्री) ने कहा कि औसत और विचरण की गणना करने के लिए, 29 मापों की आवश्यकता थी। अब विश्वविद्यालय थोड़े गोल हैं और संख्या 30 माप का उपयोग करते हैं। इसका कारण क्या है यह एक दार्शनिक प्रश्न है। यदि मेरे पास 5 माप हैं तो मैं औसतन केवल गणना और गणना क्यों नहीं कर सकता? सिद्धांत रूप में, कुछ भी हस्तक्षेप नहीं करता है, केवल औसत अस्थिर है। एक अन्य माप और पुनरावर्तन के बाद, यह बहुत कुछ बदल सकता है और आप इस पर भरोसा कर सकते हैं कि लगभग 30 माप शुरू हो सकते हैं। लेकिन 31 वें माप के बाद भी यह हिल जाएगा, केवल इतना ही नहीं। साथ ही, समस्या को जोड़ा जाता है कि औसत को अलग तरह से माना जा सकता है और विभिन्न मूल्य प्राप्त कर सकते हैं। यही है, एक बड़े नमूने से, आप पहले 30 का चयन कर सकते हैं और औसत की गणना कर सकते हैं, फिर अन्य 30 और इसी तरह का चयन कर सकते हैं ... और बहुत से औसत प्राप्त कर सकते हैं, जिसे औसत भी किया जा सकता है। सही औसत व्यवहार में अप्राप्य है, क्योंकि हमारे पास हमेशा माप की एक सीमित संख्या होती है। इस मामले में, औसत एक सांख्यिकीय मात्रा है जिसका औसत और विचरण है। यही है, व्यवहार में औसत को मापने से हमारा मतलब है "अनुमानित औसत", जो आदर्श सैद्धांतिक मूल्य के करीब हो सकता है।

आइए इस मुद्दे को समझने की कोशिश करते हैं, इनपुट पर हमारे पास कई तथ्य हैं और आउटपुट पर इन तथ्यों के स्रोत के बारे में एक विचार बनाना चाहते हैं। हम एक मॉडल का निर्माण करेंगे और मॉडल और तथ्यों को जोड़ने के लिए बायेसियन सिद्धांत का उपयोग करेंगे।


एक बाल्टी के साथ पहले से पहने हुए मॉडल पर विचार करें, जिसमें कई काले और सफेद गेंदों को डाला गया था और अच्छी तरह मिलाया गया था। मान 0 के काले अक्षर और 1. को सफेद होने दें। हम उन्हें बेतरतीब ढंग से बाहर निकालेंगे और कुख्यात औसत मान लेंगे। वास्तव में, यह एक सरलीकृत माप है, चूंकि संख्याएं असाइन की जाती हैं और इसलिए, इस मामले में, औसत माप मूल्य है, जो विभिन्न गेंदों के अनुपात पर निर्भर करता है।

यहाँ हम एक दिलचस्प क्षण में आते हैं। गेंदों की सटीक अनुपात हम बड़ी संख्या में माप के साथ गणना कर सकते हैं। लेकिन अगर माप की संख्या छोटी है, तो आंकड़ों से विचलन के रूप में विशेष प्रभाव संभव है। यदि टोकरी में 50 सफेद और 50 काली गेंदें हैं, तो सवाल उठता है - क्या लगातार 3 सफेद गेंदों को बाहर निकालना संभव है? और जवाब है, बिल्कुल! और अगर 90 सफेद और 10 काले रंग में है, तो यह संभावना बढ़ जाती है। और कलश की सामग्री के बारे में क्या सोचना है, अगर यह बहुत भाग्यशाली है कि वास्तव में शुरुआत में 3 सफेद गेंदों को दुर्घटना से बाहर निकाला गया था? - हमारे पास विकल्प हैं।

जाहिर है, एक पंक्ति में 3 सफेद गेंदें मिलना एक के बराबर है जब हमारे पास 100% सफेद गेंदें होती हैं। अन्य मामलों में, यह संभावना कम है। और अगर सभी गेंदें काली हैं, तो संभावना शून्य है। आइए इन तर्कों को व्यवस्थित करने और सूत्र देने का प्रयास करें। बायेसियन पद्धति बचाव के लिए आती है, जो आपको मान्यताओं को रैंक करने और उन्हें संख्यात्मक मान देने की अनुमति देती है जो इस संभावना को निर्धारित करती है कि यह धारणा वास्तविकता के अनुरूप होगी। यही कारण है, डेटा की एक संभाव्य व्याख्या से कारणों की एक संभाव्य व्याख्या की ओर बढ़ना है।

वास्तव में एक या किसी अन्य धारणा को कैसे निर्धारित किया जा सकता है? इसके लिए एक मॉडल की आवश्यकता होगी जिसके भीतर हम कार्य करेंगे। भलाई के लिए धन्यवाद वह सरल है। हम एक पैरामीटर के साथ मॉडल के रूप में टोकरी की सामग्री के बारे में कई मान्यताओं को लिख सकते हैं। इस मामले में, एक पैरामीटर पर्याप्त है। यह पैरामीटर अनिवार्य रूप से मान्यताओं का एक निरंतर सेट निर्धारित करता है। मुख्य बात यह है कि वह संभावित विकल्पों का पूरी तरह से वर्णन करता है। दो चरम विकल्प केवल सफेद या केवल काली गेंद हैं। शेष मामले कहीं न कहीं बीच में हैं।

मान लिया कि $$$$ थीटा$ टोकरी में सफेद गेंदों का अनुपात है। यदि हम पूरी टोकरी के माध्यम से छाँटते हैं और गेंदों के अनुरूप सभी शून्य और वाले जोड़ते हैं और कुल संख्या से विभाजित करते हैं, तो $$$$ थीटा$ - हमारे माप का औसत मूल्य भी होगा। $$$0 थीटा [$ 0,1] मे$ । (ceychas $$$$ थीटा$ अक्सर साहित्य में मुफ्त मापदंडों के एक सेट के रूप में उपयोग किया जाता है जो अनुकूलन की आवश्यकता होती है)।

बेयस जाने का समय हो गया है। थॉमस बेयस ने खुद अपनी पत्नी को गलती से एक गेंद फेंक दी, उसके साथ उसकी पीठ पर बैठे और नीचे लिखा कि उसकी धारणाएं उन तथ्यों से कैसे संबंधित हैं जहां उसने वास्तव में उड़ान भरी थी। तथ्यों के आधार पर, थॉमस बेयस ने निम्नलिखित फेंकता की भविष्यवाणियों को बेहतर बनाने की कोशिश की। हम थॉमस बेयस की तरह सोचेंगे और सोचेंगे, और एक सहज और अप्रत्याशित प्रेमिका गेंदों को बाहर निकालेगी।

चलो $$$डी$ माप (डेटा) की एक सरणी है। हम मानक संकेतन का उपयोग करते हैं, जहां संकेत $$$|$ बाईं ओर घटना की संभावना का मतलब है, अगर यह पहले से ही ज्ञात है कि दाईं ओर एक और घटना पूरी हो गई है। हमारे मामले में, यह पैरामीटर प्राप्त होने पर डेटा प्राप्त करने की संभावना है $$$$ थीटा$ । और विपरीत स्थिति भी है - होने की संभावना $$$$ थीटा$ यदि डेटा ज्ञात है।

$$

$$P (\ theta | D) = \ frac {P (D | \ theta) \ cdot P (\ theta)} {P (D)}$$

बेयस सूत्र आपको विचार करने की अनुमति देता है $$$$ थीटा$ एक यादृच्छिक चर के रूप में, और सबसे अधिक संभावना मान पाते हैं। यही है, सबसे अधिक संभावना गुणांक खोजें $$$$ थीटा$ अगर यह अज्ञात है।

$$

$$\ theta = argmax P (\ थीटा | D)$$

दाईं ओर हम 3 सदस्य हैं जिनका मूल्यांकन करने की आवश्यकता है। हम उनका विश्लेषण करते हैं।

1) किसी विशेष परिकल्पना के लिए इस तरह के डेटा को प्राप्त करने की संभावना को जानना या गणना करना आवश्यक है $$$P (D |। Theta)$ । आप एक पंक्ति में तीन सफेद गेंद प्राप्त कर सकते हैं, भले ही बहुत सारे काले हों। लेकिन सबसे अधिक संभावना उन्हें बड़ी संख्या में गोरों के साथ मिलती है। सफेद गेंद मिलने की संभावना बराबर होती है $$$पी_ {सफेद} = \ थीटा$ लेकिन काला $$$P_ {काला} = (1- \ थीटा)$ । इसलिए अगर यह गिर गया $$$एन$ सफेद गेंदों, और $$$एम$ काली गेंदें $$$P (D। \ Theta) = \ The थी ^ {N} \ cdot (1- \ the थीटा) ^ {म}$ । $$$एन$ और $$$एम$ हम अपनी गणना के इनपुट मापदंडों पर विचार करेंगे, और $$$$ थीटा$ - आउटपुट पैरामीटर।

2) आप एक प्राथमिकताओं को जानने की जरूरत है $$$P (\ theta)$ । यहाँ हम मॉडलिंग के एक नाजुक क्षण में आते हैं। हम इस फ़ंक्शन को नहीं जानते हैं और धारणाएँ बनाएंगे। यदि कोई अतिरिक्त ज्ञान नहीं है, तो हम यह मान लेते हैं $$$$ थीटा$ समान रूप से 0 से 1 तक की सीमा में। यदि हमारे पास अंदरूनी जानकारी होती है, तो हम इस बारे में अधिक जानेंगे कि कौन से मान अधिक होने की संभावना है और एक अधिक सटीक पूर्वानुमान बनाएगा। लेकिन चूंकि ऐसी जानकारी उपलब्ध नहीं है, हम डालते हैं $$$\ theta \ sim समान रूप से [0,1]$ । मात्रा के बाद से $$$P (\ theta)$ से स्वतंत्र $$$$ थीटा$ फिर गणना करते समय $$$$ थीटा$ उसे कोई फर्क नहीं पड़ेगा। $$$P (\ थीटा) = 1$

3) $$$P (D)$ यदि सभी मान यादृच्छिक हैं, तो ऐसा डेटा सेट होने की संभावना है। हम अलग से इस किट को प्राप्त कर सकते हैं $$$$ थीटा$ विभिन्न संभावनाओं के साथ। इसलिए, सेट प्राप्त करने के सभी संभावित तरीकों को ध्यान में रखा जाता है $$$डी$ । चूंकि इस स्तर पर मूल्य अभी भी अज्ञात है $$$$ थीटा$ , तो यह एकीकृत करने के लिए आवश्यक है $$$P (D) = \ int_ {0} ^ {1} P (D। \ The थी) P (\ थीटा) d \ theta$ । इसे बेहतर ढंग से समझने के लिए, उन प्राथमिक समस्याओं को हल करना आवश्यक है जिनमें बेयसियन ग्राफ का निर्माण किया गया है, और फिर योग से अभिन्न पर जाएं। परिणाम एक अभिव्यक्ति वुल्फरामल्प है , जो कि अधिकतम के लिए खोज करना है $$$$ थीटा$ प्रभावित नहीं करेगा, क्योंकि यह मूल्य निर्भर नहीं करता है $$$$ थीटा$ । परिणाम पूर्णांक मानों के लिए एक फैक्टरियल या, सामान्य रूप से, एक गामा फ़ंक्शन के माध्यम से व्यक्त किया जाता है।

वास्तव में, एक विशेष परिकल्पना की संभावना डेटा सेट प्राप्त करने की संभावना के लिए आनुपातिक है। दूसरे शब्दों में, जिस परिदृश्य में हम परिणाम प्राप्त करने की सबसे अधिक संभावना रखते हैं, वह संरेखण सबसे सही है।

हमें यह सूत्र मिलता है

$$

$$P (D | \ theta) = const \ cdot P (\ थीटा | D)$$

अधिकतम की खोज करने के लिए, हम अंतर करते हैं और शून्य के बराबर होते हैं:
$$$0 = \ थीटा ^ {N-1} \ cdot (1- \ थीटा) ^ {M-1} \ cdot (एन ((थीटा -1) + एम \ थीटा)$ ।
एक कार्य शून्य के बराबर होने के लिए, सदस्यों में से एक शून्य के बराबर होना चाहिए।
हमें कोई दिलचस्पी नहीं है $$$\ theta = 0$ और $$$\ theta = 1$ , क्योंकि इन बिंदुओं पर कोई स्थानीय अधिकतम नहीं है, और तीसरा कारक एक स्थानीय अधिकतम इंगित करता है, इसलिए

$$

$$\ theta = \ frac {N} {N + M}$$

।

हमें एक सूत्र मिलता है जिसका उपयोग पूर्वानुमान के लिए किया जा सकता है। अगर यह बाहर गिर गया $$$एन$ गोरे और $$$एम$ अश्वेतों तो संभावना $$$\ frac {N} {N + M}$ अगला सफेद होगा। उदाहरण के लिए, 2 काले और 8 सफेद थे, फिर अगला सफेद 80% की संभावना के साथ होगा।

इच्छुक पार्टियां अलग-अलग एक्सप्रैस में प्रवेश करके शेड्यूल के साथ खेल सकती हैं: वुल्फरमलफा से लिंक ।


जैसा कि ग्राफ से देखा जा सकता है, एकमात्र मामला जहां $$$P (D |। Theta)$ एक बिंदु अधिकतम नहीं है - यह डेटा की अनुपस्थिति में है $$$एन = 0, एम = 0$ । यदि हमारे पास कम से कम एक तथ्य है, तो अधिकतम अंतराल पर पहुंच जाता है $$$[0,1]$ एक बिंदु पर। अगर $$$एन = 0$ , तब अधिकतम बिंदु 0 पर पहुंच जाता है, अर्थात्, यदि सभी गेंदें काली हैं, तो सबसे अधिक संभावना है कि अन्य सभी गेंदें भी काली होंगी और इसके विपरीत। लेकिन जैसा कि पहले ही उल्लेख किया गया है, असंभव संयोजन भी संभव है, खासकर यदि हमारे वितरण का गुंबद कोमल है। हमारे पूर्वानुमान की स्पष्टता का मूल्यांकन करने के लिए, विचरण का अनुमान लगाना आवश्यक है। यह पहले ही ग्राफ से देखा जा सकता है कि, तथ्यों की एक छोटी संख्या के साथ, फैलाव बड़ा है और गुंबद कोमल है, और जब नए तथ्य जोड़े जाते हैं, तो फैलाव कम हो जाता है और गुंबद तेज हो जाता है।

परिभाषा द्वारा माध्यमिक (पहला क्षण)
$$$\ mathbb {M_ {1}} = \ int_ {0} ^ {1} \ थीटा \ cdot P (\ थीटा | D) d \ थीटा$ ।

परिभाषा के अनुसार, विचरण (दूसरा केंद्रीय क्षण)। हम बाद में छिपे हुए खंड में इस पर विचार करेंगे।
$$$\ mathbb {M_ {2}} = \ int_ {0} ^ {1} (\ थीटा - \ mathbb {M_ {1}}) ^ {2} P (\ थीटा | D) d \ theta$ ।


अंत में, हम प्राप्त करते हैं:
$$$\ mathbb {M_ {2}} = \ frac {(M + 1) \ cdot (N + 1)} {(N + M + 2) ^ 2 \ cdot (N + M + 3)}$
जैसा कि आप देख सकते हैं, डेटा को जोड़ने पर विचरण कम हो जाता है और यह शिफ्ट के संबंध में सममित होता है $$$एन$ और $$$एम$ स्थानों में।

आप गणनाओं को संक्षेप में बता सकते हैं। डेटा की एक छोटी राशि के साथ, आपको एक मॉडल होना चाहिए, जिसके मापदंडों को हम अनुकूलित करेंगे। मॉडल मामलों की वास्तविक स्थिति के बारे में मान्यताओं के एक सेट का वर्णन करता है, और हम सबसे उपयुक्त धारणा का चयन करते हैं। हम एक पूर्ववर्ती संभावनाओं पर विचार करते हैं, अगर एक प्राथमिकता पहले से ही ज्ञात है। मॉडल को संभावित विकल्पों को कवर करना चाहिए जो हम अभ्यास में मिलेंगे। डेटा की एक छोटी राशि के साथ, मॉडल आउटपुट मापदंडों के लिए बड़े विचरण का उत्पादन करेगा, लेकिन जैसे-जैसे डेटा की मात्रा बढ़ेगी, विचरण में कमी आएगी और पूर्वानुमान अधिक अस्पष्ट हो जाएगा।

आपको यह समझना होगा कि एक मॉडल सिर्फ एक मॉडल है जिसे अधिक ध्यान में नहीं रखा जाता है। यह एक व्यक्ति द्वारा बनाई गई है और इसमें सीमित अवसर हैं। डेटा की थोड़ी मात्रा के साथ, किसी व्यक्ति का अंतर्ज्ञान काम करने की अधिक संभावना है, क्योंकि एक व्यक्ति को बाहरी दुनिया से बहुत अधिक संकेत मिलते हैं, और निष्कर्ष तेजी से निकाल सकते हैं। इस तरह के एक मॉडल अधिक जटिल गणनाओं के एक तत्व के रूप में उपयुक्त होने की संभावना है, क्योंकि बेयस तराजू और आपको एक-दूसरे को परिष्कृत करने वाले सूत्रों से कैस्केड बनाने की अनुमति देता है।

इस पर, मैं अपनी पोस्ट समाप्त करना चाहूंगा। मुझे आपकी टिप्पणी पर खुशी होगी।


संदर्भ

विकिपीडिया: बेयस प्रमेय
विकिपीडिया: फैलाव