विश्वसनीयता, पी-वैल्यू और रिप्रोड्यूसबिलिटी क्राइसिस

या: पी-मूल्यों को प्रकाशित करने से संभावित कार्यों को प्रकाशित करने में संक्रमण कैसे प्रजनन संबंधी संकट से निपटने में मदद करता है: एलीएजर यूडकोवस्की की व्यक्तिगत राय।



अनुवादक की टिप्पणी: HPMOR के लेखक, युडकोवस्की , लेसरॉन्ग के निर्माता और अन्य और अन्य, ने संवाद के रूप में प्राकृतिक विज्ञानों में बायेसियन आंकड़ों के लाभों पर अपनी स्थिति व्यक्त की। पुरातनता या पुनर्जागरण से इस तरह के एक प्रत्यक्ष क्लासिक संवाद, विचारों को व्यक्त करने वाले पात्रों के साथ, उलझी हुई दलीलों और अनिवार्य रूप से बेवकूफ सिंपिज़ियो के साथ चौराहों को साझा करते हुए। संवाद काफी लंबा है, लगभग बीस मिनट पढ़ने के लिए, लेकिन मेरी राय में, यह इसके लायक है।


मॉडरेटर: शुभ संध्या। आज हमारे स्टूडियो में: वैज्ञानिक , क्षेत्र में व्यवसायी ... रासायनिक मनोविज्ञान या ऐसा कुछ; उनके प्रतिद्वंद्वी बेयॉस्वेत्स , जो यह साबित करना चाहते हैं कि विज्ञान में प्रतिलिपि प्रस्तुत करने योग्यता का संकट, किसी भी तरह से पी-मूल्यों को बायेसियन आंकड़ों से बदलकर दूर किया जा सकता है ...
छात्र: क्षमा करें, यह कैसे वर्तनी है?
मॉडरेटर: ... और, अंत में, मेरे अधिकार को समझने वाला छात्र।

मॉडरेटर: बेवसाउट्स , क्या आप मुझे पहले बता सकते हैं कि आपके प्रस्ताव का सार क्या है?
बेयॉस्कोस: मोटे तौर पर, यह बात है। मान लीजिए हमारे पास एक सिक्का है। हम इसे छह बार टॉस करते हैं और श्रृंखला "LLCOOR" (लगभग। प्रति: इसके बाद O - Oryol, R - Reshka) का निरीक्षण करते हैं । क्या हमें शक होना चाहिए कि सिक्का में कुछ गड़बड़ है?
वैज्ञानिक: कोई नहीं।
बेयसोवेट्स: यहां का सिक्का सिर्फ उदाहरण के लिए है। मान लीजिए कि हम स्वयंसेवकों का एक नमूना दो कुकीज़ के साथ एक प्लेट पेश करते हैं: एक हरे रंग के साथ और एक लाल रंग के साथ। पहले पांच लोग हरी कुकीज़ लेते हैं, और छठा लाल होता है। क्या यह सच है कि लोग हरे रंग के छिड़क के साथ कुकीज़ पसंद करते हैं, या इस तरह के परिणाम को यादृच्छिक माना जाना बेहतर है?
छात्र: शायद, यह संदेह करना संभव है कि, शायद, लोग हरी छिड़कना पसंद करते हैं। कम से कम, मनोविज्ञान के छात्र जो हरे रंग के छिड़क की तरह अजीब प्रयोगों के लिए स्वयंसेवा करते हैं। छह टिप्पणियों के बाद भी, कोई भी इस पर संदेह कर सकता है, हालांकि मुझे संदेह है कि किसी प्रकार की पकड़ है।
वैज्ञानिक: मुझे लगता है कि यह संदिग्ध नहीं है। कई परिकल्पना एन = 6 पर आशाजनक दिखते हैं, लेकिन एन = 60 पर इसकी पुष्टि नहीं की जाती है।
Bayesovets: व्यक्तिगत रूप से, मुझे संदेह होगा कि हमारे स्वयंसेवक लाल टॉपिंग पसंद नहीं करते हैं , या कम से कम इसे बहुत पसंद नहीं करते हैं। लेकिन सामान्य तौर पर, मैं केवल आधुनिक वैज्ञानिक आंकड़ों में पी-मूल्यों को कैसे माना जाता है, यह दिखाने के लिए इन उदाहरणों के साथ आया था, और बाइसियन दृष्टिकोण से उनके साथ क्या गलत है।
वैज्ञानिक: लेकिन आप 30 स्वयंसेवकों के साथ अधिक यथार्थवादी उदाहरण के साथ नहीं आ सकते हैं?
बेयॉस्कोस: यह संभव है, लेकिन छात्र पहले से ही कुछ भी नहीं समझता है।
छात्र: यह सुनिश्चित करने के लिए है।
बेयोवेट्स: तो, प्रिय विशेषज्ञों: ईगल, ईगल, ईगल, ईगल, ईगल, पूंछ। ध्यान दें, सवाल यह है: क्या आप इस परिणाम को "सांख्यिकीय रूप से महत्वपूर्ण" कहेंगे या नहीं?
वैज्ञानिक: मास्टर, यह महत्वपूर्ण नहीं है। नल की परिकल्पना के साथ कि सिक्का उचित है (या समान शून्य परिकल्पना के साथ कि स्प्रिंकल्स का रंग कुकीज़ की पसंद को प्रभावित नहीं करता है), वही या अधिक स्पष्ट परिणाम 64 में से 14 मामलों में प्राप्त किया जा सकता है।
छात्र: हाँ। मैं सही ढंग से समझता हूं: यह इसलिए है क्योंकि हम LLCOOO और RRORRR के परिणामों को "समान या अधिक स्पष्ट" मानते हैं, कुल 14 हैं, और 6 फेंके 2 ⁶ = 64 के साथ परिणामों की कुल संख्या। 14/64 22% है, जो 5% से अधिक है, इसलिए पी <0.05 के स्तर पर परिणाम महत्वपूर्ण नहीं माना जाता है। तो?
वैज्ञानिक: यह सही है। मैं यह भी नोट करूंगा कि व्यवहार में, यहां तक ​​कि LLCOOO के परिणाम के साथ, आपको प्रयोग बंद नहीं करना चाहिए और इस तथ्य के बारे में एक लेख लिखना चाहिए कि एक सिक्का हमेशा एक ईगल द्वारा बाहर निकलता है।
बेयॉस्कोस: तथ्य यह है कि यदि आप किसी भी समय एक सिक्का फेंकना बंद कर सकते हैं, तो आपको खुद से पूछना होगा: "यह कैसे संभव है कि मैं प्रयोग को रोकने के लिए ऐसा क्षण ढूंढूंगा जिसमें ईगल की संख्या सार्वजनिक रूप से दिखाई देगी?" और यह पी-मूल्य प्रतिमान में एक पूरी तरह से अलग कहानी है।
वैज्ञानिक: मेरा मतलब केवल यह था कि केवल छह प्रयोग - यह गंभीर नहीं है, भले ही हम कुकीज़ के रंग का अध्ययन करें। लेकिन हां, आप भी सही हैं।
छात्र: और यह क्यों महत्वपूर्ण है कि मैं एक सिक्का फेंकना बंद कर सकता हूं या मैं नहीं कर सकता हूं?
बेयसोवेट्स: क्या एक अद्भुत सवाल है।
वैज्ञानिक: तथ्य यह है कि पी-मूल्य एक जटिल चीज है। आप केवल नंबर नहीं ले सकते हैं, उन्हें प्रोग्राम में डाल सकते हैं और प्रकाशित कर सकते हैं कि यह प्रोग्राम क्या देगा। यदि आपने पहले एक सिक्का को छह बार फ्लिप करने का निर्णय लिया है, और फिर परिणाम की परवाह किए बिना रुक जाते हैं, तो एलएलसीओओओ या आरआरआरआरआरआर का परिणाम 64 में से औसतन 2 गुना या 3.1% मामलों में प्राप्त किया जाएगा। यह पी <0.05 पर महत्वपूर्ण है। लेकिन मान लीजिए कि आप वास्तव में धोखेबाज और बेईमान मिथ्याचारी हैं। या सिर्फ एक अक्षम छात्र जो खुद नहीं समझता कि वह क्या कर रहा है। रोल की संख्या को पूर्व-चयन करने के बजाय, आप एक सिक्का फेंकते हैं और तब तक फेंकते हैं जब तक कि आपको एक परिणाम न मिल जाए जो सांख्यिकीय रूप से महत्वपूर्ण लगता है। यदि आप एक सिक्के को ठीक उसी समय पर उछालना चाहते हैं, तो यह सांख्यिकीय रूप से महत्वपूर्ण होगा । लेकिन वास्तव में, आपने यह पहले से तय नहीं किया था। आपने परिणाम प्राप्त करने के बाद ही रुकने का फैसला किया। आप ऐसा नहीं कर सकते
छात्र: ठीक है, मैंने इसके बारे में कहीं पढ़ा है, लेकिन मुझे समझ नहीं आया कि यहाँ क्या बुरा था। यह मेरा शोध है, और मुझे बेहतर पता होना चाहिए कि पर्याप्त डेटा है या नहीं।
वैज्ञानिक: P- मानों का पूरा बिंदु एक परीक्षण बनाना है जो अशक्त परिकल्पना को पारित नहीं कर सकता है। यह सुनिश्चित करने के लिए, दूसरे शब्दों में, आग के बिना धुआं बहुत आम नहीं है। ऐसा करने के लिए, वांछित घटना की अनुपस्थिति में "सांख्यिकीय रूप से महत्वपूर्ण" खोजों को उत्पन्न नहीं करने के लिए इस तरह से अनुसंधान को व्यवस्थित करना आवश्यक है। यदि आप एक सिक्का ठीक छह बार फ्लिप करते हैं (और इस संख्या को पहले से निर्धारित करते हैं), तो एक निष्पक्ष सिक्के से छह ईगल या छह पूंछ प्राप्त करने की संभावना 5% से कम है। यदि आप किसी सिक्के को अपनी इच्छानुसार कई बार फेंकते हैं , और प्रत्येक थ्रो के बाद पी-वैल्यू गिनते हैं (यह कहते हुए कि रोल की संख्या पहले से ज्ञात थी), तो जल्द या बाद में पी <0.05 से कम पाने का मौका 5% से बहुत अधिक है । इसलिए, ऐसा प्रयोग 20 में से 1 मामलों की तुलना में अधिक बार बिना आग के धुएं का पता लगाता है।
बेयॉस्कोस: व्यक्तिगत रूप से, मुझे इस समस्या को इस तरह तैयार करना पसंद है : मान लीजिए कि आप एक सिक्का फेंकते हैं और OOOOOR प्राप्त करते हैं। यदि एक ही समय में आप अपने दिल की गहराई में केवल अल्लाह के लिए जाने जाते हैं (अल्लाह के लिए बुद्धिमान, ज्ञानी हैं), पहले से फेंकता की संख्या पर फैसला किया है, तो परिणाम महत्वपूर्ण नहीं है; पी = 0.22। यदि, तीन महीने के उपवास के बाद, आपने सेंट फ्रांसिस को एक सिक्का फेंकने के लिए एक स्वर बनाया, जब तक कि पूंछ बाहर नहीं निकल जाती , तब वही परिणाम काफी अच्छे p = 0.03 के साथ सांख्यिकीय रूप से महत्वपूर्ण है। क्योंकि मौका है कि 1: 1 पूंछ की संभावनाओं के साथ छह या अधिक फेंकता है, 1/32 इंतजार करना होगा।
छात्र: क्या?
वैज्ञानिक: यह निश्चित रूप से एक पैरोडी की तरह है। व्यवहार में, कोई भी एक सिक्का तब तक नहीं फेंकेगा जब तक कि एक पूंछ को खींचा नहीं गया हो, और फिर रुक जाएं। लेकिन वास्तव में Bayesovets सही है, पी-मान उसी तरह काम करते हैं। कड़ाई से बोलते हुए, हम यह पता लगाने की कोशिश कर रहे हैं कि परिणाम उन लोगों में कितना दुर्लभ है जो हमें मिल सकता है। पहले पूंछ के पहले एक सिक्का फेंकने वाला व्यक्ति {P, OR, OOR, LLC, OOOOR, LLCOOR ...} परिणाम प्राप्त कर सकता है। परिणामों का वर्ग जिसमें छह या अधिक शॉट बनाए जाते हैं, {LLCOOOR, LLCOOOR, OOOOOOOR ...} है, जिसकी कुल संभावना 1/64 + 1/128 + 1/256 ... = 1/32 है। और ठीक छह बार सिक्का फेंकने वाले व्यक्ति को कक्षा {RRRRRR, LLCOOR, LLCORO, OOOOORR…} के परिणामों में से एक मिलता है, जिसमें 64 तत्व होते हैं। हमारे प्रयोग के प्रयोजनों के लिए, LLCOOOR LLCORO, LLCOROO और इसी तरह के बराबर है। तो हाँ, यह सब काफी सहज है। यदि हम वास्तव में पहला प्रयोग करते हैं, तो LLCOOR एक महत्वपूर्ण परिणाम होगा, जो एक ईमानदार सिक्के के साथ संभव नहीं है। और अगर हम दूसरा प्रयोग करते हैं, तो LLCOOR महत्वपूर्ण नहीं होगा, क्योंकि एक ईमानदार सिक्के के साथ भी समय-समय पर ऐसा ही कुछ होता है।
बेयॉस्वेट: क्या आप इस तथ्य से परेशान हैं कि प्रयोग के परिणाम आपके विचार से निर्भर करते हैं?
वैज्ञानिक: यह विवेक का विषय है। किसी भी तरह के शोध में बहुत कम लागत आएगी यदि आप उनके परिणामों के बारे में झूठ बोलते हैं, अर्थात, एक झूठ बताएं कि सिक्का किस तरफ गिरा। यदि आप इस बारे में झूठ बोलते हैं कि किस तरह का प्रयोग किया गया था - प्रभाव समान होगा। तो आपको बस इसे लेने की जरूरत है और ईमानदारी से कहना चाहिए कि थ्रो क्या नियम बनाए गए थे। बेशक, वैज्ञानिक के सिर की सामग्री कम स्पष्ट है कि सिक्का किस तरफ है। इसलिए, विश्लेषण मापदंडों को मोड़ना हमेशा संभव है, यह लिखने के लिए नहीं कि विषयों की संख्या कैसे निर्धारित की गई थी, सांख्यिकीय परीक्षण का चयन करने के लिए जो आपके पसंदीदा परिकल्पना की पुष्टि करता है ... ऐसी कई चीजें हैं जो आप सोच सकते हैं यदि आप चाहें। और यह स्रोत डेटा को फ़ैलाने की तुलना में आसान होगा। अंग्रेजी में, इसे पी-हैकिंग कहा जाता है। और व्यवहार में, ज़ाहिर है, तथ्य के बाद आविष्कार किए गए मूर्ख अशक्त परिकल्पना की तुलना में आग के बिना धुआं बनाने के लिए बहुत कम स्पष्ट तरीकों का उपयोग किया जाता है। यह एक गंभीर समस्या है, और कुछ हद तक प्रजनन योग्यता का संकट इसके साथ जुड़ा हुआ है, हालांकि यह स्पष्ट नहीं है कि कौन सा है।
स्टूडेंट: क्या यह ... उचित लगता है? शायद यह उन चीजों में से एक है जो आपको लंबे समय तक निपटने और उदाहरणों के एक गुच्छा के माध्यम से क्रमबद्ध करने की आवश्यकता है, और फिर सब कुछ स्पष्ट हो जाता है?
बेयोवेट्स: कोई नहीं।
छात्र: मेरा मतलब है?
बेयसोवेट्स: "छात्र के अर्थ में, आप शुरू से ही सही थे।" यदि प्रयोग करने वाले को लगता है कि सिक्का किस तरफ गिरता है, किसी भी तरह से प्रभावित नहीं करता है, तो उसके विचारों को इस तथ्य को प्रभावित नहीं करना चाहिए कि फेंक के परिणाम हमें ब्रह्मांड के बारे में बताते हैं। मेरे प्रिय छात्र, आपको सिखाए गए आंकड़े कुटिल बैसाखी के एक अधूरे झुंड से ज्यादा कुछ नहीं हैं जो आपने आंतरिक रूप से सुसंगत बनाने के लिए परेशान नहीं किया है। स्वर्ग की खातिर, वह आपके सिर पर क्या चल रहा है, इसके आधार पर अलग-अलग गलत परिणाम देता है! और यह कुछ वैज्ञानिकों की प्रवृत्ति से कहीं अधिक गंभीर समस्या है "सामग्री और तरीकों" में थोड़ा धोखा देना।
वैज्ञानिक: यह ... एक गंभीर कथन है, कम से कम कहने के लिए। लेकिन मुझे बताओ, मैं तुमसे पूछता हूं: हम क्या कर रहे हैं, दुर्भाग्यपूर्ण, करने के लिए?
बेयॉस्वाट्स: विश्लेषण इस प्रकार है: यह विशेष रूप से एलएलसीओआर का परिणाम 1/64 या लगभग 1.6% की संभावना के साथ एक पूरी तरह से संतुलित सिक्के के छह फेंको के साथ प्राप्त किया जा सकता है। मान लीजिए कि हमें पहले से ही संदेह था कि हमारा सिक्का अपूर्ण रूप से संतुलित था। और न केवल अपूर्ण रूप से, बल्कि इस तरह से कि यह छह में से पांच बार औसतन एक ईगल के रूप में गिरता है। यह, ज़ाहिर है, एक जंगली सरलीकरण है, लेकिन मैं थोड़ी देर बाद यथार्थवादी परिकल्पना पर आगे बढ़ूंगा। तो, यह काल्पनिक धोखा सिक्का (5/6) ⁵ * (1/6) ^{1 की} संभावना के साथ LLCOOR अनुक्रम देता है। यह लगभग 6.7% है। इसलिए हमारे पास दो परिकल्पनाएं हैं: "सिक्का सबसे आम है" और "सिक्का 5/5/8 मामलों में ईगल द्वारा गिरा दिया गया है।" दूसरे मामले में यह विशिष्ट परिणाम पहले की तुलना में 4.3 गुना अधिक है । एक और काल्पनिक धोखा सिक्का के लिए LLCOOR अनुक्रम की संभावना, जो छह में से 5 मामलों में पूंछ है, 0.01% है। इसलिए अगर किसी ने अचानक सोचा कि यह हमारे सामने दूसरा सिक्का है, तो अब हमारे पास उसकी परिकल्पना के खिलाफ एक अच्छा तर्क है। यह विशेष परिणाम एक सिक्के के मुकाबले एक निष्पक्ष सिक्के के लिए 146 गुना अधिक संभावना है जो कि ईगल द्वारा केवल छह में से एक बार गिराया जाता है। इसी तरह, हमारे काल्पनिक लाल कुकी प्रेमियों को हरा खाने की बहुत कम संभावना होगी।
छात्र: ठीक है, मुझे गणित समझ में आ रहा है। लेकिन ईमानदारी से, मैं इसका अर्थ नहीं पकड़ता।
बैसटाउन: अब मैं समझाता हूं, लेकिन सबसे पहले, इस पर ध्यान दें: मेरी गणना के परिणाम इस बात पर निर्भर नहीं करते हैं कि सिक्का छह बार क्यों फ़्लिप किया गया था। शायद छठे थ्रो के बाद आपने निर्णय लिया कि डेटा पहले से ही काफी है। हो सकता है कि पाँच पंक्तियों की एक श्रृंखला के बाद, नामगिरि त्यार आपको एक सपने में दिखाई दिया और आपको फिर से एक सिक्का फेंकने की सलाह दी। सिक्का परवाह नहीं करता। तथ्य यह है कि: यह विशेष रूप से LLCOOR श्रृंखला एक ईमानदार सिक्के के लिए चार गुना कम संभावना है, जो कि एक ईगल द्वारा छह में से पांच बार गिराया जाता है।
वैज्ञानिक: मैं मानता हूं कि आपकी गणना की कम से कम एक उपयोगी विशेषता है। आगे क्या है?
बेयसोवेट्स: और फिर आप एक पत्रिका में परिणाम प्रकाशित करते हैं। यह कच्चे डेटा के साथ एक साथ वांछनीय है, क्योंकि तब कोई भी किसी भी परिकल्पना की संभावना की गणना कर सकता है। मान लें कि किसी को अप्रत्याशित रूप से परिकल्पना में दिलचस्पी हो गई "एक सिक्का 10 में से 9 बार ईगल द्वारा गिराया जाता है, 6 में से 5 बार नहीं।" इस मामले में, एलएलसीओओआर टिप्पणियों की एक श्रृंखला में 5.9% की संभावना है, जो कि छह थ्रो (6) से लगभग पांच ईगल्स की हमारी परिकल्पना से थोड़ा कम है। , 7%), लेकिन 3.7 बार परिकल्पना है कि सिक्का पूरी तरह से संतुलित है (1.6%)। यह असंभव है, और आवश्यक नहीं है, अग्रिम में सभी संभव परिकल्पनाओं के साथ आने के लिए। यह पूर्ण डेटा प्रकाशित करने के लिए पर्याप्त है - फिर कोई भी परिकल्पना वाला व्यक्ति आसानी से उस संभावना की गणना कर सकता है जो उसे चाहिए। बायेसियन प्रतिमान को कच्चे डेटा के प्रकाशन की आवश्यकता होती है, क्योंकि मुख्य ध्यान एक विशिष्ट परिणाम पर होता है , न कि कथित समान परिणामों के कुछ वर्ग पर।
वैज्ञानिक: इसमें मैं आपसे सहमत हूँ, प्रतिलिपि प्रस्तुत करने योग्य संकट को दूर करने के लिए संपूर्ण डेटा सेट का प्रकाशन सबसे महत्वपूर्ण चरणों में से एक है। लेकिन व्यक्तिगत रूप से, मुझे समझ नहीं आ रहा है कि मुझे इन सभी के साथ क्या करना चाहिए "ए, बी की तुलना में कई गुना अधिक है"।
छात्र: मुझे भी।
बायेसियन आदमी: यह पूरी तरह से तुच्छ नहीं है ... क्या आपने बेयस नियम से हमारा परिचय पढ़ा है?
छात्र: बढ़िया। यह केवल आंकड़ों के अगले तीन सौ-पृष्ठ की पाठ्यपुस्तक है और मेरे पास पर्याप्त नहीं है।
बेयॉस्वेट: आप वास्तव में इसे एक घंटे में पढ़ सकते हैं । यह सिर्फ इतना है कि यह सब वस्तुतः तुच्छ नहीं है , अर्थात इसमें स्पष्टीकरण की आवश्यकता है। लेकिन ठीक है, पूर्ण परिचय की कमी के लिए, मैं कुछ के साथ आने की कोशिश करूंगा। सबसे अधिक संभावना है, यह उचित लगेगा - और तर्क वास्तव में सही है - लेकिन एक तथ्य नहीं है, जो स्वयं स्पष्ट है। चलो चलते हैं। एक प्रमेय है जो निम्नलिखित तर्क की शुद्धता को साबित करता है:
(बायेसियन हवा प्राप्त कर रहा है)
बेयोवेट्स: मान लीजिए कि प्रोफेसरों प्लम और मिस स्कारलेट पर हत्या का संदेह है। दोनों की जीवनी का अध्ययन करने के बाद, हम मानते हैं कि प्रोफेसर के लिए मिस स्कारलेट के रूप में एक आदमी को मारना दो गुना आसान होगा। हम इस धारणा के साथ शुरू करेंगे। हालांकि, यह पता चला है कि मृतक को जहर दिया गया था। हम जानते हैं कि यदि प्रोफेसर प्लम किसी को मारने वाला है, तो वह 10% की संभावना के साथ जहर का उपयोग करता है (और 10 में से 9 मामलों में वह पसंद करेगा, उदाहरण के लिए, एक रिवॉल्वर)। मिस स्कारलेट, अगर वह मारने का फैसला करती है, तो 60% की संभावना के साथ जहर का उपयोग करती है। दूसरे शब्दों में, एक प्रोफेसर द्वारा जहर का उपयोग मिस स्कारलेट के जहर के उपयोग की तुलना में छह गुना कम है । चूंकि हमारे पास नई जानकारी है, अर्थात् हत्या का तरीका, हमें अपनी धारणा को अपडेट करना चाहिए और यह मान लेना चाहिए कि प्लम के हत्यारे होने की संभावना लगभग तीन गुना है: 2 * 1/6 = 1/3।
स्टूडेंट: यकीन नहीं होता मैं समझ गया। वाक्यांश "प्रोफेसर प्लम मिस स्कारलेट की तुलना में तीन गुना कम कातिल है" का क्या मतलब है?
बेयॉस्वाट्स: इसका मतलब है कि अगर हमारे पास कोई अन्य संदिग्ध नहीं है, तो प्लुम ने जिस शिकार को मार दिया, वह संभावना 1/4 है। शेष 3/4 संभावना है कि हत्यारा मिस स्कारलेट है। इसलिए, प्रोफेसर का अपराधबोध मिस स्कारलेट की तुलना में तीन गुना कम है।
वैज्ञानिक: और अब मैं जानना चाहता हूं कि "अपराध की संभावना" से आपका क्या मतलब है। प्लम ने या तो हत्या कर दी, या उसने यह अपराध नहीं किया। हम हत्याओं के नमूने को नहीं देख सकते हैं और यह पाते हैं कि उनमें से एक चौथाई के लिए प्लम वास्तव में जिम्मेदार है।
Bayesovets: मैं इसे में नहीं होने की उम्मीद कर रहा था, लेकिन ओह अच्छी तरह से। मेरे अच्छे वैज्ञानिक, मेरा मतलब है कि अगर आपने मुझे दांव के साथ 1: 1 की पेशकश की, तो प्लम ने पीड़ित को मार दिया या नहीं, तो मैं शर्त लगाऊंगा कि उसने नहीं किया। लेकिन अगर शर्त के तहत मैं आपको उसकी बेगुनाही के मामले में $ 1 का भुगतान करूंगा, और आप मुझे उसके अपराध के मामले में $ 5 का भुगतान करेंगे, तो मैं ख़ुशी से दोष डालूंगा। 2012 का राष्ट्रपति चुनाव केवल एक बार आयोजित किया गया था और ओबामा की संभावना विजय की वैचारिक रूप से शुरुआत के रूप में प्लूट की संभावना गिल्ट के रूप में है। लेकिन अगर 7 नवंबर को आपको ओबामा पर $ 10 का दांव लगाने की पेशकश की गई और उन्होंने $ 1000 का वादा किया, अगर वह जीत गए, तो आप शायद ही इस तरह के दांव को मना करेंगे। सामान्य तौर पर, जब भविष्यवाणी बाजार और बड़े तरल दांव पूल किसी घटना के लिए 6: 4 पर दांव लगाते हैं, तो यह घटना लगभग 60% मामलों में होती है। इस श्रेणी में संभावनाओं के लिए बाज़ार और पूल अच्छी तरह से कैलिब्रेट किए गए हैं। यदि वे खराब रूप से कैलिब्रेट किए गए थे, अर्थात, यदि घटनाएँ जो 6: 4 पर दांव लगाती हैं, तो 80% मामलों में होती हैं, तो कोई इसे नोटिस कर सकता है और इस तरह के दांव की कीमत पर खुद को समृद्ध कर सकता है। उसी समय, वह दर की कीमत बढ़ाएगा जब तक कि बाजार अच्छी तरह से कैलिब्रेटेड न हो। और 70% के बाजार संभावना संभावना के साथ घटनाओं के कारण वास्तव में 10 में से 7 बार होता है, मुझे समझ में नहीं आता है कि इस तरह की संभावना से कोई मतलब नहीं है।
छात्र: मैं मानता हूँ, यह कायल लगता है । लेकिन यकीन है कि यह सिर्फ मुझे लगता है, और वास्तव में के खिलाफ और के लिए चालाक तर्कों का एक पूरा गुच्छा है।
बेयॉस्कोस: वास्तव में तर्कों का एक समूह है , लेकिन इससे सामान्य निष्कर्ष यह है कि आपका अंतर्ज्ञान सच्चाई के बहुत करीब है।
वैज्ञानिक: ठीक है, हम वापस उसी पर आएंगे। लेकिन क्या होगा अगर दो एजेंट हैं, दोनों आपकी शर्तों में "अच्छी तरह से कैलिब्रेटेड" हैं, लेकिन उनमें से एक "60%" और दूसरा "70%" कहता है?
बेयॉस्वाट्स: मान लीजिए कि मैं एक सिक्का उछालता हूं और यह नहीं देखता कि यह किस तरफ गिरा। इस मामले में, मेरी अज्ञानता एक सिक्के के बारे में जानकारी नहीं है, यह मेरे बारे में जानकारी है। यह सिर में मौजूद है, न कि आसपास की दुनिया में, जैसे कि नक्शे पर सफेद धब्बे का मतलब यह नहीं है कि इस जगह पर कोई क्षेत्र नहीं है। यदि आपने एक सिक्के को देखा, लेकिन मैंने ऐसा नहीं किया, तो यह काफी उचित है कि आप और मैं इसके बारे में अनिश्चितता की स्थिति में हैं। यह देखते हुए कि मैं एक सौ प्रतिशत निश्चित नहीं हूं, यह संभावना के संदर्भ में मेरी असुरक्षा को व्यक्त करने के लिए समझ में आता है। लगभग तीन सौ प्रमेय हैं जो बताते हैं कि अगर किसी की अनिश्चितता की अभिव्यक्ति वास्तव में एक संभावना वितरण नहीं है, तो, सामान्य तौर पर, उसे इसकी आवश्यकता होती है। किसी कारण से, यह हमेशा होता है कि यदि अनिश्चितता की स्थिति में एजेंट की सोच संभावना सिद्धांत के किसी भी मानक स्वयंसिद्ध का उल्लंघन करती है, तो पृथ्वी खुल जाएगी, पानी रक्त में बदल जाएगा, और प्रमुख रणनीतियों और जाहिर तौर पर हारने वाले दांव स्वर्ग में डाल देंगे।
वैज्ञानिक: ठीक है, यहाँ मैं गलत था। हम इस पर भी वापस आएंगे, लेकिन सबसे पहले, मेरे प्रश्न का उत्तर दें: हमें प्राप्त करने के बाद हमें विश्वसनीयता के साथ क्या करना चाहिए?
बेयॉस्वाट्स: प्रोबेबिलिटी थ्योरी के नियमों के अनुसार, ये वादे सबूत हैं।यह वह है जो हमें स्कारलेट के पक्ष में 2: 1 से प्लूम के पक्ष में 3: 1 के लिए हमारी प्राथमिकताओं को बदल देता है। यदि मेरे पास दो परिकल्पनाएं हैं और दोनों के लिए डेटा की संभावना है, तो मुझे अपने दिमाग को बदलना चाहिए जैसा कि ऊपर वर्णित है। अगर मैं इसे किसी तरह से बदल देता हूं, तो आकाश खुल जाता है, रणनीति बनती है, और इसी तरह से। बेयस प्रमेय: यह केवल एक सांख्यिकीय तकनीक नहीं है, यह LAW है।
स्टूडेंट: सॉरी, लेकिन मुझे अभी भी समझ नहीं आया। मान लीजिए हम एक प्रयोग कर रहे हैं। और, मान लें कि, प्राप्त परिणामों की संभावना छह गुना अधिक है यदि प्रोफेसर प्लम ने अपने हेरो ट्रूपे को मार दिया, तो वे इससे ज्यादा अगर वे मिस स्कार्लेट के हत्यारे थे । हमें प्रोफेसर गिरफ्तार करो या नहीं?
वैज्ञानिक: मुझे लगता है, शुरुआत के लिए, आपको अधिक या कम यथार्थवादी प्राथमिकताओं के साथ आने की जरूरत है, उदाहरण के लिए, " एक प्राथमिकता मैं मानता हूं कि ट्रूप प्लुम की हत्या की संभावना 20% है।" फिर इसे 6: 1 के संभावित अनुपात से गुणा किया जाना चाहिए, और 3: 2 की पिछली संभावनाओं का अनुपात प्राप्त करना चाहिए, जो प्लम ने मंडली को मार दिया। तब यह कहा जा सकता है कि प्लम 60% की संभावना के साथ दोषी है, और फिर अभियोजक के कार्यालय को समझना चाहिए।
बेयसोवेट्स: कोई नहीं । स्वर्ग की खातिर! क्या आप वास्तव में सोचते हैं कि बायेसियन आँकड़े उसी तरह काम करते हैं?
वैज्ञानिक:क्या यह गलत काम करता है? मैं हमेशा मानता था कि इसका मुख्य लाभ यह है कि यह हमें पिछली संभावनाएं देता है, जो कि P- मान वास्तव में नहीं देते हैं, और मुख्य दोष यह है कि इसके लिए एक प्राथमिकताओं की आवश्यकता होती है। चूंकि उन्हें छत से अधिक या कम लिया जाना है, इसलिए समय की समाप्ति तक पश्च संभावनाओं की शुद्धता विवादित हो सकती है।
बेयोवेट्स: लेखों को विश्वसनीयता प्रकाशित करने की आवश्यकता है । अधिक सटीक रूप से, हमें कच्चे डेटा प्रकाशित करने और उनके लिए कुछ रुचियों की गणना करने की आवश्यकता है जो हमें रुचि देते हैं। लेकिन निश्चित रूप से एक बाद की संभावना नहीं है।
छात्र: मैं फिर से उलझन में हूँ। बाद की संभावनाएं क्या हैं?
बेयसोवेट्स: पोस्टीरियर प्रोबेबिलिटी- यह एक प्रकार का कथन है "प्रोफेसर प्लम को 60% प्रायिकता हेरे ट्रूप के साथ मार दिया गया।" जैसा कि मेरे सहकर्मी ने पहले ही नोट कर लिया है, इस तरह के बयान पी-मूल्यों का पालन नहीं करते हैं। और, मेरी राय में, प्रयोगात्मक लेखों में उनका कोई स्थान नहीं है, क्योंकि ये किसी प्रयोग के परिणाम नहीं हैं ।
छात्र: लेकिन ... ठीक है, वैज्ञानिक, आपके लिए एक प्रश्न: मान लीजिए कि हमें p <0.01 के साथ परिणाम मिला है, अर्थात्, शून्य परिकल्पना के साथ 1% से कम की संभावना के साथ कुछ "प्रोफेसर प्लम ने हेरे ट्रूप को नहीं मारा।" हमें उसे गिरफ्तार करना चाहिए या नहीं?
वैज्ञानिक:सबसे पहले, यह एक यथार्थवादी शून्य परिकल्पना नहीं है। सबसे अधिक संभावना है, अशक्त परिकल्पना कुछ इस तरह होगी "कोई भी मारे गए हिरन मंडली" या "सभी संदिग्ध समान रूप से दोषी हैं।" लेकिन भले ही आपके द्वारा वर्णित शून्य परिकल्पना ने काम किया हो, भले ही हम प्लम की मासूमियत को p <0.01 के साथ अस्वीकार कर सकते हैं, फिर भी यह कहना संभव नहीं होगा कि प्लम 99% संभावना के साथ दोषी था। P- मान हमें यह नहीं बताते हैं।
छात्र: और है कि वे तो रिपोर्ट?
वैज्ञानिक: वे रिपोर्ट करते हैं कि देखे गए डेटा संभावित परिणामों की एक श्रेणी का हिस्सा हैं, और इस वर्ग के परिणाम 1% से भी कम मामलों में देखे जाते हैं यदि अशक्त परिकल्पना सच है। अधिक पी-मूल्य का मतलब कुछ भी नहीं है। आप p <0.01 से ले सकते हैं और नहीं जा सकते हैं "99% की संभावना के साथ प्रोफेसर प्लम दोषी है।" बायेसियन, सबसे अधिक संभावना है, मुझसे बेहतर यह समझाएगा कि क्यों। सामान्य तौर पर, विज्ञान में किसी एक चीज की व्याख्या करना असंभव है। संख्या ठीक-ठीक बताती है कि उनका क्या मतलब है, न अधिक और न कम।
छात्र: आम तौर पर उत्कृष्ट। पहले तो मुझे समझ में नहीं आया कि क्या करना चाहिए। और अब भी मुझे समझ नहीं आ रहा है कि पी-वैल्यू का क्या किया जाए। बेर को आखिरकार जेल भेजने के लिए क्या प्रयोग आवश्यक है?
वैज्ञानिक: व्यवहार में? यदि अन्य प्रयोगशालाओं में कुछ और प्रयोग पी <0.01 के साथ अपने अपराध की पुष्टि करते हैं, तो सबसे अधिक संभावना है कि वह वास्तव में दोषी है।
Bayesovets:ए 'reproducibility संकट "- यह जब बात उठाया जाता है और बाद में यह पता चला है कि वह था नहीं हत्या।
वैज्ञानिक: ठीक है, हाँ।
छात्र: किसी तरह यह अप्रिय निकला।
वैज्ञानिक: जीवन आमतौर पर एक अप्रिय बात है।
स्टूडेंट: तो ... बायसेवोट्स, आपके पास शायद ऐसा ही जवाब हो? तथ्य की तरह कुछ है कि यदि संभावना अनुपात काफी बड़ा है, कहते हैं, 100: 1, तो व्यवहार में क्या इसी परिकल्पना को सच माना जा सकता है?
Bayesovets:हां, लेकिन यह कुछ अधिक जटिल है। मान लीजिए कि मैंने 20 बार एक सिक्का फ्लिप किया और OOOOOROOORORORROOROOOROOOROR प्राप्त किया। पकड़ यह है कि परिकल्पना की संभावना "सिक्का अनुक्रम देने की गारंटी है LLCORORORORORROOOOOOOROROR" परिकल्पना की संभावना की तुलना में अधिक है "सिक्का एक ईगल या पूंछ द्वारा समान रूप से संभावित है" लगभग एक लाख बार। व्यवहार में, यदि आपने प्रयोग की शुरुआत से पहले मुझे इस परिकल्पना को एक सीलबंद लिफाफे में नहीं सौंपा, तो मैं इसे अत्यधिक प्रतिशोधित मानूंगा। मुझे इस परिकल्पना को कम से कम 2 ²⁰ : 1 की जटिलता के लिए दंड देना होगा , क्योंकि अनुक्रम का वर्णन अकेले 20 बिट्स लेता है। दूसरे शब्दों में, एक प्राथमिकता की संभावना को इतना कम करें कि यह संभावना लाभ की भरपाई से अधिक हो। और यह एकमात्र नुकसान नहीं है। लेकिन फिर भी, यदि आप समझते हैं कि कैसे और क्यों बेयस नियम काम करता है, तो प्रत्येक विशिष्ट मामले में आप जिस तरह से समझ सकते हैं। यदि प्लम के लिए प्लाज़ेबिलिटी अनुपात किसी अन्य संदिग्ध 1000: 1 के खिलाफ है, और केवल छह संदिग्ध हैं, तो यह माना जा सकता है कि एक प्राथमिकता संभावना इस तथ्य के खिलाफ 10: 1 से अधिक थी कि वह हत्यारा है। यदि ऐसा है, तो हम मान सकते हैं कि वह 99% की संभावना के साथ दोषी है।
वैज्ञानिक: लेकिन फिर भी, क्या यह लेख में लिखने लायक नहीं है?
Bayesovets: यह सही है। कैसे तैयार करें ... बायेसियन विश्लेषण की प्रमुख शर्त यह है कि सभीप्रासंगिक जानकारी। आप डेटा को केवल विश्लेषण से बाहर नहीं कर सकते क्योंकि आपको यह पसंद नहीं है। यह वास्तव में विज्ञान की एक महत्वपूर्ण स्थिति है, जैसे कि उपयोग किए गए आँकड़ों की परवाह किए बिना। लेखों का एक समूह है जिनके निष्कर्ष केवल इसलिए प्राप्त किए गए थे क्योंकि कुछ कारक को ध्यान में नहीं रखा गया था या नमूना कुछ पैरामीटर में अप्रमाणित था। मैं किस बारे में बात कर रहा हूँ? और इस तथ्य से कि मैं (एक प्रयोगकर्ता के रूप में) कैसे जानता हूं कि "सभी प्रासंगिक जानकारी" क्या है? मैं कौन हूँ कि मैं संभावित संभावनाओं की गणना करूं? हो सकता है कि किसी ने एक लेख प्रकाशित किया हो जिसमें अतिरिक्त डेटा और अतिरिक्त विश्वसनीयता है जिसे मुझे ध्यान में रखना चाहिए, लेकिन मैंने इसे अभी तक नहीं पढ़ा है। इसलिए मैं सिर्फ अपने डेटा और अपने कार्यों को प्रकाशित करता हूं - और यह बात है! मैं हर चीज पर विचार करने का दावा नहीं कर सकतातर्क और अब मैं विश्वसनीय बाद की संभावनाओं की पेशकश कर सकता हूं। और यहां तक ​​कि अगर मैं कर सकता था, तो एक सप्ताह में एक और लेख निकल सकता है, और ये संभावनाएं अप्रचलित हो जाएंगी।
छात्र: मोटे तौर पर, प्रयोग करने वाले को सिर्फ अपना डेटा प्रकाशित करना चाहिए, उनके लिए कुछ संभावनाएं और सभी की गणना करनी चाहिए? और उसके बाद ही कोई और तय करेगा कि उनके साथ क्या करना है?
बेयॉज़टाउन: किसी को एक प्राथमिकता संभावनाओं का चयन करना होगा - बराबर, या अधिकतम एन्ट्रापी के साथ, या जटिलता के लिए दंड के साथ, या जो कुछ भी - फिर सभी संभव डेटा एकत्र करने की कोशिश करें, संभावना की गणना करें, सुनिश्चित करें कि परिणाम पागल नहीं है , और अन्य अन्य। और उन्हें अभी भी गिना जाना है अगर एक सप्ताह में एक नया लेख जारी किया जाए।
छात्र:काफी समय लगता है ।
Bayesovets: यह बहुत बुरा होगा अगर हम पी-मूल्यों का एक मेटा-विश्लेषण किया। Bayesian संभावनाओं को अद्यतन करना बहुत आसान है। यह नए संभावना कार्यों और सामान्यीकरण के द्वारा केवल पुरानी पीछे की संभावनाओं को गुणा करने के लिए पर्याप्त है । वह सब है। यदि प्रयोग 1 हाइपोथेसिस ए और बी के लिए 4: 1 का संभावना अनुपात देता है, और प्रयोग 2 उन्हें 9: 1 का संभावना अनुपात देता है, तो साथ में वे 36: 1 का अनुपात देते हैं। वह सब है।
छात्र: क्या आप पी-मूल्यों के साथ ऐसा नहीं कर सकते? P = 0.05 के साथ एक प्रयोग और p = 0.01 के साथ एक और प्रयोग का मतलब यह नहीं है कि वास्तव में p <0.0005 है?
वैज्ञानिक: कोई नहीं ।
बेयॉस्वाट्स: प्रिय दर्शकों, कृपया मेरी अभिमानी मुस्कान पर ध्यान दें।
वैज्ञानिक: लेकिन मैं अभी भी एक प्राथमिकताओं के साथ आने की आवश्यकता के बारे में चिंतित हूं।
Bayesovets: और यह आपको इस तथ्य से ज्यादा परेशान क्यों करता है कि हर किसी ने पी के साथ एक प्रयोग और दो प्रतिकृति पर विचार करने का फैसला किया <0.01 सत्य की कसौटी?
वैज्ञानिक: आप यह कहना चाहते हैं कि प्राथमिकताओं के लिए पी-वैल्यूज़ की व्याख्या से अधिक व्यक्तिपरक कोई विकल्प नहीं है? हम्म।मैं यह कहना चाहता था कि आवश्यकता के अनुसार, p <0.001 को निष्पक्षता की गारंटी देनी चाहिए। लेकिन फिर आप जवाब देंगे कि नंबर 0.001 (0.1 या 1e-10 के बजाय) इसी तरह उंगली से चूसा जाता है।
बेयॉस्वाट्स: और मैं इसमें जोड़ता हूं कि किसी भी मनमाने ढंग से पी-वैल्यू की आवश्यकता के लिए यह कम कुशल है ताकि एक ही उंगली से एक प्राथमिकताओं को बाहर निकाल सकें। मिस्र के दंड के साथ संभाव्यता के स्वयंसिद्धों के उल्लंघनकर्ताओं को धमकी देने वाले पहले प्रमेयों में से एक 1947 में अब्राहम वाल्ड ने साबित किया था। उन्होंने सभी स्वीकार्य रणनीतियों का वर्णन करने की कोशिश की , जो आप देख रहे हैं, उस पर प्रतिक्रिया करने के लिए रणनीति को किसी तरह से कॉल करना। बेशक, अलग-अलग परिस्थितियों में अलग-अलग रणनीति कम या ज्यादा लाभदायक हो सकती है। स्वीकार्य रणनीतिउन्होंने कहा कि सभी संभावित परिस्थितियों में किसी अन्य रणनीति का प्रभुत्व नहीं है। तो, वाल्ड ने पाया कि स्वीकार्य रणनीतियों का वर्ग रणनीतियों के वर्ग के साथ मेल खाता है जिसमें संभाव्यता वितरण शामिल है, इसे बायेसियन नियम द्वारा टिप्पणियों के आधार पर अपडेट करें और उपयोगिता फ़ंक्शन का अनुकूलन करें।
छात्र: क्षमा करें, क्या मैं रूसी बोल सकता हूँ?
बेयोवेट्स: यदि आप जो देख रहे हैं उसके संबंध में कुछ करते हैं और कम या ज्यादा प्राप्त करते हैं, उदाहरण के लिए, वास्तविक दुनिया जो है, उसके आधार पर पैसा, तो दोनों में से एक सच है। या तो आपकी रणनीति, एक अर्थ में, संभाव्यता वितरण है और इसे बायेसियन नियम के अनुसार अपडेट करती है, याकुछ अन्य रणनीति है जो कभी भी आपकी उपज नहीं होती है, और कभी-कभी इससे आगे निकल जाती है। उदाहरण के लिए, आप कहते हैं: "मैं धूम्रपान नहीं छोड़ूंगा, जब तक कि मैं पी <0.0001 पर धूम्रपान और कैंसर के बीच संबंध को साबित करने वाला एक लेख न देख लूं।" कम से कम सैद्धांतिक रूप से, कहने का एक तरीका है, “मेरी राय में, धूम्रपान और कैंसर के बीच लिंक 0.01% की संभावना के साथ मौजूद है। आपकी क्या जिम्मेदारियाँ हैं? ”, जो पहले से तैयार किए गए फॉर्मूले से भी बदतर नहीं होगा, चाहे वह इस तरह के कनेक्शन के अस्तित्व की प्राथमिकताओं में से कोई भी हो।
वैज्ञानिक: सच में?
Bayesovets: . ; . , P-. , -, , , .
: P- ?
: , .
: - , . — , — . , , .
: , , , . . , . P-. .
: , ?
: , . .
: -. « » «» . «» «» . , — , . — , « p<0,05» « ». , «5/6 » 3,78: 1. . , - , . P- , ! - p-hacking . , .
: -. , , , . P-, , « » . ; . P- , , , - . , , «» «».
: -. , , — . , . 0,4, « » 0,1, , . , « » .
: -. -. , . , , . , - -.
: -. , . . , — . P-hacking .
: . , , , . , , , . फिर क्या?
: . , .
: , , , .
: , , : , — .
: ?
: .
: , , ?
: .
: . , , , 300 , , 20:1 « 55% »… ?
: . , - , . , - . , 20:1 «55% » 1.4% . , , 30:1 50:1, .
: P-, . ; , ?
: … , , , . . , 3 5 - 8. , , , ( ). - , , 5 3 8. , , , . , , . 3 - 2 1 5, 1, 2. , 7 9 . — , , . 3 5, , 8. — . , , — , . , — , 3 5 7.
: , ?
: .
: e , H , !X « X», P( H ) , P( X|Y ) X , Y. , ,

P(H) = P( H|e ) * P( e )) + (P( H|!e ) * P( !e )

, p-hacking, , . , e , , !e .
: ?
: .
: , … , . , . . … . , . , ; , ( ), . -, , 1,0, 0,0001, 0,1 0.999999999999989. , 1.000000000000004. , . , , , — . . , , . , , , , 20 . , , : « . , , .»
( , ) : « », . « , , , . , , , .»
: : «, , , , . , 1920 , , . - 1920 , . , 30 ? . , . , . , , - ? , , .» , . , . , . 30 ; , ; ; , , 1920 — . — , . p-hacking.
: … . , — , . , , ; . ?
: . , , , , — — , . , P- - . - , . - , , … , P- . , . , , : , , . . , P-, — , .
: , -? - . , , P- - . , , , , , . P- . . — . , .
: , - . , - - . - , , P-, , , — . . P- - ( ) , .
: ?
: . , , - - . , P- . . , - . , Open Access. , , — . , P- ( . .: 2015 ). , . , .
: , , P- .
: , — , . , , « , , , ».
: … , ?
: , . , . , . Ergo, .
: , …
: . !