जब यह कोई कम प्रभावशीलता की परिकल्पना की जाँच के लायक है?

सिलाई फिक्स टीम के एक लेख से पता चलता है कि विपणन और उत्पाद ए / बी परीक्षणों में गैर-हीनता परीक्षण नैदानिक ​​अनुसंधान दृष्टिकोण का उपयोग किया जाता है। यह दृष्टिकोण वास्तव में तब लागू होता है जब हम एक नए समाधान का परीक्षण करते हैं जिसमें ऐसे लाभ होते हैं जो परीक्षणों द्वारा मापने योग्य नहीं होते हैं।

सबसे सरल उदाहरण हड्डी का नुकसान है। उदाहरण के लिए, हम पहले पाठ को असाइन करने की प्रक्रिया को स्वचालित करते हैं, लेकिन हम रूपांतरण को अधिक नहीं छोड़ना चाहते हैं। या हम उन परिवर्तनों का परीक्षण करते हैं जो उपयोगकर्ताओं के एक सेगमेंट पर केंद्रित होते हैं, जबकि यह सुनिश्चित करते हुए कि अन्य सेगमेंट के रूपांतरण बहुत अधिक नहीं डूबते हैं (जब कई परिकल्पनाओं का परीक्षण करते हैं, तो सुधारों के बारे में मत भूलना)।

बिना कम दक्षता के सही सीमा का चयन करना परीक्षण डिजाइन चरण में अतिरिक्त कठिनाइयों को जोड़ता है। लेख में Δ का चयन कैसे करें के सवाल का अच्छी तरह से खुलासा नहीं किया गया है। ऐसा लगता है कि यह विकल्प नैदानिक ​​परीक्षणों में पूरी तरह से पारदर्शी नहीं है। गैर-हीनता पर चिकित्सा प्रकाशनों की समीक्षा बताती है कि केवल आधे प्रकाशनों में सीमा का चुनाव उचित है और अक्सर ये औचित्य अस्पष्ट या विस्तृत नहीं होते हैं।

किसी भी मामले में, यह दृष्टिकोण दिलचस्प लगता है, क्योंकि आवश्यक नमूना आकार को कम करके, यह परीक्षण की गति बढ़ा सकता है, और, इसलिए, निर्णय लेने की गति। - डारिया मुखिना, स्काईेंग मोबाइल ऐप के लिए उत्पाद विश्लेषक।

स्टिच फिक्स टीम को विभिन्न चीजों का परीक्षण करना पसंद है। संपूर्ण प्रौद्योगिकी समुदाय, सिद्धांत रूप में, परीक्षण करना पसंद करता है। साइट का कौन सा संस्करण अधिक उपयोगकर्ताओं को आकर्षित करता है - ए या बी? क्या संस्करण A की अनुशंसा मॉडल संस्करण B से अधिक धन लाती है? लगभग हमेशा, परिकल्पना का परीक्षण करने के लिए, हम एक बुनियादी सांख्यिकी पाठ्यक्रम से सबसे सरल दृष्टिकोण का उपयोग करते हैं:



यद्यपि हम शायद ही कभी इस शब्द का उपयोग करते हैं, लेकिन परीक्षण के इस रूप को "श्रेष्ठता परीक्षण की परिकल्पना" कहा जाता है। इस दृष्टिकोण के साथ, हम मानते हैं कि दोनों विकल्पों में कोई अंतर नहीं है। हम इस विचार का पालन करते हैं और इसे तभी मना करते हैं जब प्राप्त आंकड़े इसके लिए पर्याप्त रूप से आश्वस्त होते हैं - अर्थात, वे प्रदर्शित करते हैं कि विकल्पों में से एक (ए या बी) दूसरे की तुलना में बेहतर है।

श्रेष्ठता परिकल्पना का परीक्षण कई समस्याओं को हल करने के लिए उपयुक्त है। हम अनुशंसा मॉडल के बी-संस्करण को केवल तभी जारी करते हैं यदि यह स्पष्ट रूप से पहले से उपयोग किए गए संस्करण ए से बेहतर है लेकिन कुछ मामलों में यह दृष्टिकोण भी काम नहीं करता है। आइए कुछ उदाहरण देखें।

1) हम एक तृतीय-पक्ष सेवा का उपयोग करते हैं जो नकली बैंक कार्ड की पहचान करने में मदद करता है। हमें एक और सेवा मिली जिसकी लागत काफी कम है। यदि एक सस्ती सेवा काम करती है और साथ ही अब हम उपयोग करते हैं, तो हम इसे चुनेंगे। इसे इस्तेमाल की जाने वाली सेवा से बेहतर होना जरूरी नहीं है।

2) हम डेटा स्रोत ए को छोड़ना चाहते हैं और इसे डेटा स्रोत बी के साथ बदलना चाहते हैं । हम बी को छोड़ने में देरी कर सकते हैं यदि बी बहुत खराब परिणाम पैदा करता है, लेकिन ए का उपयोग जारी रखना संभव नहीं है।

3) हम ए से ए बी तक पहुंचने के लिए मॉडलिंग ए से एप्रोच की ओर बढ़ना चाहते हैं क्योंकि हम बी से बेहतर परिणाम की उम्मीद करते हैं, लेकिन क्योंकि इससे हमें शानदार परिचालन लचीलापन मिलता है। हमारे पास यह मानने का कोई कारण नहीं है कि बी बदतर होगा, लेकिन अगर यह मामला है तो हम संक्रमण शुरू नहीं करेंगे।

4) हमने वेबसाइट डिजाइन (संस्करण बी) में कई गुणात्मक परिवर्तन किए और हम मानते हैं कि यह संस्करण संस्करण ए से बेहतर है। हम रूपांतरण या किसी भी महत्वपूर्ण प्रदर्शन संकेतक में बदलाव की उम्मीद नहीं करते हैं जिसके द्वारा हम आमतौर पर वेबसाइट का मूल्यांकन करते हैं। लेकिन हम मानते हैं कि मापदंडों में फायदे हैं जो या तो अथाह हैं, या हमारी प्रौद्योगिकियां मापने के लिए पर्याप्त नहीं हैं।

इन सभी मामलों में, उत्कृष्टता पर शोध करना सबसे अच्छा समाधान नहीं है। लेकिन इन स्थितियों में अधिकांश विशेषज्ञ इसे डिफ़ॉल्ट रूप से उपयोग करते हैं। हम प्रभाव के परिमाण को सही ढंग से निर्धारित करने के लिए सावधानीपूर्वक एक प्रयोग करते हैं। यदि यह सच था कि संस्करण ए और बी बहुत समान रूप से काम करते हैं, तो एक मौका है कि हम अशक्त परिकल्पना को अस्वीकार नहीं कर पाएंगे। क्या हम यह निष्कर्ष निकालते हैं कि A और B समान रूप से काम करते हैं? नहीं! अशक्त परिकल्पना को अस्वीकार करने और अशक्त परिकल्पना को अपनाने में असमर्थता एक ही बात नहीं है।

नमूना आकार की गणना (जो आप, निश्चित रूप से, की जाती है) आमतौर पर पहली तरह की त्रुटि (शून्य परिकल्पना के गलत अस्वीकृति की संभावना, जिसे अक्सर अल्फा कहा जाता है) के लिए किया जाता है, दूसरी त्रुटि के लिए (शून्य परिकल्पना को अस्वीकार करने में विफलता की संभावना से) यह मानते हुए कि शून्य परिकल्पना गलत है, जिसे अक्सर बीटा कहा जाता है)। अल्फा के लिए विशिष्ट मान 0.05 है, जबकि बीटा के लिए विशिष्ट मूल्य 0.20 है, जो 0.80 की सांख्यिकीय शक्ति से मेल खाती है। इसका मतलब यह है कि हम अपने मूल्य की वास्तविक प्रभाव का पता लगा सकते हैं, जिसे हमने अपनी शक्ति गणना में 20% की संभावना के साथ दर्शाया है और यह एक गंभीर सूचना अंतराल है। एक उदाहरण के रूप में, आइए निम्नलिखित परिकल्पनाओं पर विचार करें:



H0: मेरा बैकपैक मेरे कमरे में नहीं है (3)
H1: मेरा बैकपैक मेरे कमरे में है (4)

अगर मैंने अपना कमरा खोजा और अपना बैग पाया - तो ठीक है, मैं अशक्त परिकल्पना को मना कर सकता हूं। लेकिन अगर मैंने कमरे के चारों ओर देखा और मेरे बैग (चित्र 1) को नहीं पाया, तो मुझे क्या निष्कर्ष निकालना चाहिए? क्या मुझे यकीन है कि वह वहां नहीं है? क्या मैंने पर्याप्त खोज की है? क्या होगा अगर मैंने कमरे का केवल 80% ही खोजा? यह निष्कर्ष निकालना कि बैकपैक निश्चित रूप से कमरे में नहीं है, एक कठोर निर्णय होगा। आश्चर्य की बात नहीं, हम "शून्य परिकल्पना को स्वीकार नहीं कर सकते।"

जिस क्षेत्र को हमने खोजा
हमें एक बैकपैक नहीं मिला - क्या हमें शून्य परिकल्पना को स्वीकार करना चाहिए?

चित्रा 1. 80% की क्षमता के साथ एक अध्ययन आयोजित करने के रूप में कमरे के 80% की खोज उसी के बारे में है। यदि आपको एक बैकपैक नहीं मिला, तो कमरे के 80% की जांच की, क्या यह निष्कर्ष निकालना संभव है कि यह वहां नहीं है?

तो इस स्थिति में एक डेटा विशेषज्ञ क्या करता है? आप अनुसंधान शक्ति को बहुत बढ़ा सकते हैं, लेकिन फिर आपको बहुत बड़े नमूने की आवश्यकता होगी, और परिणाम अभी भी असंतोषजनक होगा।

सौभाग्य से, नैदानिक ​​अनुसंधान की दुनिया में ऐसी समस्याओं का लंबे समय तक अध्ययन किया गया है। ड्रग बी दवा ए से सस्ता है; ड्रग बी से दवा ए की तुलना में कम दुष्प्रभाव होने की उम्मीद है; ड्रग बी परिवहन के लिए आसान है क्योंकि इसे रेफ्रिजरेटर में संग्रहीत करने की आवश्यकता नहीं है, और ड्रग ए की आवश्यकता है। हम बिना किसी कम दक्षता के परिकल्पना का परीक्षण करते हैं। यह दिखाने के लिए आवश्यक है कि संस्करण बी संस्करण ए के रूप में अच्छा है - कम से कम "कोई कम दक्षता", that की एक निश्चित पूर्व निर्धारित सीमा के भीतर नहीं। थोड़ी देर बाद हम इस बारे में अधिक बात करेंगे कि यह सीमा कैसे तय की जाए। लेकिन अब मान लीजिए कि यह सबसे छोटा अंतर है जो व्यावहारिक रूप से महत्वपूर्ण है (नैदानिक ​​परीक्षणों के संदर्भ में, इसे आमतौर पर नैदानिक ​​प्रासंगिक कहा जाता है)।

कोई कम दक्षता की परिकल्पना सब कुछ उल्टा कर देती है:



अब, यह मानने के बजाय कि कोई अंतर नहीं है, हम मानते हैं कि संस्करण B संस्करण A की तुलना में खराब है, और हम इस धारणा से चिपके रहेंगे जब तक कि हम यह प्रदर्शित नहीं करते कि यह नहीं है। यह ठीक उसी क्षण है जब यह एकतरफा परिकल्पना के परीक्षण का उपयोग करने के लिए समझ में आता है! व्यवहार में, यह एक आत्मविश्वास अंतराल का निर्माण करके निर्धारित किया जा सकता है कि क्या अंतराल वास्तव में Δ (चित्रा 2) से अधिक है।

Δ चयन

Δ कैसे चुनें? चयन प्रक्रिया selection में एक सांख्यिकीय औचित्य और एक विषय मूल्यांकन शामिल है। नैदानिक ​​परीक्षणों की दुनिया में मानक सिफारिशें हैं, जिसमें से यह निम्नानुसार है कि डेल्टा को सबसे छोटा नैदानिक ​​रूप से महत्वपूर्ण अंतर होना चाहिए - जो व्यवहार में प्रासंगिक होगा। यहां यूरोपीय नेतृत्व का एक उद्धरण है, जिसके साथ आप खुद को जांच सकते हैं: “यदि अंतर को सही ढंग से चुना गया था, तो एक आत्मविश्वास अंतराल जो पूरी तरह से-completely और 0 के बीच है ... अभी भी कम दक्षता प्रदर्शित करने के लिए पर्याप्त है। यदि यह परिणाम स्वीकार्य नहीं लगता है, तो इसका मतलब है कि not उचित रूप से नहीं चुना गया था। ”

डेल्टा निश्चित रूप से सच्चे नियंत्रण (प्लेसबो / उपचार की कमी) के संबंध में संस्करण ए के प्रभाव की मात्रा से अधिक नहीं होना चाहिए, क्योंकि यह हमें विश्वास दिलाता है कि संस्करण बी वास्तविक नियंत्रण से भी बदतर है और साथ ही साथ "कोई कम दक्षता" नहीं दिखाता है। मान लीजिए कि जब संस्करण ए पेश किया गया था, तो संस्करण 0 अपनी जगह पर था या फ़ंक्शन बिल्कुल मौजूद नहीं था (चित्र 3 देखें)।

श्रेष्ठता की परिकल्पना के परीक्षण के परिणामों के आधार पर, प्रभाव ई की भयावहता का पता चला था (अर्थात, संभवतः μ ^ ए - μ ^ 0 = ई)। अब ए हमारा नया मानक है, और हम यह सुनिश्चित करना चाहते हैं कि बी ए से नीच नहीं है। μB - μAΔ - ≤ (शून्य परिकल्पना) लिखने का एक और तरीका μB≤μA - standard है। यदि हम मान लेते हैं कि करना E के बराबर या उससे अधिक है, तो μB - μA - E bo प्लेसेबो है। अब हम देखते हैं कि μB के लिए हमारा अनुमान पूरी तरह से μA - E से अधिक है, जो पूरी तरह से अशक्त परिकल्पना का खंडन करता है और हमें यह निष्कर्ष निकालने की अनुमति देता है कि B A से हीन नहीं है, लेकिन एक ही समय में, μB place μb हो सकता है, लेकिन यह नहीं है हमें क्या चाहिए (आंकड़ा 3)।


चित्रा 3. बिना कम दक्षता के सीमा चुनने के जोखिमों का प्रदर्शन। यदि सीमा बहुत बड़ी है, तो हम यह निष्कर्ष निकाल सकते हैं कि बी ए से नीच नहीं है, लेकिन एक ही समय में प्लेसिबो के साथ अप्रभेद्य है। हम दवा को नहीं बदलेंगे, जो स्पष्ट रूप से प्लेसबो (ए) की तुलना में अधिक प्रभावी है, दवा पर, जिसमें प्लेसबो की समान प्रभावशीलता है।

Α का चयन

हम α की पसंद से गुजरते हैं। आप मानक मान α = 0.05 का उपयोग कर सकते हैं, लेकिन यह पूरी तरह से ईमानदार नहीं है। उदाहरण के लिए, जब आप इंटरनेट पर कुछ खरीदते हैं और एक साथ कई डिस्काउंट कोड का उपयोग करते हैं, हालांकि उन्हें संक्षेप में प्रस्तुत नहीं किया जाना चाहिए, तो डेवलपर ने केवल एक गलती की और आप इसके साथ भाग गए। नियमों के अनुसार, α का मूल्य α के आधे मूल्य के बराबर होना चाहिए, जिसका उपयोग श्रेष्ठता की परिकल्पना का परीक्षण करने के लिए किया जाता है, अर्थात 0.05 / 2 = 0.025।

नमूना आकार

कैसे नमूना आकार का अनुमान लगाने के लिए? यदि आपको लगता है कि ए और बी के बीच का वास्तविक औसत अंतर 0 है, तो नमूना आकार की गणना उसी तरह की जाएगी जब श्रेष्ठता की परिकल्पना का परीक्षण किया जाता है, सिवाय इसके कि आप प्रभाव आकार को कम दक्षता की सीमा के साथ प्रतिस्थापित करते हैं, बशर्ते कि आप α कोई कम दक्षता = १/२ श्रेष्ठता (αnon-inferiority = १/२ श्रेष्ठ) का उपयोग करें। यदि आपके पास यह विश्वास करने का कारण है कि विकल्प B विकल्प A की तुलना में थोड़ा खराब हो सकता है, लेकिन आप यह साबित करना चाहते हैं कि यह Δ से अधिक नहीं है, तो आप भाग्य में हैं! वास्तव में, यह आपके नमूने के आकार को कम करता है, क्योंकि यह प्रदर्शित करना आसान है कि बी ए से भी बदतर है यदि आप वास्तव में सोचते हैं कि यह थोड़ा खराब है और समकक्ष नहीं है।

समाधान उदाहरण

मान लीजिए कि आप संस्करण B में अपग्रेड करना चाहते हैं, बशर्ते कि यह 5-बिंदु वाले ग्राहक संतुष्टि पैमाने पर संस्करण A से 0.1 अंक से अधिक खराब हो ... हम श्रेष्ठता परिकल्पना का उपयोग करते हुए इस कार्य से संपर्क करेंगे।

श्रेष्ठता की परिकल्पना का परीक्षण करने के लिए, हम नमूना आकार की गणना निम्नानुसार करेंगे:



यही है, यदि आपके पास अपने समूह में 2103 अवलोकन हैं, तो आप 90% सुनिश्चित हो सकते हैं कि आपको 0.10 या उससे अधिक का प्रभाव मिलेगा। लेकिन अगर आपके लिए 0.10 का मूल्य बहुत बड़ा है, तो शायद आपको इसके लिए श्रेष्ठता की परिकल्पना का परीक्षण नहीं करना चाहिए। शायद, विश्वसनीयता के लिए, आप एक छोटे प्रभाव के आकार के लिए एक अध्ययन करने का निर्णय लेते हैं, उदाहरण के लिए, 0.05। इस मामले में, आपको 8407 टिप्पणियों की आवश्यकता होगी, अर्थात, नमूना लगभग 4 गुना बढ़ जाएगा। लेकिन क्या होगा यदि हम अपने मूल नमूना आकार से चिपके रहते हैं, लेकिन पॉवर को बढ़ाकर 0.99 कर देते हैं ताकि सकारात्मक परिणाम मिलने पर हमें संदेह न हो? इस मामले में, एक समूह के लिए n 3676 होगा, जो बेहतर है, लेकिन नमूना आकार 50% से अधिक बढ़ाता है। और परिणामस्वरूप, हम सभी समान रूप से शून्य परिकल्पना का खंडन नहीं कर सकते हैं, और हमारे प्रश्न का उत्तर नहीं मिलता है।

क्या होगा अगर, इसके बजाय, हम कोई कम प्रभावशीलता की परिकल्पना का परीक्षण करते हैं?



नमूना आकार की गणना हर सूत्र के अपवाद के साथ एक ही सूत्र का उपयोग करके की जाएगी।
श्रेष्ठता परिकल्पना का परीक्षण करने के लिए प्रयुक्त सूत्र से अंतर इस प्रकार हैं:

- Z1 - α / 2 को Z1 - α द्वारा बदल दिया जाता है, लेकिन यदि आप नियमों के अनुसार सब कुछ करते हैं, तो आप α = 0.05 को α = 0.025 से प्रतिस्थापित करते हैं, अर्थात, यह एक ही संख्या है (1.96)

- हर में दिखाई देता है (μB - μA)

- - (प्रभाव का परिमाण) itude द्वारा प्रतिस्थापित किया जाता है (कोई कम दक्षता की सीमा नहीं)

अगर हम मान लें कि =B = ,A, तो (µB - =A) = 0 और बिना किसी दक्षता के एक सीमा के लिए नमूना आकार की गणना करना वास्तव में वैसा ही है जैसा कि 0.1 के प्रभाव मूल्य के लिए श्रेष्ठता की गणना करते समय हमें मिलेगा! हम विभिन्न परिकल्पनाओं और निष्कर्षों के लिए एक अलग दृष्टिकोण के साथ एक ही पैमाने का अध्ययन कर सकते हैं, और हमें उस प्रश्न का उत्तर मिलेगा जो हम वास्तव में उत्तर देना चाहते हैं।

अब मान लीजिए कि हम वास्तव में ऐसा नहीं सोचते हैं कि µB = doA और
हम सोचते हैं कि thinkB थोड़ा खराब है, शायद 0.01 यूनिट। यह हमारे भाजक को बढ़ाता है, प्रति समूह का नमूना आकार 1737 तक कम करता है।

यदि संस्करण B वास्तव में संस्करण A से बेहतर है तो क्या होगा? हम शून्य परिकल्पना का खंडन करते हैं कि बी more से अधिक ए से भी बदतर है और वैकल्पिक परिकल्पना को स्वीकार करते हैं कि बी, अगर बदतर, Δ से भी बदतर नहीं है, और बेहतर हो सकता है। इस निष्कर्ष को एक क्रॉस-फ़ंक्शनल प्रस्तुति में डालने का प्रयास करें और देखें कि इसमें क्या आता है (गंभीरता से, इसे आज़माएं)। ऐसी स्थिति में जहां आपको भविष्य पर ध्यान केंद्रित करने की आवश्यकता होती है, कोई भी "इससे भी बदतर नहीं" और संभवतः, बेहतर से सहमत होना चाहता है।

इस मामले में, हम एक अध्ययन कर सकते हैं, जिसे बहुत संक्षेप में कहा जाता है "परिकल्पना का परीक्षण करें कि विकल्पों में से एक दूसरे के लिए बेहतर है या इसके लिए नीचा है।" यह परिकल्पना के दो सेटों का उपयोग करता है:

पहला सेट (बिना किसी कम दक्षता के परिकल्पना का परीक्षण करते समय):



दूसरा सेट (श्रेष्ठता की परिकल्पना का परीक्षण करते समय समान):



हम दूसरी परिकल्पना का परीक्षण तभी करते हैं जब पहले को अस्वीकार कर दिया जाता है। अनुक्रमिक परीक्षण में, हम पहले प्रकार (α) की त्रुटियों के समग्र स्तर को बनाए रखते हैं। व्यवहार में, यह इस बात के लिए 95% विश्वास अंतराल बनाकर प्राप्त किया जा सकता है कि क्या पूरा अंतराल-inter से अधिक है और यह निर्धारित करने के लिए जाँच करता है। यदि अंतराल-not से अधिक नहीं है, तो हम शून्य मान को अस्वीकार नहीं कर सकते और रोक नहीं सकते। यदि पूरा अंतराल वास्तव में really से अधिक है, तो हम जारी रखते हैं और देखते हैं कि क्या अंतराल में 0 है।

एक अन्य प्रकार का शोध है जिस पर हमने चर्चा नहीं की है - तुल्यता अध्ययन।

इस प्रकार के अध्ययनों को बिना कम प्रभावशीलता और इसके विपरीत की परिकल्पना का परीक्षण करने के लिए अध्ययन द्वारा प्रतिस्थापित किया जा सकता है, लेकिन वास्तव में उनमें एक महत्वपूर्ण अंतर है। बिना कम दक्षता की परिकल्पना का परीक्षण करने के लिए एक परीक्षण का उद्देश्य है कि बी विकल्प कम से कम उतना ही अच्छा है जितना कि ए। और एक तुल्यता अध्ययन का उद्देश्य यह दिखाना है कि बी कम से कम ए के रूप में अच्छा है, और विकल्प A, B जितना अच्छा है, जो अधिक जटिल है। संक्षेप में, हम यह निर्धारित करने की कोशिश कर रहे हैं कि क्या पूरे आत्मविश्वास अंतराल we और trying के बीच के अंतर के लिए निहित है। इस तरह के अध्ययनों के लिए एक बड़े नमूने के आकार की आवश्यकता होती है और अक्सर कम होते हैं। इसलिए, अगली बार जब आप एक अध्ययन करेंगे जिसमें आपका मुख्य कार्य यह सुनिश्चित करना है कि नया संस्करण खराब नहीं है, तो "अशक्त परिकल्पना का खंडन करने में असमर्थता" के लिए व्यवस्थित न हों। यदि आप वास्तव में महत्वपूर्ण परिकल्पना का परीक्षण करना चाहते हैं। विभिन्न विकल्पों पर विचार करें।