🧖🏿 👦🏻 💕 एकाधिक प्रयोग: सिद्धांत और व्यवहार 🌻 🤘 🍡

आज की दुनिया में, ए / बी परीक्षण के बिना उत्पाद विकास की कल्पना करना मुश्किल है। किसी उत्पाद या नई कार्यक्षमता को सफलतापूर्वक लॉन्च करने के लिए, आपको ए / बी को सही ढंग से डिजाइन करने, उसके परिणामों की गणना और व्याख्या करने की आवश्यकता है। कभी-कभी हमें दो से अधिक समूहों के लिए परीक्षण की आवश्यकता होती है। इस लेख में, हम इस तरह के एक मामले पर विचार करेंगे - कई परीक्षण:

हम के बारे में कैसे, कब और क्यों कई परीक्षण आचरण करना चाहिए बात;
परीक्षण के परिणामों की गणना के लिए मुख्य तरीकों पर विचार करें और गणितीय सिद्धांत जिस पर तरीके आधारित हैं;
हम तरीकों के सॉफ्टवेयर कार्यान्वयन के उदाहरण देते हैं; आप अपनी परियोजनाओं में इन उदाहरणों का उपयोग कर सकते हैं।

तो चलिए शुरू करते हैं।

एकाधिक प्रयोग: कब और क्यों

जाहिर है, प्रयोग की किसी भी तकनीकी जटिलता को व्यावहारिक आवश्यकता से उचित ठहराया जाना चाहिए। यह कई परीक्षणों पर भी लागू होता है। यदि दर्शकों को दो से अधिक उपसमूहों में विभाजित किया जाता है, तो प्रयोग के दौरान पहली तरह की त्रुटि होने की संभावना बढ़ जाती है:

1 - (1 - अ ल ् फ ा)^{ए} न,

$1 - (1 - \ अल्फा) ^ एन,$

जहाँ

ए न

$एन$ - उपसमूहों की संख्या,

अ ल ् फ ा

$\ अल्फा$ - सांख्यिकीय महत्व का एक दिया गया स्तर।
इस प्रकार, जब सामान्य जोड़ी परीक्षण में केवल एक अतिरिक्त उपसमूह जोड़ते हैं (

n = 3

$n = 3$ ) दिए गए मानक स्तर पर

अ ल ् फ ा = 0.05

$\ अल्फा = 0.05$ हमें पहली तरह की त्रुटि की संभावना मिलती है

p = 0.14

$p = 0.14$ यह हमारे लक्ष्य से काफी अधिक है

अ ल ् फ ा = 0.05

$\ अल्फा = 0.05$ ।

क्यों कई प्रयोगों आचरण करना चाहिए, अगर वे अध्ययन के परिणामों की सटीकता को कम? इसके कई कारण हो सकते हैं:

उत्पाद मैट्रिक्स पर कई परिवर्तनों और उनके संचयी प्रभाव का परीक्षण करना आवश्यक है। एक उदाहरण उपयोगकर्ता को सेवा पृष्ठ पर दो नए तत्व दिखा रहा है जो एक दूसरे के सापेक्ष अलग-अलग स्थित हैं।
परिवर्तन केवल एक समय अवधि में परीक्षण किए जा सकते हैं, क्योंकि वे दोनों अन्योन्याश्रित और साप्ताहिक मौसमी के प्रति संवेदनशील हैं। इंटर-चैनल नरभक्षण के प्रभाव की गणना करने के लिए एक उदाहरण विज्ञापन चैनलों को अक्षम कर रहा है।
ग्राहक जितनी जल्दी हो सके और सस्ता जवाब प्राप्त करना चाहता है, जो विकल्प चुना जाना चाहिए, उसी समय बचत और प्रयोग के विकास।

अगर हमें इन समस्याओं में से एक का सामना करना पड़ता है और हमें परीक्षण के लिए सांख्यिकीय महत्व की गणना करनी है - हमें कई परीक्षण के लिए सुधार की आवश्यकता पर विचार करना होगा। इसके बारे में क्या है और इसे सही कैसे करना है, और नीचे चर्चा की जाएगी।

एकाधिक प्रयोग: गणना सुविधाएँ

मूल अवधारणाएँ

सामान्य मामले पर विचार करें जब हम साथ काम कर रहे हैं

ए न

$एन$ परिकल्पना

H_{0 i}

$H_ {0i}$ ।

i = 1, . . ., n

$i = 1, ..., n$ मंझले या औसत की जोड़ीदार समानता के बारे में

ए म

$एम$ उपसमूहों। इस मामले में, सही और गलत दोनों परिणाम संभव हैं।

H_{0 i}

$H_ {0i}$

V S

$VS$

H_{} $ 1 म ै

$H_ {} $ 1 मै$ प्रत्येक के लिए

i = 1, . . ., n

$i = 1, ..., n$ परिकल्पना। परिणाम को एक उलझन मैट्रिक्स प्रयोग के रूप में प्रस्तुत करें:

$कुल$ $k - R$	$आर$	$एन$
	$H_ {0i}$ अस्वीकार नहीं किया गया	$H_ {0i}$ अस्वीकृत	$कुल$
$H_ {0i}$ सही	$यू$	$V$	$n_0$
$H_ {0i}$ झूठा	$T$	$एस$	$n_1$

इस प्रकार गलत तरीके से खारिज कर दिया गया

V

$V$ से

आ र

$आर$ बुनियादी परिकल्पनाओं को खारिज कर दिया।

इन मापदंडों के आधार पर, हम त्रुटियों की दो महत्वपूर्ण अवधारणाओं को पेश करते हैं, जिन्हें कई परीक्षण के दौरान नियंत्रित किया जाता है:

F W E R

$FWER$ और

F d r

$Fdr$ ।

समूह त्रुटि संभावना

F W E R

$FWER$ (परिवार-वार त्रुटि दर) पहली तरह की कम से कम एक त्रुटि प्राप्त करने की संभावना है और सूत्र द्वारा निर्धारित की जाती है:

F W E R = p (V > 0) ।

$FWER = p (V> 0)।$

F d r

$Fdr$ (झूठी खोज दर) मुख्य परिकल्पना के विचलन की कुल संख्या के लिए पहली तरह की त्रुटियों के अनुपात की गणितीय अपेक्षा है:

F D R = E (V / R | R > 0) ।

$FDR = E (V / R | R> 0)।$

एक मानक उत्पाद के मामले पर गौर पर इन त्रुटियों के नियंत्रण के तरीकों पर विचार करें।

केस का विवरण

एक सरल उदाहरण के रूप में, एक प्रयोग पर विचार करें जिसमें तीन अलग-थलग, असंतुष्ट उपयोगकर्ता समूहों को एक विज्ञापन के लिए कॉल बटन पर क्लिक करने की पेशकश के साथ तीन पृष्ठ विकल्प दिखाए गए थे। गणना की सादगी के लिए एक बुनियादी मीट्रिक के रूप में, हम प्रत्येक समूह में कुल कॉल लेते हैं।

आइए देखें कि अध्ययन के तहत मीट्रिक कैसे बदल गया:

अंजीर। 1. कॉल बटन दबाने की गतिशीलता का ग्राफ

हम मानक विधि का उपयोग करेंगे

ब ू ट स ् ट ् र ै प

$बूटस्ट्रैप$ नमूनों में लक्ष्य मीट्रिक के वितरण को सामान्य रूप में लाने के लिए, और नमूनों में हिस्टोग्राम और औसत मूल्यों के रेंज चार्ट देखें:

अंजीर। 2. समूहों में औसत मूल्यों के वितरण का हिस्टोग्राम

अंजीर। 3. समूहों में औसत मूल्यों की सीमा

ग्राफ़ के आधार पर, समूह C कॉल बटन पर क्लिकों की संख्या से जीतता है। हालांकि, अगर आप है कि परिणाम के सांख्यिकीय महत्व यह सुनिश्चित करना चाहिए। ऐसा करने के लिए, हम अनुमानित मीट्रिक को सामान्य वितरण के रूप में लाते हैं और प्रयोग में समूहों की जोड़ी की तुलना के लिए सामान्य छात्र टी-मानदंड का उपयोग करते हैं, और फिर - नियंत्रण के तरीके

F W E R

$FWER$ और

F d r

$Fdr$ कई तुलनाओं के लिए सुधार के लिए खाता।

परिवार नियंत्रण

इस त्रुटि को नियंत्रित करने के कई तरीके हैं, लेकिन दो सबसे आम हैं:

1) एक साथ समायोजन के साथ एक कदम प्रक्रिया

प ी - म ू ल ् य

$पी-मूल्य$ बोनफेरोनी विधि का उपयोग कर सभी परीक्षण किए गए परिकल्पनाओं के लिए;

2) अनुक्रमिक, पुनरावृत्ति समायोजन

प ी - म ू ल ् य

$पी-मूल्य$ ग विधि के परिणाम के अनुसार हर कदम पर सी निर्णय।

1. बोनफेरोनि संशोधन

यह एक-चरणीय प्रक्रिया एक झूठे सकारात्मक प्रयोग के परिणाम की संभावना को कम करती है। विधि का सार एक वैकल्पिक परिकल्पना को स्वीकार करना है यदि:

p \geq A l p h a / n,

$p ≥ \ Alpha / n,$

जहाँ

ए न

$एन$ - परीक्षित परिकल्पनाओं की संख्या।

मानक पुस्तकालय का उपयोग करके विधि को काफी सरलता से लागू किया जा सकता है

ब ू ट स ् ट ् र ै प ् ड

$बूटस्ट्रैप्ड$ :

from bootstrapped import bootstrap as bs from bootstrapped import compare_functions as bs_cmp from bootstrapped import stats_functions as bs_st bs_ab_estims = bs.bootstrap_ab(np.array(group_A), np.array(group_B), bs_st.mean bs_cmp.difference, num_iterations=5000, alpha=0.05/3, iteration_batch_size=100, scale_test_by=1, num_threads=4) bs_bc_estims = bs.bootstrap_ab(np.array(group_B), np.array(group_C), bs_st.mean bs_cmp.difference, num_iterations=5000, alpha=0.05/3, iteration_batch_size=100, scale_test_by=1, num_threads=4) bs_ac_estims = bs.bootstrap_ab(np.array(group_A), np.array(group_C), bs_st.mean bs_cmp.difference, num_iterations=5000, alpha=0.05/3, iteration_batch_size=100, scale_test_by=1, num_threads=4)

एक सांख्यिकीय मूल्यांकन के परिणाम प्राप्त करने के बाद, हम यह निष्कर्ष निकाल सकते हैं कि समूह अलग-अलग हैं या नहीं।

दृष्टिकोण का मुख्य ऋण: अधिक उपसमूह, कसौटी की शक्ति कम, जिससे गलत परिकल्पना को स्वीकार करने की संभावना बढ़ जाती है। उदाहरण के लिए, दस परीक्षणों के लिए और

α_{i} = 0.05

$α_i = 0.05$ पाने की जरूरत है

p_{i} p 510^{-} 3

$p_i p 510 ^ -3$ यह कहना कि अंतर महत्वपूर्ण है। इन कमियों को पूरा करने के लिए, आप पहाड़ी विधि चुन सकते हैं।

2. पहाड़ी विधि

यह नीचे की ओर क्रमिक परिवर्तन प्रक्रिया है।

प ी - म ू ल ् य

$पी-मूल्य$ । विधि एल्गोरिथ्म के पहले चरण में, वास्तविक

प ी - म ू ल ् य

$पी-मूल्य$ आरोही क्रमबद्ध:

p_{1} p \cdot \cdot \cdot \leq p_{n},

$p_1 p · · · ≤ p_n,$

फिर मूल

अ ल ् फ ा

$\ अल्फा$ स्तर:

A l p h a_{i}^{^{'}} = A l p h a / (n - i + 1),

$\ Alpha ^ {'} _ i = \ Alpha / (n - i + 1),$

जिसके बाद हालत की जाँच की जाती है

p_{i} p a l p h a_{i}^{^{'}}

$p_i p \ alpha ^ {'} _ i$ और निष्कर्ष निकाला है कि क्या मुख्य परिकल्पना सच है

H_{0 i}

$H_ {0i}$ ।

एल्गोरिथम ब्रेकपॉइंट - वह क्षण जब मैं पहली मुख्य परिकल्पना को स्वीकार करता हूं

H_{0 i}

$H_ {0i}$ , और सब बाद में

H_{0 j}, j > i

$H_ {0j}, j> i$ ।
आप प्रक्रिया का उपयोग करके इस विधि को लागू कर सकते हैं

ब ह ु स ् त र ी य ()

$बहुस्तरीय ()$ पुस्तकालय से

स ् ट ै ट म ो ड े ल

$स्टैटमोडेल$ पैरामीटर के साथ

व ि ध ि =" ह ो ल ् म "

$विधि = "होल्म"$ :

 from bootstrapped import bootstrap as bs from bootstrapped import stats_functions as bs_st from scipy.stats import ttest_ind from statsmodels.sandbox.stats.multicomp import multipletests bs_a = bs.bootstrap(np.array(group_A), stat_func=bs_st.mean, num_iterations=10000, iteration_batch_size=300, return_distribution=True) bs_b = bs.bootstrap(np.array(group_B), stat_func=bs_st.mean, num_iterations=10000, iteration_batch_size=300, return_distribution=True) bs_c = bs.bootstrap(np.array(group_C), stat_func=bs_st.mean, num_iterations=10000, iteration_batch_size=300, return_distribution=True) stat_ab, p_ab = stats.ttest_ind(pd.DataFrame(bs_a), pd.DataFrame(bs_b)) stat_bc, p_bc = stats.ttest_ind(pd.DataFrame(bs_b), pd.DataFrame(bs_c)) stat_ac, p_ac = stats.ttest_ind(pd.DataFrame(bs_a), pd.DataFrame(bs_c)) print(sorted([p_ab, p_bc, p_ac])) print("FWER: " + str(multipletests(sorted([p_ab, p_bc, p_ac]), alpha=0.05, method='holm', is_sorted = True)))

एफडीआर नियंत्रण

नियंत्रण

F d r

$Fdr$ इसका मतलब है कि हालत संतुष्ट है

F D R = E (V / R) < A l p h a

$FDR = E (V / R) <\ Alpha$ । उसी समय

F D R F F W E R

$FDR F FWER$ , अर्थात्, नियंत्रण में पहली-क्रम त्रुटि प्राप्त करने की संभावना

F d r

$Fdr$ घट जाती है।

बेंजामिनी-होचबर्ग विधि

इस बॉटम-अप प्रक्रिया में एक क्रमिक परिवर्तन शामिल है।

प ी - म ू ल ् य

$पी-मूल्य$ पूर्व क्रमबद्ध आरोही:

p_{1} p \cdot श ो ध क \leq p_{n} ।

$p_1 p · शोधक ≤ p_n।$

फिर स्रोत

α

$α$ -वेल सूत्र द्वारा समायोजित किया गया है:

अ ल ् फ ा_{i}^{^{'}} = i \cdot अ ल ् फ ा / ए न,

$\ अल्फा ^ {'} _ i = i · \ अल्फा / एन,$

फिर, जैसे होल्म विधि में, स्थिति की जाँच की जाती है

p_{i} p a l p h a_{i}^{^{'}}

$p_i p \ alpha ^ {'} _ i$ और निष्कर्ष निकाला है कि क्या मुख्य परिकल्पना सच है

H_{0 i}

$H_ {0i}$ और सभी बाद में

H_{0 j}, j > i

$H_ {0j}, j> i$ ।

बेंजामिनी-होचबर्ग विधि, साथ ही साथ होल्म विधि, प्रक्रिया का उपयोग करके लागू की जा सकती है

ब ह ु स ् त र ी य ()

$बहुस्तरीय ()$ :

 print("FDR: " + str(multipletests([p_ab, p_bc, p_ac], alpha=0.05, method='fdr_bh', is_sorted = False)))

निष्कर्ष

लेख में हमने कई परीक्षणों के परिणामों के मूल्यांकन के लिए मुख्य तरीकों के बारे में बात की और इन तरीकों को लागू करने वाले प्रोग्राम कोड के उदाहरण दिए। हम आशा करते हैं कि आपने लाभ और रुचि के साथ समय बिताया है और वर्णित प्रक्रियाओं को व्यवहार में लाने में सक्षम होंगे। और यदि आपके कोई प्रश्न हैं, तो हमें उनका उत्तर देने में खुशी होगी।

आपका ध्यान के लिए धन्यवाद!

एकाधिक प्रयोग: सिद्धांत और व्यवहार