🏈 👨‍💻 🍿 नमूनाकरण और गणना सटीकता ♐️ 🖕🏽 🧓

मेरे कई सहयोगियों को इस समस्या का सामना करना पड़ रहा है कि किसी प्रकार की मीट्रिक की गणना करने के लिए, उदाहरण के लिए, रूपांतरण दर, आपको पूरे डेटाबेस को मान्य करना होगा। या आपको प्रत्येक ग्राहक के लिए एक विस्तृत अध्ययन करने की आवश्यकता है, जहां लाखों ग्राहक हैं। इस तरह के केरी काफी समय तक काम कर सकते हैं, यहां तक कि विशेष रूप से बनाए गए रिपॉजिटरी में भी। 5-15-40 मिनट तक इंतजार करना बहुत मजेदार नहीं है जब तक कि एक साधारण मीट्रिक को यह पता लगाने के लिए नहीं किया जाता है कि आपको कुछ और गणना करने या कुछ और जोड़ने की आवश्यकता है।

इस समस्या का एक समाधान नमूनाकरण है: हम पूरे डेटा ऐरे पर अपनी मीट्रिक की गणना करने का प्रयास नहीं कर रहे हैं, लेकिन एक उपसमुच्चय लेते हैं जो हमें आवश्यक मीट्रिक का प्रतिनिधित्व करता है। यह नमूना हमारे डेटा सरणी से 1000 गुना छोटा हो सकता है, लेकिन यह उन संख्याओं को दिखाने के लिए पर्याप्त है, जिनकी हमें आवश्यकता है।

इस लेख में, मैंने यह प्रदर्शित करने का निर्णय लिया कि नमूना आकार अंतिम मीट्रिक त्रुटि को कैसे प्रभावित करता है।

समस्या

मुख्य प्रश्न यह है: नमूना "जनसंख्या" का कितना अच्छा वर्णन करता है? चूंकि हम एक सामान्य सरणी से नमूना लेते हैं, इसलिए हम जो मैट्रिक्स प्राप्त करते हैं, वे यादृच्छिक चर होते हैं। विभिन्न नमूने हमें अलग-अलग मीट्रिक परिणाम देंगे। अलग, का कोई मतलब नहीं है। प्रायिकता सिद्धांत हमें बताता है कि नमूने द्वारा प्राप्त मीट्रिक मूल्यों को एक निश्चित स्तर की त्रुटि के साथ वास्तविक मीट्रिक मूल्य (पूरे नमूने पर बनाया गया) के आसपास समूहीकृत किया जाना चाहिए। इसके अलावा, हमारे पास अक्सर समस्याएं होती हैं जहां एक अलग त्रुटि स्तर के साथ तिरस्कृत किया जा सकता है। यह पता लगाना एक बात है कि क्या हमें 50% या 10% का रूपांतरण मिलता है, और 50.01% बनाम 50.02% की सटीकता के साथ परिणाम प्राप्त करना दूसरी बात है।

यह दिलचस्प है कि सिद्धांत के दृष्टिकोण से, पूरे नमूने पर हमारे द्वारा मनाया गया रूपांतरण गुणांक भी एक यादृच्छिक संचरण है, क्योंकि "सैद्धांतिक" रूपांतरण दर की गणना केवल अनंत आकार के नमूने पर की जा सकती है। इसका मतलब यह है कि डेटाबेस में हमारे सभी अवलोकन वास्तव में उनकी सटीकता के साथ रूपांतरण का अनुमान देते हैं, हालांकि यह हमें लगता है कि ये हमारे गणना किए गए नंबर बिल्कुल सटीक हैं। यह इस निष्कर्ष पर भी पहुंचता है कि भले ही आज रूपांतरण दर कल से भिन्न हो, लेकिन इसका मतलब यह नहीं है कि कुछ बदल गया है, लेकिन इसका मतलब केवल यह है कि वर्तमान नमूना (डेटाबेस में सभी अवलोकन) सामान्य आबादी (सभी संभव) से है इस दिन के लिए अवलोकन, जो हुआ और नहीं हुआ) ने कल की तुलना में थोड़ा अलग परिणाम दिया। किसी भी मामले में, किसी भी ईमानदार उत्पाद या विश्लेषक के लिए, यह एक मूल परिकल्पना होनी चाहिए।

कार्य विवरण

मान लें कि हमारे पास 0/1 प्रकार के डेटाबेस में 1,000,000 रिकॉर्ड हैं, जो हमें बताते हैं कि क्या किसी घटना पर रूपांतरण हुआ है। फिर रूपांतरण दर केवल 1 का योग है जो 1 मिलियन से विभाजित है।

प्रश्न: यदि हम आकार N का एक नमूना लेते हैं, तो रूपांतरण दर पूरे नमूने में कितनी और किस संभावना से भिन्न होगी?

सैद्धांतिक विचार

एक द्विपद वितरण के लिए दिए गए आकार के नमूने के लिए रूपांतरण गुणांक के विश्वास अंतराल की गणना करने के लिए कार्य को कम किया जाता है।

सिद्धांत से, द्विपद वितरण के लिए मानक विचलन है:
S = sqrt (p * (1 - p) / N)

जहाँ
पी - रूपांतरण दर
एन - नमूना आकार
एस - मानक विचलन

मैं सिद्धांत से प्रत्यक्ष विश्वास अंतराल पर विचार नहीं करूंगा। एक जटिल और भ्रामक मटन है, जो अंततः मानक विचलन और विश्वास अंतराल के अंतिम अनुमान से संबंधित है।

आइए मानक विचलन सूत्र के बारे में "अंतर्ज्ञान" विकसित करें:

बड़ा नमूना आकार, त्रुटि छोटा है। इस मामले में, त्रुटि उलटा द्विघात निर्भरता में आती है, अर्थात। नमूना को 4 गुना बढ़ाने से सटीकता केवल 2 गुना बढ़ जाती है। इसका मतलब यह है कि कुछ बिंदु पर नमूना का आकार बढ़ाने से कोई विशेष लाभ नहीं होगा, और इसका मतलब यह भी है कि एक उचित नमूना के साथ एक उच्च सटीकता प्राप्त की जा सकती है।

रूपांतरण दर के मूल्य पर त्रुटि की निर्भरता है। सापेक्ष त्रुटि (जो कि रूपांतरण दर के मूल्य में त्रुटि का अनुपात है) में "विले" प्रवृत्ति अधिक होती है, रूपांतरण दर कम होती है:

जैसा कि हम देखते हैं, त्रुटि कम रूपांतरण दर के साथ आकाश में "उड़ जाती है"। इसका मतलब है कि यदि आप दुर्लभ घटनाओं का नमूना लेते हैं, तो आपको बड़े नमूना आकारों की आवश्यकता होती है, अन्यथा आपको बहुत बड़ी त्रुटि के साथ रूपांतरण का अनुमान मिलेगा।

मोडलिंग

हम पूरी तरह से सैद्धांतिक समाधान से दूर जा सकते हैं और समस्या को "सिर पर" हल कर सकते हैं। आर भाषा के लिए धन्यवाद, अब यह करना बहुत आसान है। प्रश्न का उत्तर देने के लिए, नमूना लेते समय हमें क्या त्रुटि मिलती है, आप सिर्फ एक हजार नमूने कर सकते हैं और देखें कि हमें क्या त्रुटि मिलती है।

दृष्टिकोण यह है:

हम विभिन्न रूपांतरण दर लेते हैं (0.01% से 50% तक)।
हम नमूने में 10, 100, 1000, 10000, 50,000, 100,000, 250,000, 500,000 तत्वों के 1000 नमूने लेते हैं
हम नमूनों के प्रत्येक समूह के लिए रूपांतरण दर की गणना करते हैं (1000 गुणांक)
हम नमूनों के प्रत्येक समूह के लिए एक हिस्टोग्राम का निर्माण करते हैं और यह निर्धारित करते हैं कि 60%, 80% और 90% मनाया रूपांतरण दर झूठ हैं।

आर कोड जनरेटिंग डेटा:

sample.size <- c(10, 100, 1000, 10000, 50000, 100000, 250000, 500000) bootstrap = 1000 Error <- NULL len = 1000000 for (prob in c(0.0001, 0.001, 0.01, 0.1, 0.5)){ CRsub <- data.table(sample_size = 0, CR = 0) v1 = seq(1,len) v2 = rbinom(len, 1, prob) set = data.table(index = v1, conv = v2) print(paste('probability is: ', prob)) for (j in 1:length(sample.size)){ for(i in 1:bootstrap){ ss <- sample.size[j] subset <- set[round(runif(ss, min = 1, max = len),0),] CRsample <- sum(subset$conv)/dim(subset)[1] CRsub <- rbind(CRsub, data.table(sample_size = ss, CR = CRsample)) } print(paste('sample size is:', sample.size[j])) q <- quantile(CRsub[sample_size == ss, CR], probs = c(0.05,0.1, 0.2, 0.8, 0.9, 0.95)) Error <- rbind(Error, cbind(prob,ss,t(q))) }

नतीजतन, हमें निम्न तालिका मिलती है (बाद में ग्राफ़ होंगे, लेकिन विवरण तालिका में बेहतर दिखाई देगा)।

रूपांतरण दर	नमूना आकार	5%	10%	20%	80%	90%	95%
0.0001	10	0	0	0	0	0	0
0.0001	100	0	0	0	0	0	0
0.0001	1000	0	0	0	0	0	0.001
0.0001	10000	0	0	0	0.0002	0.0002	0.0003
0.0001	50000	0.00004	0.00004	.००,००६	.००,०१४	.००,०१६	.००,०१८
0.0001	100000	0.00005	.००,००६	.००,००७	.००,०१३	.००,०१४	.००,०१६
0.0001	250000	0.000072	0.0000796	0.000088	.००,०१२	0.000128	0.000136
0.0001	500000	.००,००८	0.000084	0.000092	0.000114	0.000122	0.000128
0.001	10	0	0	0	0	0	0
0.001	100	0	0	0	0	0	0.01
0.001	1000	0	0	0	0.002	0.002	0.003
0.001	10000	0.0005	0.0006	0.0007	0.0013	0.0014	0.0016
0.001	50000	0.0008	0.000858	.००,०९२	.००,११६	.००,१२२	.००,१२६
0.001	100000	.००,०८७	.००,०९१	.००,०९५	.००,११२	.००,११६	0.0012105
0.001	250000	.००,०९२	0.000948	0.000972	0.001084	0.001116	0.0011362
0.001	500000	0.000952	0.0009698	0.000988	0.001066	0.001086	0.0011041
0.01	10	0	0	0	0	0	0.1
0.01	100	0	0	0	0.02	0.02	0.03
0.01	1000	0.006	0.006	0.008	0.013	0.014	0.015
0.01	10000	0.0086	0.0089	0.0092	0.0109	0.0114	0.0118
0.01	50000	0.0093	0.0095	0.0097	0.0104	0.0106	0.0108
0.01	100000	0.0095	0.0096	0.0098	0.0103	0.0104	0.0106
0.01	250000	0.0097	0.0098	0.0099	0.0102	0.0103	0.0104
0.01	500000	0.0098	0.0099	0.0099	0.0102	0.0102	0.0103
0.1	10	0	0	0	0.2	0.2	0.3
0.1	100	0.05	0.06	0.07	0.13	0.14	0.15
0.1	1000	0.086	0.0889	0.093	0.108	0.1121	0.117
0.1	10000	0.0954	0.0963	0.0979	0.1028	0.1041	0.1055
0.1	50000	0.098	0.0986	0.0992	0.1014	0.1019	0.1024
0.1	100000	0.0987	0.099	0.0994	0.1011	0.1014	0.1018
0.1	250000	0.0993	0.0995	0.0998	0.1008	0.1011	0.1013
0.1	500000	0.0996	0.0998	0.1	0.1007	0.1009	0.101
0.5	10	0.2	0.3	0.4	0.6	0.7	0.8
0.5	100	0.42	0.44	0.46	0.54	0.56	0.58
0.5	1000	0.473	0.478	0.486	0.513	0.52	0.525
0.5	10000	0.4922	0.4939	0.4959	0.5044	0.5061	0.5078
0.5	50000	0.4962	0.4968	0.4978	0.5018	0.5028	0.5036
0.5	100000	0.4974	0.4979	0.4986	0.5014	0.5021	0.5027
0.5	250000	0.4984	0.4987	0.4992	0.5008	0.5013	0.5017
0.5	500000	0.4988	0.4991	0.4994	0.5006	0.5009	0.5011

आइए 10% रूपांतरण और कम 0.01% रूपांतरण के साथ मामलों को देखें, क्योंकि नमूने के साथ काम करने की सभी विशेषताएं उन पर स्पष्ट रूप से दिखाई देती हैं।

10% रूपांतरण पर, चित्र बहुत सरल दिखता है:

अंक 5-95% विश्वास अंतराल के किनारों हैं, अर्थात्। एक नमूना बनाने से हम 90% मामलों में इस अंतराल के भीतर नमूने पर सीआर प्राप्त करेंगे। ऊर्ध्वाधर पैमाने - नमूना आकार (लघुगणकीय पैमाने), क्षैतिज - रूपांतरण दर मूल्य। ऊर्ध्वाधर पट्टी एक "सच" सीआर है।

हम उसी चीज को देखते हैं जिसे हमने सैद्धांतिक मॉडल से देखा था: सटीकता बढ़ती है जैसे ही नमूना का आकार बढ़ता है, और एक बहुत तेज़ी से परिवर्तित होता है और नमूना "सत्य" के करीब परिणाम प्राप्त करता है। कुल 1000 नमूनों में हमारे पास 8.6% - 11.7% है, जो कई कार्यों के लिए पर्याप्त होगा। और 10 हजार में पहले से 9.5% - 10.55%।

दुर्लभ घटनाओं के साथ हालात बदतर हैं और यह सिद्धांत के अनुरूप है:

0.01% की कम रूपांतरण दर पर, समस्या 1 मिलियन टिप्पणियों पर आंकड़ों के साथ है, और नमूनों के साथ स्थिति और भी खराब है। गलती सिर्फ विशाल की है। 10,000 तक के नमूनों पर, मीट्रिक सिद्धांत रूप में, मान्य नहीं है। उदाहरण के लिए, 10 अवलोकनों के नमूने पर, मेरे जनरेटर को केवल 1000 बार 0 रूपांतरण मिला, इसलिए केवल 1 अंक है। 100 हजार पर, हमारे पास 0.005% से 0.0016% तक बिखराव है, अर्थात हम इस तरह के नमूने के साथ लगभग आधा गुणांक बना सकते हैं।

यह भी ध्यान देने योग्य है कि जब आप इतने छोटे पैमाने पर 1 मिलियन परीक्षणों के रूपांतरण का निरीक्षण करते हैं, तो आपके पास बस एक बड़ी प्राकृतिक त्रुटि है। इस से यह इस प्रकार है कि इस तरह की दुर्लभ घटनाओं की गतिशीलता पर निष्कर्ष वास्तव में बड़े नमूनों पर बनाया जाना चाहिए, अन्यथा आप भूत के बाद का पीछा करते हैं, डेटा में यादृच्छिक उतार-चढ़ाव।

निष्कर्ष:

अनुमान लगाने के लिए एक कार्य पद्धति का नमूना लेना
नमूना सटीकता बढ़ती नमूना आकार के साथ बढ़ जाती है और रूपांतरण दर में कमी के साथ घट जाती है।
अनुमानों की सटीकता को आपके कार्य के लिए मॉडल किया जा सकता है और इस प्रकार अपने लिए इष्टतम नमूना चुन सकते हैं।
यह याद रखना महत्वपूर्ण है कि दुर्लभ घटनाएं अच्छी तरह से नमूना नहीं लेती हैं
सामान्य तौर पर, दुर्लभ घटनाओं का विश्लेषण करना मुश्किल है, उन्हें नमूनों के बिना बड़े डेटा नमूनों की आवश्यकता होती है।

नमूनाकरण और गणना सटीकता

समस्या

कार्य विवरण

सैद्धांतिक विचार

मोडलिंग

More articles: