किताब "पायथन में संभाव्य प्रोग्रामिंग: बायेसियन इंट्रेंस एंड एल्गोरिदम"

हाय, हब्रोज़ितेली! बायेसियन तरीके कई आईटी विशेषज्ञों के फॉर्मूले को डराते हैं, लेकिन अब आप आंकड़ों और संभावनाओं के विश्लेषण के बिना नहीं कर सकते। कैमरन डेविडसन-पाइलोन बहुपक्षीय PyMC भाषा और NumPy, SciPy, और Matplotlib पुस्तकालयों के साथ काम करने वाले एक व्यावहारिक प्रोग्रामर के दृष्टिकोण से बेयसियन पद्धति के बारे में बात करते हैं। ए / बी परीक्षण में बायेसियन निष्कर्ष की भूमिका का खुलासा करते हुए, धोखाधड़ी और अन्य आवश्यक कार्यों की पहचान करते हुए, आप न केवल इस गैर-तुच्छ विषय को आसानी से समझ पाएंगे, बल्कि अपने लक्ष्यों को प्राप्त करने के लिए अर्जित ज्ञान को लागू करना शुरू करेंगे।

अंश: 4.3.3। उदाहरण: रेडिट पर टिप्पणियाँ छँटाई

शायद आप इस बात से सहमत नहीं हैं कि बड़ी संख्या का कानून सभी द्वारा लागू किया जाता है, हालांकि केवल अंतर्निहित रूप से, अवचेतन निर्णय लेने में। ऑनलाइन उत्पाद रेटिंग के उदाहरण पर विचार करें। क्या आप अक्सर एक समीक्षा के आधार पर औसतन पांच अंकों की रेटिंग पर भरोसा करते हैं? दो समीक्षाएँ? तीन समीक्षाएँ? आप अवचेतन रूप से समझते हैं कि इतनी कम समीक्षाओं के साथ, औसत रेटिंग अच्छी तरह से प्रतिबिंबित नहीं करती है कि उत्पाद कितना अच्छा या बुरा है।


इसके परिणामस्वरूप, सामानों की छंटाई करते समय और आमतौर पर उनकी तुलना करते समय चूक होते हैं। कई खरीदारों के लिए, यह स्पष्ट है कि रेटिंग द्वारा इंटरएक्टिव खोज के परिणामों को क्रमबद्ध करना बहुत उद्देश्यपूर्ण नहीं है, यह महत्वपूर्ण नहीं है अगर हम इंटरनेट पर पुस्तकों, वीडियो या टिप्पणियों के बारे में बात कर रहे हैं। अक्सर, पहले स्थानों पर फिल्मों या टिप्पणियों को केवल उत्साही प्रशंसकों की एक छोटी संख्या के कारण उच्च अंक मिलते हैं, और वास्तव में अच्छी फिल्मों या टिप्पणियों को लगभग 4.8 की अनुमानित अपूर्ण रेटिंग के साथ बाद के पृष्ठों पर छिपाया जाता है। इसके बारे में क्या करना है?

लोकप्रिय साइट Reddit पर विचार करें (मैं जानबूझकर इसे लिंक प्रदान नहीं करता हूं, क्योंकि Reddit उपयोगकर्ताओं को आकर्षित करने के लिए कुख्यात है, और मुझे डर है कि आप मेरी किताब पर कभी नहीं लौटेंगे)। इस साइट पर विभिन्न कहानियों और चित्रों के कई लिंक हैं, और इन लिंक पर टिप्पणियां भी बहुत लोकप्रिय हैं। साइट के उपयोगकर्ता (जिसे आमतौर पर redditor1 शब्द कहा जाता है) प्रत्येक टिप्पणी (तथाकथित अपवोट्स और डाउनवोट्स) के लिए या उसके खिलाफ वोट कर सकते हैं। अवरोही क्रम में डिफ़ॉल्ट रूप से Reddit टिप्पणियाँ टाइप करता है। कैसे निर्धारित करें कि कौन सी टिप्पणियाँ सर्वश्रेष्ठ हैं? वे आमतौर पर निम्नलिखित कई संकेतकों पर ध्यान केंद्रित करते हैं।

1. लोकप्रियता । बहुत सारे वोट डाले जाते हैं तो एक टिप्पणी अच्छी मानी जाती है। इस मॉडल का उपयोग करते समय समस्याएं सैकड़ों और हजारों के खिलाफ वोटों के साथ एक टिप्पणी के मामले में शुरू होती हैं। हालांकि बहुत लोकप्रिय है, इस टिप्पणी को "सर्वश्रेष्ठ" माना जाना बहुत अस्पष्ट है।

2. अंतर । आप पक्ष और विपक्ष में वोटों की संख्या के अंतर का लाभ उठा सकते हैं। यह उस समस्या को हल करता है जो "लोकप्रियता" मीट्रिक का उपयोग करते समय उत्पन्न होती है, लेकिन टिप्पणियों की अस्थायी प्रकृति को ध्यान में नहीं रखती है। मूल लिंक के प्रकाशन के कई घंटे बाद टिप्पणियां भेजी जा सकती हैं। इसी समय, एक पूर्वाग्रह पैदा होता है, जिसके कारण उच्चतम रेटिंग को सर्वश्रेष्ठ टिप्पणियों द्वारा बिल्कुल भी प्राप्त नहीं किया जाता है, लेकिन सबसे पुराना, जो नए लोगों की तुलना में अधिक वोट जमा करने में कामयाब रहे।

3. समय के लिए सुधार । एक विधि पर विचार करें जिसमें पेशेवरों और विपक्ष के बीच का अंतर टिप्पणी की उम्र से विभाजित है और एक आवृत्ति प्राप्त की जाती है, उदाहरण के लिए, प्रति सेकंड या प्रति मिनट में अंतर। तुरंत एक प्रति-विचार मन में आता है: "प्रति सेकंड" विकल्प का उपयोग करते समय, एक टिप्पणी "हाँ" वोट के साथ एक दूसरे से पहले छोड़ दी गई 100 वोट से बेहतर होगी 100 सेकंड पहले "हाँ"। इस समस्या से बचा जा सकता है यदि आप कम से कम टी सेकंड पहले केवल टिप्पणियों पर विचार करते हैं। लेकिन टी का एक अच्छा मूल्य कैसे चुनें? इसका मतलब यह है कि टी सेकंड पहले की तुलना में बाद में पोस्ट की गई सभी टिप्पणियां खराब हैं? मामला स्थिर (नई और पुरानी टिप्पणियों) के साथ अस्थिर मूल्यों की तुलना के साथ समाप्त होगा।

4. मूल्य । वोटों की संख्या के अनुपात में टिप्पणियों की रैंकिंग, पक्ष और विपक्ष में कुल वोटों की संख्या के पक्ष में। यह दृष्टिकोण टिप्पणियों की लौकिक प्रकृति के साथ समस्या को समाप्त करता है, जिससे कि हाल ही में अच्छे अंकों के साथ पोस्ट की गई टिप्पणियों को उसी संभावना के साथ उच्च रेटिंग प्राप्त होगी, जो बहुत पहले छोड़ दी गई थी, बशर्ते कि उनके पास वोटों की कुल संख्या का अपेक्षाकृत उच्च अनुपात हो। इस विधि के साथ समस्या यह है कि एक वोट के पक्ष में एक टिप्पणी (अनुपात = 1.0) के पक्ष में 999 वोटों के साथ एक टिप्पणी से बेहतर होगा और एक के खिलाफ (अनुपात = 0.999), हालांकि यह स्पष्ट है कि दूसरा इन टिप्पणियों की संभावना सबसे अच्छी होगी।

मैंने एक कारण के लिए "बल्कि" लिखा। यह पता चल सकता है कि एक एकल हाँ वोट के साथ पहली टिप्पणी वास्तव में दूसरे की तुलना में बेहतर है, जिसमें 999 हाँ वोट हैं। इस कथन से सहमत होना मुश्किल है, क्योंकि हमें नहीं पता कि 999 संभावित अगले वोट पहली टिप्पणी के लिए क्या हो सकते हैं। कहो, वह एक और 999 वोटों के पक्ष में परिणाम प्राप्त कर सकता है और एक भी वोट के खिलाफ नहीं है और दूसरे की तुलना में बेहतर है, हालांकि इस तरह के परिदृश्य की बहुत संभावना नहीं है।

वास्तव में, हमें वोट के वास्तविक अनुपात के पक्ष में मूल्यांकन करने की आवश्यकता है। मैं ध्यान देता हूं कि यह सभी मतों के पक्ष में परस्पर संबंधित सहसंबंध के समान नहीं है; वोटों का वास्तविक अनुपात छिपा हुआ है, हम वोटों की तुलना में इसके पक्ष में केवल वोटों की संख्या का निरीक्षण करते हैं (वोटों के वास्तविक अनुपात को इस टिप्पणी की संभावना माना जा सकता है कि हाँ का वोट प्राप्त होता है, विरुद्ध नहीं)। बड़ी संख्या के कानून के लिए धन्यवाद, यह कहना सुरक्षित है कि 999 वोटों के पक्ष में और एक के खिलाफ, वोटों का वास्तविक अनुपात 1 के करीब होने की संभावना है। दूसरी तरफ, हम इस बारे में बहुत कम सुनिश्चित हैं कि यह कैसे निकला एक वोट के पक्ष में टिप्पणी के लिए वोटों का वास्तविक अनुपात। यह एक बायेसियन समस्या प्रतीत होती है।

सकारात्मक वोटों के पूर्व वितरण को निर्धारित करने का एक तरीका सकारात्मक वोटों के वितरण के इतिहास का अध्ययन करना है। यह Reddit टिप्पणियों को स्क्रैप करके और फिर वितरण को परिभाषित करके किया जा सकता है। हालाँकि, इस पद्धति में कई कमियाँ हैं।

1. असममित डेटा । टिप्पणियों के विशाल बहुमत में वोटों की संख्या बहुत कम है, जिसके परिणामस्वरूप कई टिप्पणियों के अनुपात चरम के करीब होंगे (उदाहरण के लिए चित्र में "त्रिकोणीय" ग्राफ देखें। 4.4) और वितरण जोरदार "तिरछा" होगा। आप केवल उन टिप्पणियों पर विचार करने का प्रयास कर सकते हैं जिनके वोटों की संख्या एक निश्चित सीमा मूल्य से अधिक है। लेकिन यहां मुश्किलें खड़ी हो जाती हैं। किसी को उपलब्ध टिप्पणियों की संख्या के बीच एक संतुलन के लिए देखना पड़ता है, दूसरी तरफ एक समान सीमा के साथ उच्च दहलीज मूल्य।

2. बायस्ड (व्यवस्थित त्रुटि वाले) डेटा । Reddit में कई सब-फोरम (subreddits) होते हैं। दो उदाहरण: अजीब जानवरों और आर / राजनीति के चित्रों के साथ आर / ए वी। यह संभावना से अधिक है कि इन दो Reddit उप-केंद्रों पर टिप्पणी करते समय उपयोगकर्ताओं का व्यवहार मौलिक रूप से भिन्न होगा: उनमें से पहले में, आगंतुकों को सबसे अधिक स्पर्श और अनुकूल होने की संभावना है, जो दूसरे की तुलना में पक्ष में अधिक संख्या में वोट का नेतृत्व करेगा, जहां राय टिप्पणियों में विचलन की संभावना है।

पूर्वगामी के प्रकाश में, यह मुझे लगता है कि यह एक समान प्राथमिकता वितरण का उपयोग करने के लिए समझ में आता है।

अब हम पक्ष में वोटों के वास्तविक अनुपात के पीछे वितरण की गणना कर सकते हैं। वर्तमान सबसे लोकप्रिय Reddit छवि से टिप्पणियों को स्क्रैप करने के लिए comments_for_top_reddit_pic.py स्क्रिप्ट का उपयोग किया जाता है। निम्नलिखित कोड में, हमने छवि से संबंधित Reddit टिप्पणियों को स्क्रैप किया है [3]: http://i.imgur.com/OYsHKlH.jpg।

from IPython.core.display import Image #       %run #   i-   . %run top_pic_comments.py 2 

 [Output]: Title of submission: Frozen mining truck http://i.imgur.com/OYsHKlH.jpg 

 """ Contents:       Votes:   NumPy  ""  ""    """ n_comments = len(contents) comments = np.random.randint(n_comments, size=4) print "  (    %d) \n -----------"%n_comments for i in comments: print '"' + contents[i] + '"' print " ""/"": ",votes[i,:] print 

 [Output]:   (   77) ----------- "Do these trucks remind anyone else of Sly Cooper?"  ""/"": [2 0] "Dammit Elsa I told you not to drink and drive."  ""/"": [7 0] "I've seen this picture before in a Duratray (the dump box supplier) brochure..."  ""/"": [2 0] "Actually it does not look frozen just covered in a layer of wind packed snow."  ""/"": [120 18] 

N वोटों के साथ और वोटों के दिए गए वास्तविक अनुपात "p" के लिए, वोटों की संख्या "मापदंडों के साथ एक द्विपद यादृच्छिक चर जैसा दिखता है और N (तथ्य यह है कि" वोटों का वास्तविक अनुपात "वोट की तुलना में वोट डालने की संभावना के बराबर है" "संभव वोट / परीक्षण के साथ" के खिलाफ)। हम एक विशेष टिप्पणी के लिए "/" के खिलाफ "वोट" के सेट के संबंध में पी के बायेसियन व्युत्पत्ति के लिए एक समारोह बनाते हैं।

 import pymc as pm def posterior_upvote_ratio(upvotes, downvotes, samples=20000): """         ""  "",   ,    ,    . ,    . """ N = upvotes + downvotes upvote_ratio = pm.Uniform("upvote_ratio", 0, 1) observations = pm.Binomial("obs", N, upvote_ratio, value=upvotes, observed=True) # ;    MAP,     #       . map_ = pm.MAP([upvote_ratio, observations]).fit() mcmc = pm.MCMC([upvote_ratio, observations]) mcmc.sample(samples, samples/4) return mcmc.trace("upvote_ratio")[:] 

निम्नलिखित परिणामी वितरण हैं।

 figsize(11., 8) posteriors = [] colors = ["#348ABD", "#A60628", "#7A68A6", "#467821", "#CF4457"] for i in range(len(comments)): j = comments[i] label = u'(%d :%d )\n%s...'%(votes[j, 0], votes[j,1], contents[j][:50]) posteriors.append(posterior_upvote_ratio(votes[j, 0], votes[j,1])) plt.hist(posteriors[i], bins=18, normed=True, alpha=.9, histtype="step", color=colors[i%5], lw=3, label=label) plt.hist(posteriors[i], bins=18, normed=True, alpha=.2, histtype="stepfilled", color=colors[i], lw=3) plt.legend(loc="upper left") plt.xlim(0, 1) plt.ylabel(u"") plt.xlabel(u"  ''") plt.title(u"    '' \   "); 

 [Output]: [****************100%******************] 20000 of 20000 complete 

जैसा कि अंजीर से देखा जा सकता है। 4.5, कुछ वितरण दृढ़ता से "निचोड़ा हुआ" हैं, जबकि अन्य में अपेक्षाकृत लंबी "पूंछ" हैं, यह व्यक्त करते हुए कि हमें वास्तव में पता नहीं है कि वोट का वास्तविक अनुपात क्या है।

4.3.4। छंटाई

अब तक, हमने अपने उदाहरण के मुख्य लक्ष्य को नजरअंदाज कर दिया है: टिप्पणियों को सर्वश्रेष्ठ से सबसे खराब तक छांटना। बेशक, वितरणों को क्रमबद्ध करना असंभव है; सॉर्ट स्केलर मान की आवश्यकता है। स्केलर के रूप में वितरण के सार को निकालने के कई तरीके हैं; उदाहरण के लिए, वितरण का सार इसकी गणितीय अपेक्षा, या औसत मूल्य के संदर्भ में व्यक्त किया जा सकता है। हालांकि, इसके लिए औसत मूल्य उपयुक्त नहीं है, क्योंकि यह संकेतक वितरण की अनिश्चितता को ध्यान में नहीं रखता है।

मैं 95% कम से कम प्रशंसनीय मूल्य का उपयोग करने की सलाह दूंगा, जिसे केवल 5% संभावना के साथ मान के रूप में परिभाषित किया गया है कि पैरामीटर का वास्तविक मूल्य इसके नीचे है (सीएफ बायेसियन विश्वास अंतराल के निचले हिस्से)। अगला, हम संकेत दिया 95% कम से कम संभावित मूल्य (छवि 4.6) के साथ पीछे वितरण वितरित करते हैं।

 N = posteriors[0].shape[0] lower_limits = [] for i in range(len(comments)): j = comments[i] label = '(%d :%d )\n%s…'%(votes[j, 0], votes[j,1], contents[j][:50]) plt.hist(posteriors[i], bins=20, normed=True, alpha=.9, histtype="step", color=colors[i], lw=3, label=label) plt.hist(posteriors[i], bins=20, normed=True, alpha=.2, histtype="stepfilled", color=colors[i], lw=3) v = np.sort(posteriors[i])[int(0.05*N)] plt.vlines(v, 0, 10 , color=colors[i], linestyles="—", linewidths=3) lower_limits.append(v) plt.legend(loc="upper left") plt.ylabel(u"") plt.xlabel(u"  ''") plt.title(u"    '' \   "); order = np.argsort(-np.array(lower_limits)) print order, lower_limits 

 [Output]: [3 1 2 0] [0.36980613417267094, 0.68407203257290061, 0.37551825562169117, 0.8177566237850703] 

हमारी प्रक्रिया के अनुसार सर्वश्रेष्ठ, वे टिप्पणियाँ होंगी जिनके लिए उच्च प्रतिशत की हाँ वोट प्राप्त करने की उच्चतम संभावना है। नेत्रहीन, ये यूनिट 95% के सबसे कम प्रशंसनीय मूल्य के सबसे करीब हैं। अंजीर में। 4.6 ऊर्ध्वाधर लाइनों का उपयोग करके 95% कम से कम प्रशंसनीय मूल्य को दर्शाया गया है।

इस मीट्रिक के आधार पर छंटनी क्यों एक अच्छा विचार है? 95% कम से कम प्रशंसनीय मूल्य के अनुसार छंटनी का मतलब है कि टिप्पणियों को सर्वश्रेष्ठ घोषित करने में अधिकतम सावधानी। यही है, यहां तक ​​कि सबसे खराब स्थिति में भी, अगर हम वोट के अनुपात को पक्ष में अधिक मजबूत करते हैं, तो यह गारंटी दी जाती है कि सबसे अच्छी टिप्पणी शीर्ष पर होगी। इस आदेश के साथ, निम्नलिखित बहुत ही प्राकृतिक गुण प्रदान किए जाते हैं।

1. "टिप्पणियों" के समान अनुपात के साथ दो टिप्पणियों में से, वोटों की उच्च संख्या के साथ टिप्पणी को सबसे अच्छे के रूप में मान्यता दी जाएगी (चूंकि आत्मविश्वास उसके लिए उच्च अनुपात में अधिक है)।

2. एक ही संख्या के वोटों के साथ दो टिप्पणियों में से, सबसे अधिक वोटों के पक्ष में टिप्पणी के साथ सबसे अच्छा माना जाता है।

»पुस्तक की अधिक जानकारी प्रकाशक की वेबसाइट पर पाई जा सकती है
» सामग्री
» अंश

फेरीवालों के लिए कूपन पर 25% की छूट - जावास्क्रिप्ट

पुस्तक के पेपर संस्करण के भुगतान पर, एक इलेक्ट्रॉनिक पुस्तक ई-मेल द्वारा भेजी जाती है।