ए / बी परीक्षण में लालची एल्गोरिथ्म

कनाडाई डेवलपर स्टीव हानोव ए / बी परीक्षण की प्रभावशीलता को बढ़ाने के लिए एक सरल तरीके के बारे में बात करते हैं।

लब्बोलुआब यह है कि बहु-सशस्त्र डाकू समस्या को हल करने के लिए लालची एल्गोरिथ्म (एप्सिलॉन-लालची विधि) का उपयोग करना है । दूसरे शब्दों में, ए / बी परीक्षण विकल्पों के बीच चयन करते समय, स्टीव पूर्ण यादृच्छिकता को छोड़ने का सुझाव देते हैं, और 90% मामलों में तिथि करने के लिए संचित आंकड़ों के आधार पर सबसे अच्छा विकल्प चुनते हैं।

विधि प्रतिभा के लिए सरल है।

उदाहरण के लिए, हम एक साइट के लिए तीन बटन विकल्पों का परीक्षण कर रहे हैं। आरंभ करने के लिए, उनमें से प्रत्येक को 1 प्रयास के 1 विकल्प का परिणाम सौंपा गया है।

नारंगी	ग्रीन	सफेद
1/1 = 100%	1/1 = 100%	1/1 = 100%

एक आगंतुक आता है और सिस्टम एक विकल्प बनाता है कि कौन सा बटन दिखाना है। उसी परिणाम के साथ, आप सूची में सिर्फ पहला दिखा सकते हैं। वे नारंगी दिखाते हैं, वह उस पर क्लिक नहीं करता है।

नारंगी	ग्रीन	सफेद
1/2 = 50%	1/1 = 100%	1/1 = 100%

अगला वाला आता है। उसे निश्चित रूप से नारंगी नहीं दिखाया गया है, लेकिन चुनाव हरे और सफेद रंग के बीच किया जाता है। वे हरा दिखाते हैं, वह क्लिक नहीं करता है। अगले एक को पहले से ही सफेद दिखाया गया है, क्योंकि उसके पास सबसे अच्छा परिणाम है। वह क्लिक नहीं करता है। कई चक्रों के बाद, लगभग यह तस्वीर विकसित होती है।

नारंगी	ग्रीन	सफेद
1/4 = 25%	1/4 = 25%	1/4 = 25%

फिर, अप्रत्याशित रूप से, कुछ आगंतुक अचानक नारंगी बटन पर क्लिक करता है, तालिका को तुरंत $.ajax(url:"/reward?testname=buy-button"); माध्यम से अपडेट किया जाता है $.ajax(url:"/reward?testname=buy-button");

नारंगी	ग्रीन	सफेद
2/5 = 40%	1/4 = 25%	1/4 = 25%

अब सिस्टम हमेशा एक नारंगी बटन दिखाएगा। डेवलपर कह सकता है: यह कैसे है, यह स्पष्ट रूप से सबसे खराब विकल्प है, सबसे छोटा बटन, और एक आकस्मिक क्लिक के कारण, लालची एल्गोरिथ्म अब इसे हर समय दिखाएगा?

लेकिन अगर यह वास्तव में खराब विकल्प है, तो स्थिति बहुत जल्दी ठीक हो जाएगी।

नारंगी	ग्रीन	सफेद
2/9 = 22%	1/4 = 25%	1/4 = 25%

कई चक्रों के बाद, सबसे अच्छा विकल्प, यदि कोई मौजूद है, तो वह मिल जाएगा और उसे 90% समय दिखाया जाएगा।

नारंगी	ग्रीन	सफेद
114/4071 = 2.8%	205/6385 = 3.2%	59/2264 = 2.6%

व्यवहार में, इस तरह की प्रणाली को "कोड की सिर्फ 20 पंक्तियों में" लागू किया जा सकता है, स्टीव स्पष्ट रूप से व्यक्त करते हैं।

 def choose(): if math.random() < 0.1: # exploration! # choose a random lever 10% of the time. else: # exploitation! # for each lever, # calculate the expectation of reward. # This is the number of trials of the lever divided by the total reward # given by that lever. # choose the lever with the greatest expectation of reward. # increment the number of times the chosen lever has been played. # store test data in redis, choice in session key, etc.. def reward(choice, amount): # add the reward to the total for the given lever. 

स्टीव का कहना है कि इस दृष्टिकोण के कई फायदे हैं:

• सादगी। आप इन "20 लाइनों" को अभी भी लागू कर सकते हैं।
• कई चयन विकल्पों के लिए समर्थन ए / बी / सी / ... आदि।
• बढ़ी हुई इंटरफ़ेस दक्षता के रूप में त्वरित परिणाम।