स्निपेट्स बनाम क्लोवर - सबसे लोकप्रिय वास्तविक समय प्रश्नोत्तरी को हराया

अप्रैल 2018। मैं 14. मेरे दोस्त थे और मैंने VKontakte से बहुत लोकप्रिय ऑनलाइन क्विज़ “क्लोवर” में खेला था। हम में से एक (आमतौर पर मैं) एक लैपटॉप के पीछे था ताकि जल्दी से Google सवालों का जवाब दे सके और सही उत्तर के लिए खोज परिणामों को देख सके। लेकिन अचानक मुझे एहसास हुआ कि मैं हर बार एक ही काम कर रहा था, और इसे पायथन 3 में लिखने की कोशिश करने का फैसला किया, जो आंशिक रूप से मेरे लिए जाना जाता था।

Step 0. यहाँ क्या चल रहा है?

के साथ शुरू करने के लिए, मैं आपकी स्मृति में "तिपतिया घास" के यांत्रिकी को ताज़ा करूंगा।

सभी के लिए खेल एक ही समय में शुरू होता है - 13:00 बजे और 20:00 मास्को समय। खेलने के लिए, आपको इस समय एप्लिकेशन में जाना होगा और लाइव प्रसारण से जुड़ना होगा। खेल 15 मिनट तक चलता है, जिस दौरान उसी समय प्रतिभागियों को फोन पर प्रश्न भेजे जाते हैं। जवाब 10 सेकंड है। फिर सही उत्तर की घोषणा की जाती है। अनुमान लगाने वाले सभी और आगे बढ़ गए। कुल 12 प्रश्न हैं, और यदि आप सभी का उत्तर देते हैं, तो आपको नकद पुरस्कार मिलेगा।

यह पता चलता है कि हमारा कार्य तुरंत क्लोवर सर्वर से नए प्रश्नों को पकड़ना है, उन्हें एक खोज इंजन के माध्यम से संसाधित करना है, और खोज के परिणामों के आधार पर सही उत्तर निर्धारित करना है। टेलीग्राम बॉट में उत्तर का उत्पादन करने का निर्णय लिया गया, ताकि खेल के दौरान फोन से आने वाली सूचनाएं सही हो जाएं। और यह सब कुछ सेकंड में वांछनीय है, क्योंकि प्रतिक्रिया का समय बहुत सीमित है। यदि आप यह देखना चाहते हैं कि कैसे एक काफी सरल, लेकिन काम करने वाला कोड (और इसे देखकर शुरुआती लोगों के लिए उपयोगी होगा) ने हमें क्लोवर को हराया - कट में आपका स्वागत है।

चरण 1. सर्वर से प्रश्न प्राप्त करें

सबसे पहले यह सबसे कठिन चरण लगता था। मैंने पहले से ही एक गहरी साँस ली और कंप्यूटर विज़न की तरह वाइल्ड्स में चढ़ने, ट्रैफ़िक को बाधित करने या एप्लिकेशन को विघटित करने के लिए तैयार था ... जब अचानक एक आश्चर्य मुझे इंतजार कर रहा था - क्लोवर के पास एक खुली एपीआई है! यह कहीं भी प्रलेखित नहीं है, लेकिन अगर खेल के दौरान, जैसे ही सभी खिलाड़ियों से एक प्रश्न पूछा गया, api.vk.com पर एक अनुरोध करें, तो जवाब में हमें JSON में इसके लिए पूछे गए प्रश्न और उत्तर विकल्प मिलेंगे:

https://api.vk.com/method/execute.getLastQuestion?v=5.5&access_token=VK_USER_TOKEN 

एक access_token के रूप में, किसी भी VKontakte उपयोगकर्ता के एपीआई टोकन को स्थानांतरित करना आवश्यक है, लेकिन यह महत्वपूर्ण है कि यह मूल रूप से विशेष रूप से क्लोवर के लिए जारी किया गया था। उसका app_id 6334949 है।

चरण 2. हम एक खोज इंजन के माध्यम से समस्या को संसाधित करते हैं

दो विकल्प थे: आधिकारिक खोज इंजन एपीआई का उपयोग करें या सीधे पता बार में खोज तर्क जोड़ें, और परिणाम पार्स करें। पहले तो मैंने दूसरा प्रयास किया, लेकिन न केवल मैंने कभी-कभी कैप्चा पकड़ा, मैंने बहुत समय गंवा दिया, क्योंकि पृष्ठों को औसतन 2 सेकंड में लोड किया गया। और मैं आपको याद दिलाता हूं कि इन दो सेकंडों को पूरा करना हमारे लिए उचित है। अच्छी तरह से और मुख्य बात - मुझे आवश्यक विषय पर खोज इंजन से बड़े और संरचित ग्रंथ नहीं मिलते हैं, क्योंकि आवश्यक सामग्री के केवल छोटे टुकड़े, जिन्हें स्निपेट कहा जाता है , खोज पृष्ठ पर लटकाएं :



इसलिए मैंने एक एपीआई की तलाश शुरू कर दी। Google फिट नहीं हुआ - उनके समाधान बहुत सीमित थे और बहुत कम डेटा लौटाया। Yandex.XML सबसे अधिक उदार निकला - यह आपको प्रति दिन 10,000 अनुरोध भेजने की अनुमति देता है, प्रति सेकंड 5 से अधिक नहीं, और डेटा को बहुत तेज़ी से लौटाता है। इसके लिए अनुरोध वैकल्पिक रूप से पृष्ठों की संख्या (100 तक) और मार्ग की संख्या है - विशेष मान जो कि स्नेपसेट बनाने के लिए उपयोग किए जाते हैं। हमें XML में डेटा मिलता है। हालाँकि, ये सभी समान स्निपेट हैं।

ताकि आप अपने आप को परिचित कर सकें और यैंडेक्स के साथ क्या खेलता है, यहां प्रश्न के उत्तर का एक उदाहरण है "वीडियो श्रृंखला" द लीजेंड ऑफ ज़ेल्डा? "में मुख्य प्रतिपक्षी का नाम क्या है: यांडेक्स। ड्राइव करें ।

मैं भाग्यशाली था, और यह पता चला कि पिपी में, इसके लिए एक अलग यैंडेक्स -खोज मॉड्यूल पहले से मौजूद है। और इसलिए, मैंने सर्वर से प्रश्न प्राप्त करने, यैंडेक्स में खोजने, स्निपेट से एक बड़ा पाठ बनाने और इसे वाक्यों में तोड़ने का प्रयास किया:

 import requests as req import yandex_search import json apiurl = "https://api.vk.com/method/execute.getLastQuestion?access_token=VK_USER_TOKEN&v=5.5" clever_response = (json.loads(req.get(apiurl).content))["response"] # {'text': '          «   »?', 'answers': [{'id': 0, 'users_answered': 0, 'text': '« »'}, {'id': 1, 'users_answered': 0, 'text': '« »'}, {'id': 2, 'users_answered': 0, 'text': '«»'}], 'stop_time': 0, 'is_first': 0, 'is_last': 1, 'number': 12, 'id': 22, 'sent_time': 1533921436} question = str(clever_response["text"]) ans1, ans2, ans3 = str(clever_response["answers"][0]["text"]).lower(), str(clever_response["answers"][1]["text"]).lower(), str(clever_response["answers"][2]["text"]).lower() def yandexfind(question): finded = yandex.search(question).items snips = "" for i in finded: snips += (i.get("snippet")) + "\n" return snips items = yandexfind(question) itemslist = list(items.split(". ")) 

चरण 3. उत्तरों की खोज करना

प्रारंभ में, स्निपेट्स के अनुसार उत्तर को सटीक रूप से पहचानने का कार्य मुझे अवास्तविक लगता था (मैं आपको याद दिलाता हूं कि कोड लिखने के समय मैं एक पूर्ण शुरुआत था)। इसलिए, मैंने पहले उस कार्य को सरल बनाने का फैसला किया, जिसे हमने मैन्युअल खोज के साथ किया था।

अपने प्रश्न को खोज इंजन में चलाते समय मैंने और मेरे दोस्तों ने क्या किया? वे परिणामों में जवाब के लिए आंखों के माध्यम से जल्दी से देखना शुरू कर दिया। इस दृष्टिकोण के साथ समस्या क्या है? बहु-पत्रों में, उत्तर, प्रस्तावों के बारे में जानकारी नहीं होने से बड़ी संख्या में अनावश्यक होते हैं। मेरी आँखों से खोजते हुए कभी-कभी एक लंबा समय लगता था। इसलिए, पहली चीज़ जो मैंने तय की, वह थी कि किसी भी उत्तर के किसी भी उल्लेख के साथ सभी वाक्यों का चयन करें और उन्हें प्रदर्शित करें ताकि हम एक बहुत छोटे पाठ में उत्तर की तलाश करें जिसमें हमारे पास आवश्यक जानकारी हो।

 hint = [] # ,      for sentence in itemslist: #     if (ans1 in sentence) or (ans2 in sentence) or (ans3 in sentence): hint.append(sentence) if len(hint) > 4: break 

ऐसा लगता है कि सही ऑफ़र मिलते हैं, उन्हें पढ़ें और सही तरीके से जवाब दें। लेकिन क्या होगा अगर हमें एक भी वाक्य नहीं मिला? इस मामले में, मैंने शब्दों को ट्रिम करने का फैसला किया ताकि उन्हें याद न करें अगर वे किसी अन्य मामले में हैं। और उन लोगों को भी पकड़ने के लिए जो स्रोत से बनते हैं। संक्षेप में, मैंने उनके अंत को दो वर्णों में विभाजित किया:

 if len(hint) == 0: def cut(string): if len(string) > 2: return string[0:-2] else: return string short_ans1, short_ans2, short_ans3 = cut(ans1), cut(ans2), cut(ans3) for pred in itemslist: #     if (short_ans1 in pred) or (short_ans2 in pred) or (short_ans3 in pred) hint.append(pred) 

लेकिन इस तरह के सुरक्षा जाल के बाद भी, अभी भी ऐसे मामले थे जब संकेत खाली थे, सिर्फ इसलिए कि परिणाम हमेशा उत्तर पर नहीं छूते थे। कहते हैं, "इनमें से किस लेखक की कहानी है, जिसका नाम समूह बी 2 के गीत की तरह है?" कोई सटीक उत्तर नहीं मिल सकता है। इस मामले में, मैंने विपरीत दृष्टिकोण का सहारा लिया - मैंने जवाबों के बारे में पूछताछ की और परिणामों के आधार पर विकल्प का उल्लेख किया कि प्रश्न से शब्दों का कितनी बार परिणाम में उल्लेख किया गया है।

 if len(hint) == 0: questionlist = question.split(" ") blacklist = ["", "", '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', ''] for w in questionlist: if w in blacklist: questionlist.remove(w) yandex_ans1 = yandexfind(ans1) yandex_ans2 = yandexfind(ans2) yandex_ans3 = yandexfind(ans3) #      ,     count_ans1, count_ans2, count_ans3 = 0, 0, 0 for w in questionlist: count_ans1 += yandex_ans1.count(w) count_ans2 += yandex_ans2.count(w) count_ans3 += yandex_ans3.count(w) if (count_ans1 + count_ans2 + count_ans3) > 5: if count_ans1 > (count_ans2 + count_ans3): print(ans1) elif count_ans2 > (count_ans1 + count_ans3): print(ans2) elif count_ans3 > (count_ans2 + count_ans1): print(ans3) 

इस बिंदु पर, स्क्रिप्ट ने बुनियादी कार्यक्षमता प्राप्त की। और अब, क्लोवर की रिहाई के डेढ़ हफ्ते बाद, हम बैठे हैं और पहले से ही इस तरह के स्व-निर्मित "धोखा" के साथ खेल रहे हैं। जब आपने पहली बार कमांड लाइन पर सुझावों को पढ़कर गेम जीता था, तो आपको एक दोस्त के साथ हमारे चेहरे को देखना चाहिए था जैसे कि जादू द्वारा!

चरण 4. स्पष्ट उत्तर प्रदर्शित करें

लेकिन जल्द ही यह प्रारूप थक गया है। पहले, आपको हर गेम में लैपटॉप के साथ बैठना होता था। दूसरे, मेरे दोस्तों ने स्क्रिप्ट के लिए कहा, और मैं सभी को यह समझाते हुए थक गया कि अपने VKontakte टोकन को कैसे सम्मिलित किया जाए, Yandex.XML को कैसे कॉन्फ़िगर किया जाए (यह आईपी से बंधा है, अर्थात, यह स्क्रिप्ट के प्रत्येक उपयोगकर्ता के लिए एक खाता बनाने के लिए आवश्यक था) और कंप्यूटर पर अजगर कैसे स्थापित करें।

खेल के दौरान फोन पर पुश सूचनाओं में जवाब पॉप अप करें तो बेहतर होगा! बस स्क्रीन के शीर्ष पर देखा और उत्तर दिया क्योंकि यह पुश अधिसूचना में लिखा गया है! और आप इसे सभी के लिए व्यवस्थित कर सकते हैं यदि आप स्क्रिप्ट के लिए अपना टेलीग्राम चैनल बनाते हैं! अद्भुत!

लेकिन टेलीग्राम में बस एक ही वाक्य को प्रदर्शित करना एक विकल्प नहीं है। उन्हें अपने फोन से पढ़ना बेहद असुविधाजनक है। इसलिए, मुझे यह समझने के लिए स्क्रिप्ट को सीखना पड़ा कि कौन सा उत्तर सही है।

हम टेलीबॉट आयात करते हैं और सभी प्रिंट () फ़ंक्शन send_tg () और notsure () में बदलते हैं , जिसे हम अंतिम विधि में उपयोग करेंगे, क्योंकि यह दूसरों की तुलना में थोड़ा अधिक बार याद करता है:

 def send_tg(ans): bot.send_message("@autoclever", str(ans).capitalize()) print(str(ans)) return def notsure(ans): send_tg(ans.capitalize() + ".  !") hint.append("WE TRIED!") 

और उस पल, मुझे एहसास हुआ कि लंबे समय के ग्रंथों की तुलना में स्निपेट्स बहुत बेहतर हैं! क्योंकि खोज इंजन हमारे अनुरोध का उत्तर देने के लिए बहुत प्रयास कर रहा है, न कि केवल शब्दों में मिलान खोजने के लिए। और वह सफल होता है - स्निपेट में अक्सर गलत लोगों की तुलना में सही उत्तर होते हैं, अर्थात, पाठ का विश्लेषण करने की कोई आवश्यकता नहीं थी। और मैं, वास्तव में, पता नहीं कैसे।

इसलिए हम परिणामों में शब्दों के उल्लेख को गिनना आसान है:

 anscounts = { ans1: 0, ans2: 0, ans3: 0 } for s in hint: for a in [ans1, ans2, ans3]: anscounts[a] += s.count(a) right = (max(anscounts, key=anscounts.get)) send_tg(right) #! 

परिणामस्वरूप क्या हुआ:

आगे भाग्य

निष्पक्षता में, मुझे कहना होगा कि मैं मृत्यु मशीन में सफल नहीं हुआ। औसतन, बॉट ने 12 प्रश्नों में से केवल 9-10 का सही उत्तर दिया। यह समझ में आता है, क्योंकि मुश्किल लोग थे जो यैंडेक्स खोज के पार्सिंग के आगे नहीं झुकते थे। मैं और मेरे दोस्त, लगातार सवालों के एक जोड़े पर उड़ते हुए थक गए और एक सफल गेम की प्रतीक्षा कर रहे थे, जिसमें बॉट आखिरकार सब कुछ सही ढंग से जवाब देगा। एक चमत्कार नहीं हुआ, मैं वास्तव में अब स्क्रिप्ट को संशोधित नहीं करना चाहता था, और फिर, एक आसान जीत की उम्मीद करना बंद कर दिया, हमने खेल को छोड़ दिया।

समय के साथ, मेरा विचार अन्य युवा डेवलपर्स के सिर में रेंगना शुरू हुआ। 2018 के सूर्यास्त तक, क्लोवर में मुद्दों पर अपने अनुमान प्रदर्शित करने वाले कम से कम 10 बॉट और साइटें थीं। कार्य इतना कठिन नहीं है। लेकिन जो आश्चर्य की बात है, उनमें से कोई भी प्रति गेम 9-10 सवालों के बार को पार नहीं कर पाया है, और बाद में सभी 7-8 गिर गए, जैसे कि हर बॉट। जाहिर है, सवालों के संकलनकर्ताओं ने स्पष्ट किया कि प्रश्नों को कैसे बनाया जाए ताकि खोज इंजन का काम अप्रासंगिक हो।

दुर्भाग्य से, बॉट को अब अंतिम रूप नहीं दिया जा सकता है, क्योंकि 31 दिसंबर को क्लोवर ने अंतिम प्रसारण किया, और मैंने कोई प्रश्न नहीं किया। हालांकि, यह नौसिखिए प्रोग्रामर के लिए एक शानदार अनुभव था। और निश्चित रूप से उन्नत के लिए एक बड़ी चुनौती होगी - बस शब्द 2vec और text2vec डुओ की कल्पना करें, एक ही समय में यैंडेक्स, Google और विकिपीडिया के लिए अतुल्यकालिक अनुरोध, प्रश्नों का एक उन्नत क्लासिफायरियर और विफलता के मामले में प्रश्न को सुधारने के लिए एक एल्गोरिथ्म ... एह! शायद, ऐसे अवसरों के लिए मुझे गेमप्ले के लिए इस खेल से ज्यादा प्यार था।