पायथन थिएटर के पोस्टर से लेकर टेलीग्राम बॉट तक। भाग 1

मैं वास्तव में ओपेरा और बैले से प्यार करता हूं, लेकिन वास्तव में नहीं - टिकटों के लिए बहुत पैसा देता हूं। प्रत्येक बटन पर एक प्रहार के साथ थियेटर की वेबसाइट का दैनिक दृश्य बहुत ही थकाऊ था, और अचानक सुपर-ट्रेनों के लिए 170 रूबल के टिकट दिखाई देने से दिल टूट गया था।
इस व्यवसाय को स्वचालित करने के लिए, एक स्क्रिप्ट दिखाई दी जो एक पोस्टर पर चलती है और चयनित महीने के सबसे सस्ते टिकटों के बारे में जानकारी एकत्र करती है। श्रृंखला के अनुरोध "1000 रूबल तक पुराने और नए चरण में मार्च में सभी ओपेरा की सूची जारी करते हैं।" एक दोस्त ने कहा "क्या आप टेलीग्राम बॉट नहीं कर रहे हैं?" यह योजना में नहीं था, लेकिन क्यों नहीं। बॉट का जन्म हुआ, हालांकि यह एक होम लैपटॉप पर घूम रहा था।
तब टेलीग्राम को ब्लॉक कर दिया गया था। काम करने वाले सर्वर पर बॉट को धकेलने का विचार पिघल गया है, और कार्यक्षमता को ध्यान में लाने के लिए ब्याज फीका हो गया है। कटौती के तहत, मैं शुरू से ही एक सस्ते टिकट जासूस के भाग्य के बारे में बात करता हूं और एक साल के उपयोग के बाद उसके साथ क्या हुआ।

1. समस्या के विचार और कथन की उत्पत्ति

प्रारंभिक उत्पादन में, पूरी कहानी का एक काम था - व्यक्तिगत रूप से पोस्टर के प्रत्येक प्रदर्शन के मैनुअल देखने पर समय बचाने के लिए, कीमत द्वारा फ़िल्टर किए गए प्रदर्शनों की एक सूची बनाना। एकमात्र थिएटर जिसका पोस्टर रूचि का था और वह मरिंस्की बना हुआ था। व्यक्तिगत अनुभव ने जल्दी से दिखाया कि यादृच्छिक प्रदर्शन के लिए बजट "गैलरी" यादृच्छिक दिनों पर खुलता है, और जल्दी से पर्याप्त खरीदा जाता है (यदि कर्मचारी खड़ा है)। कुछ भी याद नहीं करने के लिए, एक स्वचालित कलेक्टर की आवश्यकता होती है।

मैं स्क्रिप्ट चलाने के लिए रुचि के प्रदर्शन का एक सीमित सेट प्राप्त करना चाहता था। मुख्य मानदंड, जैसा कि पहले ही उल्लेख किया गया है, टिकट की कीमत थी।
साइट का एपीआई और टिकट प्रणाली सार्वजनिक रूप से उपलब्ध नहीं है, इसलिए यह आवश्यक हो गया था कि HTML पृष्ठों को पार्स करने के लिए (बिना एडो के) आवश्यक टैग हटा दिया जाए। मुख्य एक खोलें, F12 दबाएं और संरचना का अध्ययन करें। यह पर्याप्त लग रहा था, इसलिए चीजें जल्दी से 1 कार्यान्वयन तक पहुंच गईं।
यह स्पष्ट है कि यह दृष्टिकोण पोस्टर के साथ अन्य साइटों के लिए पैमाने पर नहीं है और वर्तमान संरचना को बदलने का निर्णय लेने पर उखड़ जाएगा। अगर पाठकों के पास एपीआई के बिना उन्हें और अधिक स्थिर बनाने के बारे में विचार हैं, तो टिप्पणियों में लिखें।

2. पहला कार्यान्वयन। न्यूनतम कार्यक्षमता

मैं मशीन सीखने से संबंधित कार्यों को हल करने के लिए पायथन के साथ अनुभव के साथ कार्यान्वयन के साथ आया था। और html और वेब आर्किटेक्चर की कोई गहरी समझ नहीं थी (और यह दिखाई नहीं दिया)। इसलिए, सब कुछ सिद्धांत के अनुसार किया गया था "जहां मैं जाता हूं, मुझे पता है, लेकिन अब हम पाएंगे कि कैसे जाना है"
पहले ड्राफ्ट के लिए, इसमें 4 शाम ​​के घंटे और अनुरोधों और सुंदर सूप 4 मॉड्यूल का परिचय था (एक अच्छे लेख की मदद के बिना, लेखक के लिए धन्यवाद)। स्केच खत्म करने के लिए - एक और दिन बंद। मुझे पूरी तरह से यकीन नहीं है कि मॉड्यूल अपने सेगमेंट में सबसे इष्टतम हैं, लेकिन उन्होंने अपनी वर्तमान जरूरतों को बंद कर दिया है। यहाँ पहले चरण में क्या हुआ है।
साइट की संरचना से क्या जानकारी और कहां से बाहर निकालना है, समझा जा सकता है। सबसे पहले, हम उन सबमिशन के पते एकत्र करते हैं जो चयनित महीने के लिए पोस्टर पर हैं।

Html पेज से, हमें शुद्ध URL पढ़ने की आवश्यकता है, फिर उनके माध्यम से जाने और मूल्य टैग देखने की आवश्यकता है। इसी तरह लिंक लिस्ट को इकट्ठा किया जाता है।

import requests import numpy as np from bs4 import BeautifulSoup def get_text(url): # URL  html r = requests.get(url) text=r.text return text def get_items(text,top_name,class_name): """   html-  "" url-, ..  - .       top_name  class_name   -  <a class="c_theatre2 c_chamber_halls" href="//tickets.mariinsky.ru/ru/performance/WWpGeDRORFUwUkRjME13/"> </a> """ soup = BeautifulSoup(text, "lxml") film_list = soup.find('div', {'class': top_name}) items = film_list.find_all('div', {'class': [class_name]}) dirty_link=[] for item in items: dirty_link.append(str(item.find('a'))) return dirty_link def get_links(dirty_list,start,end): # ""    URL- links=[] for row in dirty_list: if row!='None': i_beg=row.find(start) i_end=row.rfind(end) if i_beg!=-1 & i_end!=-1: links.append(row[i_beg:i_end]) return links # ,    ,      num=int(input('    : ')) #URL  .      ,    =) url ='https://www.mariinsky.ru/ru/playbill/playbill/?year=2019&month='+str(num) #    top_name='container content gr_top' class_name='t_button' start='tickets' end='/">' #  text=get_text(url) dirty_link=get_items(text,top_name,class_name) #   URL-,     links=get_links(dirty_link,start,end) 

टिकटों की खरीद के साथ पृष्ठ की संरचना का अध्ययन करने के बाद, मूल्य सीमा के अलावा, मैंने उपयोगकर्ता को प्रदान करने का अवसर देने का निर्णय लिया:

• प्रदर्शन का प्रकार (1-ओपेरा, 2-बैले, 3-कॉन्सर्ट, 4-व्याख्यान)
• स्थल (1-पुराना चरण, 2-नया चरण, 3-कॉन्सर्ट हॉल, 4-कक्ष हॉल)

सांख्यिक प्रारूप में कंसोल के माध्यम से जानकारी दर्ज की जाती है; कई संख्याओं का चयन किया जा सकता है। इस तरह की परिवर्तनशीलता ओपेरा और बैले (ओपेरा सस्ता है) के लिए मूल्य निर्धारण में अंतर से निर्धारित होती है और उनकी सूचियों को अलग से देखने की इच्छा होती है।
परिणाम 4 प्रश्न और 4 डेटा फ़िल्टर - महीना, मूल्य सीमा, प्रकार, स्थान है।

अगला, हम प्राप्त किए गए सभी लिंक से गुजरते हैं। हम get_text बनाते हैं और उस पर कम कीमत की तलाश करते हैं, और संबंधित जानकारी भी निकालते हैं। इस तथ्य के कारण कि आपको प्रत्येक URL को देखना होगा और उसे टेक्स्ट में बदलना होगा, प्रोग्राम का रनटाइम तत्काल नहीं है। अनुकूलन करना अच्छा होगा, लेकिन मैंने यह नहीं सोचा कि कैसे।
मैंने स्वयं कोड का हवाला नहीं दिया है, यह थोड़ा लंबा होगा, लेकिन वहाँ सब कुछ पर्याप्त रूप से सच है और सुंदर सूप 4 के साथ "सहज"।
यदि कीमत उपयोगकर्ता द्वारा घोषित एक से कम है और टाइप-प्लेस सेट से मेल खाती है, तो कंसोल में प्रदर्शन के बारे में एक संदेश प्रदर्शित होता है। इन सभी को .xls में सहेजने का एक और विकल्प था, लेकिन इसने मूल नहीं लिया। यह कंसोल में देखने के लिए अधिक सुविधाजनक है और किसी फ़ाइल में प्रहार करने की अपेक्षा तुरंत लिंक का अनुसरण करता है।


कोड की लगभग 150 लाइनें सामने आईं। इस संस्करण में, वर्णित न्यूनतम कार्यों के साथ, स्क्रिप्ट सभी जीवित लोगों की तुलना में जीवंत है और नियमित रूप से कुछ दिनों की अवधि के साथ चलती है। अन्य सभी संशोधन या तो समाप्त नहीं हुए थे (awl का निधन हो गया है) और इसलिए निष्क्रिय हैं, या कार्यों में अधिक लाभप्रद नहीं हैं।

3. कार्यक्षमता का विस्तार

दूसरे चरण में, मैंने मूल्य परिवर्तनों को ट्रैक करने का निर्णय लिया, एक अलग फ़ाइल में रुचि के प्रदर्शन के लिए लिंक संग्रहीत (अधिक सटीक, उनके लिए URL)। सबसे पहले, यह बैले के लिए प्रासंगिक है - वे शायद ही कभी बहुत सस्ते हैं और वे आम बजट के मुद्दे में नहीं पड़ेंगे। लेकिन 5 हजार से 2x तक ड्रॉप महत्वपूर्ण है, खासकर अगर प्रदर्शन एक तारकीय कलाकारों के साथ है, और मैं इसे ट्रैक करना चाहता था।
ऐसा करने के लिए, आपको पहले ट्रैकिंग के लिए URL जोड़ना होगा, और फिर समय-समय पर उन्हें "शेक" करना होगा और पुराने के साथ नई कीमत की तुलना करनी होगी।

 def add_new_URL(user_id,perf_url): #user_id ,        - WAITING_FILE = "waiting_list.csv" with open(WAITING_FILE, "a", newline="") as file: curent_url='https://'+perf_url text=get_text(curent_url) #      - , ,,   minP, name,date,typ,place=find_lowest(text) user = [str(user_id), perf_url,str(m)] writer = csv.writer(file) writer.writerow(user) def update_prices(): #        print(' ') WAITING_FILE = "waiting_list.csv" with open(WAITING_FILE, "r", newline="") as file: reader = csv.reader(file) gen=[] for row in reader: gen.append(list(row)) L=len(gen) lowest={} with open(WAITING_FILE, "w", newline="") as fl: writer = csv.writer(fl) for i in range(L): lowest[gen[i][1]]=gen[i][2] #   URL  for k in lowest.keys(): text=get_text('https://'+k) minP, name,date,typ,place=find_lowest(text) if minP==0: #     ,      "" minP=100000 if int(minP)<int(lowest[k]): #   ,    lowest[k]=minP for i in range(L): if gen[i][1]==k: #  -  URL   gen[i][2]=str(minP) print('   '+k+'    '+str(minP)) writer.writerows(gen) add_new_URL('12345','tickets.mariinsky.ru/ru/performance/ZVRGZnRNbmd3VERsNU1R/') update_prices() 

मूल्य अद्यतन मुख्य स्क्रिप्ट की शुरुआत में लॉन्च किया गया था, इसे अलग से नहीं किया गया था। शायद उतना सुरुचिपूर्ण नहीं है जितना हम चाहेंगे, लेकिन यह इसकी समस्या को हल करता है। तो दूसरी अतिरिक्त कार्यक्षमता ब्याज के प्रदर्शन के लिए कीमतों में गिरावट की निगरानी कर रही थी।

तब टेलीग्राम बॉट पैदा हुआ था, इतना आसान नहीं, तेज, दिलेर, लेकिन अभी भी पैदा हुआ था। सब कुछ एक साथ नहीं रखने के लिए, उसके बारे में कहानी (साथ ही साथ अवास्तविक विचारों के बारे में और बोल्शोई थिएटर वेबसाइट के साथ ऐसा करने का प्रयास) लेख के दूसरे भाग में होगा।

परिणाम: विचार एक सफलता थी, उपयोगकर्ता संतुष्ट हैं। HTML पृष्ठों के साथ बातचीत करने के लिए यह पता लगाने में कुछ हफ़्ते लगे। सौभाग्य से, पायथन एक भाषा-लगभग-सब-कुछ के लिए तैयार है और तैयार किए गए मॉड्यूल हथौड़ा की भौतिकी के बारे में सोचने के बिना एक नाखून को चलाने में मदद करते हैं।

मुझे उम्मीद है कि यह मामला हैबरचियंस के लिए उपयोगी होगा और शायद, यह एक जादुई पेंडेल की तरह काम करेगा, जो आखिरकार मेरे सिर में लंबे समय तक बैठा रहा।

UPD: कहानी जारी - भाग 2