पाइथन उन लोगों के लिए सस्ती उड़ानें खोजने में सहायक है जो यात्रा करना पसंद करते हैं

लेख के लेखक, जिसका अनुवाद हम आज प्रकाशित कर रहे हैं, का कहना है कि उसका लक्ष्य पाइथन में सेलेनियम का उपयोग करके एक वेब स्क्रैपर विकसित करने के बारे में बात करना है, जो विमान की कीमतों की खोज करता है। टिकट की खोज करते समय, लचीली तिथियों का उपयोग किया जाता है (+ - निर्दिष्ट तिथियों के सापेक्ष 3 दिन)। स्क्रैपर एक एक्सेल फ़ाइल में खोज परिणामों को सहेजता है और उस व्यक्ति को भेजता है जिसने इसे सामान्य जानकारी के साथ एक ईमेल लॉन्च किया था जो वह खोजने में कामयाब रहा। इस परियोजना का उद्देश्य यात्रियों को सर्वोत्तम सौदे खोजने में मदद करना है।



यदि आप, सामग्री के साथ काम करते हैं, तो महसूस करें कि आप खो गए हैं - इस लेख पर एक नज़र डालें।

हम क्या देख रहे हैं?

आप यहां बताए गए सिस्टम का उपयोग करने के लिए स्वतंत्र हैं, जैसा आप चाहते हैं। उदाहरण के लिए, मैंने इसका उपयोग सप्ताहांत पर्यटन और अपने गृहनगर के टिकटों की खोज के लिए किया। यदि आप लाभदायक टिकट खोजने के बारे में गंभीर हैं, तो आप स्क्रिप्ट को सर्वर पर चला सकते हैं (एक साधारण सर्वर , महीने में 130 रूबल के लिए, इसके लिए काफी उपयुक्त है) और इसे दिन में एक या दो बार चलाएं। खोज परिणाम आपको ईमेल किया जाएगा। इसके अलावा, मैं अनुशंसा करता हूं कि आप सब कुछ कॉन्फ़िगर करें ताकि स्क्रिप्ट ड्रॉपबॉक्स फ़ोल्डर में खोज परिणामों के साथ एक्सेल फ़ाइल को सहेजे, जिससे आप कहीं से भी और कभी भी ऐसी फ़ाइलों को देख सकते हैं।


मुझे अभी तक त्रुटियों के साथ टैरिफ नहीं मिला है, लेकिन मेरा मानना ​​है कि यह संभव है

खोज करते समय, जैसा कि पहले ही कहा जा चुका है, एक "लचीली तारीख" का उपयोग किया जाता है, स्क्रिप्ट में दिए गए तिथियों से तीन दिनों के भीतर ऑफ़र मिलते हैं। हालांकि स्क्रिप्ट शुरू करते समय, यह केवल एक दिशा में प्रस्तावों की खोज करता है, इसे परिष्कृत करना आसान है ताकि यह उड़ानों की कई दिशाओं में डेटा एकत्र कर सके। इसकी मदद से, आप गलत टैरिफ की खोज भी कर सकते हैं, इस तरह की खोज बहुत दिलचस्प हो सकती है।

मुझे दूसरे वेब स्क्रैपर की आवश्यकता क्यों है?

जब मैंने पहली बार वेब स्क्रैपिंग शुरू की थी, तो ईमानदार होने के लिए, यह विशेष रूप से दिलचस्प नहीं था। मैं पूर्वानुमानात्मक मॉडलिंग, वित्तीय विश्लेषण के क्षेत्र में और संभवतः, ग्रंथों के भावनात्मक रंग के विश्लेषण के क्षेत्र में अधिक परियोजनाएं करना चाहता था। लेकिन यह पता चला कि यह बहुत दिलचस्प था - यह पता लगाने के लिए कि एक कार्यक्रम कैसे बनाया जाए जो वेबसाइटों से डेटा एकत्र करता है। जैसा कि मैंने इस विषय में विलंब किया, मुझे महसूस हुआ कि वेब स्क्रैपिंग इंटरनेट का "इंजन" है।

आप यह तय कर सकते हैं कि यह बहुत अधिक साहसिक है। लेकिन इस बारे में सोचें कि Google ने वेब स्क्रैपर से कैसे शुरुआत की, जो लैरी पेज ने जावा और पायथन का उपयोग करके बनाया था। Googlebots इंटरनेट पर शोध और खोज कर रहे हैं, अपने उपयोगकर्ताओं को उनके सवालों के सर्वोत्तम संभव उत्तर प्रदान करने की कोशिश कर रहे हैं। वेब स्क्रैपिंग की अनंत संख्या में अनुप्रयोग हैं, और यहां तक ​​कि अगर आप, डेटा साइंस के क्षेत्र में, किसी और चीज़ में रुचि रखते हैं, तो विश्लेषण के लिए डेटा प्राप्त करने के लिए, आपको कुछ स्क्रैपिंग कौशल की आवश्यकता होगी।

यहाँ इस्तेमाल किए गए कुछ ट्रिक्स मुझे वेब स्क्रैपिंग के बारे में एक अद्भुत किताब में मिले, जिसे मैंने हाल ही में हासिल किया है। इसमें आप अध्ययन के व्यावहारिक अनुप्रयोग पर कई सरल उदाहरण और विचार पा सकते हैं। इसके अलावा, reCaptcha परीक्षण बाईपास पर एक बहुत ही दिलचस्प अध्याय है। मेरे लिए, यह खबर थी, क्योंकि मुझे नहीं पता था कि ऐसी समस्याओं को हल करने के लिए विशेष उपकरण और यहां तक ​​कि संपूर्ण सेवाएं भी थीं।

क्या आपको यात्रा करना पसंद है!

इस खंड के शीर्षक में रखे गए सरल और बल्कि हानिरहित प्रश्न के लिए, एक व्यक्ति को अक्सर एक सकारात्मक उत्तर सुना जा सकता है, बशर्ते उस व्यक्ति की यात्रा की कुछ कहानियों के साथ, जिनसे उसे पूछा गया था। हम में से अधिकांश इस बात से सहमत होंगे कि यात्रा नए सांस्कृतिक वातावरण में गोता लगाने और हमारे क्षितिज का विस्तार करने का एक शानदार तरीका है। हालाँकि, यदि आप किसी से इस बारे में सवाल पूछते हैं कि क्या वह हवाई टिकट देखना पसंद करता है, तो मुझे यकीन है कि इसका उत्तर इतना सकारात्मक होने से दूर होगा। तथ्य के रूप में, यहाँ पायथन बचाव के लिए आता है।

पहला काम जो हमें एयरलाइन टिकटों पर जानकारी के लिए खोज करने की एक प्रणाली बनाने के तरीके पर हल करना होगा, वह एक उपयुक्त मंच का चयन होगा जिसके साथ हम जानकारी लेंगे। इस समस्या का समाधान मेरे लिए आसान नहीं था, लेकिन अंत में मैंने कश्ती सेवा को चुना। मैंने मोमेंटो, स्काईस्कैनर, एक्सपीडिया और कुछ और सेवाओं की कोशिश की, लेकिन इन संसाधनों पर रोबोट के खिलाफ सुरक्षा तंत्र अभेद्य थे। कई प्रयासों के बाद, जिसके दौरान, सिस्टम को समझाने की कोशिश में कि मैं मानव था, मुझे ट्रैफिक लाइट, पैदल यात्री क्रॉसिंग और साइकिल से निपटना पड़ा, मैंने फैसला किया कि कयाक मुझे सबसे अच्छा सूट करता है, भले ही यहाँ भी, अगर थोड़े समय में कई पेज लोड करते हैं, चेक भी शुरू होते हैं। मैं 4 से 6 घंटे के अंतराल पर साइट पर बॉट भेजने का अनुरोध करने में कामयाब रहा, और सब कुछ ठीक रहा। कश्ती के साथ काम करते समय समय-समय पर कठिनाइयां भी आती हैं, लेकिन अगर आप चेक से परेशान होना शुरू करते हैं, तो आपको या तो उनसे निपटने की आवश्यकता है, फिर बॉट शुरू करें, या कुछ घंटों तक प्रतीक्षा करें, और चेक बंद हो जाना चाहिए। यदि आवश्यक हो, तो आप किसी अन्य प्लेटफ़ॉर्म के लिए कोड को अनुकूलित कर सकते हैं, और यदि आप ऐसा करते हैं, तो आप इसे टिप्पणियों में रिपोर्ट कर सकते हैं।

यदि आप अभी वेब स्क्रैपिंग शुरू कर रहे हैं, और यह नहीं जानते हैं कि कुछ वेबसाइटें इससे क्यों जूझ रही हैं, तो इससे पहले कि आप इस क्षेत्र में अपना पहला प्रोजेक्ट शुरू करें, अपने आप को एक एहसान करें और शब्दों के लिए Google खोजें। "वेब स्क्रैपिंग शिष्टाचार"। यदि आप अनजाने में वेब स्क्रैपिंग में लगे हुए हैं तो आपके प्रयोग जल्द ही समाप्त हो सकते हैं।

शुरुआत हो रही है

हमारे वेब स्क्रैपर के कोड में क्या होगा, इसका एक सामान्य अवलोकन यहां दिया गया है:

• आवश्यक पुस्तकालय आयात करें।
• Google Chrome टैब खोलें।
• बॉट को लॉन्च करने वाले फ़ंक्शन को कॉल करना, उसे शहर और दिनांक पास करना, जिसका उपयोग टिकट की खोज करते समय किया जाएगा।
• यह फ़ंक्शन सबसे आकर्षक (सर्वोत्तम) के मानदंडों द्वारा क्रमबद्ध पहला खोज परिणाम प्राप्त करता है, और अतिरिक्त परिणामों को लोड करने के लिए बटन दबाता है।
• एक अन्य फ़ंक्शन पूरे पृष्ठ से डेटा एकत्र करता है और एक डेटा फ़्रेम देता है।
• पिछले दो चरणों को टिकट की कीमत (सस्ते) और उड़ान गति (सबसे तेज) द्वारा छँटाई प्रकारों का उपयोग करके किया जाता है।
• टिकट की कीमतों का संक्षिप्त सारांश (सबसे सस्ता टिकट और औसत मूल्य) वाले स्क्रिप्ट उपयोगकर्ता को एक ईमेल भेजा जाता है, और तीन उपरोक्त संकेतकों द्वारा छांटी गई जानकारी के साथ डेटा फ़्रेम को एक्सेल फ़ाइल के रूप में सहेजा जाता है।
• उपरोक्त सभी क्रियाएं एक निर्दिष्ट अवधि के बाद एक चक्र में की जाती हैं।

यह ध्यान दिया जाना चाहिए कि प्रत्येक सेलेनियम परियोजना एक वेब ड्राइवर के साथ शुरू होती है। मैं Chromedriver का उपयोग करता हूं , Google Chrome के साथ काम करता हूं, लेकिन अन्य विकल्प भी हैं। इसके अलावा PhantomJS और Firefox लोकप्रिय हैं। ड्राइवर को लोड करने के बाद, आपको इसे उपयुक्त फ़ोल्डर में रखने की आवश्यकता है, इससे इसके उपयोग की तैयारी पूरी हो जाती है। हमारी स्क्रिप्ट की पहली पंक्तियाँ एक नया Chrome टैब खोलती हैं।

ध्यान रखें कि, मेरी कहानी में, मैं एयरलाइन टिकटों पर लाभदायक ऑफ़र खोजने के लिए नए क्षितिज खोलने की कोशिश नहीं कर रहा हूँ। इस तरह के ऑफ़र खोजने के लिए बहुत अधिक उन्नत तकनीकें हैं। मैं सिर्फ इस सामग्री के पाठकों को इस समस्या को हल करने का एक सरल लेकिन व्यावहारिक तरीका प्रदान करना चाहता हूं।

यहाँ कोड है जिसके बारे में हमने ऊपर बताया है।

from time import sleep, strftime from random import randint import pandas as pd from selenium import webdriver from selenium.webdriver.common.keys import Keys import smtplib from email.mime.multipart import MIMEMultipart #      chromedriver! chromedriver_path = 'C:/{YOUR PATH HERE}/chromedriver_win32/chromedriver.exe' driver = webdriver.Chrome(executable_path=chromedriver_path) #     Chrome sleep(2) 

कोड की शुरुआत में, आप हमारे पूरे प्रोजेक्ट में उपयोग किए जाने वाले पैकेज आयात कमांड देख सकते हैं। इसलिए, randint का उपयोग किया जाता है ताकि एक नया खोज अभियान शुरू करने से पहले बॉट सोते समय यादृच्छिक संख्या में सो जाए। आमतौर पर एक भी बॉट इसके बिना नहीं कर सकता है। यदि आप उपरोक्त कोड चलाते हैं, तो एक क्रोम विंडो खुलेगी, जो बॉट साइटों के साथ काम करने के लिए उपयोग करेगी।

आइए थोड़ा प्रयोग करें और एक अलग विंडो में kayak.com वेबसाइट खोलें। उस शहर को चुनें, जहां से हम उड़ान भरने जा रहे हैं, और जिस शहर में हम जाना चाहते हैं, साथ ही उड़ानों की तारीखें भी। तिथियां चुनते समय, हम यह सत्यापित करेंगे कि सीमा + -3 दिन है। मैंने कोड को ध्यान में रखते हुए लिखा कि साइट इस तरह के अनुरोधों के जवाब में क्या पैदा करती है। यदि, उदाहरण के लिए, आपको केवल दी गई तारीखों के लिए टिकट खोजने की आवश्यकता है, तो यह अत्यधिक संभावना है कि आपको बॉट कोड को संशोधित करना होगा। कोड के बारे में बात करते हुए, मैं उचित स्पष्टीकरण देता हूं, लेकिन अगर आपको लगता है कि आप भ्रमित हैं - मुझे बताएं।

अब सर्च स्टार्ट बटन पर क्लिक करें और एड्रेस बार के लिंक को देखें। यह उस लिंक की तरह दिखना चाहिए जिसका उपयोग मैं नीचे दिए गए उदाहरण में करता हूं, जहां URL को संग्रहित करने वाले kayak चर को घोषित किया जाता है, और वेब चालक की विधि का उपयोग किया जाता है। खोज बटन पर क्लिक करने के बाद, परिणाम पृष्ठ पर दिखाई देने चाहिए।


जब मैंने कुछ ही मिनटों में दो से तीन बार से अधिक कमांड get किया, तो मुझे पुनः परीक्षण का उपयोग करके परीक्षा पास करने के लिए कहा गया। आप इस चेक को मैन्युअल रूप से जा सकते हैं और प्रयोगों को जारी रख सकते हैं जब तक कि सिस्टम एक नई जाँच की व्यवस्था करने का निर्णय नहीं लेता। जब मैंने स्क्रिप्ट का परीक्षण किया, तो मुझे महसूस हुआ कि पहला खोज सत्र हमेशा समस्याओं के बिना चलता है, इसलिए यदि आप कोड के साथ प्रयोग करना चाहते हैं, तो आपको केवल समय-समय पर इसे मैन्युअल रूप से जांचना होगा और खोज सत्रों के बीच लंबे अंतराल का उपयोग करके कोड को निष्पादित करना छोड़ना होगा। हां, और यदि आप इसके बारे में सोचते हैं, तो एक व्यक्ति को खोज कार्यों के बीच 10 मिनट के अंतराल पर प्राप्त टिकट की कीमतों के बारे में जानकारी की आवश्यकता नहीं है।

XPath का उपयोग करते हुए एक पृष्ठ के साथ काम करना

इसलिए, हमने खिड़की खोली और साइट लोड की। मूल्य निर्धारण और अन्य जानकारी प्राप्त करने के लिए, हमें XPath तकनीक या CSS चयनकर्ताओं का उपयोग करने की आवश्यकता है। मैंने XPath पर रहने का फैसला किया और सीएसएस चयनकर्ताओं का उपयोग करने की आवश्यकता महसूस नहीं की, लेकिन इस तरह काम करना काफी संभव है। XPath का उपयोग करते हुए एक पृष्ठ के चारों ओर घूमना एक कठिन काम हो सकता है, और यहां तक ​​कि अगर आप इस लेख में वर्णित विधियों का उपयोग करते हैं, जो पेज कोड से संबंधित पहचानकर्ताओं की नकल करते थे, तो मुझे एहसास हुआ कि यह वास्तव में, उपयोग करने का सबसे अच्छा तरीका नहीं है आवश्यक तत्व। वैसे, इस पुस्तक में आप XPath और CSS चयनकर्ताओं का उपयोग करके पृष्ठों के साथ काम करने की मूल बातें का एक उत्कृष्ट विवरण पा सकते हैं। यहाँ वही है जो संबंधित वेब ड्राइवर विधि की तरह दिखता है।


इसलिए, हम बॉट पर काम करना जारी रखते हैं। सबसे सस्ती टिकटों का चयन करने के लिए कार्यक्रम का लाभ उठाएं। निम्न छवि में, XPath चयनकर्ता कोड को लाल रंग में हाइलाइट किया गया है। कोड देखने के लिए, आपको उस पृष्ठ के तत्व पर राइट-क्लिक करना होगा जिसमें आप रुचि रखते हैं और दिखाई देने वाले मेनू में इंस्पेक्ट कमांड का चयन करें। इस कमांड को विभिन्न पृष्ठ तत्वों के लिए बुलाया जा सकता है, जिनमें से कोड को देखने वाली विंडो में प्रदर्शित और हाइलाइट किया जाएगा।


पेज कोड देखें

कोड से चयनकर्ताओं को कॉपी करने के नुकसान के बारे में मेरे तर्क की पुष्टि करने के लिए, निम्नलिखित विशेषताओं पर ध्यान दें।

कोड की प्रतिलिपि बनाते समय आपको यहां क्या मिलेगा:

 //*[@id="wtKI-price_aTab"]/div[1]/div/div/div[1]/div/span/span 

कुछ इसी तरह की प्रतिलिपि बनाने के लिए, आपको उस कोड के हिस्से पर राइट-क्लिक करना होगा जो आपकी रुचि रखता है और दिखाई देने वाले मेनू से कॉपी> कॉपी XPath कॉपी करें।

यहाँ मैं सबसे सस्ता बटन को परिभाषित करने के लिए प्रयोग किया जाता है:

 cheap_results = '//a[@data-code = "price"]' 

कॉपी> XPath कमांड कॉपी करें

यह काफी स्पष्ट है कि दूसरा विकल्प बहुत सरल दिखता है। इसका उपयोग करते समय, यह तत्व ए की खोज करता है, जिसमें price बराबर data-code विशेषता price । पहले विकल्प का उपयोग करते हुए, एक id तत्व खोजा जाता है जिसके लिए wtKI-price_aTab , और तत्व के लिए XPath पथ /div[1]/div/div/div[1]/div/span/span की तरह दिखता है। एक पेज के लिए एक समान XPath अनुरोध चाल करेगा, लेकिन केवल एक बार। मैं अभी कह सकता हूं कि अगली बार पेज लोड होने पर id बदल जाएगी। wtKI वर्ण wtKI हर बार पृष्ठ लोड होने के बाद गतिशील रूप से बदलता है, परिणामस्वरूप, जिस कोड में इसका उपयोग किया जाता है वह अगले पृष्ठ पुनः लोड होने के बाद बेकार हो जाएगा। तो XPath का पता लगाने के लिए कुछ समय लें। यह ज्ञान आपकी अच्छी सेवा करेगा।

हालांकि, यह ध्यान दिया जाना चाहिए कि काफी सरल साइटों के साथ काम करते समय XPath चयनकर्ताओं की नकल करना काम में आ सकता है, और यदि यह आपको सूट करता है, तो इसके साथ कुछ भी गलत नहीं है।

अब आइए इस बारे में सोचें कि यदि आपको सूची के अंदर कई खोज परिणामों को प्राप्त करने की आवश्यकता है, तो क्या करें। बहुत सरल है। प्रत्येक परिणाम resultWrapper वर्ग के साथ एक वस्तु के अंदर होता है। सभी परिणामों को डाउनलोड करना एक लूप में किया जा सकता है जो नीचे दिखाए गए जैसा दिखता है।

यह ध्यान दिया जाना चाहिए कि यदि आप उपरोक्त समझते हैं, तो आपको आसानी से अधिकांश कोड को समझना चाहिए जो हम पार्स करेंगे। इस कोड के काम के दौरान, हम उस चीज़ की ओर मुड़ते हैं जिसकी हमें ज़रूरत है (वास्तव में, यह वह तत्व है जिसमें परिणाम लिपटा हुआ है) पथ (XPath) को इंगित करने के लिए कुछ तंत्र का उपयोग कर रहा है। यह तत्व का पाठ प्राप्त करने और इसे उस वस्तु में रखने के लिए किया जाता है, जहां से डेटा पढ़ा जा सकता है (पहले flight_containers , फिर flights_list )।


पहली तीन पंक्तियाँ प्रदर्शित होती हैं और हम उन सभी चीजों को स्पष्ट रूप से देख सकते हैं जिनकी हमें आवश्यकता है। हालाँकि, हमारे पास जानकारी प्राप्त करने के अधिक दिलचस्प तरीके हैं। हमें प्रत्येक तत्व का डेटा अलग से लेना होगा।

काम करने के लिए!

अतिरिक्त परिणाम लोड करने के लिए एक फ़ंक्शन लिखना सबसे आसान है, तो चलिए इसके साथ शुरू करते हैं। मैं उन उड़ानों की संख्या को अधिकतम करना चाहूंगा जिनके बारे में कार्यक्रम को जानकारी मिलती है, और साथ ही उस सेवा में संदेह का कारण नहीं बनता है जिससे सत्यापन होता है, इसलिए मैं पृष्ठ प्रदर्शित होने पर हर बार लोड लोड बटन पर क्लिक करता हूं। इस कोड में, यह try ब्लॉक पर ध्यान देने योग्य है, जिसे मैंने जोड़ा क्योंकि कभी-कभी बटन सामान्य रूप से लोड नहीं होता है। यदि आप इसका सामना भी करते हैं, तो इस फ़ंक्शन के कॉल को start_kayak फ़ंक्शन के कोड में start_kayak करें, जिसके बारे में हम नीचे चर्चा करेंगे।

 #      ,      def load_more():   try:       more_results = '//a[@class = "moreButton"]'       driver.find_element_by_xpath(more_results).click()       #            ,          print('sleeping.....')       sleep(randint(45,60))   except:       pass 

अब, इस फ़ंक्शन के लंबे विश्लेषण के बाद (कभी-कभी मुझे दूर किया जा सकता है), हम एक ऐसे फ़ंक्शन को घोषित करने के लिए तैयार हैं जो स्क्रैपिंग से निपटेंगे।

मैंने पहले ही संग्रह कर लिया है जो अगले फ़ंक्शन में आवश्यक है जिसे page_scrape कहा जाता है। कभी-कभी पथ के चरणों के बारे में दिए गए डेटा संयुक्त हो जाते हैं, उनके पृथक्करण के लिए मैं एक सरल विधि का उपयोग करता हूं। उदाहरण के लिए, पहली बार मैं चर section_a_list और section_b_list उपयोग करता हूं। हमारा फ़ंक्शन डेटा फ़्रेम flights_df , यह हमें अलग-अलग डेटा सॉर्टिंग विधियों का उपयोग करके प्राप्त परिणामों को अलग करने की अनुमति देता है, और बाद में उन्हें संयोजित करता है।

 def page_scrape():   """This function takes care of the scraping part"""     xp_sections = '//*[@class="section duration"]'   sections = driver.find_elements_by_xpath(xp_sections)   sections_list = [value.text for value in sections]   section_a_list = sections_list[::2] #          section_b_list = sections_list[1::2]     #     reCaptcha,    - .   #  ,  -   ,     ,       #   if        -   #    ,           #    SystemExit           if section_a_list == []:       raise SystemExit     #     A     B     a_duration = []   a_section_names = []   for n in section_a_list:       #         a_section_names.append(''.join(n.split()[2:5]))       a_duration.append(''.join(n.split()[0:2]))   b_duration = []   b_section_names = []   for n in section_b_list:       #         b_section_names.append(''.join(n.split()[2:5]))       b_duration.append(''.join(n.split()[0:2]))   xp_dates = '//div[@class="section date"]'   dates = driver.find_elements_by_xpath(xp_dates)   dates_list = [value.text for value in dates]   a_date_list = dates_list[::2]   b_date_list = dates_list[1::2]   #      a_day = [value.split()[0] for value in a_date_list]   a_weekday = [value.split()[1] for value in a_date_list]   b_day = [value.split()[0] for value in b_date_list]   b_weekday = [value.split()[1] for value in b_date_list]     #     xp_prices = '//a[@class="booking-link"]/span[@class="price option-text"]'   prices = driver.find_elements_by_xpath(xp_prices)   prices_list = [price.text.replace('$','') for price in prices if price.text != '']   prices_list = list(map(int, prices_list))   # stops -   ,         ,   -     xp_stops = '//div[@class="section stops"]/div[1]'   stops = driver.find_elements_by_xpath(xp_stops)   stops_list = [stop.text[0].replace('n','0') for stop in stops]   a_stop_list = stops_list[::2]   b_stop_list = stops_list[1::2]   xp_stops_cities = '//div[@class="section stops"]/div[2]'   stops_cities = driver.find_elements_by_xpath(xp_stops_cities)   stops_cities_list = [stop.text for stop in stops_cities]   a_stop_name_list = stops_cities_list[::2]   b_stop_name_list = stops_cities_list[1::2]     #   -,          xp_schedule = '//div[@class="section times"]'   schedules = driver.find_elements_by_xpath(xp_schedule)   hours_list = []   carrier_list = []   for schedule in schedules:       hours_list.append(schedule.text.split('\n')[0])       carrier_list.append(schedule.text.split('\n')[1])   #          a  b   a_hours = hours_list[::2]   a_carrier = carrier_list[1::2]   b_hours = hours_list[::2]   b_carrier = carrier_list[1::2]     cols = (['Out Day', 'Out Time', 'Out Weekday', 'Out Airline', 'Out Cities', 'Out Duration', 'Out Stops', 'Out Stop Cities',           'Return Day', 'Return Time', 'Return Weekday', 'Return Airline', 'Return Cities', 'Return Duration', 'Return Stops', 'Return Stop Cities',           'Price'])   flights_df = pd.DataFrame({'Out Day': a_day,                              'Out Weekday': a_weekday,                              'Out Duration': a_duration,                              'Out Cities': a_section_names,                              'Return Day': b_day,                              'Return Weekday': b_weekday,                              'Return Duration': b_duration,                              'Return Cities': b_section_names,                              'Out Stops': a_stop_list,                              'Out Stop Cities': a_stop_name_list,                              'Return Stops': b_stop_list,                              'Return Stop Cities': b_stop_name_list,                              'Out Time': a_hours,                              'Out Airline': a_carrier,                              'Return Time': b_hours,                              'Return Airline': b_carrier,                                                     'Price': prices_list})[cols]     flights_df['timestamp'] = strftime("%Y%m%d-%H%M") #      return flights_df 

मैंने चर नाम रखने की कोशिश की ताकि कोड स्पष्ट हो जाए। याद रखें कि चर पथ के पहले चरण के संदर्भ से शुरू होता a , और दूसरे से b तक। अगले समारोह में जाएं।

सहायक तंत्र

अब हमारे पास एक फ़ंक्शन है जो आपको इन परिणामों को संसाधित करने के लिए अतिरिक्त खोज परिणामों और एक फ़ंक्शन को लोड करने की अनुमति देता है। इस लेख को इस पर पूरा किया जा सकता है, क्योंकि ये दो कार्य स्वतंत्र रूप से खोले जा सकने वाले पृष्ठों को स्क्रैप करने के लिए आवश्यक सब कुछ प्रदान करते हैं। लेकिन हमने अभी तक ऊपर चर्चा की गई कुछ सहायक तंत्रों पर विचार नहीं किया है। उदाहरण के लिए, यह ईमेल और कुछ अन्य चीजें भेजने के लिए कोड है। यह सब start_kayak फ़ंक्शन में पाया जा सकता है, जिसे अब हम मानते हैं।

इस फ़ंक्शन का उपयोग करने के लिए, आपको शहरों और तिथियों के बारे में जानकारी चाहिए। इस जानकारी का उपयोग करते हुए, वह kayak चर में एक लिंक बनाती है, जिसका उपयोग उस पृष्ठ पर जाने के लिए किया जाता है जिसमें खोज परिणाम उनके श्रेष्ठ मिलान के अनुसार क्रमबद्ध होंगे। पहले स्क्रैपिंग सत्र के बाद, हम पृष्ठ के शीर्ष पर तालिका में कीमतों के साथ काम करेंगे। अर्थात्, हम न्यूनतम टिकट मूल्य और औसत मूल्य पाते हैं। यह सब, साइट द्वारा जारी की गई भविष्यवाणी के साथ, ई-मेल द्वारा भेजा जाएगा। पृष्ठ पर, संबंधित तालिका ऊपरी बाएं कोने में होनी चाहिए। इस तालिका के साथ काम करके, सटीक तिथियों का उपयोग करते समय एक त्रुटि हो सकती है, क्योंकि इस मामले में तालिका पृष्ठ पर प्रदर्शित नहीं होती है।

 def start_kayak(city_from, city_to, date_start, date_end):   """City codes - it's the IATA codes!   Date format -  YYYY-MM-DD"""     kayak = ('https://www.kayak.com/flights/' + city_from + '-' + city_to +            '/' + date_start + '-flexible/' + date_end + '-flexible?sort=bestflight_a')   driver.get(kayak)   sleep(randint(8,10))     #    ,           try   try:       xp_popup_close = '//button[contains(@id,"dialog-close") and contains(@class,"Button-No-Standard-Style close ")]'       driver.find_elements_by_xpath(xp_popup_close)[5].click()   except Exception as e:       pass   sleep(randint(60,95))   print('loading more.....')  #     load_more()     print('starting first scrape.....')   df_flights_best = page_scrape()   df_flights_best['sort'] = 'best'   sleep(randint(60,80))     #      ,        matrix = driver.find_elements_by_xpath('//*[contains(@id,"FlexMatrixCell")]')   matrix_prices = [price.text.replace('$','') for price in matrix]   matrix_prices = list(map(int, matrix_prices))   matrix_min = min(matrix_prices)   matrix_avg = sum(matrix_prices)/len(matrix_prices)     print('switching to cheapest results.....')   cheap_results = '//a[@data-code = "price"]'   driver.find_element_by_xpath(cheap_results).click()   sleep(randint(60,90))   print('loading more.....')  #     load_more()     print('starting second scrape.....')   df_flights_cheap = page_scrape()   df_flights_cheap['sort'] = 'cheap'   sleep(randint(60,80))     print('switching to quickest results.....')   quick_results = '//a[@data-code = "duration"]'   driver.find_element_by_xpath(quick_results).click()    sleep(randint(60,90))   print('loading more.....')  #     load_more()     print('starting third scrape.....')   df_flights_fast = page_scrape()   df_flights_fast['sort'] = 'fast'   sleep(randint(60,80))     #     Excel-,         final_df = df_flights_cheap.append(df_flights_best).append(df_flights_fast)   final_df.to_excel('search_backups//{}_flights_{}-{}_from_{}_to_{}.xlsx'.format(strftime("%Y%m%d-%H%M"),                                                                                  city_from, city_to,                                                                                  date_start, date_end), index=False)   print('saved df.....')     #    ,  ,  ,      xp_loading = '//div[contains(@id,"advice")]'   loading = driver.find_element_by_xpath(xp_loading).text   xp_prediction = '//span[@class="info-text"]'   prediction = driver.find_element_by_xpath(xp_prediction).text   print(loading+'\n'+prediction)     #    loading   , , ,        #    -    "Not Sure"   weird = '¯\\_(ツ)_/¯'   if loading == weird:       loading = 'Not sure'     username = 'YOUREMAIL@hotmail.com'   password = 'YOUR PASSWORD'   server = smtplib.SMTP('smtp.outlook.com', 587)   server.ehlo()   server.starttls()   server.login(username, password)   msg = ('Subject: Flight Scraper\n\n\ Cheapest Flight: {}\nAverage Price: {}\n\nRecommendation: {}\n\nEnd of message'.format(matrix_min, matrix_avg, (loading+'\n'+prediction)))   message = MIMEMultipart()   message['From'] = 'YOUREMAIL@hotmail.com'   message['to'] = 'YOUROTHEREMAIL@domain.com'   server.sendmail('YOUREMAIL@hotmail.com', 'YOUROTHEREMAIL@domain.com', msg)   print('sent email.....') 

मैंने एक Outlook खाते (hotmail.com) का उपयोग करके इस स्क्रिप्ट का परीक्षण किया। मैंने जीमेल खाते के सही संचालन के लिए इसकी जांच नहीं की, यह मेल प्रणाली बहुत लोकप्रिय है, लेकिन बहुत सारे संभावित विकल्प हैं। यदि आप हॉटमेल खाते का उपयोग करते हैं, तो सब कुछ काम करने के लिए, आपको कोड में अपना डेटा दर्ज करना होगा।

यदि आप यह समझना चाहते हैं कि इस फ़ंक्शन के कोड के विभिन्न अनुभागों में वास्तव में क्या किया जाता है, तो आप उन्हें कॉपी कर सकते हैं और उनके साथ प्रयोग कर सकते हैं। कोड प्रयोग इसे समझने का एकमात्र तरीका है।

तैयार प्रणाली

अब जबकि हमने जो कुछ भी बात की थी, हम एक सरल लूप बना सकते हैं जिसमें हमारे कार्यों को कहा जाता है। स्क्रिप्ट शहरों और तारीखों के डेटा के लिए उपयोगकर्ता से पूछती है। स्क्रिप्ट के लगातार पुनरारंभ के साथ परीक्षण करते समय, आप हर बार मैन्युअल रूप से इस डेटा को दर्ज करना नहीं चाहते हैं, इसलिए परीक्षण की अवधि के लिए संबंधित लाइनों को उनके नीचे उन लोगों द्वारा अनियंत्रित करके टिप्पणी की जा सकती है जिनमें स्क्रिप्ट के लिए आवश्यक डेटा हार्ड-कोडित है।

 city_from = input('From which city? ') city_to = input('Where to? ') date_start = input('Search around which departure date? Please use YYYY-MM-DD format only ') date_end = input('Return when? Please use YYYY-MM-DD format only ') # city_from = 'LIS' # city_to = 'SIN' # date_start = '2019-08-21' # date_end = '2019-09-07' for n in range(0,5):   start_kayak(city_from, city_to, date_start, date_end)   print('iteration {} was complete @ {}'.format(n, strftime("%Y%m%d-%H%M")))     #  4    sleep(60*60*4)   print('sleep finished.....') 

यहां स्क्रिप्ट का टेस्ट रन है।

टेस्ट रन स्क्रिप्ट

परिणाम

यदि आप इस बिंदु पर आते हैं - बधाई! अब आपके पास एक काम करने वाला वेब स्क्रैपर है, हालांकि मैं पहले से ही इसे सुधारने के कई तरीके देख रहा हूं। उदाहरण के लिए, इसे ट्विलियो के साथ एकीकृत किया जा सकता है, ताकि ईमेल के बजाय यह पाठ संदेश भेजे। एक साथ कई सर्वरों से परिणाम प्राप्त करने के लिए आप वीपीएन या कुछ और का उपयोग कर सकते हैं। वह व्यक्ति है या नहीं, इसके लिए साइट उपयोगकर्ता की जाँच के साथ एक आवर्ती समस्या भी है, लेकिन इस समस्या को भी हल किया जा सकता है। किसी भी मामले में, अब आपके पास एक आधार है जिसे आप चाहें तो विस्तारित कर सकते हैं। उदाहरण के लिए, यह सुनिश्चित करने के लिए कि Excel फ़ाइल किसी ईमेल के अनुलग्नक के रूप में उपयोगकर्ता को भेजी जाती है।