जूनियर'ए से मिडल'आ: पार्सर तक

हैलो, ख़बरोवचन! लंबे समय से एक लेख लिखने की इच्छा थी, लेकिन हिम्मत नहीं हुई।
मेरी पोस्ट की श्रृंखला जूनियर से मध्य तक मेरे पथ का वर्णन करेगी, और फिर शायद सीनियर तक भी। हम पायथन में कार्यक्रम करेंगे।

कुछ अल्पज्ञात पुस्तकालयों के लिए पीएस दस्तावेज़ीकरण अंत में संलग्न किया जाएगा।

अपने बारे में संक्षेप में: पायथन ने दो साल पहले अध्ययन करना शुरू किया, कोई विशेष उन्नति नहीं हुई।
मूल बातें खुद निराश हो गईं, क्योंकि मैंने उन्हें डेढ़ साल तक पढ़ाया था। अब मैं भाषा का गहराई से अध्ययन कर रहा हूं, मैं इसकी संरचना को समझता हूं और सब कुछ कैसे होता है। निम्नलिखित लेखों में मैं कोड अपलोड करूंगा, मैं सभी नए और नए पुस्तकालयों का उपयोग करता हूं, और जैसा कि आप जानते हैं कि अजगर के पास बहुत कुछ है :)

कहाँ से शुरू करें? कुछ महीने पहले मैंने अपना पहला पार्सर लिखा था। यह पता चला कि लिखने वाले पार्सर काफी सरल हैं और आप उन पर पैसा भी कमा सकते हैं। अब तक, मैं आपको bs4 + अनुरोधों से स्टैक का उपयोग करके कुछ उदाहरण दिखाऊंगा। हम अपने प्यारे हबर को बख्श देंगे ।

#      from bs4 import BeautifulSoup as bs import requests from fake_useragent import UserAgent 

यकीन नहीं होता कि हर कोई फर्जी_सुरागेट लाइब्रेरी से परिचित है। यह पार्सिंग के लिए काफी सुविधाजनक है, यह एक उपयोगकर्ता-एजेंट को नकली बनाता है।

 ua = UserAgent() headers = {'accept': '*/*', 'user-agent': ua.firefox} 

यह हमारे कोड का अगला छोटा ब्लॉक है। पहली पंक्ति में, हमने ua चर बनाया, जो UserAgent वर्ग के तरीकों का उपयोग करता है। दूसरी पंक्ति में, हमने एक शब्दकोश बनाया है जो भविष्य में पार्स करने में हमारी मदद करेगा।

अब पार्सिंग के लिए फ़ंक्शन स्वयं बनाएं।

 def without_post(url, headers): response = requests.get(url, headers=headers) if response.status_code == 200: soup = bs(response.text, 'html.parser') links = {} for i in soup.find_all('a', {'class': 'post__title_link'}): links.update({i.text: i.get('href')}) return links else: print("Connection Error") 

यह फ़ंक्शन लिंक को पार्स करेगा, जिसे हम कक्षा "post__title_link" के साथ टैग की उपस्थिति का संकेत देते हैं।

डेटा को बचाने का सबसे आसान तरीका यह है कि इसे किसी फ़ाइल में सहेजा जाए। तो चलिए करते हैं।

 url = "https://habr.com/ru/all/" links = without_post(url, headers) with open('parsed.txt', 'w') as f_obj: for name, href in links.items(): f_obj.write(name + ':\n' + href + '\n\n') 

अंत में, हमें एक फ़ाइल मिलती है जिसमें उन पोस्टों के नाम और लिंक होते हैं जिन्हें हमने पहले पृष्ठ से एकत्र किया था।

स्रोत (पूर्ण) कोड, केवल टिप्पणी के बिना:

 from bs4 import BeautifulSoup as bs from fake_useragent import UserAgent import requests ua = UserAgent() headers = {'accept': '*/*', 'user-agent': ua.firefox} def without_post(url, headers): response = requests.get(url, headers=headers) if response.status_code == 200: soup = bs(response.text, 'html.parser') links = {} for i in soup.find_all('a', {'class': 'post__title_link'}): links.update({i.text: i.get('href')}) return links else: print("Connection Error") url = "https://habr.com/ru/all/" links = without_post(url, headers) with open('parsed.txt', 'w') as f_obj: for name, href in links.items(): f_obj.write(name + ':\n' + href + '\n\n') 

अच्छा परिणाम! लाइन की पर्चियों और टिप्पणियों को छोड़कर, हम ठीक 20 लाइनों से मिले। शुरुआत के लिए, बहुत अच्छा :)

जैसा कि वादा किया गया था, प्रयुक्त पुस्तकालयों के प्रलेखन के लिए लिंक:

अनुरोध: * निचोड़ *
bs4: * निचोड़ *
नकली_सुपरगेंट: * निचोड़ *

ध्यान देने के लिए आप सभी का धन्यवाद! जल्द मिलते हैं!

पुनश्च यदि कोई प्रतिक्रिया है, तो आने वाले लेख में आने में लंबा समय नहीं होगा