मशीन लर्निंग डेटा एक्सट्रैक्शन

अपने अगले एमएल प्रोजेक्ट के लिए तीन डेटा माइनिंग मेथड के बारे में जानना चाहते हैं? फिर टुडे डेटा साइंस ब्लॉग पर माध्यम पर प्रकाशित रेबेका विक्री लेख का अनुवाद पढ़ें! वह शुरुआती के लिए दिलचस्प होगा।


क्वालिटी डेटा प्राप्त करना किसी भी मशीन लर्निंग प्रोजेक्ट में पहला और सबसे महत्वपूर्ण कदम है। डेटा साइंस विशेषज्ञ अक्सर डेटासेट प्राप्त करने के लिए विभिन्न तरीकों का उपयोग करते हैं। वे सार्वजनिक रूप से उपलब्ध डेटा का उपयोग कर सकते हैं, साथ ही एपीआई के माध्यम से उपलब्ध डेटा या विभिन्न डेटाबेस से प्राप्त कर सकते हैं, लेकिन अक्सर इन तरीकों को जोड़ते हैं।

इस लेख का उद्देश्य पायथन का उपयोग करके डेटा को पुनः प्राप्त करने के लिए तीन अलग-अलग तरीकों का एक संक्षिप्त अवलोकन प्रदान करना है। मैं आपको बताऊंगा कि जुपिटर नोटबुक के साथ यह कैसे करना है। अपने पिछले लेख में, मैंने टर्मिनल में चलने वाले कुछ कमांड के अनुप्रयोग के बारे में लिखा था।

एसक्यूएल

यदि आपको किसी रिलेशनल डेटाबेस से डेटा प्राप्त करने की आवश्यकता है, तो सबसे अधिक संभावना है कि आप SQL भाषा के साथ काम करेंगे। SQLAlchemy लाइब्रेरी आपको सबसे सामान्य प्रकार के डेटाबेस के साथ अपने लैपटॉप कोड को जोड़ने की अनुमति देती है। यहां आपको जानकारी मिलेगी कि किस डेटाबेस का समर्थन किया जाता है और प्रत्येक प्रकार से कैसे बांधें।

आप तालिकाओं और क्वेरी डेटा को ब्राउज़ करने, या कच्चे प्रश्नों को लिखने के लिए SQLAlchemy लाइब्रेरी का उपयोग कर सकते हैं। डेटाबेस से बंधने के लिए, आपको अपने क्रेडेंशियल्स के साथ एक URL की आवश्यकता होगी। अगला, आपको कनेक्शन बनाने के लिए create_engine विधि को इनिशियलाइज़ करना होगा।

 from sqlalchemy import create_engine engine = create_engine('dialect+driver://username:password@host:port/database') 

अब आप डेटाबेस क्वेरी लिख सकते हैं और परिणाम प्राप्त कर सकते हैं।

 connection = engine.connect() result = connection.execute("select * from my_table") 

Skraping

वेब स्क्रैपिंग का उपयोग वेबसाइटों से डेटा डाउनलोड करने और उनके पृष्ठों से आवश्यक जानकारी निकालने के लिए किया जाता है। इसके लिए कई पायथन लाइब्रेरी उपलब्ध हैं, लेकिन सबसे सरल सुंदर सूप है ।

आप पाइप के माध्यम से पैकेज स्थापित कर सकते हैं।

 pip install BeautifulSoup4 

आइए एक सरल उदाहरण देखें कि इसका उपयोग कैसे किया जाए। हम TripAdvisor से होटल के नाम और कीमतों को परिमार्जन करने के लिए सुंदर सूप और urllib लाइब्रेरी का उपयोग करने जा रहे हैं।

सबसे पहले, हम उन सभी पुस्तकालयों को आयात करते हैं जिनके साथ हम काम करने जा रहे हैं।

 from bs4 import BeautifulSoup import urllib.request 

अब पृष्ठ की सामग्री को लोड करें जिसे हम स्क्रैप करेंगे। मैं क्रेते के ग्रीक द्वीप पर होटलों के लिए कीमतों पर डेटा एकत्र करना चाहता हूं और इस स्थान पर होटल की सूची वाले URL पते को लेना चाहता हूं।



नीचे दिया गया कोड URL को एक चर के रूप में परिभाषित करता है और पृष्ठ को खोलने के लिए urlib लाइब्रेरी का उपयोग करता है, और सुंदर सूप लाइब्रेरी इसे पढ़ने के लिए और एक सरल प्रारूप में परिणाम वापस करने के लिए। आउटपुट डेटा का हिस्सा कोड के नीचे दिखाया गया है।

 URL = 'https://www.tripadvisor.co.uk/Hotels-g189413-Crete-Hotels.html' page = urllib.request.urlopen(URL) soup = BeautifulSoup(page, 'html.parser') print(soup.prettify()) 

अब पृष्ठ पर होटलों के नामों के साथ एक सूची प्राप्त करें। हम find_all फ़ंक्शन का परिचय देंगे, जो हमारे हित के दस्तावेज़ के कुछ हिस्सों को निकाल देगा। आप एक लाइन, नियमित अभिव्यक्ति या सूची को पास करने के लिए find_all फ़ंक्शन का उपयोग करके इसे अलग तरीके से फ़िल्टर कर सकते हैं। आप टैग विशेषताओं में से एक को भी फ़िल्टर कर सकते हैं - यह ठीक यही तरीका है जो हम लागू करेंगे। यदि आप HTML टैग और विशेषताओं के लिए नए हैं, तो त्वरित अवलोकन के लिए इस लेख को देखें।

यह समझने के लिए कि टैग में डेटा तक पहुंच प्रदान करने के लिए सबसे अच्छा है, हमें पृष्ठ पर इस तत्व के लिए कोड की जांच करने की आवश्यकता है। हम सूची में नाम पर राइट-क्लिक करके होटल के नाम का कोड पाते हैं, जैसा कि नीचे दिए गए आंकड़े में दिखाया गया है।



inspect पर क्लिक करने के बाद inspect तत्व कोड दिखाई देगा, और होटल के नाम वाला अनुभाग हाइलाइट किया जाएगा।



हम देखते हैं कि होटल का नाम listing_title के नाम के साथ कक्षा में एकमात्र पाठ है। वर्ग के बाद कोड और इस विशेषता का नाम find_all फ़ंक्शन, और साथ ही div टैग में आता है।

 content_name = soup.find_all('div', attrs={'class': 'listing_title'}) print(content_name) 

होटल के नाम के साथ कोड के प्रत्येक अनुभाग को एक सूची के रूप में वापस किया जाता है।



कोड से होटल के नाम निकालने के लिए, हम सुंदर सूप पुस्तकालय के getText फ़ंक्शन का उपयोग करते हैं।

 content_name_list = [] for div in content_name: content_name_list.append(div.getText().split('\n')[0]) print(content_name_list) 

होटल के नाम एक सूची के रूप में दिए गए हैं।



उसी तरह हमें प्राइस डेटा मिलता है। मूल्य के लिए कोड संरचना नीचे दिखाई गई है।



जैसा कि आप देख सकते हैं, हम होटलों के लिए उपयोग किए जाने वाले कोड के समान काम कर सकते हैं।

 content_price = soup.find_all('div', attrs={'class': 'price-wrap'}) print(content_price) 

कीमत के मामले में थोड़ी मुश्किल है। आप निम्न कोड चलाकर इसे देख सकते हैं:

 content_price_list = [] for div in content_price: content_price_list.append(div.getText().split('\n')[0]) print(content_price_list) 

परिणाम नीचे दिखाया गया है। यदि होटलों की सूची में कुछ पाठ के अलावा, कीमत में कमी का संकेत मिलता है, तो मूल मूल्य और अंतिम मूल्य दोनों वापस आ जाते हैं। इस समस्या को ठीक करने के लिए, हम बस आज के लिए वर्तमान कीमत लौटाते हैं।



हम पाठ में इंगित नवीनतम मूल्य प्राप्त करने के लिए सरल तर्क का उपयोग कर सकते हैं।

 content_price_list = [] for a in content_price: a_split = a.getText().split('\n')[0] if len(a_split) > 5: content_price_list.append(a_split[-4:]) else: content_price_list.append(a_split) print(content_price_list) 

यह हमें निम्नलिखित परिणाम देगा:

एपीआई

एपीआई - एप्लीकेशन प्रोग्रामिंग इंटरफेस (अंग्रेजी एप्लिकेशन प्रोग्रामिंग इंटरफेस से)। डेटा माइनिंग के नजरिए से, यह एक वेब-आधारित प्रणाली है जो एक डेटा समापन बिंदु प्रदान करती है जिसे आप प्रोग्रामिंग के माध्यम से संपर्क कर सकते हैं। आमतौर पर डेटा JSON या XML प्रारूप में वापस आ जाता है।

यह तरीका शायद मशीन लर्निंग में काम आएगा। मैं सार्वजनिक डार्क स्काई एपीआई से मौसम डेटा को पुनः प्राप्त करने का एक सरल उदाहरण दूंगा। इसे कनेक्ट करने के लिए, आपको पंजीकरण करने की आवश्यकता है, और आपके पास प्रति दिन 1000 मुफ्त कॉल होंगे। यह परीक्षण के लिए पर्याप्त होना चाहिए।

डार्क स्काई से डेटा एक्सेस करने के लिए, मैं requests लाइब्रेरी का उपयोग करूंगा। सबसे पहले, मुझे अनुरोध के लिए सही URL प्राप्त करने की आवश्यकता है। पूर्वानुमान के अलावा, डार्क स्काई ऐतिहासिक मौसम डेटा प्रदान करता है। इस उदाहरण में, मैं उन्हें ले जाऊंगा और प्रलेखन से सही URL प्राप्त करूंगा।

इस URL की संरचना है:

 https://api.darksky.net/forecast/[key]/[latitude],[longitude],[time] 

हम प्राप्त करने के लिए requests पुस्तकालय का उपयोग करेंगे
एक विशिष्ट अक्षांश और देशांतर के लिए परिणाम, साथ ही तिथि और समय। कल्पना कीजिए कि क्रेते में होटलों के लिए दैनिक मूल्य डेटा निकालने के बाद, हमने यह पता लगाने का फैसला किया कि क्या मूल्य नीति मौसम से संबंधित है।

उदाहरण के लिए, चलो सूची में से एक होटल के निर्देशांक को लेते हैं - मित्सिस लगुना रिज़ॉर्ट एंड स्पा।



सबसे पहले, सही निर्देशांक के साथ एक URL बनाएं, साथ ही अनुरोधित समय और तारीख। requests लाइब्रेरी का उपयोग करके, हमें JSON प्रारूप में डेटा तक पहुंच मिलती है।

 import requests request_url = 'https://api.darksky.net/forecast/fd82a22de40c6dca7d1ae392ad83eeb3/35.3378,-25.3741,2019-07-01T12:00:00' result = requests.get(request_url).json() result 

परिणामों को पढ़ने और विश्लेषण करने में आसान बनाने के लिए, हम डेटा को डेटा फ़्रेम में परिवर्तित कर सकते हैं।

 import pandas as pd df = pd.DataFrame.from_dict(json_normalize(result), orient='columns') df.head() 

इन तरीकों का उपयोग करके डेटा निष्कर्षण को स्वचालित करने के लिए कई और विकल्प हैं। वेब स्क्रैपिंग के मामले में, आप प्रक्रिया को स्वचालित करने के लिए अलग-अलग कार्य लिख सकते हैं और अधिक दिनों और / या स्थानों के लिए डेटा निकालना आसान बना सकते हैं। इस लेख में, मैं पर्याप्त कोड उदाहरणों की समीक्षा करना और प्रदान करना चाहता था। निम्नलिखित सामग्री अधिक विस्तृत होगी: मैं आपको बताऊंगा कि बड़े डेटासेट कैसे बनाएं और ऊपर वर्णित विधियों का उपयोग करके उनका विश्लेषण करें।

आपका ध्यान के लिए धन्यवाद!