पुस्तक "डेटा खनन। फेसबुक, ट्विटर, लिंक्डइन, इंस्टाग्राम, GitHub »से जानकारी प्राप्त करना

हाय, हब्रोज़ितेली! लोकप्रिय सोशल नेटवर्क - ट्विटर, फेसबुक, लिंक्डइन और इंस्टाग्राम के बाउल में - जानकारी के सबसे अमीर जमा छिपे हुए हैं। इस पुस्तक से, शोधकर्ताओं, विश्लेषकों, और डेवलपर्स सीखेंगे कि पायथन कोड, एक ज्यूपिटर नोटबुक या डॉकर कंटेनरों का उपयोग करके इस अद्वितीय डेटा को कैसे निकाला जाए। सबसे पहले, आप सबसे लोकप्रिय सामाजिक नेटवर्क (ट्विटर, फेसबुक, लिंक्डइन, इंस्टाग्राम), वेब पेज, ब्लॉग और फीड, ईमेल और GitHub की कार्यक्षमता से परिचित होंगे। फिर ट्विटर के उदाहरण का उपयोग करके डेटा विश्लेषण शुरू करें। इस पुस्तक को पढ़ें:

• सामाजिक नेटवर्क के आधुनिक परिदृश्य के बारे में जानें;
• पुस्तक में दिए गए कोड के साथ आसानी से संचालित करने के लिए डॉकर का उपयोग करना सीखें;
• GitHub ओपन रिपॉजिटरी में कोड को अनुकूलित और वितरित करना सीखें;
• जानें कि पायथन 3 की क्षमताओं का उपयोग करके एकत्र किए गए डेटा का विश्लेषण कैसे किया जाए;
• मास्टर एडवांस्ड एनालिसिस तकनीक जैसे कि टीएफआईडीएफ, कोसाइन समानता, कोलोकेशन एनालिसिस, क्लिक डिटेक्शन एंड पैटर्न रिकॉग्निशन;
• जानें कि पायथन और जावास्क्रिप्ट का उपयोग करके सुंदर डेटा विज़ुअलाइज़ेशन कैसे बनाएं।

अंश। 4.3। डेटा क्लस्टरिंग तकनीक का एक संक्षिप्त परिचय

अब जब हमें लिंक्डइन एपीआई का उपयोग करने का एक विचार मिला है, तो हम एक विशिष्ट विश्लेषण पर जाएंगे और विस्तार से चर्चा करेंगे [इस प्रकार के विश्लेषण को अक्सर अनुमानित संयोग , फजी मिलान और / या कटौती विधि - एड -] भी कहा जाता है - शिक्षक के बिना मशीन सीखने की विधि। डेटा विश्लेषण उपकरण के किसी भी सेट में आवश्यक माना जाता है। क्लस्टरिंग एल्गोरिथ्म तत्वों का एक संग्रह लेता है और संग्रह में तत्वों की तुलना करने के लिए डिज़ाइन किए गए कुछ मानदंड के अनुसार उन्हें छोटे संग्रह (क्लस्टर) में विभाजित करता है।

क्लस्टरिंग डेटा विश्लेषण का एक मौलिक तरीका है, ताकि आप इसकी पूरी तस्वीर प्राप्त कर सकें, इस अध्याय में फ़ुटनोट्स और नोट्स शामिल हैं, जिसमें गणितीय उपकरण का वर्णन किया गया है। यह अच्छा है अगर आप इन विवरणों को समझने की कोशिश करते हैं, लेकिन सफलतापूर्वक क्लस्टरिंग विधियों का उपयोग करने के लिए, आपको सभी सूक्ष्मताओं को समझने की आवश्यकता नहीं है, और निश्चित रूप से, आपको उन्हें पहली बार समझने की आवश्यकता नहीं है। कुछ जानकारियों को पचाने के लिए आपको थोड़ा सोचने की जरूरत हो सकती है, खासकर अगर आपके पास गणितीय प्रशिक्षण नहीं है।

उदाहरण के लिए, यदि आप किसी अन्य शहर में जाने पर विचार कर रहे हैं, तो आप उपलब्ध आर्थिक अवसरों का बेहतर आकलन करने के लिए भौगोलिक क्षेत्र द्वारा लिंक्डइन संपर्कों को संयोजित करने का प्रयास कर सकते हैं। हम इस विचार पर थोड़ी देर बाद लौटेंगे, लेकिन अभी के लिए हम संक्षेप में क्लस्टरिंग से जुड़ी कुछ बारीकियों पर चर्चा करेंगे।

लिंक्डइन या अन्य स्रोतों से क्लस्टरिंग डेटा की समस्याओं के समाधान को लागू करते समय, आप बार-बार कम से कम दो मुख्य विषयों का सामना करेंगे (तीसरे की चर्चा साइडबार में "क्लस्टरिंग में आयामीता में कमी की भूमिका" दी गई है)।

डेटा सामान्यीकरण
यहां तक ​​कि बहुत अच्छे एपीआई का उपयोग करते समय, डेटा को आपके द्वारा आवश्यक प्रारूप में शायद ही कभी प्रदान किया जाता है - अक्सर डेटा को विश्लेषण के लिए उपयुक्त रूप में लाने के लिए एक साधारण रूपांतरण से अधिक समय लगता है। उदाहरण के लिए, लिंक्डइन उपयोगकर्ता अपने पदों का वर्णन करते समय कुछ स्वतंत्रता देते हैं, इसलिए पूरी तरह से सामान्य विवरण प्राप्त करना हमेशा संभव नहीं होता है। एक प्रबंधक "मुख्य तकनीकी निदेशक" नाम चुन सकता है, दूसरा - अधिक अस्पष्ट नाम "टीआरपी", और तीसरा किसी भी स्थिति को अलग-अलग तरीके से वर्णन कर सकता है। नीचे हम डेटा सामान्यीकरण की समस्या पर लौटेंगे और लिंक्डइन डेटा में इसके कुछ पहलुओं को संसाधित करने के लिए एक टेम्पलेट लागू करेंगे।

एफिनिटी परिभाषा;
अच्छी तरह से सामान्यीकृत तत्वों का एक सेट होने पर, आप उनमें से किसी भी दो की समानता का मूल्यांकन करना चाह सकते हैं, यह पदों या कंपनियों के नाम, व्यावसायिक हितों का वर्णन, भौगोलिक नाम या किसी अन्य क्षेत्र जिनके मूल्यों का मनमाना पाठ में प्रतिनिधित्व किया जा सकता है। ऐसा करने के लिए, आपको एक हेयुरिस्टिक को परिभाषित करने की आवश्यकता है जो किन्हीं दो मूल्यों की समानता का मूल्यांकन करता है। कुछ स्थितियों में, समानता की परिभाषा काफी स्पष्ट है, लेकिन दूसरों में यह कुछ कठिनाइयों से भरा जा सकता है।

उदाहरण के लिए, दो लोगों की सेवा की कुल लंबाई की तुलना सरल अतिरिक्त संचालन द्वारा की जाती है, लेकिन व्यापक व्यावसायिक विशेषताओं की तुलना करना, जैसे "नेतृत्व क्षमता," पूरी तरह से स्वचालित तरीके से काफी चुनौती हो सकती है।

क्लस्टरिंग में आयामी कमी की भूमिका

डेटा का सामान्यीकरण और समानता का निर्धारण दो मुख्य विषय हैं जो आप एक अमूर्त स्तर पर क्लस्टरिंग में सामना करेंगे। लेकिन एक तीसरा विषय है - आयामीता में कमी, जो प्रासंगिक हो जाता है जैसे ही डेटा का पैमाना तुच्छ हो जाता है। एक समानता मीट्रिक का उपयोग करके सेट में तत्वों को समूह में रखने के लिए, आदर्श रूप से प्रत्येक तत्व की हर दूसरे तत्व से तुलना करना वांछनीय है। इस मामले में, सबसे खराब स्थिति में, n तत्वों के एक सेट के लिए, आपको n- 1 अन्य तत्वों के साथ प्रत्येक n तत्वों की तुलना करने के लिए लगभग ² बार समानता की डिग्री की गणना करनी होगी।

कंप्यूटर विज्ञान में, इस स्थिति को द्विघात जटिलता समस्या कहा जाता है और इसे आमतौर पर O (n ² ) के रूप में दर्शाया जाता है; बातचीत में, इसे आमतौर पर "बड़े ओ की द्विघात वृद्धि की समस्या" कहा जाता है। O (n ² ) समस्याएं बहुत बड़े n मानों के लिए असम्भव हो जाती हैं, और ज्यादातर मामलों में अनचाहे शब्द का अर्थ है कि आपको गणना के समाधान के लिए "बहुत लंबा" इंतजार करना होगा। "बहुत लंबा" - यह कार्य की प्रकृति और उसकी सीमाओं के आधार पर मिनट, वर्ष या युग हो सकता है।

आयामीता में कमी करने के तरीकों की समीक्षा वर्तमान चर्चा के दायरे से परे है, इसलिए हम केवल इस बात पर ध्यान देते हैं कि एक विशिष्ट आयामीता घटाने की विधि में फ़ंक्शन का उपयोग "निश्चित रूप से समान" तत्वों को एक निश्चित संख्या में समूहों में व्यवस्थित करने के लिए किया जाता है ताकि प्रत्येक समूह के तत्वों को पूरी तरह समान माना जा सके। आयाम में कमी अक्सर न केवल एक विज्ञान है, बल्कि एक कला भी है, और आमतौर पर गोपनीय जानकारी या संगठनों द्वारा एक गुप्त रहस्य माना जाता है जो प्रतिस्पर्धी लाभ हासिल करने के लिए सफलतापूर्वक इसका उपयोग करते हैं।

क्लस्टरिंग विधियां किसी भी डेटा विश्लेषण विशेषज्ञ के शस्त्रागार का मुख्य हिस्सा हैं, क्योंकि लगभग किसी भी उद्योग में - सैन्य खुफिया से लेकर बैंकिंग और लैंडस्केप डिज़ाइन तक - आपको वास्तव में बड़ी मात्रा में गैर-मानक संबंधपरक डेटा का विश्लेषण करने की आवश्यकता हो सकती है, और इसके अनुसार विशेषज्ञों की नौकरी के खुलने की संख्या में वृद्धि पिछले वर्ष इसके स्पष्ट प्रमाण हैं।

एक नियम के रूप में, एक कंपनी किसी भी जानकारी को इकट्ठा करने के लिए एक डेटाबेस बनाती है, लेकिन हर क्षेत्र में कुछ पूर्वनिर्धारित सेट से मान नहीं हो सकते हैं। यह एप्लिकेशन के उपयोगकर्ता इंटरफ़ेस के अपूर्ण रूप से सोचे गए तर्क के कारण हो सकता है, सभी स्वीकार्य मूल्यों को पूर्व-निर्धारित करने में असमर्थता, या उपयोगकर्ताओं को किसी भी पाठ को दर्ज करने की क्षमता प्रदान करने की आवश्यकता है जैसा वे चाहते हैं। ऐसा हो कि जैसा हो, परिणाम हमेशा वैसा ही हो: आपको बड़ी मात्रा में गैर-मानकीकृत डेटा मिलता है। भले ही कुल एन विभिन्न स्ट्रिंग मानों में एक निश्चित क्षेत्र में संग्रहीत किया जा सकता है, उनमें से कुछ वास्तव में एक ही अवधारणा का मतलब होगा। डुप्लिकेट विभिन्न कारणों से हो सकता है - वर्तनी त्रुटियों के कारण, संक्षिप्त या संक्षिप्त रूप का उपयोग, साथ ही साथ विभिन्न वर्ण रजिस्टर।

जैसा कि ऊपर उल्लेख किया गया है, यह एक क्लासिक स्थिति है जो लिंक्डइन से डेटा का विश्लेषण करते समय उत्पन्न होती है: उपयोगकर्ता अपनी जानकारी को मुफ्त पाठ रूप में दर्ज कर सकते हैं, जो अनिवार्य रूप से विविधताओं में वृद्धि की ओर जाता है। उदाहरण के लिए, यदि आप अपने पेशेवर नेटवर्क पर शोध करने का निर्णय लेते हैं और यह निर्धारित करते हैं कि आपके अधिकांश संपर्क कहां काम करते हैं, तो आपको कंपनी के नाम लिखने के लिए आमतौर पर उपयोग किए जाने वाले विकल्पों पर विचार करना होगा। यहां तक ​​कि सबसे सरल कंपनी के नाम में कई विकल्प हो सकते हैं जिन्हें आप लगभग पूरा करने के लिए निश्चित हैं (उदाहरण के लिए, "Google" - "Google, इंक" का संक्षिप्त रूप), और आपको उन्हें मानक रूप में लाने के लिए इन सभी विकल्पों पर विचार करना होगा। कंपनी के नामों को मानकीकृत करते समय, एक अच्छा प्रारंभिक बिंदु एलएलसी और इंक जैसे नामों में संक्षिप्त रूप को सामान्य कर सकता है।

4.3.1। विश्लेषण के लिए डेटा का सामान्यीकरण

क्लस्टरिंग एल्गोरिदम के अध्ययन के लिए एक आवश्यक और उपयोगी परिचय के रूप में, हम लिंक्डइन से डेटा को सामान्य करने की समस्या को हल करते समय कुछ विशिष्ट स्थितियों पर विचार कर सकते हैं जो आपके सामने आ सकती हैं। इस खंड में, हम कंपनी और नौकरी के शीर्षक को सामान्य बनाने के लिए एक मानक टेम्पलेट लागू करते हैं। एक अधिक उन्नत अभ्यास के रूप में, हम एक लिंक्डइन प्रोफ़ाइल से स्थान के नामों के असंतोष और जियोकोडिंग के मुद्दे पर भी संक्षेप में चर्चा करेंगे। (अर्थात्, हम लिंक्डइन प्रोफाइल से जगह के नाम को बदलने की कोशिश करेंगे, जैसे कि "ग्रेटर नैशविले एरिया", निर्देशांक जो मैप किए जा सकते हैं।)

डेटा को सामान्य बनाने के प्रयासों का मुख्य परिणाम महत्वपूर्ण विशेषताओं को ध्यान में रखना और उन्नत विश्लेषण विधियों का उपयोग करना है, जैसे क्लस्टरिंग। लिंक्डइन से डेटा के मामले में, हम पोस्ट और भौगोलिक स्थानों जैसे सुविधाओं का अध्ययन करेंगे।

सामान्यीकरण और कंपनी की गिनती

आइए अपने पेशेवर नेटवर्क से कंपनियों के नाम को मानकीकृत करने का प्रयास करें। जैसा कि ऊपर वर्णित है, आप लिंक्डइन से दो मुख्य तरीकों से डेटा निकाल सकते हैं: प्रोग्रामेटिक रूप से, लिंक्डइन एपीआई का उपयोग करके, या एड्रेस बुक के रूप में एक पेशेवर नेटवर्क के निर्यात तंत्र का उपयोग करना, जिसमें नाम, स्थिति, कंपनी और संपर्क जानकारी जैसी बुनियादी जानकारी शामिल है।

कल्पना करें कि हमारे पास पहले से लिंक्डइन से निर्यात किए गए संपर्कों के साथ एक सीएसवी फ़ाइल है, और अब हम चयनित संस्थाओं को सामान्य और प्रदर्शित कर सकते हैं, जैसा कि उदाहरण 4.4 में दिखाया गया है।

जैसा कि उदाहरणों के अंदर टिप्पणियों में वर्णित है, आपको "संपर्क लिंक फ़ाइल को लिंक्डइन पर डाउनलोड करना" अनुभाग में दिए गए निर्देशों का पालन करके, लिंक्डइन से निर्यात किए गए संपर्कों के साथ सीएसवी फ़ाइल का नाम बदलना होगा और इसे एक विशिष्ट निर्देशिका में कॉपी करना होगा जहां प्रोग्राम कोड इसे पा सकते हैं।

उदाहरण 4.4 कंपनी के नामों में संक्षिप्त रूप से सामान्यीकरण

import os import csv from collections import Counter from operator import itemgetter from prettytable import PrettyTable #    LinkedIn: https://www.linkedin.com/psettings/member-data. #  , LinkedIn       , #    .      # resources/ch03-linkedin/. CSV_FILE = os.path.join("resources", "ch03-linkedin", 'Connections.csv') #   ,    #  .     #     . transforms = [(', Inc.', ''), (', Inc', ''), (', LLC', ''), (', LLP', ''), (' LLC', ''), (' Inc.', ''), (' Inc', '')] companies = [c['Company'].strip() for c in contacts if c['Company'].strip() != ''] for i, _ in enumerate(companies): for transform in transforms: companies[i] = companies[i].replace(*transform) pt = PrettyTable(field_names=['Company', 'Freq']) pt.align = 'l' c = Counter(companies) [pt.add_row([company, freq]) for (company, freq) in sorted(c.items(), key=itemgetter(1), reverse=True) if freq > 1] print(pt) 

निम्नलिखित एक सरल आवृत्ति विश्लेषण के परिणाम हैं:

पायथन एक सूची और / या शब्दकोश को डीफ्रेंसिंग करके कार्यों के लिए तर्कों को पारित करने की क्षमता का समर्थन करता है, जो कभी-कभी बहुत सुविधाजनक होता है, जैसा कि उदाहरण 4.4 में दिखाया गया है। उदाहरण के लिए, कॉलिंग f (* args, ** kw) कॉलिंग f (1, 7, x = 23) के बराबर है, जहाँ args को तर्कों की सूची के रूप में परिभाषित किया गया है [1,7] और kw को एक शब्दकोश {'x': 23} के रूप में परिभाषित किया गया है। अन्य पायथन प्रोग्रामिंग युक्तियों को परिशिष्ट बी में पाया जा सकता है।

ध्यान रखें कि अधिक जटिल स्थितियों को संभालने के लिए, उदाहरण के लिए, एक ही कंपनी के विभिन्न नामों को सामान्य करने के लिए, जो समय के साथ बदल गए हैं, जैसे ओ'रेली मीडिया, आपको अधिक जटिल कोड लिखना होगा। इस मामले में, इस कंपनी का नाम ओ रेली एंड एसोसिएट्स, ओ रेली मीडिया, ओ रेली, इंक। या सिर्फ ओ रेली [अगर यह आपको लगता है कि बड़ी कठिनाइयों का इंतजार है, तो बस कल्पना करें कि डन एंड ब्रैडस्ट्रीट विशेषज्ञों को किस तरह का काम करना था (http://bit.ly/1a1m4Om), जो जानकारी को सूचीबद्ध करने और संकलन के कार्य के साथ सामना करने में माहिर है। दुनिया की विभिन्न भाषाओं में कंपनी के नाम के साथ एक रजिस्ट्री के साथ - एड। ]।

लेखकों के बारे में

मैथ्यू रसेल (@ptwobrussell) मध्य टेनेसी के एक प्रमुख विशेषज्ञ हैं। काम पर, वह एक नेता बनने की कोशिश करता है, दूसरों को नेता बनने में मदद करता है और जटिल समस्याओं को हल करने के लिए अत्यधिक प्रभावी टीम बनाता है। काम के बाहर, वह वास्तविकता पर निर्भर करता है, व्यक्तिवाद का उच्चारण करता है और ज़ोंबी सर्वनाश और मशीनों के विद्रोह की तैयारी करता है।

मिखाइल क्लासेन, @ मिखाइलकेलासेन एक वरिष्ठ डाटा प्रोसेसिंग और विश्लेषण विशेषज्ञ है, जो एक स्टार्ट-अप कंपनी है, जो अनुकूली सीखने की तकनीक बनाती है। उन्होंने मैकमास्टर विश्वविद्यालय से खगोल भौतिकी में पीएचडी और कोलंबिया विश्वविद्यालय से लागू भौतिकी में स्नातक की डिग्री प्राप्त की है। माइकल कृत्रिम बुद्धिमत्ता समस्याओं और अच्छे उद्देश्यों के लिए डेटा विश्लेषण उपकरणों के उपयोग के शौकीन हैं। जब यह काम नहीं करता है, तो यह आमतौर पर पढ़ता है या यात्रा करता है।

»पुस्तक की अधिक जानकारी प्रकाशक की वेबसाइट पर पाई जा सकती है
» सामग्री
» अंश

फेरीवालों के लिए 25% की छूट - डेटा माइनिंग

पुस्तक के पेपर संस्करण के भुगतान पर, एक इलेक्ट्रॉनिक पुस्तक ई-मेल द्वारा भेजी जाती है।