बुक "पायथन में एप्लाइड टेक्स्ट डेटा एनालिसिस"

मशीन विश्लेषण के प्रभाव में पाठ विश्लेषण तकनीक तेजी से बदल रही है। सैद्धांतिक वैज्ञानिक अनुसंधान से तंत्रिका नेटवर्क वास्तविक जीवन में पारित हो गए हैं, और पाठ विश्लेषण सक्रिय रूप से सॉफ्टवेयर समाधान में एकीकृत है। तंत्रिका नेटवर्क प्राकृतिक भाषा प्रसंस्करण के सबसे जटिल कार्यों को हल करने में सक्षम हैं, कोई भी मशीन अनुवाद से आश्चर्यचकित नहीं है, एक ऑनलाइन स्टोर में रोबोट के साथ "वार्तालाप", रीफ़्रेशिंग, प्रश्नों का उत्तर देना और संवाद बनाए रखना। फिर, सिरी, एलेक्सा, और ऐलिस हमें क्यों नहीं समझना चाहते, Google हमें वह नहीं मिल रहा है जिसकी हम तलाश कर रहे हैं, और मशीन अनुवादकों ने हमें चीनी से अल्बानियाई तक "अनुवाद कठिनाइयों" के उदाहरणों के साथ भ्रमित किया है? जवाब विवरण में निहित है - एल्गोरिदम में जो सिद्धांत में सही ढंग से काम करते हैं, लेकिन व्यवहार में लागू करना मुश्किल है। पायथन क्षमताओं और पुस्तकालयों का उपयोग करके वास्तविक जीवन के कार्यों में पाठ का विश्लेषण करने के लिए मशीन सीखने की तकनीक का उपयोग करना सीखें। मॉडल खोज और डेटा प्रीप्रोसेसिंग से, आप ग्रंथों को वर्गीकृत और क्लस्टर करने के तरीकों पर आगे बढ़ेंगे, फिर दृश्य व्याख्या, ग्राफ़ विश्लेषण पर आगे बढ़ेंगे, और स्केलिंग तकनीकों से खुद को परिचित करने के बाद, पाठ का विश्लेषण करने के लिए गहन सीखने का उपयोग करना सीखेंगे।

इस पुस्तक में क्या वर्णित है?

यह पुस्तक केवल सूचीबद्ध पायथन पुस्तकालयों का उपयोग करके पाठ का विश्लेषण करने के लिए मशीन सीखने के तरीकों का उपयोग करने के बारे में बात करती है। पुस्तक की लागू प्रकृति बताती है कि हम अकादमिक भाषाविज्ञान या सांख्यिकीय मॉडल पर ध्यान केंद्रित नहीं करते हैं, बल्कि आवेदन के भीतर पाठ-प्रशिक्षित मॉडल की प्रभावी तैनाती पर ध्यान केंद्रित करते हैं।

पाठ विश्लेषण का हमारा प्रस्तावित मॉडल सीधे मशीन सीखने की प्रक्रिया से संबंधित है - एक मॉडल के लिए खोज जिसमें सुविधाओं, एक एल्गोरिथ्म और हाइपरपरमेटर्स शामिल हैं जो अज्ञात डेटा का मूल्यांकन करने के लिए प्रशिक्षण डेटा पर सर्वोत्तम परिणाम देगा। यह प्रक्रिया एक प्रशिक्षण डेटा सेट के निर्माण के साथ शुरू होती है, जिसे पाठ विश्लेषण के क्षेत्र में कॉर्पस कहा जाता है। फिर हम मशीन सीखने के तरीकों को समझने के लिए संख्यात्मक डेटा के रूप में पाठ का प्रतिनिधित्व करने के लिए विशेषताओं को निकालने और प्रीप्रोसेसिंग के तरीकों की जांच करते हैं। इसके अलावा, कुछ बुनियादी बातों से परिचित होने के बाद, हम पाठ के वर्गीकरण और क्लस्टरिंग के तरीकों का अध्ययन करने के लिए आगे बढ़ेंगे, जिसकी कहानी पुस्तक के पहले अध्यायों को पूरा करती है।

बाद के अध्यायों में, विशेषताओं के समृद्ध सेट और पाठ विश्लेषण अनुप्रयोगों को बनाने के साथ मॉडल का विस्तार करने पर ध्यान केंद्रित किया गया है। सबसे पहले, हम देखेंगे कि संकेतों के रूप में किसी संदर्भ को प्रस्तुत करना और लागू करना कैसे संभव है, फिर हम मॉडल चयन की प्रक्रिया को नियंत्रित करने के लिए एक दृश्य व्याख्या पर आगे बढ़ेंगे। फिर हम देखेंगे कि ग्राफ विश्लेषण तकनीकों का उपयोग करके पाठ से निकाले गए जटिल संबंधों का विश्लेषण कैसे किया जाए। उसके बाद, हम इंटरएक्टिव एजेंटों की ओर अपना ध्यान आकर्षित करते हैं और पाठ के वाक्यात्मक और अर्थ विश्लेषण की हमारी समझ को गहरा करते हैं। अंत में, पुस्तक स्पार्क का उपयोग करके मल्टीप्रोसेसर सिस्टम में पाठ विश्लेषण के लिए स्केलिंग तकनीकों की व्यावहारिक चर्चा प्रस्तुत करेगी, और अंत में, हम पाठ विश्लेषण के अगले चरण पर विचार करेंगे: गहन शिक्षा।

यह पुस्तक किसके लिए है?

यह पुस्तक पायथन प्रोग्रामर के लिए लिखी गई है जो अपने सॉफ्टवेयर उत्पादों में प्राकृतिक भाषा प्रसंस्करण और मशीन सीखने की तकनीक का उपयोग करने में रुचि रखते हैं। हम यह नहीं मानते हैं कि हमारे पाठकों को विशेष अकादमिक या गणितीय ज्ञान है, और लंबा स्पष्टीकरण के बजाय उपकरण और तकनीकों पर ध्यान केंद्रित करते हैं। सबसे पहले, यह पुस्तक अंग्रेजी में ग्रंथों के विश्लेषण पर चर्चा करती है, इसलिए पाठकों को संज्ञा, क्रिया, क्रिया और विशेषण जैसे व्याकरणिक संस्थाओं के कम से कम एक बुनियादी ज्ञान की आवश्यकता होगी, और वे कैसे संबंधित हैं। मशीन सीखने और भाषा विज्ञान में कोई अनुभव नहीं है, लेकिन पायथन में प्रोग्रामिंग कौशल के साथ पाठकों को उन अवधारणाओं को सीखने में हार नहीं महसूस होगी जो हम पेश करेंगे।

अंश। पाठ से रेखांकन निकालें

टेक्स्ट से ग्राफ निकालना एक मुश्किल काम है। इसका समाधान आमतौर पर विषय क्षेत्र पर निर्भर करता है, और, आम तौर पर बोलना, असंरचित या अर्ध-संरचित डेटा में संरचित तत्वों की खोज संदर्भ-संवेदनशील विश्लेषणात्मक प्रश्नों द्वारा निर्धारित की जाती है।

हम इस कार्य को एक सरल ग्राफ़ विश्लेषण प्रक्रिया को व्यवस्थित करके छोटे चरणों में तोड़ने का प्रस्ताव रखते हैं, जैसा कि अंजीर में दिखाया गया है। 9.3।


इस प्रक्रिया में, हम पहले कार्य के विवरण के आधार पर, उनके बीच की संस्थाओं और संबंधों को निर्धारित करते हैं। इसके अलावा, इस योजना के आधार पर, हम मेटाडेटा का उपयोग करके कॉर्पस से एक ग्राफ का चयन करने के लिए कार्यप्रणाली का निर्धारण करते हैं, कॉर्पस में दस्तावेज़ और उनके बीच डेटा और रिश्तों को निकालने के लिए दस्तावेजों में वाक्यांश या टोकन। एक ग्राफ को चुनने की तकनीक एक चक्रीय प्रक्रिया है जिसे शरीर पर लागू किया जा सकता है, एक ग्राफ उत्पन्न कर सकता है और इस ग्राफ को डिस्क या मेमोरी को आगे के विश्लेषणात्मक प्रसंस्करण के लिए सहेज सकता है।

विश्लेषण चरण में, गणना निकाले गए ग्राफ़ पर की जाती है, उदाहरण के लिए, क्लस्टरिंग, संरचनात्मक विश्लेषण, फ़िल्टरिंग या मूल्यांकन, और एक नया ग्राफ़ बनाया जाता है, जिसका उपयोग अनुप्रयोगों में किया जाता है। विश्लेषण चरण के परिणामों के आधार पर, हम चक्र की शुरुआत में लौट सकते हैं, अधिक सटीक परिणाम प्राप्त करने का प्रयास करने के लिए कार्यप्रणाली और योजना, नोड्स या किनारों के समूहों को निकालने या ढहने को स्पष्ट कर सकते हैं।

एक सामाजिक ग्राफ बनाना

समाचार लेखों के हमारे शरीर और पाठ में विभिन्न संस्थाओं के बीच संबंधों के मॉडलिंग के कार्य पर विचार करें। यदि हम विभिन्न समाचार एजेंसियों के बीच कवरेज के अंतर के मुद्दे पर विचार करते हैं, तो आप प्रकाशनों के नाम, लेखकों के नाम और जानकारी के स्रोतों का प्रतिनिधित्व करने वाले तत्वों से एक ग्राफ बना सकते हैं। और यदि लक्ष्य कई लेखों में एक इकाई के संदर्भों को जोड़ना है, तो जनसांख्यिकीय विवरणों के अलावा, हमारे नेटवर्क अपील (सम्मानजनक और अन्य) के रूप को ठीक कर सकते हैं। हमारे लिए ब्याज की प्रविष्टियाँ स्वयं दस्तावेजों की संरचना में हो सकती हैं या सीधे पाठ में निहित हो सकती हैं।

मान लीजिए कि हमारा लक्ष्य हमारे दस्तावेज़ों में एक दूसरे से संबंधित लोगों, स्थानों और अन्य चीज़ों का पता लगाना है। दूसरे शब्दों में, हमें परिवर्तनों की एक श्रृंखला का प्रदर्शन करके एक सामाजिक नेटवर्क बनाने की आवश्यकता है, जैसा कि अंजीर में दिखाया गया है। 9.4। हम अध्याय 7 में बनाए गए EntityExtractor वर्ग का उपयोग करके ग्राफ का निर्माण शुरू करते हैं। फिर हम ट्रांसफार्मर जोड़ते हैं, जिनमें से एक संबंधित संस्थाओं के जोड़े की खोज करता है, और दूसरा इन जोड़े को एक ग्राफ में परिवर्तित करता है।


इकाई जोड़े के लिए खोजें

हमारा अगला कदम EntityPairs वर्ग बनाना है, जो संस्थाओं की सूचियों के रूप में दस्तावेज़ प्राप्त करता है (अध्याय 7 से EntityExtractor वर्ग द्वारा निर्मित)। इस वर्ग को Scikit-Learn से पाइपलाइन पाइपलाइन में एक कनवर्टर के रूप में कार्य करना चाहिए, और इसलिए अध्याय 4 में वर्णित बेसस्टिमेटर और ट्रांसफॉर्मर मैक्सीन वर्गों को विरासत में मिला है। यह माना जाता है कि एक ही दस्तावेज़ में इकाइयां एक-दूसरे से संबंधित नहीं हैं, इसलिए हम इटर्ट्स फ़ंक्शन का उपयोग करके जोड़े विधि जोड़ते हैं। एक दस्तावेज़ में संस्थाओं के सभी संभव जोड़े बनाने के लिए प्रदर्शन। हमारी परिवर्तन विधि शरीर में प्रत्येक दस्तावेज़ के लिए जोड़े को बुलाएगी:

import itertools from sklearn.base import BaseEstimator, TransformerMixin class EntityPairs(BaseEstimator, TransformerMixin): def __init__(self): super(EntityPairs, self).__init__() def pairs(self, document): return list(itertools.permutations(set(document), 2)) def fit(self, documents, labels = None): return self def transform(self, documents): return [self.pairs(document) for document in documents] 

अब आप क्रमिक रूप से दस्तावेजों से संस्थाओं को निकाल सकते हैं और जोड़ सकते हैं। लेकिन हम अभी तक एक बार होने वाली जोड़ियों से अक्सर होने वाली जोड़ियों को अलग नहीं कर सकते हैं। हमें प्रत्येक जोड़ी में संस्थाओं के बीच संबंधों के वजन को कूटबद्ध करना होगा, जिसे हम अगले भाग में देखेंगे।

संपत्ति रेखांकन

ग्राफ का गणितीय मॉडल केवल नोड्स और किनारों के सेट को परिभाषित करता है और इसे आसन्न मैट्रिक्स के रूप में दर्शाया जा सकता है, जिसका उपयोग कई प्रकार की गणनाओं में किया जा सकता है। लेकिन यह मॉडलिंग की ताकत या संबंधों के प्रकार के लिए एक तंत्र का समर्थन नहीं करता है। क्या दो संस्थाएँ केवल एक दस्तावेज़ में या कई में दिखाई देती हैं? क्या वे एक विशेष शैली के लेखों में एक साथ मिलते हैं? इस तरह के तर्क का समर्थन करने के लिए, हमें ग्राफ के नोड्स और किनारों में सार्थक गुणों को बचाने के लिए किसी तरह की आवश्यकता है।

प्रॉपर्टी ग्राफ मॉडल आपको ग्राफ में अधिक जानकारी एम्बेड करने की अनुमति देता है, जिससे हमारी क्षमताओं का विस्तार होता है। संपत्ति के ग्राफ में, नोड्स आवक और आउटगोइंग किनारों के साथ ऑब्जेक्ट होते हैं और, एक नियम के रूप में, एक प्रकार से युक्त होता है, एक रिलेशनल डेटाबेस में एक टेबल जैसा दिखता है। पसलियां ऐसी वस्तुएं हैं जो प्रारंभ और अंत बिंदुओं को परिभाषित करती हैं; इन ऑब्जेक्ट्स में आमतौर पर एक लेबल फ़ील्ड होता है जो कनेक्शन के प्रकार की पहचान करता है, और एक वजन फ़ील्ड जो कनेक्शन की ताकत को परिभाषित करता है। पाठ विश्लेषण के लिए ग्राफ़ का उपयोग करते हुए, हम अक्सर संज्ञाओं को नोड्स के रूप में उपयोग करते हैं, और किनारों के रूप में क्रिया करते हैं। मॉडलिंग कदम पर आगे बढ़ने के बाद, यह हमें नोड्स के प्रकार, लिंक लेबल और प्रस्तावित ग्राफ संरचना का वर्णन करने की अनुमति देगा।

लेखकों के बारे में

बेंजामिन बेंगफोर्ट वाशिंगटन, डीसी में स्थित एक डेटा विज्ञान विशेषज्ञ हैं, जो पूरी तरह से राजनीति (कोलंबिया जिले के लिए एक सामान्य बात) की अनदेखी करते हैं और प्रौद्योगिकी को प्राथमिकता देते हैं। वह वर्तमान में मैरीलैंड विश्वविद्यालय में अपने डॉक्टरेट शोध प्रबंध पर काम कर रहे हैं, जहां वे मशीन सीखने और कंप्यूटिंग वितरित कर रहे हैं। उनकी प्रयोगशाला में रोबोट हैं (हालांकि यह उनका पसंदीदा क्षेत्र नहीं है), और उनके चिराग के लिए बहुत कुछ, उनके सहायक लगातार इन रोबोटों को चाकू और उपकरणों से लैस करते हैं, शायद एक पाक प्रतियोगिता जीतने के लक्ष्य के साथ। एक टमाटर को काटते हुए एक रोबोट को देखते हुए, बेंजामिन खुद रसोई की मेजबानी करना पसंद करता है, जहां वह फ्रांसीसी और हवाई व्यंजनों को पकाने के साथ-साथ सभी प्रकार के बारबेक्यू और बारबेक्यू भी बनाती है। एक पेशेवर शिक्षा प्रोग्रामर, वोकेशन डेटा रिसर्चर, बेंजामिन अक्सर कई विषयों को लिखने वाले लेख लिखते हैं, जिसमें प्राकृतिक भाषा प्रसंस्करण से लेकर पायथन में डेटा विश्लेषण और एनालिटिक्स में हडोप और स्पार्क का उपयोग शामिल है।

डॉ। रेबेका बिल्ब्रो - डेटा विज्ञान विशेषज्ञ, पायथन प्रोग्रामर, शिक्षक, व्याख्याता और लेखों के लेखक; वाशिंगटन, डीसी में रहता है। यह मशीन सीखने के परिणामों के दृश्य मूल्यांकन में माहिर है: फीचर विश्लेषण से मॉडल चयन और हाइपर पैरामीटर सेटिंग्स तक। वह प्राकृतिक भाषा प्रसंस्करण के क्षेत्र में अनुसंधान करता है, सिमेंटिक नेटवर्क का निर्माण करता है, बड़ी संख्या में आयामों के साथ संस्थाओं और प्रसंस्करण की जानकारी को हल करता है। उपयोगकर्ताओं और खुले स्रोत सॉफ़्टवेयर के डेवलपर्स के समुदाय के एक सक्रिय सदस्य के रूप में, रेबेका अन्य डेवलपर्स जैसे येलब्रिक (एक पायथन पैकेज जिसका लक्ष्य भविष्य में ब्लैक बॉक्स मॉडलिंग है) पर अन्य डेवलपर्स के साथ सहयोग करने की कृपा है। अपने खाली समय में, वह अक्सर अपने परिवार के साथ साइकिल चलाते हैं या यूकेले खेलने की प्रैक्टिस करते हैं। उन्होंने अपनी डॉक्टरेट की उपाधि इलिनोइस विश्वविद्यालय से, उरबाना-शैंपेन में प्राप्त की, जहाँ उन्होंने प्रौद्योगिकी में संचार और विज़ुअलाइज़ेशन की व्यावहारिक तकनीकों का अध्ययन किया।

»पुस्तक की अधिक जानकारी प्रकाशक की वेबसाइट पर पाई जा सकती है
» सामग्री
» अंश

फेरीवालों के लिए कूपन पर 20% की छूट - पायथन

पुस्तक के पेपर संस्करण के भुगतान पर, पुस्तक का एक इलेक्ट्रॉनिक संस्करण ई-मेल द्वारा भेजा जाता है।

पुनश्च: पुस्तक की लागत का 7% नई कंप्यूटर पुस्तकों के अनुवाद में जाएगा, छपाई घर को सौंपी गई पुस्तकों की सूची यहां है ।