🖨️ 👨‍💻 🚇 पाठ के लिए प्राकृतिक भाषा प्रसंस्करण मूल बातें 🏳️ 🏬 🧑🏿‍🤝‍🧑🏽

बहुत रूढ़िवादी क्षेत्रों को छोड़कर अब प्राकृतिक भाषा प्रसंस्करण का उपयोग नहीं किया जाता है। अधिकांश तकनीकी समाधानों में, "मानव" भाषाओं की मान्यता और प्रसंस्करण लंबे समय से शुरू की गई है: यही कारण है कि हार्ड-कोडित प्रतिक्रिया विकल्पों के साथ सामान्य आईवीआर धीरे-धीरे अतीत की बात बन रही है, चैटबॉट्स लाइव ऑपरेटर की भागीदारी के बिना अधिक पर्याप्त रूप से संवाद करना शुरू कर रहे हैं, मेल फ़िल्टर एक धमाके के साथ काम करते हैं, आदि। रिकॉर्ड किए गए भाषण की पहचान, पाठ कैसे है? या बल्कि, आधुनिक मान्यता और प्रसंस्करण तकनीकों का आधार क्या होगा? हमारा आज का अनुकूलित अनुवाद इस पर अच्छी तरह से प्रतिक्रिया करता है - कट के तहत आपको एक लॉन्गड्राइव मिलेगा जो एनएलपी की मूल बातों पर अंतराल को बंद कर देगा। अच्छा पढ़ा है!

प्राकृतिक भाषा प्रसंस्करण क्या है?

प्राकृतिक भाषा प्रसंस्करण (बाद में एनएलपी के रूप में जाना जाता है) - प्राकृतिक भाषा प्रसंस्करण कंप्यूटर विज्ञान और एआई का एक उप-समूह है जो कंप्यूटर प्राकृतिक (मानव) भाषाओं का विश्लेषण करने के लिए समर्पित है। एनएलपी पाठ और भाषण के लिए मशीन लर्निंग एल्गोरिदम के उपयोग की अनुमति देता है।

उदाहरण के लिए, हम एनएलपी का उपयोग भाषण पहचान, दस्तावेजों के सामान्यीकरण, मशीन अनुवाद, स्पैम का पता लगाने, नामित संस्थाओं की मान्यता, प्रश्नों के उत्तर, ऑटो-कम्प्लीट, प्रेडिक्टिव टेक्स्ट इनपुट इत्यादि बनाने के लिए कर सकते हैं।

आज, हम में से कई के पास भाषण मान्यता वाले स्मार्टफोन हैं - वे हमारे भाषण को समझने के लिए एनएलपी का उपयोग करते हैं। साथ ही, कई लोग ओएस में बिल्ट-इन स्पीच रिकग्निशन वाले लैपटॉप का इस्तेमाल करते हैं।

उदाहरण

Cortana

विंडोज में एक Cortana आभासी सहायक है जो भाषण को पहचानता है। कोरटाना के साथ, आप अनुस्मारक बना सकते हैं, आवेदन खोल सकते हैं, पत्र भेज सकते हैं, खेल खेल सकते हैं, मौसम का पता लगा सकते हैं, आदि।

सिरी

सिरी Apple के OS के लिए एक सहायक है: iOS, watchOS, macOS, HomePod, और TVOS। वॉयस कंट्रोल के माध्यम से कई कार्य भी होते हैं: किसी को कॉल करना / लिखना, ईमेल भेजना, टाइमर सेट करना, फोटो लेना आदि।

जीमेल

एक प्रसिद्ध ईमेल सेवा स्पैम का पता लगाना जानती है ताकि वह आपके इनबॉक्स के इनबॉक्स में न जाए।

Dialogflow

Google का एक प्लेटफ़ॉर्म जो आपको एनएलपी बॉट बनाने की अनुमति देता है। उदाहरण के लिए, आप पिज्जा ऑर्डर करने वाले बॉट बना सकते हैं, जिसे आपके ऑर्डर को स्वीकार करने के लिए पुराने जमाने के आईवीआर की जरूरत नहीं है ।

एनएलटीके पायथन लाइब्रेरी

एनएलटीके (प्राकृतिक भाषा टूलकिट) पायथन में एनएलपी कार्यक्रम बनाने के लिए एक प्रमुख मंच है। इसमें कई भाषा कॉर्पस के साथ-साथ वर्गीकरण के लिए शब्द प्रसंस्करण के लिए पुस्तकालयों के लिए उपयोग में आसान इंटरफेस है, tokenization, stemming , markup , filtering और अर्थ संबंधी तर्क । खैर, और यह एक मुफ्त खुला स्रोत परियोजना है जिसे समुदाय की मदद से विकसित किया जा रहा है।
हम इस टूल का उपयोग एनएलपी की मूल बातें दिखाने के लिए करेंगे। बाद के सभी उदाहरणों के लिए, मुझे लगता है कि एनएलटीके पहले से ही आयातित है; यह import nltk साथ किया जा सकता है

पाठ के लिए एनएलपी मूल बातें

इस लेख में हम विषयों को कवर करेंगे:

प्रस्तावों द्वारा टोकन।
शब्दों द्वारा टोकन।
पाठ का लेमिनेशन और स्टैम्पिंग ।
शब्दों को रोकें।
नियमित अभिव्यक्ति।
शब्दों का थैला ।
TF-IDF ।

1. प्रस्तावों द्वारा टोकन

वाक्यों का निरूपण (कभी-कभी विभाजन) एक लिखित भाषा को घटक वाक्यों में विभाजित करने की प्रक्रिया है। विचार बहुत सरल लगता है। अंग्रेजी और कुछ अन्य भाषाओं में, हम हर बार एक निश्चित विराम चिह्न - एक अवधि के लिए एक वाक्य को अलग कर सकते हैं।

लेकिन अंग्रेजी में भी यह कार्य तुच्छ नहीं है, क्योंकि बिंदु का उपयोग संक्षिप्त रूप में भी किया जाता है। संक्षिप्त नाम तालिका शब्द संसाधन के दौरान वाक्य सीमाओं के गलत इस्तेमाल से बचने में बहुत मदद कर सकती है। ज्यादातर मामलों में, पुस्तकालयों का उपयोग इसके लिए किया जाता है, इसलिए आपको कार्यान्वयन विवरण के बारे में वास्तव में चिंता करने की ज़रूरत नहीं है।

एक उदाहरण:

बैकगैमौन बोर्ड गेम के बारे में एक छोटा पाठ लें:

 Backgammon is one of the oldest known board games. Its history can be traced back nearly 5,000 years to archeological discoveries in the Middle East. It is a two player game where each player has fifteen checkers which move between twenty-four points according to the roll of two dice.

NLTK का उपयोग करके ऑफ़र टोकन करने के लिए, आप nltk.sent_tokenize विधि का उपयोग कर सकते हैं

पाठ = "बैकगैमौन सबसे पुराने ज्ञात बोर्ड गेमों में से एक है। इसका इतिहास मध्य पूर्व में पुरातत्व खोजों में लगभग 5,000 वर्षों का पता लगाया जा सकता है। यह एक दो खिलाड़ी का खेल है, जहां प्रत्येक खिलाड़ी में पंद्रह चेकर्स होते हैं जो चौबीस अंकों के बीच चलते हैं। दो पासा के रोल के लिए। ”
वाक्य = nltk । sent_tokenize ( पाठ )
के लिए वाक्य में वाक्य :
प्रिंट ( वाक्य )
प्रिंट करें ()

GitHub द्वारा view के साथ होस्ट किए गए कच्चे वाक्य tokenization.py को देखें

बाहर निकलने पर, हमें 3 अलग-अलग वाक्य मिलते हैं:

 Backgammon is one of the oldest known board games. Its history can be traced back nearly 5,000 years to archeological discoveries in the Middle East. It is a two player game where each player has fifteen checkers which move between twenty-four points according to the roll of two dice.

2. शब्दों के अनुसार टोकनेशन

शब्दों के अनुसार टोकनकरण (कभी-कभी विभाजन) घटक शब्दों में वाक्यों को विभाजित करने की प्रक्रिया है। अंग्रेजी और कई अन्य भाषाओं में जो लैटिन वर्णमाला के एक या दूसरे संस्करण का उपयोग करते हैं, एक स्थान एक अच्छा शब्द विभाजक है।

हालाँकि, समस्याएं उत्पन्न हो सकती हैं यदि हम केवल एक स्थान का उपयोग करते हैं - अंग्रेजी में, यौगिक संज्ञाएं अलग-अलग लिखी जाती हैं और कभी-कभी रिक्त स्थान द्वारा अलग हो जाती हैं। और यहाँ पुस्तकालय हमारी फिर से मदद करते हैं।

एक उदाहरण:

चलो पिछले उदाहरण से वाक्य लेते हैं और उनके लिए nltk.word_tokenize विधि लागू करते हैं

के लिए वाक्य में वाक्य :
words = nltk.word_tokenize(sentence)
print(words)
print()

view raw word tokenization.py hosted with ❤ by GitHub

निष्कर्ष:

 ['Backgammon', 'is', 'one', 'of', 'the', 'oldest', 'known', 'board', 'games', '.'] ['Its', 'history', 'can', 'be', 'traced', 'back', 'nearly', '5,000', 'years', 'to', 'archeological', 'discoveries', 'in', 'the', 'Middle', 'East', '.'] ['It', 'is', 'a', 'two', 'player', 'game', 'where', 'each', 'player', 'has', 'fifteen', 'checkers', 'which', 'move', 'between', 'twenty-four', 'points', 'according', 'to', 'the', 'roll', 'of', 'two', 'dice', '.']

3. पाठ का लेमिनेशन और स्टैम्पिंग

आमतौर पर ग्रंथों में एक ही शब्द के विभिन्न व्याकरणिक रूप होते हैं, और एक-मूल शब्द भी हो सकते हैं। Lemmatization और stemming का उद्देश्य सभी होने वाले शब्द रूपों को एक एकल, सामान्य शब्दावली रूप में लाना है।

उदाहरण:

विभिन्न शब्द रूपों को एक में लाना:

 dog, dogs, dog's, dogs' => dog

वही, लेकिन पूरे वाक्य के संदर्भ में:

 the boy's dogs are different sizes => the boy dog be differ size

Lemmatization और stemming सामान्यीकरण के विशेष मामले हैं और वे अलग-अलग हैं।

स्टेमिंग एक क्रूड हेयुरिस्टिक प्रक्रिया है जो शब्दों की जड़ से "अतिरिक्त" को काटती है, अक्सर यह शब्द-निर्माण प्रत्यय के नुकसान की ओर जाता है।

Lemmatization एक अधिक सूक्ष्म प्रक्रिया है जो शब्दावली और रूपात्मक विश्लेषण का उपयोग करके अंततः शब्द को अपने विहित रूप - लेम्मा में लाती है।

अंतर यह है कि स्टेमर (स्टेमिंग एल्गोरिदम का एक विशिष्ट कार्यान्वयन - अनुवादक टिप्पणी) संदर्भ को जानने के बिना संचालित होता है और तदनुसार, उन शब्दों के बीच अंतर को नहीं समझता है जिनके भाषण के हिस्से के आधार पर अलग-अलग अर्थ हैं। हालांकि, स्टेमर्स के अपने फायदे हैं: उन्हें लागू करना आसान है और वे तेजी से काम करते हैं। इसके अलावा, कम "सटीकता" कुछ मामलों में मायने नहीं रख सकती है।

उदाहरण:

शब्द अच्छा है शब्द के लिए बेहतर एक नींबू है। स्टीमर इस कनेक्शन को नहीं देखेगा, यहाँ से आपको शब्दकोश से परामर्श करने की आवश्यकता है।
शब्द का खेल खेलना शब्द का मूल रूप है। यहां स्टेमिंग और लेमेटाइजेशन दोनों सामना करेंगे।
शब्द बैठक या तो संज्ञा का एक सामान्य रूप हो सकता है या संदर्भ के आधार पर मिलने के लिए क्रिया का एक रूप हो सकता है। स्टेमिंग के विपरीत, लेटमैटाइजेशन संदर्भ के आधार पर सही लेम्मा चुनने की कोशिश करेगा।

अब हम जानते हैं कि अंतर क्या है, आइए एक उदाहरण देखें:

from nltk.stem import PorterStemmer, WordNetLemmatizer
from nltk.corpus import wordnet
def compare_stemmer_and_lemmatizer(stemmer, lemmatizer, word, pos):
"""
Print the results of stemmind and lemmitization using the passed stemmer, lemmatizer, word and pos (part of speech)
"""
print("Stemmer:", stemmer.stem(word))
print("Lemmatizer:", lemmatizer.lemmatize(word, pos))
print()
lemmatizer = WordNetLemmatizer()
stemmer = PorterStemmer()
compare_stemmer_and_lemmatizer(stemmer, lemmatizer, word = "seen", pos = wordnet.VERB)
compare_stemmer_and_lemmatizer(stemmer, lemmatizer, word = "drove", pos = wordnet.VERB)

view raw stemming vs lemmatization.py hosted with ❤ by GitHub

निष्कर्ष:

 Stemmer: seen Lemmatizer: see Stemmer: drove Lemmatizer: drive

4. शब्दों को रोकें

रोक शब्द वे शब्द हैं जो पाठ प्रसंस्करण से पहले / बाद में पाठ से बाहर फेंक दिए जाते हैं। जब हम मशीन सीखने को ग्रंथों पर लागू करते हैं, तो ऐसे शब्द बहुत अधिक शोर जोड़ सकते हैं, इसलिए आपको अप्रासंगिक शब्दों से छुटकारा पाने की आवश्यकता है।

स्टॉप शब्दों को आमतौर पर लेखों, अनुमानों, यूनियनों, आदि द्वारा समझा जाता है, जो शब्दार्थ लोड नहीं करते हैं। यह समझा जाना चाहिए कि स्टॉप शब्दों की कोई सार्वभौमिक सूची नहीं है, यह सब विशेष मामले पर निर्भर करता है।

एनएलटीके में स्टॉप शब्दों की पूर्वनिर्धारित सूची है। पहले उपयोग से पहले, आपको इसे डाउनलोड करने की आवश्यकता होगी: nltk.download(“stopwords”) । डाउनलोड करने के बाद, आप stopwords पैकेज को आयात कर सकते हैं और स्वयं शब्दों को देख सकते हैं:

from nltk.corpus import stopwords
print(stopwords.words("english"))

view raw stop words.py hosted with ❤ by GitHub

निष्कर्ष:

 ['i', 'me', 'my', 'myself', 'we', 'our', 'ours', 'ourselves', 'you', "you're", "you've", "you'll", "you'd", 'your', 'yours', 'yourself', 'yourselves', 'he', 'him', 'his', 'himself', 'she', "she's", 'her', 'hers', 'herself', 'it', "it's", 'its', 'itself', 'they', 'them', 'their', 'theirs', 'themselves', 'what', 'which', 'who', 'whom', 'this', 'that', "that'll", 'these', 'those', 'am', 'is', 'are', 'was', 'were', 'be', 'been', 'being', 'have', 'has', 'had', 'having', 'do', 'does', 'did', 'doing', 'a', 'an', 'the', 'and', 'but', 'if', 'or', 'because', 'as', 'until', 'while', 'of', 'at', 'by', 'for', 'with', 'about', 'against', 'between', 'into', 'through', 'during', 'before', 'after', 'above', 'below', 'to', 'from', 'up', 'down', 'in', 'out', 'on', 'off', 'over', 'under', 'again', 'further', 'then', 'once', 'here', 'there', 'when', 'where', 'why', 'how', 'all', 'any', 'both', 'each', 'few', 'more', 'most', 'other', 'some', 'such', 'no', 'nor', 'not', 'only', 'own', 'same', 'so', 'than', 'too', 'very', 's', 't', 'can', 'will', 'just', 'don', "don't", 'should', "should've", 'now', 'd', 'll', 'm', 'o', 're', 've', 'y', 'ain', 'aren', "aren't", 'couldn', "couldn't", 'didn', "didn't", 'doesn', "doesn't", 'hadn', "hadn't", 'hasn', "hasn't", 'haven', "haven't", 'isn', "isn't", 'ma', 'mightn', "mightn't", 'mustn', "mustn't", 'needn', "needn't", 'shan', "shan't", 'shouldn', "shouldn't", 'wasn', "wasn't", 'weren', "weren't", 'won', "won't", 'wouldn', "wouldn't"]

विचार करें कि आप शब्दों को एक वाक्य से कैसे हटा सकते हैं:

stop_words = set(stopwords.words("english"))
sentence = "Backgammon is one of the oldest known board games."
words = nltk.word_tokenize(sentence)
without_stop_words = [word for word in words if not word in stop_words]
print(without_stop_words)

view raw stop words example 1.py hosted with ❤ by GitHub

निष्कर्ष:

 ['Backgammon', 'one', 'oldest', 'known', 'board', 'games', '.']

यदि आप सूची समझ से परिचित नहीं हैं, तो आप यहाँ और अधिक जानकारी प्राप्त कर सकते हैं। यहां एक ही परिणाम प्राप्त करने का एक और तरीका है:

stop_words = set(stopwords.words("english"))
sentence = "Backgammon is one of the oldest known board games."
words = nltk.word_tokenize(sentence)
without_stop_words = []
for word in words:
if word not in stop_words:
without_stop_words.append(word)
print(without_stop_words)

view raw stop words example 2.py hosted with ❤ by GitHub

हालांकि, याद रखें कि सूची की समझ तेज़ है क्योंकि वे अनुकूलित हैं - दुभाषिया लूप के दौरान एक पूर्वानुमान पैटर्न का खुलासा करता है।

आप पूछ सकते हैं कि हमने सूची को कई में क्यों बदल दिया। एक सेट एक सार डेटा प्रकार है जो एक अपरिभाषित क्रम में अद्वितीय मूल्यों को संग्रहीत कर सकता है। किसी सूची के माध्यम से खोज करने से सेट द्वारा खोज करना बहुत तेज़ है। कम संख्या में शब्दों के लिए, यह कोई फर्क नहीं पड़ता है, लेकिन अगर हम बड़ी संख्या में शब्दों के बारे में बात कर रहे हैं, तो यह सेट का उपयोग करने के लिए कड़ाई से अनुशंसित है। यदि आप विभिन्न कार्यों को करने में लगने वाले समय के बारे में थोड़ा और जानना चाहते हैं, तो इस अद्भुत चीट शीट को देखें ।

5. नियमित अभिव्यक्ति।

एक नियमित अभिव्यक्ति (regex, regexp, regex) वर्णों का एक क्रम है जो एक खोज पैटर्न को परिभाषित करता है। उदाहरण के लिए:

। - लाइन फीड को छोड़कर कोई भी चरित्र;
\ w एक शब्द है;
\ d - एक अंक;
\ s - एक स्थान;
\ W एक गैर-शब्द है;
\ D - एक गैर-अंक;
\ S - एक गैर-स्थान;
[एबीसी] - कोई भी निर्दिष्ट वर्ण किसी भी, बी या सी से मेल खाता है;
[^ abc] - निर्दिष्ट लोगों को छोड़कर कोई भी चरित्र पाता है;
[एजी] - एक जी से सीमा में एक चरित्र पाता है।

पायथन प्रलेखन से अंश:

नियमित अभिव्यक्तियाँ विशेष रूपों को इंगित करने के लिए या विशेष वर्णों के उपयोग की अनुमति देने के लिए बैकस्लैश (\) का उपयोग करती हैं। यह पायथन में बैकस्लैश के उपयोग का विरोध करता है: उदाहरण के लिए, बैकस्लैश का शाब्दिक अर्थ बताने के लिए, आपको एक खोज पैटर्न के रूप में '\\\\' लिखना होगा, क्योंकि नियमित अभिव्यक्ति \\ तरह दिखना चाहिए, जहां बैकस्लैश से बच जाना चाहिए।

इसका समाधान खोज पैटर्न के लिए कच्चे स्ट्रिंग संकेतन का उपयोग करना है; यदि उपसर्ग 'r' साथ प्रयोग किया जाता है तो बैकस्लैश को विशेष रूप से संसाधित नहीं किया जाएगा। इस प्रकार r”\n” दो वर्णों ('\' 'n') साथ एक स्ट्रिंग है, और “\n” एक वर्ण (पंक्ति फ़ीड) के साथ एक स्ट्रिंग है।

हम अपने पाठ को आगे फ़िल्टर करने के लिए नियमित उपयोग कर सकते हैं। उदाहरण के लिए, आप उन सभी वर्णों को हटा सकते हैं जो शब्द नहीं हैं। कई मामलों में, विराम चिह्न की आवश्यकता नहीं होती है और नियमित की मदद से निकालना आसान होता है।

पायथन में पुन: मॉड्यूल नियमित अभिव्यक्ति संचालन का प्रतिनिधित्व करता है। हम निर्दिष्ट पैटर्न के साथ खोज पैटर्न को फिट करने वाली हर चीज को बदलने के लिए re.sub फ़ंक्शन का उपयोग कर सकते हैं। तो आप सभी गैर-शब्दों को रिक्त स्थान से बदल सकते हैं:

import re
sentence = "The development of snowboarding was inspired by skateboarding, sledding, surfing and skiing."
pattern = r"[^\w]"
print(re.sub(pattern, " ", sentence))

view raw regex substitute.py hosted with ❤ by GitHub

निष्कर्ष:

 'The development of snowboarding was inspired by skateboarding sledding surfing and skiing '

नियमित एक शक्तिशाली उपकरण है जिसका उपयोग अधिक जटिल पैटर्न बनाने के लिए किया जा सकता है। यदि आप नियमित अभिव्यक्तियों के बारे में अधिक जानना चाहते हैं, तो मैं इन 2 वेब अनुप्रयोगों की सिफारिश कर सकता हूं: regex , regex101 ।

6. शब्दों का थैला

मशीन लर्निंग एल्गोरिदम सीधे कच्चे पाठ के साथ काम नहीं कर सकता है, इसलिए आपको पाठ को संख्याओं (वैक्टर) के सेट में बदलने की आवश्यकता है। इसे फीचर निष्कर्षण कहा जाता है।

एक शब्द बैग एक लोकप्रिय और सरल सुविधा निष्कर्षण तकनीक है जिसका उपयोग पाठ के साथ काम करते समय किया जाता है। यह पाठ में प्रत्येक शब्द की घटनाओं का वर्णन करता है।

मॉडल का उपयोग करने के लिए, हमें चाहिए:

ज्ञात शब्दों (टोकन) के एक शब्दकोश को परिभाषित करें।
प्रसिद्ध शब्दों की उपस्थिति की डिग्री चुनें।

शब्दों के क्रम या संरचना के बारे में किसी भी जानकारी को अनदेखा किया जाता है। इसलिए इसे शब्दों का BAG कहा जाता है। यह मॉडल यह समझने की कोशिश करता है कि क्या एक परिचित शब्द किसी दस्तावेज़ में दिखाई देता है, लेकिन यह नहीं जानता कि वास्तव में यह कहाँ होता है।

अंतर्ज्ञान से पता चलता है कि समान दस्तावेजों में समान सामग्री है । साथ ही, सामग्री के लिए धन्यवाद, हम दस्तावेज़ के अर्थ के बारे में कुछ सीख सकते हैं।

एक उदाहरण:
इस मॉडल को बनाने के चरणों पर विचार करें। मॉडल कैसे काम करता है यह समझने के लिए हम केवल 4 वाक्यों का उपयोग करते हैं। वास्तविक जीवन में, आप अधिक डेटा का सामना करेंगे।

1. डेटा डाउनलोड करें

कल्पना कीजिए कि यह हमारा डेटा है और हम इसे एक सरणी के रूप में लोड करना चाहते हैं:

 I like this movie, it's funny. I hate this movie. This was awesome! I like it. Nice one. I love it.

ऐसा करने के लिए, बस फ़ाइल पढ़ें और लाइन से विभाजित करें:

with open("simple movie reviews.txt", "r") as file:
documents = file.read().splitlines()
print(documents)

view raw read the movie reviews.py hosted with ❤ by GitHub

निष्कर्ष:

 ["I like this movie, it's funny.", 'I hate this movie.', 'This was awesome! I like it.', 'Nice one. I love it.']

2. एक शब्दकोष को परिभाषित करें

हम 4 लोड किए गए वाक्यों, मामले की अनदेखी, विराम चिह्न और एक-चरित्र के टोकन से सभी अनूठे शब्द एकत्र करेंगे। यह हमारा शब्दकोश (प्रसिद्ध शब्द) होगा।

एक शब्दकोश बनाने के लिए, आप स्केलेरन लाइब्रेरी से CountVectorizer वर्ग का उपयोग कर सकते हैं। अगले चरण पर जाएं।

3. दस्तावेज़ वैक्टर बनाएँ

अगला, हमें दस्तावेज़ में शब्दों का मूल्यांकन करने की आवश्यकता है। इस चरण में, हमारा लक्ष्य कच्चे पाठ को संख्याओं के समूह में बदलना है। उसके बाद, हम इन सेटों को मशीन लर्निंग मॉडल के इनपुट के रूप में उपयोग करते हैं। सबसे सरल स्कोरिंग विधि शब्दों की उपस्थिति को नोट करना है, अर्थात, यदि कोई शब्द है और 0 अनुपस्थित है तो 1 डाल दें।

अब हम पूर्वोक्त गणक वर्ग का उपयोग करके शब्दों का एक थैला बना सकते हैं।

# Import the libraries we need
from sklearn.feature_extraction.text import CountVectorizer
import pandas as pd
# Step 2. Design the Vocabulary
# The default token pattern removes tokens of a single character. That's why we don't have the "I" and "s" tokens in the output
count_vectorizer = CountVectorizer()
# Step 3. Create the Bag-of-Words Model
bag_of_words = count_vectorizer.fit_transform(documents)
# Show the Bag-of-Words Model as a pandas DataFrame
feature_names = count_vectorizer.get_feature_names()
pd.DataFrame(bag_of_words.toarray(), columns = feature_names)

view raw simple bag-of-words example.py hosted with ❤ by GitHub

निष्कर्ष:

ये हमारे सुझाव हैं। अब हम देखते हैं कि "शब्दों का बैग" मॉडल कैसे काम करता है।

शब्दों के बैग के बारे में कुछ शब्द

इस मॉडल की जटिलता यह है कि कैसे शब्दकोश का निर्धारण किया जाए और शब्दों की घटना को कैसे गिना जाए।

जब शब्दकोश आकार बढ़ता है, तो दस्तावेज़ वेक्टर भी बढ़ता है। ऊपर के उदाहरण में, वेक्टर की लंबाई ज्ञात शब्दों की संख्या के बराबर है।

कुछ मामलों में, हमारे पास अविश्वसनीय रूप से बड़ी मात्रा में डेटा हो सकता है और फिर वेक्टर में हजारों या लाखों तत्व शामिल हो सकते हैं। इसके अलावा, प्रत्येक दस्तावेज़ में शब्दकोष का केवल एक छोटा सा हिस्सा हो सकता है।

नतीजतन, वेक्टर प्रतिनिधित्व में कई शून्य होंगे। कई शून्य वाले क्षेत्रों को विरल वैक्टर कहा जाता है, उन्हें अधिक स्मृति और कम्प्यूटेशनल संसाधनों की आवश्यकता होती है।

हालांकि, हम कंप्यूटिंग संसाधनों पर मांगों को कम करने के लिए इस मॉडल का उपयोग करते समय ज्ञात शब्दों की संख्या को कम कर सकते हैं। ऐसा करने के लिए, आप उन्हीं तकनीकों का उपयोग कर सकते हैं जिन्हें हमने पहले ही शब्दों का एक बैग बनाने से पहले माना था:

शब्दों के मामले की अनदेखी;
विराम चिह्न की अनदेखी;
रोक शब्दों को बाहर करना;
शब्दों को उनके मूल रूपों में कमी (लेमेटेटाइजेशन और स्टेमिंग);
गलत वर्तनी वाले शब्दों का सुधार।

शब्दकोश बनाने के लिए एक और अधिक जटिल तरीका है, समूहीकृत शब्दों का उपयोग करना। यह शब्दकोश का आकार बदल देगा और दस्तावेज़ के बारे में अधिक विवरणों का बैग देगा। इस दृष्टिकोण को " एन-ग्राम " कहा जाता है।

एन-ग्राम किसी भी संस्था (शब्द, अक्षर, संख्या, संख्या, आदि) का एक क्रम है। भाषाई निकायों के संदर्भ में, एन-ग्राम को आमतौर पर शब्दों के अनुक्रम के रूप में समझा जाता है। एकग्राम एक शब्द है, एक आश्रम दो शब्दों का एक क्रम है, एक ट्रिग्राम एक तीन शब्द है, और इसी तरह। संख्या N यह दर्शाता है कि N- ग्राम में कितने समूहीकृत शब्द शामिल हैं। सभी संभव एन-ग्राम मॉडल में नहीं आते हैं, लेकिन केवल वे जो मामले में दिखाई देते हैं।

एक उदाहरण:

निम्नलिखित वाक्य पर विचार करें:

 The office building is open today

यहाँ उनके बीघे हैं:

कार्यालय
कार्यालय की इमारत
इमारत है
खुला है
आज खोलो

जैसा कि आप देख सकते हैं, शब्दों के एक बैग की तुलना में बड़े बैग का एक बैग अधिक प्रभावी दृष्टिकोण है।

शब्दों का मूल्यांकन (स्कोरिंग)

जब एक शब्दकोश बनाया जाता है, तो शब्दों की उपस्थिति का मूल्यांकन किया जाना चाहिए। हमने पहले से ही एक सरल, द्विआधारी दृष्टिकोण पर विचार किया है (1 - एक शब्द है, 0 - कोई शब्द नहीं है)।

अन्य विधियाँ हैं:

संख्या। यह गणना की जाती है कि दस्तावेज़ में प्रत्येक शब्द कितनी बार दिखाई देता है।
आवृत्ति। यह गणना की जाती है कि पाठ में प्रत्येक शब्द कितनी बार होता है (शब्दों की कुल संख्या के संबंध में)।

7. TF-IDF

फ़्रिक्वेंसी स्कोरिंग में एक समस्या है: उच्चतम आवृत्ति वाले शब्द, क्रमशः, उच्चतम रेटिंग। इन शब्दों में मॉडल के लिए उतनी जानकारी नहीं हो सकती जितनी कम शब्दों में। स्थिति को ठीक करने का एक तरीका शब्द स्कोर कम करना है, जो अक्सर सभी समान दस्तावेजों में पाया जाता है । इसे TF-IDF कहा जाता है।

TF-IDF (टर्म फ़्रीक्वेंसी के लिए छोटा - उलटा डॉक्यूमेंट फ़्रीक्वेंसी) किसी डॉक्यूमेंट में किसी शब्द के महत्व का आकलन करने के लिए एक सांख्यिकीय उपाय है जो संग्रह या कॉर्पस का हिस्सा होता है।

टीएफ-आईडीएफ द्वारा स्कोरिंग एक दस्तावेज़ में एक शब्द की आवृत्ति की आवृत्ति के अनुपात में बढ़ता है, लेकिन यह इस शब्द से युक्त दस्तावेजों की संख्या से ऑफसेट है।

दस्तावेज़ Y में X शब्द के लिए स्कोरिंग सूत्र:

फॉर्मूला TF-IDF। स्रोत: filotechnologia.blogspot.com/2014/01/a-simple-java-class-for-tfidf-scoring.html

टीएफ (शब्द आवृत्ति) किसी दस्तावेज़ में किसी शब्द की घटनाओं की संख्या का अनुपात है।

आईडीएफ (उलटा दस्तावेज़ आवृत्ति) उस आवृत्ति का व्युत्क्रम है जिसके साथ संग्रह दस्तावेजों में एक शब्द होता है।

परिणामस्वरूप, शब्द शब्द के लिए TF-IDF की गणना इस प्रकार की जा सकती है:

एक उदाहरण:

TF-IDF की गणना करने के लिए आप स्केलेर लाइब्रेरी से TfidfVectorizer वर्ग का उपयोग कर सकते हैं। आइए इसे उन्हीं संदेशों के साथ करते हैं जो हमने शब्दों के बैग में इस्तेमाल किए थे।

 I like this movie, it's funny. I hate this movie. This was awesome! I like it. Nice one. I love it.

कोड:

from sklearn.feature_extraction.text import TfidfVectorizer
import pandas as pd
tfidf_vectorizer = TfidfVectorizer()
values = tfidf_vectorizer.fit_transform(documents)
# Show the Model as a pandas DataFrame
feature_names = tfidf_vectorizer.get_feature_names()
pd.DataFrame(values.toarray(), columns = feature_names)

view raw tf-idf example.py hosted with ❤ by GitHub

निष्कर्ष:

निष्कर्ष

इस लेख में पाठ के लिए एनएलपी की मूल बातें शामिल हैं, अर्थात्:

एनएलपी पाठ और भाषण के लिए मशीन लर्निंग एल्गोरिदम के उपयोग की अनुमति देता है;
एनएलटीके (प्राकृतिक भाषा टूलकिट) - पायथन में एनएलपी-प्रोग्राम बनाने के लिए एक प्रमुख मंच;
प्रस्ताव टोकन एक लिखित भाषा को घटक वाक्यों में विभाजित करने की प्रक्रिया है;
शब्द टोकेनाइजेशन वाक्यों को घटक शब्दों में विभाजित करने की प्रक्रिया है;
Lemmatization और stemming का उद्देश्य एकल, सामान्य शब्दावली के रूप में आने वाले सभी शब्द रूपों को लाना है;
स्टॉप शब्द वे शब्द हैं जो टेक्स्ट प्रोसेसिंग से पहले / बाद में टेक्स्ट से बाहर फेंक दिए जाते हैं;
regex (regex, regexp, regex) वर्णों का एक क्रम है जो एक खोज पैटर्न को परिभाषित करता है;
शब्दों का एक बैग एक लोकप्रिय और सरल सुविधा निष्कर्षण तकनीक है जिसका उपयोग पाठ के साथ काम करते समय किया जाता है। यह पाठ में प्रत्येक शब्द की घटनाओं का वर्णन करता है।

बहुत बढ़िया! अब जब आप सुविधा निष्कर्षण की मूल बातें जानते हैं, तो आप मशीन लर्निंग एल्गोरिदम के इनपुट के रूप में सुविधाओं का उपयोग कर सकते हैं।

यदि आप सभी वर्णित अवधारणाओं को एक बड़े उदाहरण में देखना चाहते हैं, तो यहां आप हैं ।

	पाठ = "बैकगैमौन सबसे पुराने ज्ञात बोर्ड गेमों में से एक है। इसका इतिहास मध्य पूर्व में पुरातत्व खोजों में लगभग 5,000 वर्षों का पता लगाया जा सकता है। यह एक दो खिलाड़ी का खेल है, जहां प्रत्येक खिलाड़ी में पंद्रह चेकर्स होते हैं जो चौबीस अंकों के बीच चलते हैं। दो पासा के रोल के लिए। ”
	वाक्य = nltk । sent_tokenize ( पाठ )
	के लिए वाक्य में वाक्य :
	प्रिंट ( वाक्य )
	प्रिंट करें ()

	के लिए वाक्य में वाक्य :
	words = nltk.word_tokenize(sentence)
	print(words)
	print()

	from nltk.stem import PorterStemmer, WordNetLemmatizer
	from nltk.corpus import wordnet

	def compare_stemmer_and_lemmatizer(stemmer, lemmatizer, word, pos):
	"""
	Print the results of stemmind and lemmitization using the passed stemmer, lemmatizer, word and pos (part of speech)
	"""
	print("Stemmer:", stemmer.stem(word))
	print("Lemmatizer:", lemmatizer.lemmatize(word, pos))
	print()

	lemmatizer = WordNetLemmatizer()
	stemmer = PorterStemmer()
	compare_stemmer_and_lemmatizer(stemmer, lemmatizer, word = "seen", pos = wordnet.VERB)
	compare_stemmer_and_lemmatizer(stemmer, lemmatizer, word = "drove", pos = wordnet.VERB)

	from nltk.corpus import stopwords
	print(stopwords.words("english"))

	stop_words = set(stopwords.words("english"))
	sentence = "Backgammon is one of the oldest known board games."

	words = nltk.word_tokenize(sentence)
	without_stop_words = [word for word in words if not word in stop_words]
	print(without_stop_words)

	import re
	sentence = "The development of snowboarding was inspired by skateboarding, sledding, surfing and skiing."
	pattern = r"[^\w]"
	print(re.sub(pattern, " ", sentence))

	with open("simple movie reviews.txt", "r") as file:
	documents = file.read().splitlines()

	print(documents)

	# Import the libraries we need
	from sklearn.feature_extraction.text import CountVectorizer
	import pandas as pd

	# Step 2. Design the Vocabulary
	# The default token pattern removes tokens of a single character. That's why we don't have the "I" and "s" tokens in the output
	count_vectorizer = CountVectorizer()

	# Step 3. Create the Bag-of-Words Model
	bag_of_words = count_vectorizer.fit_transform(documents)

	# Show the Bag-of-Words Model as a pandas DataFrame
	feature_names = count_vectorizer.get_feature_names()
	pd.DataFrame(bag_of_words.toarray(), columns = feature_names)

	from sklearn.feature_extraction.text import TfidfVectorizer
	import pandas as pd

	tfidf_vectorizer = TfidfVectorizer()
	values = tfidf_vectorizer.fit_transform(documents)

	# Show the Model as a pandas DataFrame
	feature_names = tfidf_vectorizer.get_feature_names()
	pd.DataFrame(values.toarray(), columns = feature_names)

पाठ के लिए प्राकृतिक भाषा प्रसंस्करण मूल बातें

प्राकृतिक भाषा प्रसंस्करण क्या है?

उदाहरण

Cortana

सिरी

जीमेल

Dialogflow

एनएलटीके पायथन लाइब्रेरी

पाठ के लिए एनएलपी मूल बातें

1. प्रस्तावों द्वारा टोकन

2. शब्दों के अनुसार टोकनेशन

3. पाठ का लेमिनेशन और स्टैम्पिंग

4. शब्दों को रोकें

5. नियमित अभिव्यक्ति।

6. शब्दों का थैला

1. डेटा डाउनलोड करें

2. एक शब्दकोष को परिभाषित करें

3. दस्तावेज़ वैक्टर बनाएँ

शब्दों के बैग के बारे में कुछ शब्द

7. TF-IDF

निष्कर्ष

More articles: