हर कोई विशिष्ट रूप से ग्रंथों को मानता है, भले ही यह व्यक्ति इंटरनेट या विश्व-प्रसिद्ध क्लासिक उपन्यासों पर समाचार पढ़ता हो। यह विभिन्न प्रकार के एल्गोरिदम और मशीन लर्निंग तकनीकों पर भी लागू होता है, जो उच्च-आयामी वेक्टर स्पेस का उपयोग करके, अधिक गणितीय तरीके से ग्रंथों को समझते हैं।

यह लेख t-SNE का उपयोग करते हुए उच्च-आयामी Word2Vec शब्द एम्बेडिंग कल्पना करने के लिए समर्पित है। विज़ुअलाइज़ेशन यह समझने में उपयोगी हो सकता है कि Word2Vec कैसे काम करता है और तंत्रिका नेटवर्क या अन्य मशीन लर्निंग एल्गोरिदम में उनका उपयोग करने से पहले अपने ग्रंथों से कैप्चर किए गए वैक्टर के बीच संबंधों की व्याख्या कैसे करें। डेटा के प्रशिक्षण के रूप में, हम Google समाचार और रूसी साहित्यकार लियो टॉल्स्टॉय के लेखों का उपयोग करेंगे, जिन्हें रूसी लेखक माना जाता है, जो अब तक के सबसे महान लेखकों में से एक हैं।

हम t-SNE एल्गोरिथ्म के संक्षिप्त अवलोकन से गुजरते हैं, फिर Word2Vec का उपयोग करके शब्द एम्बेडिंग गणना की ओर बढ़ते हैं, और अंत में, 2D और 3D स्पेस में t-SNE के साथ वैक्टर विज़ुअलाइज़ेशन के लिए आगे बढ़ते हैं। हम ज्यूपिटर नोटबुक का उपयोग करके पायथन में अपनी स्क्रिप्ट लिखेंगे।

टी-वितरित स्टोचैस्टिक पड़ोसी एंबेडिंग

टी-एसएनई डेटा विज़ुअलाइज़ेशन के लिए एक मशीन लर्निंग एल्गोरिदम है, जो एक नॉनलाइनर डायमेंशन रिडक्शन तकनीक पर आधारित है। टी-एसएनई का मूल विचार बिंदुओं के बीच सापेक्ष जोड़ीदार दूरी रखते हुए आयामी स्थान को कम करना है। दूसरे शब्दों में, एल्गोरिथ्म बहु-आयामी डेटा को दो या अधिक आयामों पर मैप करता है, जहां बिंदु जो एक दूसरे से शुरू में दूर थे, वे भी दूर स्थित हैं, और करीबी अंक भी करीबी लोगों में बदल जाते हैं। यह कहा जा सकता है कि टी-एसएनई एक नए डेटा प्रतिनिधित्व की तलाश में है जहां पड़ोस के संबंध संरक्षित हैं। टी-एसएनई पूरे तर्क का विस्तृत विवरण मूल लेख [1] में पाया जा सकता है।

Word2Vec मॉडल

शुरू करने के लिए, हमें शब्दों का वेक्टर प्रतिनिधित्व प्राप्त करना चाहिए। इस प्रयोजन के लिए, मैंने Word2vec [2] का चयन किया, अर्थात्, कच्चे पाठ डेटा से बहुआयामी शब्द एम्बेडिंग सीखने के लिए एक कम्प्यूटेशनल-कुशल भविष्य कहनेवाला मॉडल। Word2Vec की प्रमुख अवधारणा शब्दों का पता लगाना है, जो प्रशिक्षण कॉर्पस में आम संदर्भों को दूसरों के साथ तुलना में वेक्टर अंतरिक्ष में निकटता में साझा करते हैं।

विज़ुअलाइज़ेशन के लिए इनपुट डेटा के रूप में, हम Google समाचार और लियो टॉल्स्टॉय के कुछ उपन्यासों के लेखों का उपयोग करेंगे। Google समाचार डेटासेट (लगभग 100 बिलियन शब्द) के भाग पर प्रशिक्षित पूर्व-प्रशिक्षित वैक्टर Google द्वारा आधिकारिक पृष्ठ पर प्रकाशित किए गए थे, इसलिए हम इसका उपयोग करेंगे।

import gensim model = gensim.models.KeyedVectors.load_word2vec_format('GoogleNews-vectors-negative300.bin', binary=True) 

पूर्व-प्रशिक्षित मॉडल के अलावा, हम टॉलस्टॉय के उपन्यासों पर एक और मॉडल को गेंसिम [3] पुस्तकालय का उपयोग करके प्रशिक्षित करेंगे। Word2Vec इनपुट डेटा के रूप में वाक्यों को लेता है और आउटपुट के रूप में वर्ड वैक्टर का उत्पादन करता है। सबसे पहले, पूर्व-प्रशिक्षित पंकट वाक्य टोकन डाउनलोड करने के लिए आवश्यक है, जो संक्षिप्त शब्दों, कोलाजेशन और शब्दों पर विचार करते हुए वाक्यों की एक सूची में एक पाठ को विभाजित करता है, जो संभवतः वाक्यों के प्रारंभ या अंत का संकेत देता है। डिफ़ॉल्ट रूप से, NLTK डेटा पैकेज में रूसी के लिए पूर्व-प्रशिक्षित पंकट टोकन शामिल नहीं है, इसलिए हम github.com/mhq/train_punkt से तृतीय-पक्ष मॉडल का उपयोग करेंगे।

 import re import codecs def preprocess_text(text): text = re.sub('[^a-zA-Z--1-9]+', ' ', text) text = re.sub(' +', ' ', text) return text.strip() def prepare_for_w2v(filename_from, filename_to, lang): raw_text = codecs.open(filename_from, "r", encoding='windows-1251').read() with open(filename_to, 'w', encoding='utf-8') as f: for sentence in nltk.sent_tokenize(raw_text, lang): print(preprocess_text(sentence.lower()), file=f) 

Word2Vec प्रशिक्षण चरण में निम्नलिखित हाइपरपैरमीटर का उपयोग किया गया था:

• वैक्टर की आयाम 200 है।
• एक वाक्य के भीतर विश्लेषण किए गए शब्दों के बीच अधिकतम दूरी 5 है।
• 5 प्रति कॉर्पस की कुल आवृत्ति के साथ सभी शब्दों को अनदेखा करता है।

 import multiprocessing from gensim.models import Word2Vec def train_word2vec(filename): data = gensim.models.word2vec.LineSentence(filename) return Word2Vec(data, size=200, window=5, min_count=5, workers=multiprocessing.cpu_count()) 

टी-एसएनई का उपयोग करके वर्ड एम्बेडिंग विज़ुअलाइज़िंग

टी-एसएनई काफी उपयोगी है यदि यह उन वस्तुओं के बीच समानता की कल्पना करना आवश्यक है जो बहुआयामी अंतरिक्ष में स्थित हैं। बड़े डेटासेट के साथ, यह आसान टी-एसएनई प्लॉट बनाने के लिए अधिक से अधिक चुनौतीपूर्ण होता जा रहा है, इसलिए सबसे समान शब्दों के समूहों की कल्पना करना आम बात है।
पहले से प्रशिक्षित Google समाचार मॉडल की शब्दावली से कुछ शब्दों का चयन करें और विज़ुअलाइज़ेशन के लिए शब्द वैक्टर तैयार करें।

 keys = ['Paris', 'Python', 'Sunday', 'Tolstoy', 'Twitter', 'bachelor', 'delivery', 'election', 'expensive', 'experience', 'financial', 'food', 'iOS', 'peace', 'release', 'war'] embedding_clusters = [] word_clusters = [] for word in keys: embeddings = [] words = [] for similar_word, _ in model.most_similar(word, topn=30): words.append(similar_word) embeddings.append(model[similar_word]) embedding_clusters.append(embeddings) word_clusters.append(words) 

अंजीर। 1. शब्द समूहों के आकार पर विभिन्न अस्पष्टता मूल्यों का प्रभाव।

अगला, हम इस पेपर के आकर्षक हिस्से के लिए आगे बढ़ते हैं, टी-एसएनई का कॉन्फ़िगरेशन। इस खंड में, हमें निम्नलिखित हाइपरपैरामीटर पर अपना ध्यान देना चाहिए।

• घटकों की संख्या , अर्थात् आउटपुट स्पेस का आयाम।
• प्रति-मूल्य , जो कि टी-एसएनई के संदर्भ में है, को पड़ोसियों की प्रभावी संख्या के सुगम उपाय के रूप में देखा जा सकता है। यह निकटतम पड़ोसियों की संख्या से संबंधित है जो कई अन्य कई गुना सीखने वालों में कार्यरत हैं (ऊपर चित्र देखें)। [1] के अनुसार, ५ और ५० के बीच एक मूल्य का चयन करने की सिफारिश की जाती है।
• एम्बेडिंग के लिए प्रारंभिक प्रारंभिककरण का प्रकार ।

 tsne_model_en_2d = TSNE(perplexity=15, n_components=2, init='pca', n_iter=3500, random_state=32) embedding_clusters = np.array(embedding_clusters) n, m, k = embedding_clusters.shape embeddings_en_2d = np.array(tsne_model_en_2d.fit_transform(embedding_clusters.reshape(n * m, k))).reshape(n, m, 2) 

यह उल्लेख किया जाना चाहिए कि टी-एसएनई में एक गैर-उत्तल उद्देश्य फ़ंक्शन है, जिसे यादृच्छिक आरंभ के साथ एक ढाल वंश अनुकूलन का उपयोग करके कम से कम किया जाता है, इसलिए विभिन्न रन थोड़ा अलग परिणाम देते हैं।

नीचे आप Matplotlib, Python में डेटा विज़ुअलाइज़ेशन के लिए सबसे लोकप्रिय पुस्तकालयों में से एक का उपयोग करके 2 डी स्कैटर प्लॉट बनाने के लिए एक स्क्रिप्ट पा सकते हैं।


अंजीर। 2. Google समाचार से समान शब्दों के समूह (प्रीप्लेक्सिटी = 15)।

 from sklearn.manifold import TSNE import matplotlib.pyplot as plt import matplotlib.cm as cm import numpy as np % matplotlib inline def tsne_plot_similar_words(labels, embedding_clusters, word_clusters, a=0.7): plt.figure(figsize=(16, 9)) colors = cm.rainbow(np.linspace(0, 1, len(labels))) for label, embeddings, words, color in zip(labels, embedding_clusters, word_clusters, colors): x = embeddings[:,0] y = embeddings[:,1] plt.scatter(x, y, c=color, alpha=a, label=label) for i, word in enumerate(words): plt.annotate(word, alpha=0.5, xy=(x[i], y[i]), xytext=(5, 2), textcoords='offset points', ha='right', va='bottom', size=8) plt.legend(loc=4) plt.grid(True) plt.savefig("f/.png", format='png', dpi=150, bbox_inches='tight') plt.show() tsne_plot_similar_words(keys, embeddings_en_2d, word_clusters) 

कुछ मामलों में, पूरे चित्र को देखने के लिए एक बार में सभी शब्द वैक्टर को प्लॉट करना उपयोगी हो सकता है। आइए अब हम अन्ना करिनाना का विश्लेषण करते हैं, जो जुनून, साज़िश, त्रासदी और छुटकारे का एक महाकाव्य उपन्यास है।

 prepare_for_w2v('data/Anna Karenina by Leo Tolstoy (ru).txt', 'train_anna_karenina_ru.txt', 'russian') model_ak = train_word2vec('train_anna_karenina_ru.txt') words = [] embeddings = [] for word in list(model_ak.wv.vocab): embeddings.append(model_ak.wv[word]) words.append(word) tsne_ak_2d = TSNE(n_components=2, init='pca', n_iter=3500, random_state=32) embeddings_ak_2d = tsne_ak_2d.fit_transform(embeddings) 

 def tsne_plot_2d(label, embeddings, words=[], a=1): plt.figure(figsize=(16, 9)) colors = cm.rainbow(np.linspace(0, 1, 1)) x = embeddings[:,0] y = embeddings[:,1] plt.scatter(x, y, c=colors, alpha=a, label=label) for i, word in enumerate(words): plt.annotate(word, alpha=0.3, xy=(x[i], y[i]), xytext=(5, 2), textcoords='offset points', ha='right', va='bottom', size=10) plt.legend(loc=4) plt.grid(True) plt.savefig("hhh.png", format='png', dpi=150, bbox_inches='tight') plt.show() tsne_plot_2d('Anna Karenina by Leo Tolstoy', embeddings_ak_2d, a=0.1) 

अंजीर। 3. अन्ना Karenina पर प्रशिक्षित Word2Vec मॉडल का विज़ुअलाइज़ेशन।

यदि हम 3 डी अंतरिक्ष में प्रारंभिक एम्बेडिंग को मैप करते हैं तो पूरी तस्वीर और भी अधिक जानकारीपूर्ण हो सकती है। इस समय में हमें विश्व साहित्य के महत्वपूर्ण उपन्यास और टॉल्सटॉय की सबसे बड़ी साहित्यिक उपलब्धियों में से एक, वॉर एंड पीस पर एक नजर डालनी चाहिए।

 prepare_for_w2v('data/War and Peace by Leo Tolstoy (ru).txt', 'train_war_and_peace_ru.txt', 'russian') model_wp = train_word2vec('train_war_and_peace_ru.txt') words_wp = [] embeddings_wp = [] for word in list(model_wp.wv.vocab): embeddings_wp.append(model_wp.wv[word]) words_wp.append(word) tsne_wp_3d = TSNE(perplexity=30, n_components=3, init='pca', n_iter=3500, random_state=12) embeddings_wp_3d = tsne_wp_3d.fit_transform(embeddings_wp) 

 from mpl_toolkits.mplot3d import Axes3D def tsne_plot_3d(title, label, embeddings, a=1): fig = plt.figure() ax = Axes3D(fig) colors = cm.rainbow(np.linspace(0, 1, 1)) plt.scatter(embeddings[:, 0], embeddings[:, 1], embeddings[:, 2], c=colors, alpha=a, label=label) plt.legend(loc=4) plt.title(title) plt.show() tsne_plot_3d('Visualizing Embeddings using t-SNE', 'War and Peace', embeddings_wp_3d, a=0.1) 

अंजीर। 4. युद्ध और शांति पर प्रशिक्षित Word2Vec मॉडल का विज़ुअलाइज़ेशन।

परिणाम

यह वही है जो पाठ Word2Vec और t-SNE संभावित से दिखता है। हमने Google समाचार से समान शब्दों और टॉल्स्टॉय के उपन्यासों के लिए दो आरेखों के लिए काफी जानकारीपूर्ण चार्ट तैयार किया। इसके अलावा, एक और बात, GIF! जीआईएफ भयानक हैं, लेकिन जीआईएफ की साजिश लगभग नियमित ग्राफ़ को साजिश रचने के समान है। इसलिए, मैंने उन्हें लेख में उल्लेख नहीं करने का फैसला किया, लेकिन आप स्रोतों में एनिमेशन की पीढ़ी के लिए कोड पा सकते हैं।

स्रोत कोड Github पर उपलब्ध है।

लेख मूल रूप से टुवर्ड्स डेटा साइंस में प्रकाशित किया गया था।

संदर्भ

1. एल। माटे और जी। हिंटन, "टी-एसएनई का उपयोग करते हुए डेटा की कल्पना", जर्नल ऑफ़ मशीन लर्निंग रिसर्च, वॉल्यूम। 9, पीपी। 2579-2605, 2008।
2. टी। मिकोलोव, आई। सुतकेवर, के। चेन, जी। कोराडो और जे। डीन, "शब्दों और वाक्यांशों के वितरण के प्रतिनिधि और उनकी संरचना", तंत्रिका सूचना प्रसंस्करण प्रणालियों में अग्रिम, पीपी। 3111-3119, 2013।
3. आर। रिह्यर्क और पी। सोजका, "बड़े कॉर्पोरा के साथ टॉपिक मॉडलिंग के लिए सॉफ्टवेयर फ्रेमवर्क," एनएलपी फ्रेमवर्क के लिए नई चुनौतियों पर एलआरईसी 2010 कार्यशाला की कार्यवाही, 2010।