💣 🚵🏻 🙂 टेक्स्ट सेंटीमेंट एनालिसिस कॉन्फिडेंशियल न्यूरल नेटवर्क का उपयोग करते हुए 🧘🏿 ♾ 🐀

कल्पना कीजिए कि आपके पास पाठ का एक पैराग्राफ है। क्या यह समझना संभव है कि यह पाठ किस भावना का वहन करता है: आनंद, उदासी, क्रोध? आप कर सकते हैं। हम अपने कार्य को सरल बनाते हैं और विनिर्देश के बिना सकारात्मक या नकारात्मक के रूप में भावना को वर्गीकृत करेंगे। इस समस्या को हल करने के कई तरीके हैं, और उनमें से एक है कन्वेन्शनल न्यूरल नेटवर्क्स (कन्वर्जेन्शल न्यूरल नेटवर्क्स)। सीएनएन मूल रूप से छवि प्रसंस्करण के लिए विकसित किया गया था, लेकिन वे स्वचालित रूप से स्वचालित वर्ड प्रोसेसिंग के क्षेत्र में कार्यों का सामना करते हैं। मैं आपको एक प्रशंसनीय तंत्रिका नेटवर्क का उपयोग करके रूसी-भाषा के ग्रंथों की आज की द्विआधारी विश्लेषण से परिचित कराऊंगा, जिसके लिए एक प्रशिक्षित Word2Vec मॉडल के आधार पर शब्दों के वेक्टर प्रतिनिधित्व का गठन किया गया था।

लेख एक अवलोकन प्रकृति का है, मैंने व्यावहारिक घटक पर जोर दिया। और मैं आपको तुरंत चेतावनी देना चाहता हूं कि प्रत्येक चरण में किए गए निर्णय इष्टतम नहीं हो सकते हैं। पढ़ने से पहले, मैं अनुशंसा करता हूं कि आप प्राकृतिक भाषा प्रसंस्करण कार्यों में सीएनएन के उपयोग पर परिचयात्मक लेख से परिचित हों, साथ ही शब्दों के वेक्टर प्रतिनिधित्व के तरीकों के बारे में सामग्री पढ़ें।

आर्किटेक्चर

विचाराधीन CNN वास्तुकला दृष्टिकोण [1] और [2] पर आधारित है। दृष्टिकोण [1], जो कंप्यूटर भाषा विज्ञान की सबसे बड़ी वार्षिक प्रतियोगिता में कंटेस्टेंट और आवर्तक नेटवर्क के एक संयोजन का उपयोग करता है, SemEval-2017 ने टास्क 4 की टॉन्सिलिटी का विश्लेषण करने के कार्य में पांच नामांकन में प्रथम स्थान [3] लिया।

चित्रा 1. सीएनएन वास्तुकला [2]।

CNN इनपुट (छवि 1) एक निश्चित ऊंचाई n के साथ एक मैट्रिक्स है, जहां प्रत्येक पंक्ति आयाम k के एक फीचर स्पेस में एक टोकन की एक वेक्टर मैपिंग है। Word2Vec, Glove, FastText, आदि जैसे वितरण शब्दार्थ उपकरण अक्सर एक सुविधा स्थान बनाने के लिए उपयोग किए जाते हैं।

पहले चरण में, इनपुट मैट्रिक्स को सजा परतों द्वारा संसाधित किया जाता है। एक नियम के रूप में, फ़िल्टर में विशेषता स्थान के आयाम के बराबर एक निश्चित चौड़ाई होती है, और केवल एक पैरामीटर फ़िल्टर आकार के लिए कॉन्फ़िगर किया जाता है - ऊंचाई एच । यह पता चला है कि एच फिल्टर द्वारा एक साथ मानी जाने वाली आसन्न रेखाओं की ऊंचाई है। तदनुसार, प्रत्येक फिल्टर के लिए आउटपुट फीचर मैट्रिक्स का आयाम इस फिल्टर एच की ऊंचाई और मूल मैट्रिक्स एन की ऊंचाई के आधार पर भिन्न होता है।

अगला, प्रत्येक फ़िल्टर के आउटपुट पर प्राप्त फीचर मैप को एक विशिष्ट संघनन फ़ंक्शन (छवि में 1-अधिकतम पूलिंग) के साथ एक सबसम्प्लिंग परत द्वारा संसाधित किया जाता है, अर्थात। उत्पन्न फीचर मैप के आयाम को कम करता है। इस प्रकार, पाठ में इसकी स्थिति की परवाह किए बिना, प्रत्येक कन्वेंशन के लिए सबसे महत्वपूर्ण जानकारी निकाली जाती है। दूसरे शब्दों में, सदिश प्रदर्शन के लिए, कनवल्शन लेयर्स और सब-सैंपलिंग लेयर्स के संयोजन से पाठ से सबसे महत्वपूर्ण n- ग्राम निकालना संभव हो जाता है।

इसके बाद, प्रत्येक उप-नमूना परत के आउटपुट पर गणना की जाने वाली सुविधा मानचित्रों को एक सामान्य सुविधा वेक्टर में संयोजित किया जाता है। यह एक छिपे हुए, पूरी तरह से जुड़े परत के इनपुट को खिलाया जाता है, और फिर तंत्रिका नेटवर्क के आउटपुट परत को खिलाया जाता है, जहां अंतिम श्रेणी के लेबल की गणना की जाती है।

प्रशिक्षण डेटा

प्रशिक्षण के लिए, मैंने यूलिया रूबतसोवा द्वारा लघु ग्रंथों के कोष का चयन किया, जो कि ट्विटर [4] से रूसी-भाषा के संदेशों के आधार पर बना था। इसमें 114 991 सकारात्मक, 111 923 नकारात्मक ट्वीट, साथ ही 17 639 674 संदेशों की मात्रा के साथ असंबद्ध ट्वीट्स का एक आधार है।

import pandas as pd import numpy as np #   n = ['id', 'date', 'name', 'text', 'typr', 'rep', 'rtw', 'faw', 'stcount', 'foll', 'frien', 'listcount'] data_positive = pd.read_csv('data/positive.csv', sep=';', error_bad_lines=False, names=n, usecols=['text']) data_negative = pd.read_csv('data/negative.csv', sep=';', error_bad_lines=False, names=n, usecols=['text']) #    sample_size = min(data_positive.shape[0], data_negative.shape[0]) raw_data = np.concatenate((data_positive['text'].values[:sample_size], data_negative['text'].values[:sample_size]), axis=0) labels = [1] * sample_size + [0] * sample_size

प्रशिक्षण से पहले, ग्रंथों ने प्रारंभिक प्रसंस्करण पारित किया:

निचले मामले के लिए डाली;
"ई" का "ई" से प्रतिस्थापन;
"URL" टोकन के लिंक को बदलना;
USER टोकन के साथ उपयोगकर्ता के उल्लेख का प्रतिस्थापन;
विराम चिह्न हटाने।

 import re def preprocess_text(text): text = text.lower().replace("", "") text = re.sub('((www\.[^\s]+)|(https?://[^\s]+))', 'URL', text) text = re.sub('@[^\s]+', 'USER', text) text = re.sub('[^a-zA-Z--1-9]+', ' ', text) text = re.sub(' +', ' ', text) return text.strip() data = [preprocess_text(t) for t in raw_data]

अगला, मैंने 4: 1 के अनुपात में प्रशिक्षण और परीक्षण नमूने में सेट डेटा को विभाजित किया।

 from sklearn.model_selection import train_test_split x_train, x_test, y_train, y_test = train_test_split(data, labels, test_size=0.2, random_state=1)

शब्दों का सदिश प्रदर्शन

कन्वेन्शियल न्यूरल नेटवर्क का इनपुट डेटा एक निश्चित ऊँचाई n वाला एक मैट्रिक्स होता है, जहाँ प्रत्येक पंक्ति किसी शब्द का वेक्टर मैपिंग होता है जो आयाम k के फीचर स्पेस में होता है । एक तंत्रिका नेटवर्क की एम्बेडिंग परत बनाने के लिए, मैंने वर्ड 2 वीईसी [5] का उपयोग किया, जो शब्दार्थ उपयोगिता को वेक्टर स्पेस में शब्दों के अर्थ को मैप करने के लिए डिज़ाइन किया गया है। Word2Vec शब्दों के बीच संबंधों को यह मानकर चलता है कि शब्द संबंधी शब्द समान संदर्भों में पाए जाते हैं। आप मूल लेख में Word2Vec के बारे में अधिक पढ़ सकते हैं, साथ ही यहां और यहां भी । चूंकि ट्वीट्स में लेखक विराम चिह्न और इमोटिकॉन्स की विशेषता होती है, इसलिए वाक्यों की सीमाओं को परिभाषित करना एक समय लेने वाला कार्य हो जाता है। इस काम में, मैंने मान लिया कि प्रत्येक ट्वीट में केवल एक वाक्य है।

असंबद्ध ट्वीट्स का आधार एसक्यूएल प्रारूप में संग्रहीत है और इसमें 17.5 मिलियन से अधिक रिकॉर्ड हैं। सुविधा के लिए, मैंने इसे इस स्क्रिप्ट का उपयोग करके SQLite में बदल दिया।

 import sqlite3 #  SQLite   conn = sqlite3.connect('mysqlite3.db') c = conn.cursor() with open('data/tweets.txt', 'w', encoding='utf-8') as f: #    for row in c.execute('SELECT ttext FROM sentiment'): if row[0]: tweet = preprocess(row[0]) #      print(tweet, file=f)

फिर, Gensim लाइब्रेरी का उपयोग करते हुए, मैंने Word2Vec मॉडल को निम्न मापदंडों के साथ प्रशिक्षित किया:

आकार = 200 - विशेषता स्थान का आयाम;
window = 5 - एल्गोरिथ्म का विश्लेषण करने वाले संदर्भ से शब्दों की संख्या;
min_count = 3 - शब्द कम से कम तीन बार होना चाहिए ताकि मॉडल इसे ध्यान में रखे ।

 import logging import multiprocessing import gensim from gensim.models import Word2Vec logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO) #      data = gensim.models.word2vec.LineSentence('data/tweets.txt') #   model = Word2Vec(data, size=200, window=5, min_count=3, workers=multiprocessing.cpu_count()) model.save("models/w2v/model.w2v")

चित्रा 2. टी-एसएनई का उपयोग करते हुए समान शब्दों के समूहों का दृश्य।

अंजीर में Word2Vec के संचालन की अधिक विस्तृत समझ के लिए। चित्र 2 में प्रशिक्षित मॉडल से समान शब्दों के कई समूहों के दृश्य को दिखाया गया है, जो टी-एसएनई विज़ुअलाइज़ेशन एल्गोरिथ्म का उपयोग करके दो-आयामी स्थान में मैप किया गया है ।

ग्रंथों का सदिश प्रदर्शन

अंजीर 3. ग्रंथों की लंबाई का वितरण।

अगले चरण में, प्रत्येक पाठ को टोकन पहचानकर्ताओं की एक सरणी में मैप किया गया था। मैंने पाठ सदिश s = 26 के आयाम को चुना, क्योंकि इस मूल्य पर गठित निकाय में सभी ग्रंथों के 99.71% कवर किए गए हैं (चित्र 3)। यदि विश्लेषण के दौरान ट्वीट में शब्दों की संख्या मैट्रिक्स की ऊंचाई से अधिक हो गई, तो शेष शब्दों को छोड़ दिया गया और वर्गीकरण में ध्यान नहीं दिया गया। प्रस्ताव मैट्रिक्स का अंतिम आयाम s × d = 26 × 200 था ।

 from keras.preprocessing.text import Tokenizer from keras.preprocessing.sequence import pad_sequences #   (    ) SENTENCE_LENGTH = 26 #   NUM = 100000 def get_sequences(tokenizer, x): sequences = tokenizer.texts_to_sequences(x) return pad_sequences(sequences, maxlen=SENTENCE_LENGTH) # C    tokenizer = Tokenizer(num_words=NUM) tokenizer.fit_on_texts(x_train) #        x_train_seq = get_sequences(tokenizer, x_train) x_test_seq = get_sequences(tokenizer, x_test)

संवादी तंत्रिका नेटवर्क

एक तंत्रिका नेटवर्क का निर्माण करने के लिए, मैंने केरस लाइब्रेरी का उपयोग किया, जो कि टेन्सरफ्लो, सीएनटीके और थीनो के लिए एक उच्च-स्तरीय ऐड-ऑन के रूप में कार्य करता है। केरस के पास उत्कृष्ट दस्तावेज हैं, साथ ही एक ब्लॉग भी है जो कई मशीन सीखने के कार्यों को शामिल करता है, जैसे कि एम्बेडिंग परत को आरम्भ करना । हमारे मामले में, Word2Vec सीखने द्वारा प्राप्त वजन द्वारा एम्बेडिंग परत की शुरुआत की गई थी। एम्बेडिंग परत में परिवर्तन को कम करने के लिए, मैंने इसे प्रशिक्षण के पहले चरण में फ्रीज किया।

 from keras.layers import Input from keras.layers.embeddings import Embedding tweet_input = Input(shape=(SENTENCE_LENGTH,), dtype='int32') tweet_encoder = Embedding(NUM, DIM, input_length=SENTENCE_LENGTH, weights=[embedding_matrix], trainable=False)(tweet_input)

विकसित वास्तुकला में, हाइट्स एच = (2, 3, 4, 5) के साथ फिल्टर का उपयोग किया गया था, जो क्रमशः बीग्राम, ट्रिग्राम, 4-ग्राम और 5-ग्राम के समानांतर प्रसंस्करण के लिए डिज़ाइन किए गए हैं। प्रत्येक फिल्टर ऊंचाई के लिए प्रत्येक तंत्रिका नेटवर्क में 10 प्रेरक परतें जोड़ा गया, सक्रियण समारोह ReLU है। इष्टतम ऊंचाई और फिल्टर की संख्या को खोजने के लिए सिफारिशें [2] में मिल सकती हैं।

कनवल्शन लेयर द्वारा प्रोसेसिंग करने के बाद, विशेषता मैप्स को सबसैंपलिंग लेयर्स को खिलाया गया, जहां 1-अधिकतम-पूलिंग ऑपरेशन उन पर लागू किया गया, जिससे टेक्स्ट से सबसे महत्वपूर्ण एन-ग्राम निकाला गया। अगले चरण में, वे एक सामान्य विशेषता वेक्टर (संयोजन परत) में विलीन हो गए, जिसे 30 न्यूरॉन्स के साथ एक छिपी हुई पूरी तरह से जुड़ी परत में खिलाया गया था। अंतिम चरण में, अंतिम सुविधा का नक्शा तंत्रिका नेटवर्क के आउटपुट परत को एक सिग्मोइडल सक्रियण फ़ंक्शन के साथ खिलाया गया था।

चूंकि तंत्रिका नेटवर्क रिट्रेनिंग के लिए प्रवृत्त होते हैं, एंबेडिंग लेयर के बाद और पूरी तरह से कनेक्टेड लेयर से पहले, मैंने वर्टेक्स इजेक्शन p = 0.2 की संभावना के साथ एक ड्रॉपआउट नियमितीकरण जोड़ा।

 from keras import optimizers from keras.layers import Dense, concatenate, Activation, Dropout from keras.models import Model from keras.layers.convolutional import Conv1D from keras.layers.pooling import GlobalMaxPooling1D branches = [] #  dropout- x = Dropout(0.2)(tweet_encoder) for size, filters_count in [(2, 10), (3, 10), (4, 10), (5, 10)]: for i in range(filters_count): #    branch = Conv1D(filters=1, kernel_size=size, padding='valid', activation='relu')(x) #    branch = GlobalMaxPooling1D()(branch) branches.append(branch) #    x = concatenate(branches, axis=1) #  dropout- x = Dropout(0.2)(x) x = Dense(30, activation='relu')(x) x = Dense(1)(x) output = Activation('sigmoid')(x) model = Model(inputs=[tweet_input], outputs=[output])

मैंने एडम ऑप्टिमाइज़ेशन फ़ंक्शन (एडेप्टिव मोमेंट एस्टिमेशन) और बाइनरी क्रॉस-एंट्रोपी के साथ अंतिम मॉडल को त्रुटियों के एक फ़ंक्शन के रूप में कॉन्फ़िगर किया। क्लासिफायर की गुणवत्ता का मूल्यांकन मैक्रो-एवरेज सटीकता, पूर्णता और एफ-उपायों के संदर्भ में किया गया था।

 model.compile(loss='binary_crossentropy', optimizer='adam', metrics=[precision, recall, f1]) model.summary()

प्रशिक्षण के पहले चरण में, एम्बेडिंग परत जमी हुई थी, अन्य सभी परतों को 10 युगों के लिए प्रशिक्षित किया गया था:

प्रशिक्षण के लिए उपयोग किए जाने वाले उदाहरणों के समूह का आकार 32 है।
सत्यापन के नमूने का आकार: 25%।

 from keras.callbacks import ModelCheckpoint checkpoint = ModelCheckpoint("models/cnn/cnn-frozen-embeddings-{epoch:02d}-{val_f1:.2f}.hdf5", monitor='val_f1', save_best_only=True, mode='max', period=1) history = model.fit(x_train_seq, y_train, batch_size=32, epochs=10, validation_split=0.25, callbacks = [checkpoint])

लॉग

Train on 134307 samples, validate on 44769 samples
Epoch 1/10
134307/134307 [==============================] - 221s 2ms/step - loss: 0.5703 - precision: 0.7006 - recall: 0.6854 - f1: 0.6839 - val_loss: 0.5014 - val_precision: 0.7538 - val_recall: 0.7493 - val_f1: 0.7452
Epoch 2/10
134307/134307 [==============================] - 218s 2ms/step - loss: 0.5157 - precision: 0.7422 - recall: 0.7258 - f1: 0.7263 - val_loss: 0.4911 - val_precision: 0.7413 - val_recall: 0.7924 - val_f1: 0.7602
Epoch 3/10
134307/134307 [==============================] - 213s 2ms/step - loss: 0.5023 - precision: 0.7502 - recall: 0.7337 - f1: 0.7346 - val_loss: 0.4825 - val_precision: 0.7750 - val_recall: 0.7411 - val_f1: 0.7512
Epoch 4/10
134307/134307 [==============================] - 215s 2ms/step - loss: 0.4956 - precision: 0.7545 - recall: 0.7412 - f1: 0.7407 - val_loss: 0.4747 - val_precision: 0.7696 - val_recall: 0.7590 - val_f1: 0.7584
Epoch 5/10
134307/134307 [==============================] - 229s 2ms/step - loss: 0.4891 - precision: 0.7587 - recall: 0.7492 - f1: 0.7473 - val_loss: 0.4781 - val_precision: 0.8014 - val_recall: 0.7004 - val_f1: 0.7409
Epoch 6/10
134307/134307 [==============================] - 217s 2ms/step - loss: 0.4830 - precision: 0.7620 - recall: 0.7566 - f1: 0.7525 - val_loss: 0.4749 - val_precision: 0.7877 - val_recall: 0.7411 - val_f1: 0.7576
Epoch 7/10
134307/134307 [==============================] - 219s 2ms/step - loss: 0.4802 - precision: 0.7632 - recall: 0.7568 - f1: 0.7532 - val_loss: 0.4730 - val_precision: 0.7969 - val_recall: 0.7241 - val_f1: 0.7522
Epoch 8/10
134307/134307 [==============================] - 215s 2ms/step - loss: 0.4769 - precision: 0.7644 - recall: 0.7605 - f1: 0.7558 - val_loss: 0.4680 - val_precision: 0.7829 - val_recall: 0.7542 - val_f1: 0.7619
Epoch 9/10
134307/134307 [==============================] - 227s 2ms/step - loss: 0.4741 - precision: 0.7657 - recall: 0.7663 - f1: 0.7598 - val_loss: 0.4672 - val_precision: 0.7695 - val_recall: 0.7784 - val_f1: 0.7682
Epoch 10/10
134307/134307 [==============================] - 221s 2ms/step - loss: 0.4727 - precision: 0.7670 - recall: 0.7647 - f1: 0.7590 - val_loss: 0.4673 - val_precision: 0.7833 - val_recall: 0.7561 - val_f1: 0.7636

फिर उन्होंने सत्यापन डेटा सेट पर उच्चतम एफ-उपायों के साथ मॉडल का चयन किया, अर्थात्। शिक्षा के आठवें युग में प्राप्त मॉडल (एफ ₁ = 0.7791)। मॉडल ने एम्बेडिंग परत को पिघलाया, जिसके बाद उसने पांच और प्रशिक्षण युग शुरू किए।

 from keras import optimizers #    model.load_weights('models/cnn/cnn-frozen-embeddings-09-0.77.hdf5') #  embedding     model.layers[1].trainable = True #  learning rate adam = optimizers.Adam(lr=0.0001) model.compile(loss='binary_crossentropy', optimizer=adam, metrics=[precision, recall, f1]) model.summary() checkpoint = ModelCheckpoint("models/cnn/cnn-trainable-{epoch:02d}-{val_f1:.2f}.hdf5", monitor='val_f1', save_best_only=True, mode='max', period=1) history_trainable = model.fit(x_train_seq, y_train, batch_size=32, epochs=5, validation_split=0.25, callbacks = [checkpoint])

लॉग

Train on 134307 samples, validate on 44769 samples
Epoch 1/5
134307/134307 [==============================] - 2042s 15ms/step - loss: 0.4495 - precision: 0.7806 - recall: 0.7797 - f1: 0.7743 - val_loss: 0.4560 - val_precision: 0.7858 - val_recall: 0.7671 - val_f1: 0.7705
Epoch 2/5
134307/134307 [==============================] - 2253s 17ms/step - loss: 0.4432 - precision: 0.7857 - recall: 0.7842 - f1: 0.7794 - val_loss: 0.4543 - val_precision: 0.7923 - val_recall: 0.7572 - val_f1: 0.7683
Epoch 3/5
134307/134307 [==============================] - 2018s 15ms/step - loss: 0.4372 - precision: 0.7899 - recall: 0.7879 - f1: 0.7832 - val_loss: 0.4519 - val_precision: 0.7805 - val_recall: 0.7838 - val_f1: 0.7767
Epoch 4/5
134307/134307 [==============================] - 1901s 14ms/step - loss: 0.4324 - precision: 0.7943 - recall: 0.7904 - f1: 0.7869 - val_loss: 0.4504 - val_precision: 0.7825 - val_recall: 0.7808 - val_f1: 0.7762
Epoch 5/5
134307/134307 [==============================] - 1924s 14ms/step - loss: 0.4256 - precision: 0.7986 - recall: 0.7947 - f1: 0.7913 - val_loss: 0.4497 - val_precision: 0.7989 - val_recall: 0.7549 - val_f1: 0.7703

सत्यापन के नमूने में उच्चतम संकेतक एफ ₁ = 76.80% प्रशिक्षण के तीसरे युग में हासिल किया गया था। परीक्षण डेटा पर प्रशिक्षित मॉडल की गुणवत्ता एफ ₁ = 78.1% थी ।

तालिका 1. परीक्षण डेटा पर भावना विश्लेषण की गुणवत्ता।

कक्षा लेबल	शुद्धता	परिपूर्णता	एफ ₁	वस्तुओं की संख्या
नकारात्मक	.७८,१९४	.७८,२४३	.७८,२१८	22457
सकारात्मक	.७८,०८९	.७८,०४०	.७८,०६४	22313
औसत / कुल	.७८,१४२	.७८,१४२	.७८,१४२	44,770

परिणाम

बेसलाइन समाधान के रूप में, मैंने एक बहु-स्तरीय वितरण मॉडल के साथ एक भोले बेयस क्लासिफायर को प्रशिक्षित किया , तुलनात्मक परिणाम तालिका में प्रस्तुत किए गए हैं। 2।

तालिका 2. टॉन्सिलिटी के विश्लेषण की गुणवत्ता की तुलना।

वर्गीकारक	शुद्धता	याद	एफ ₁
MNB	0.7577	0.7564	0.7560
सीएनएन	.७८,१४२	.७८,१४२	.७८,१४२

जैसा कि आप देख सकते हैं, सीएनएन वर्गीकरण की गुणवत्ता एमएनबी से कई प्रतिशत अधिक है। यदि आप हाइपरपरमेटर्स और नेटवर्क आर्किटेक्चर के अनुकूलन पर काम करते हैं, तो मीट्रिक मान और भी अधिक बढ़ाया जा सकता है। उदाहरण के लिए, आप प्रशिक्षण युगों की संख्या को बदल सकते हैं, शब्दों और उनके संयोजनों के विभिन्न सदिश निरूपणों का उपयोग करने की प्रभावशीलता की जांच कर सकते हैं, फिल्टर और उनकी ऊंचाई का चयन कर सकते हैं, अधिक प्रभावी पाठ प्रीप्रोसेसिंग (टाइपो सुधार, सामान्यीकरण, मुद्रांकन) को लागू कर सकते हैं, उनमें छिपे हुए पूरी तरह से जुड़े परतों और न्यूरॉन्स की संख्या को समायोजित कर सकते हैं। ।

सोर्स कोड जीथब पर उपलब्ध है , प्रशिक्षित सीएनएन और वर्ड 2 वीईके मॉडल यहां डाउनलोड किए जा सकते हैं ।

सूत्रों का कहना है

सेमीलेव -2017 टास्क 4 में Cliche M. BB_twtr: CNNs और LSTMs के साथ ट्विटर सेंटीमेंट विश्लेषण // सेमेटिक इवैल्यूएशन (SemEval-2017) पर 11 वीं अंतर्राष्ट्रीय कार्यशाला की कार्यवाही। - 2017 ।-- एस 573-580।
झांग वाई।, वालेस बी। एक संवेदनशीलता विश्लेषण (और प्रैक्टिशनर्स गाइड) के लिए संवेदी वर्गीकरण के लिए संवादात्मक तंत्रिका नेटवर्क // arXiv प्रिप्रिंट arXiv: 1510.03820। - 2015।
रोसेन्थल एस।, फ़रा एन।, नकोव पी। सेमवेल -2017 कार्य ४: ट्विटर में सेंटीमेंट एनालिसिस // ११ वीं अंतर्राष्ट्रीय कार्यशाला की कार्यवाही का अर्थ मूल्यांकन (सेमेवल -२०१ Far)। - 2017 ।-- एस 502-518।
यू। वी। रुबतसोवा टोन क्लासिफायर // सॉफ़्टवेयर उत्पाद और सिस्टम, 2015, नंबर 1 (109), —C.72-78 की स्थापना के लिए ग्रंथों का एक निकाय बनाना।
मिकोलोव टी। एट अल। वितरित शब्द और वाक्यांश और उनकी संरचना का प्रतिनिधित्व // तंत्रिका सूचना प्रसंस्करण प्रणालियों में अग्रिम। - 2013 ।-- एस। 3111-3119।

टेक्स्ट सेंटीमेंट एनालिसिस कॉन्फिडेंशियल न्यूरल नेटवर्क का उपयोग करते हुए