गर्मी खत्म हो रही थी, अगस्त विशेष रूप से ठंडा था। मेरी 11 वीं कक्षा शुरू हुई और मैंने महसूस किया कि अब अंतिम मौका है (बिगाड़ने वाला: नहीं) किसी तरह मेरी पेशेवर क्षमता में सुधार करने के लिए। कई वर्षों से मैं परिश्रम से विभिन्न आईटी प्रोजेक्ट कर रहा हूं, कुछ अकेले, कुछ टीम में। लेकिन अब ~~मेरी माँ की प्रेमिका के~~ सभी ~~बेटे~~ पहले से ही कुछ खूबसूरत कर ~~रहे हैं~~ । शायद बेकार, लेकिन दिखने में सुंदर। कोई व्यक्ति जीआईएफ के रूप में कणों का एक चिपचिपा अनुकरण करता है, कोई मशीन सीखने में डूब जाता है और सभी प्रकार के स्टाइल ट्रांसफर करता है। और मैं क्या बुरा हूँ? मैं भी चाहता हूँ!

अनुकरण का एक उदाहरण बिल्ली के नीचे भी है।

मेरे एक दोस्त से कण अनुकरण उदाहरण

यह इस विचार के साथ था कि मशीन सीखने के विषय का मेरा अध्ययन शुरू हुआ। और मेरे लिए प्रशिक्षण के संदर्भ में कोई नई बात नहीं थी, क्योंकि आईटी के किसी भी अन्य क्षेत्र में, यहां अभ्यास की आवश्यकता है। लेकिन क्या होगा अगर मैं किसी भी टॉनिक विश्लेषण में दिलचस्पी नहीं रखता? हमें अपना खुद का कुछ आविष्कार करना चाहिए।

एक बार फिर VKontakte समाचार फ़ीड के माध्यम से फ़्लिप करते हुए, मुझे एहसास हुआ कि इस सामाजिक नेटवर्क के समुदाय डेटा विज्ञान के लिए एक वास्तविक खजाना हैं। यदि आप पाठ को संसाधित करते हैं, तो संग्रह से चित्रों या संगीत के रूप में याद करते हैं, तो आप आधुनिक लोगों के बारे में प्रासंगिक जानकारी का एक बड़ा टुकड़ा प्राप्त कर सकते हैं: लोकप्रिय संगीत शैलियों, शब्दावली, या लोगों की सबसे अधिक गतिविधि के दिन का समय। यह कई खोजों के लिए एक क्षेत्र है।

लेकिन आम लोगों के लिए ऐसे आंकड़ों की कितनी जरूरत होगी? जैसे कि मुझे अपना संगीत याद आ रहा है, या मैं "लोकप्रिय" खंड का उपयोग नहीं कर सकता हूँ? तो, आपको कुछ व्यावहारिक सोचने की ज़रूरत है, कुछ ऐसा जो कम से कम कुछ महत्वपूर्ण उपयोगकर्ताओं के लिए अपील कर सकता है।

यह ध्यान देने योग्य है कि कुछ महीने पहले मैंने अपने घर के खोज इंजन को बनाने के बारे में एक अच्छा लेख पढ़ा, जिसने मुझे बहुत प्रभावित किया। लेखक की तरह, मुझे बड़ी परियोजनाओं के लिए एक बड़ी लालसा महसूस हुई जो दिन-रात हजारों गीगाबाइट की बड़ी संख्या में प्रक्रिया करती है।

और अब, हम अगस्त में लौटते हैं, जो कि लेख की शुरुआत में थोड़ा गर्म हो गया था। जब मुझे एहसास हुआ कि मेरे पास अब जानकारी का एक बड़ा स्रोत है, तो मुझे एहसास हुआ कि यह समय था। हमारी अपनी राक्षसी व्यवस्था का समय आ गया है। लेकिन मुख्य सवाल कुछ दिनों बाद बना रहा - मुझे यह सब क्या करना चाहिए? उपयोगकर्ता को क्या प्रदान करना है? मैं पाठक को पीड़ा नहीं दूंगा, मैं केवल आपको बताऊंगा कि यह, मेरे कुछ दोस्तों की तरह, मेरे लिए नए VKontakte समूहों की तलाश करना बहुत मुश्किल है जो मुझे पसंद हो सकते हैं। अब हर पहली जनता के पास एक नाम है - शब्दों का एक यादृच्छिक सेट। Admins इसे सबसे बेतुका बनाने की कोशिश करते हैं, शायद यह किसी प्रकार की दौड़ है, केवल उनके लिए समझ में आता है।

और फिर मैंने एक सेवा लिखने का फैसला किया, जो उपयोगकर्ताओं को समुदायों की पसंद के साथ मदद करेगा, यह सुझाएगा कि आप क्या सदस्यता ले सकते हैं। तो मेरा विचार आया।

परिचय लंबे समय तक नहीं था, यह मेरी भावनाओं को व्यक्त करना था और यह दिखाना था कि विचार नीले रंग से बाहर नहीं आया था। वास्तव में, Habré पर किसी भी अन्य विचारों की तरह।

मेरी सेवा अभी भी चालू है, यह चार महीने से अधिक समय से चल रहा है (यदि आप पहले सफल प्रयोग के क्षण से गिनती करते हैं)। लेकिन मेरे पास पहले से ही अनुभव है कि मैं आपके साथ साझा करना चाहता हूं। अब परियोजना का संक्षिप्त, सबसे संक्षिप्त विवरण होगा। आगे, मैं कुछ प्रमुख बिंदुओं को रेखांकित करूंगा। और अगर लेख विशेष रूप से हाबयुज़र्स के लिए अपील करेगा, तो इसकी निरंतरता सामने आएगी, जिसमें अधिक विशुद्ध रूप से तकनीकी जानकारी और कोड होगा।

हर चीज में तीन भाग होते हैं:

खोज बॉट (यदि आप इसे कॉल कर सकते हैं)
डाटा प्रोसेसिंग इंजन
उपयोगकर्ताओं के लिए साइट (व्यवस्थापक के लिए नियंत्रण और निगरानी पैनल के साथ)

बॉट की कार्यक्षमता में नए समूह और "अलग करना" पाठ और डेटाबेस में अन्य जानकारी शामिल है। इंजन इस डेटा की आगे की प्रक्रिया में लगा हुआ है, जिसके बारे में मैं नीचे लिखूंगा। और साइट केवल उपयोगकर्ताओं को यह सब उपयोग करने की अनुमति देती है।

बॉट खोजें

यहां कुछ भी नया नहीं है। मैं सिर्फ वीके पर एक व्यक्ति की प्रोफ़ाइल लेता हूं और उससे समूहों और उसके दोस्तों की सूची प्राप्त करता हूं। यह सब VK API के साथ होता है। और अगर यह IPA उपयोगकर्ता और उसके दोस्तों के समूहों की एक सूची प्राप्त करने का प्रबंधन करता है, तो वह समूहों की सामग्री प्राप्त करने का प्रबंधन नहीं करता है ... मैं सिर्फ एक प्रतिबंध और इसे चला रहा हूं। तब मुझे याद आया कि कुछ समय पहले, VKontakte ऐसी चीजों के लिए अपने शांत सिस्टम को बढ़ावा दे रहा था। और इस सिस्टम का नाम स्ट्रीमिंग एपीआई है।

स्ट्रीमिंग एपीआई - वीके से रिकॉर्ड का एक यादृच्छिक चयन प्राप्त करने के लिए एक उपकरण। विवरण पृष्ठ पर यह लिखा है कि आप सभी जानकारी का केवल 1% तक प्राप्त कर सकते हैं, एक सौ तक प्राप्त करने के लिए आपको समर्थन लिखने और उन्हें अपने इरादे समझाने की आवश्यकता है।

ऐसा लगेगा कि सब कुछ अद्भुत है। लेकिन नहीं। मैं, शायद बहुतों की तरह, उपरोक्त विवरण में सबसे महत्वपूर्ण शब्द छूट गया है। और यह "पहले" प्रस्ताव है। कोई भी आपको 100% डेटा नहीं देने वाला है। यह सिर्फ एक सुंदर ऊपरी पट्टी है और यह है। वास्तव में, हम इस तरह से मिलता है:

आशा है कि एजेंट # 365 मुझे इस स्क्रीनशॉट के लिए वर्ष में सभी 365 दिनों से नफरत नहीं करेंगे

यही है, मैं प्रति दिन केवल 30K इवेंट प्राप्त कर सकता हूं। और इस संख्या में टिप्पणियां और सिर्फ रिपॉजिट शामिल हैं। कुछ टैग शब्दों को इंगित करना भी आवश्यक है, केवल उनके साथ संदेश आएंगे। शेष पोस्टों में से कुछ में मुझे दिलचस्पी नहीं है, क्योंकि यह उपयोगकर्ताओं की दीवार पर है। काफी बचता है। संदर्भ के लिए, मेरे वर्तमान कार्यान्वयन में मैं अपूर्ण अपटाइम (कुल मिलाकर - लगभग 10 घंटे) के कुछ दिनों में 8.5M रिकॉर्ड तक प्राप्त कर सकता हूं, लेकिन कोई सटीक माप नहीं थे)।

यहाँ मुझे एक नियम के बारे में कहना है जो मैंने इस पूरे प्रयोग से पहचाना है। एक समूह को कभी एक पद से मत आंकिए। खासकर यदि आप इस तरह के शोर के लिए अतिसंवेदनशील एक कृत्रिम बुद्धि हैं। इसलिए, आपको जनता का वस्तुनिष्ठ विवरण बनाने के लिए कम से कम कुछ पदों की आवश्यकता है। अब चलो अनुमान लगाते हैं कि वास्तव में उच्च गुणवत्ता वाली सामग्री वाले कुछ समूह हर कुछ हफ्तों में एक बार इसे जारी करते हैं। और तब भी मैं अपूर्ण स्ट्रीमिंग एपीआई के कारण इसे छोड़ सकता हूं। और अगर मुझे यह मिलता है, तो मुझे कितनी देर तक सामग्री को थोड़ा-थोड़ा करके इकट्ठा करना चाहिए?

मैंने तय किया कि बहुत लंबा और दूसरे रास्ते से गया। चूँकि मुझे JSON प्रारूप में VKontakte से एक साफ जवाब नहीं मिल सकता है, मैं समुदायों की दीवारों को पार्स करूँगा। हां, कार्य थोड़ा जटिल है, और इसका समाधान धीमा हो जाता है, लेकिन मेरे पास कोई विकल्प नहीं है। इस तरह मैंने अपने सिस्टम का पहला ब्लॉक लिखना शुरू किया। मैंने इसे लिखा, वैसे, जावा में, Jsoup का उपयोग करके, एक पुस्तकालय जो HTML पाठ से सामग्री निकालने के लिए बहुत सुविधाजनक बनाता है। मैं अंतिम पोस्ट की प्रकाशन तिथि को संसाधित करने के बारे में नहीं भूलता, मुझे मृत समुदायों की आवश्यकता नहीं है, मैं बस उन्हें अनुक्रमित नहीं करता हूं। विज्ञापनों के साथ टैग किए गए पोस्ट भी छोड़ दिए जाते हैं। सभी व्यवस्थापक इस तरह के नोट नहीं बनाते हैं, लेकिन यह समस्या हल करने के लिए इतनी सरल नहीं है, मैं विज्ञापन के लिए पर्याप्त फिल्टर नहीं बना सका और इस वजह से, अब मैं इस फ़िल्टरिंग से इनकार करता हूं।

स्लाइडर

यह शायद परियोजना का सबसे दिलचस्प हिस्सा है, लेकिन मैं इस प्रकाशन में विस्तार से सब कुछ नहीं बताऊंगा। यदि किसी को विवरणों में रुचि होगी, तो मुझसे हर संभव तरीके से पूछें।

एक तंत्रिका नेटवर्क के लिए समझने योग्य प्रारूप में पाठ प्रस्तुत करने के सभी तरीकों में से सबसे सरल है बैग-ऑफ-शब्द।

वेक्टराइजेशन प्रक्रिया और BOW के बारे में और जानकारी

मैं पहले से ही सभी सामान्य शब्दों का एक शब्दकोश तैयार करता हूं (बिना सीधे शब्दों में जाने के लिए, जैसे कि "एक", "क्या", "कौन सा" और अन्य को भूल जाते हैं? वे अपने पाठ को दूसरों की पृष्ठभूमि से अलग नहीं करते हैं), प्रत्येक शब्द इसमें अपना स्वयं का नंबर है। फिर, जब मुझे एक तंत्रिका नेटवर्क के साथ पाठ को संसाधित करने की आवश्यकता होती है, तो मुझे शब्दकोश से प्रत्येक शब्द की संख्या मिलती है (यदि यह वहां है) और एक वेक्टर (प्रोग्रामिंग में उर्फ सरणी) प्राप्त करें। यह संख्याओं का ऐसा क्रमबद्ध समूह है, जिसमें पाठ से प्रत्येक शब्द संख्या के स्थान पर एक इकाई होती है (ऊपर चित्र देखें)। यह एक डेटा प्रकार निकलता है जो नेटवर्क के लिए काफी समझ में आता है। मेरे पास प्रत्येक वेक्टर की लंबाई 30,000 है, विकास के पहले चरणों में मेरे द्वारा एकत्र किए गए इतने सारे पर्याप्त शब्दों के बारे में।

यह भी नहीं भूलना महत्वपूर्ण है कि, उदाहरण के लिए, शब्द "हब्र" और "(ग) हब्र" समझने के लिए लगभग समान हैं। लेकिन ऊपर वर्णित एल्गोरिथ्म के लिए, ये पूरी तरह से अलग शब्द हैं। इसे ठीक करने के लिए, मैं JMorphy2 रूपात्मक विश्लेषक का उपयोग करता हूं । यह जावा के लिए मूल PyMorphy2 का बंदरगाह है। वह कई शांत चीजें कर सकता है, उदाहरण के लिए, शब्द (मामले, लिंग, संख्या, आदि) के रूप को बदल दें। मुझे शब्द के प्रारंभिक रूप को प्राप्त करने की आवश्यकता है। जैसा कि आप जानते हैं, "समान" शब्दों के प्रारंभिक रूप समान हैं। और इससे ऊपर की समस्या हल हो जाती है।

 6929  21903  25126  11441  7374  1925  1626  23128  6241  25584

एक शब्दकोश में शब्दों की सूची और उनकी संख्या का उदाहरण (एक स्थान से अलग)

ऊपर दी गई सूची से पता चलता है कि "ड्रैगन" शब्द "ड्रैगन" में नहीं बदल गया। यह थोड़ा गलत है, लेकिन इस तरह के टेक्स्ट प्रीप्रोसेसिंग भी काफी हैं। सामान्य तौर पर, इस लाइब्रेरी में कई त्रुटियां हैं, लेकिन उनमें से अधिकांश सिस्टम के संचालन को प्रभावित नहीं करती हैं।

सेवा का उद्देश्य रूसी भाषी दर्शकों के लिए है। और सादगी के लिए, वर्तमान में केवल रूसी को संसाधित किया जा रहा है। अन्य वर्णमाला के सभी वर्ण (उनके बीच के अक्षर) को फेंक दिया जाता है, जैसे विराम चिह्न, संख्या, इमोजीस ... फिर से, सरलीकरण। इसके अलावा, उन भाषाओं के शब्दों को फ़िल्टर करना न भूलें जो आंशिक रूप से रूसी वर्णमाला का उपयोग करते हैं, लेकिन अपने स्वयं के अक्षर (उदाहरण के लिए यूक्रेनी) जोड़ते हैं।

लेकिन मैं इस समय से जारी रखूंगा कि VKontakte का कोई भी पोस्ट पहले से ही वेक्टर में बदल गया है (मैं इसे वेक्टराइजेशन कहता हूं)। यहाँ निम्नलिखित लिंक जुड़ा हुआ है: एक तंत्रिका नेटवर्क। मैंने इसका उपयोग करने का फैसला किया क्योंकि यह मेरे लिए दिलचस्प था और अपने काम के लिए एक उपयुक्त वास्तुकला खोजने में कामयाब रहा। श्रृंखला के पहले लेख "केरस में ऑटो एनकोडर" ने मुझे इसके साथ मदद की। और हां, मैंने सबसे आम ऑटो एनकोडर का उपयोग करने का फैसला किया, क्योंकि यह गति और प्रशिक्षण के मामले में फायदेमंद है। लेकिन चलो क्रम में सब कुछ के बारे में बात करते हैं।

अन्य सभी ऑटोएन्कोडर्स के लिए, आपको दो न्यूरल नेटवर्क (एनकोडर और डिकोडर) बनाने और उन्हें एक में संयोजित करने की आवश्यकता है। मैंने इसे इस प्रकार किया:

 from keras.layers import Input, Dense, Flatten, Reshape from keras.models import Model #    encoding_dim = 64 #  inp = Input(shape=(30000, )) # 30000 -  #     encoded = Dense(encoding_dim, activation='linear')(inp) #  #     input_encoded = Input(shape=(encoding_dim,)) decoded = Dense(30000, activation='sigmoid')(input_encoded) #          encoder = Model(inp, encoded, name="encoder") decoder = Model(input_encoded, decoded, name="decoder") autoencoder = Model(inp, decoder(encoder(inp)), name="autoencoder")

लेकिन हमें दो नेटवर्क की आवश्यकता क्यों है? वैसे भी, लेखक, आपने यह नहीं बताया कि यह सब क्यों है!

शांत, अब सब कुछ होगा। उदाहरण के लिए, प्रशिक्षित करने के लिए, केवल एक एनकोडर असंभव है - यह स्पष्ट रूप से स्पष्ट नहीं होगा कि उसने जो भविष्यवाणी की है वह कितनी सही है। और इसके लिए, हम दूसरे नेटवर्क को प्रशिक्षित करते हैं, जो तुरंत पहले (डिकोडर) के आउटपुट को डिकोड करेगा। उसी इनपुट और आउटपुट डेटा का भी उपयोग किया जाता है। दो नेटवर्क का एक गुच्छा (इसे ऑटोकेनोडर कहा जाता है) इनपुट डेटा से एक ही चीज़ प्राप्त करना सीखता है। लेकिन सभी डेटा 64 न्यूरॉन्स के रूप में एक संकीर्ण "अड़चन" से गुजरता है। यह सबसे अनावश्यक जानकारी को त्यागता है। इस प्रकार, तंत्रिका नेटवर्क अधिकतम गुणवत्ता के साथ पाठ के बारे में महत्वपूर्ण जानकारी संचारित करना और सभी शोर को बाहर निकालना सीखते हैं। तब मैं सिर्फ डिकोडर को हटा देता हूं और बस। आप एक बेहतर परिणाम प्राप्त कर सकते हैं, लेकिन फिर आपको एन्कोडर / इनपुट डिकोडर के आउटपुट लेयर के आयाम को बढ़ाने की आवश्यकता है। फिर डेटाबेस में अधिक मूल्यों को संग्रहीत करने के लिए आवश्यक होगा, यह अधिक वजन होगा + लंबे वैक्टर पर सभी ऑपरेशन लंबे समय तक (बाद में अधिक) होंगे। या आप परतें / न्यूरॉन्स जोड़ सकते हैं, लेकिन फिर प्रशिक्षण और वैश्वीकरण अधिक लंबा होगा।

एनकोडर ही आपको "वेक्टर के आयाम को संपीड़ित करने" की अनुमति देता है। शून्य और लोगों के उस वेक्टर को याद रखें? तो, एनकोडर आपको महत्वपूर्ण जानकारी के बहुत नुकसान के बिना 30K से 64 तक इसका आकार बदलने की अनुमति देता है। इस कदम के बाद, आप आमतौर पर दो वैक्टर की तुलना उनकी समानता निर्धारित करने के लिए कर सकते हैं ...

लेकिन हम सेवा के काम को वीके समुदायों की सिफारिश पर देखते हैं, न कि व्यक्तिगत रिकॉर्ड पर। इसका मतलब यह है कि हमें किसी तरह पूरे जनता का वेक्टर प्राप्त करने की आवश्यकता है। यह बहुत आसानी से किया जाता है, पाँचवीं कक्षा के स्तर पर गणित। यह थोड़ा कच्चा तरीका है, लेकिन यह काम करता है। मैं सिर्फ एक समुदाय से सभी रिकॉर्ड वैक्टर लेता हूं और (उदाहरण के लिए, तीन छोटे वैक्टर {1, 2, 3}, {2, 3, 4}, {0, 4, 2}} लेता हूं, हमें वेक्टर {3, 9, 9] प्राप्त होते हैं। })। और मैं इसके प्रत्येक तत्व को वैक्टर की संख्या से विभाजित करता हूं (हम वेक्टर {1, 3, 3}) प्राप्त करते हैं। यह सब है, हमने समूह के सभी रिकॉर्डों को एक में जोड़ दिया। भविष्य में, आपको कुछ और मुश्किलों के साथ आने की जरूरत है, ताकि आप विज्ञापन के साथ पोस्ट के रूप में शोर फेंक सकें, उदाहरण के लिए। लेकिन अब यह काफी है।

हम स्वयं गणितीय भाग की ओर मुड़ते हैं, लेकिन चूँकि हर कोई किसी न किसी कारण से इससे डरता है, मैं इसे अधिक से अधिक हस्ताक्षर करूँगा। चलो गणितीय अर्थों में वैक्टर के साथ शुरू करते हैं। वेक्टर एक निर्देशित खंड है। यह ऐसी चीज है जिसमें शुरुआत के निर्देशांक हैं (यह उन्हें शून्य के साथ लेने के लिए सबसे सुविधाजनक है) और अंत के निर्देशांक। यह बाद का है जो ब्रेसिज़ में दर्ज किया गया है। उदाहरण के लिए, वेक्टर {1, 0, 1} के अंत के निर्देशांक निर्देशांक (1, 0, 1) के साथ एक बिंदु है। लेकिन हम दो दो आयामी वैक्टर पर विचार करेंगे,

v e c a

$\ vec {a}$ {५, २} और

v e c b

$\ vec {b}$ {५, ०}। चलो उन्हें एक समन्वय प्रणाली में बनाते हैं:

वेक्टर करते हैं

v e c a ए क

$\ vec {a} एक$ गुलाबी,

v e c b ए क

$\ vec {b} एक$ - पीला। फिर, नौवीं कक्षा के गणितीय तथ्य से, उनके बीच के कोण का कोसाइन उनके स्केलर उत्पाद के अनुपात के बराबर उनके उत्पाद के उत्पाद के बराबर होता है।

स्केलर उत्पाद <

v e c a

$\ vec {a}$ ।

v e c b

$\ vec {b}$ > संबंधित तत्वों के उत्पादों के योग के बराबर, हमारे पास है

< v e c a, v e c b >= 5 * 5 + 2 * 0 = 25

$<\ vec {a}, \ vec {b}> = 5 * 5 + 2 * 0 = 25$ ।

वेक्टर मॉड्यूल निम्नलिखित सूत्र द्वारा पाया जाता है:

| v e c a | = s q r t a_{x}^{2} + a_{y}^{2}

$| \ vec {a} | = \ sqrt {a ^ 2_x + a ^ 2_y}$

जहाँ

a_{x}

$a_x$ और

a_{y}

$a_y$ यह वेक्टर का पहला और दूसरा मूल्य है, क्रमशः। तो:

| ए | = s q r t 5^{2} + 2^{2} = s q r t 29

$| ए | = \ sqrt {5 ^ 2 + 2 ^ 2} = \ sqrt {29}$

| b | = s q r t 5^{2} + 0^{2} = 5

$| b | = \ sqrt {5 ^ 2 + 0 ^ 2} = 5$

सूत्र के अनुसार सब कुछ मिलाकर, हमें यह मिलता है:

c o s (v e c a, v e c b) = f r a c 25 s q r t 29 * 5 ल ग भ ग 0.93

$cos (\ vec {a}, \ vec {b}) = \ frac {25} {\ sqrt {29} * 5} \ लगभग 0.93$
गठित सही त्रिकोण के त्रिकोणमितीय कार्यों के माध्यम से गणना की शुद्धता की जांच की जा सकती है। परियोजना में, इस तरह के सूत्रों के अनुसार सभी गणना की जाती है, लेकिन वेक्टर के अंत के केवल निर्देशांक दो नहीं हैं, बल्कि चौंसठ हैं।

यह जानकारी क्या देती है? जैसा कि यह निकला, कोसाइन मूल्य (कोण जितना छोटा होता है), उतना ही ग्रंथों के समान जो वैक्टर से मेल खाते हैं। इस प्रकार, समूह ए के समान समूह को खोजने का कार्य इस समूह के वेक्टर और अन्य सभी के बीच कोण के कोसाइन को खोजने के लिए नीचे आता है। तब इंजन उन सभी समूहों को छोड़ देता है जिनके लिए A के साथ कोसाइन मान एक साथ अधिक होगा, कहते हैं, 0.99। इस स्तर पर, आप बस परिणाम प्रदर्शित कर सकते हैं, जैसा कि मैंने पहले किया था। लेकिन यह प्रक्रिया बहुत पहले से ही 100K समुदायों पर है, और क्या होगा, कहते हैं, 1M पर?

इस समस्या को हल करने के लिए, मैं ग्राफ का उपयोग करता हूं। सभी समूहों को इसके शीर्ष के रूप में दर्शाया गया है, और दो बिंदु जुड़े हुए हैं यदि वैक्टर के बीच कोण का कोसाइन उनके अनुरूप है जो 0.99 से अधिक है। लेकिन अगर आप ग्राफ़ के नाम के साथ संरचना को नहीं समझते हैं, तो आप बस कल्पना कर सकते हैं कि मैं डेटाबेस में सबसे अधिक समान जोड़े समुदायों की पूर्व-गणना करता हूं और उन्हें सहेजता हूं। और मैं ग्राफ़ को अपडेट करना नहीं भूलता क्योंकि नए समूह डेटाबेस में जोड़े जाते हैं। हां, यह बहुत लंबा समय है, लेकिन फिर भी उपयोगकर्ता के लिए पहले की तुलना में आसान है।

वेबसाइट

मैं साइट के बारे में सब कुछ पेंट नहीं करूंगा, क्योंकि यह सबसे आसान और सबसे उबाऊ हिस्सा है। मैंने स्क्रैच से कभी भी साइट नहीं लिखी हैं, मैंने हमेशा विभिन्न तैयार इंजनों का उपयोग किया है। लेकिन इस परियोजना में, मुझे एहसास हुआ कि समोसे बनाना आसान होगा। तो, साइट इंजन फ्लास्क का उपयोग करके पायथन 3 में लिखा गया है। और निंजा 2 टेम्पलेट इंजन का उपयोग किया जाता है, जो स्थिर एचटीएमएल (और जेएस) कोड में गतिशील मूल्यों को बदलने के लिए इसे और अधिक सुविधाजनक बनाता है। मैं VKontakte के माध्यम से प्राधिकरण के बारे में नहीं भूल गया, क्योंकि यह सबसे इष्टतम विकल्प है। डिजाइनर, लेआउट डिजाइनर की तरह, बस मेरे लिए भयानक है, अगर कोई परियोजना में शामिल होना चाहता है - स्वागत है।

साइट से परिणामों की पहली पंक्ति

समस्याओं

मुझे कुछ अप्रिय स्थितियों का सामना करना पड़ा, जिन्हें मैंने सफलतापूर्वक हल किया। वीके एपीआई के साथ समस्या ऊपर लिखी गई थी और इसका समाधान विशेष रूप से सेवा के लिए अप्रिय था, क्योंकि गति बहुत कम हो गई थी। यदि इससे पहले कि मैं एक अनुरोध में एक सौ पद प्राप्त करता हूं, अब मुझे बड़े एचटीएमएल कोड के कुछ डाउनलोड करने की जरूरत है, इसे पार्स करें, और उसके बाद ही यह प्रक्रिया करें। अब उपयोगकर्ताओं, उनके दोस्तों और समूहों को प्राप्त करने पर प्रतिबंध के साथ एक समस्या है, लेकिन यह सीमा वास्तव में इस स्तर पर हस्तक्षेप नहीं करती है। फिर आपको इसे पहले वाले की तरह ही हल करना होगा।

आधुनिक इंटरनेट पर पाठ हर दिन कम महत्वपूर्ण होता जा रहा है। कई वर्षों के लिए, VKontakte में वीडियो, चित्र और संगीत के साथ कई समूह हैं। और अच्छी सिफारिशें प्राप्त करने के लिए, आपको उन्हें संसाधित करने की आवश्यकता है।

लेकिन यह पाठ नहीं है, और वास्तव में गंभीर कंप्यूटिंग शक्ति की आवश्यकता है। उदाहरण के लिए, यह एक टॉप-एंड वीडियो कार्ड है, लेकिन अब मेरे पास एक नहीं है, और मैं इस सब के लिए सर्वर नहीं लेना चाहता (यह बहुत जल्दी है)। लेकिन सामान्य तौर पर, मेरे पास पहले से ही इस कार्य के लिए तंत्रिका नेटवर्क वास्तुकला के लिए सर्वोत्तम अभ्यास हैं। मैं छवियों को वर्गीकृत करने के लिए कुछ न्यूरॉन का उपयोग करने जा रहा हूं, इससे ऊपरी भाग को "काट" कर रहा हूं, जो वस्तुओं के वर्गीकरण के लिए जिम्मेदार है। वह सब बना रहेगा जो चित्र के चिन्हों को चित्रित करेगा। मैं इस कार्ड को एक और एनकोडर के साथ निचोड़ सकता हूं और यह सब, बाद के सभी ऑपरेशन "टेक्स्ट" के समान हैं।

VKontakte साइट I से प्रति यूनिट समय के लिए कितने अनुरोध किए जा सकते हैं, इस संबंध में एक और अनसुलझा प्रश्न बना हुआ है। या एक दिन में। अब मैं इस प्रतिबंध में नहीं भाग रहा हूं, लेकिन यह सबसे अधिक समय पर हो सकता है।

भविष्य की योजना

मुझे तत्काल एक सुंदर नियंत्रण कक्ष और सांख्यिकी की आवश्यकता है। यह पहले से ही अपनी प्रारंभिक स्थिति में है, लेकिन इसे समाप्त करने की आवश्यकता है। इससे मैं माइक्रोसेवर्स की शुरुआत / स्टॉप को नियंत्रित करना चाहता हूं (जैसे, इंजन उनमें से होता है), कतारों का आकार, प्रसंस्करण गति और वह सब। खैर, आंकड़े, जो उनकी संख्या को देखना नहीं चाहेंगे? बेशक, मुझे सब कुछ अनुकूलित करने और इसे उपयोगकर्ताओं के लिए उपयुक्त बनाने की आवश्यकता है, विशेष रूप से, मुझे साइट के बाहरी हिस्से को फिर से बनाने की आवश्यकता है, क्योंकि यह मेरी सुविधा के मानकों को पूरा नहीं करता है।

निष्कर्ष

मैं एक दिलचस्प संरचना (कम से कम मेरे लिए) के साथ एक सेवा बनाने के रास्ते पर लगना करने में कामयाब रहा, जो मैं उन प्रतियोगिताओं में से एक के लिए उपयोग करने जा रहा हूं, जो मुझे सर्वश्रेष्ठ रूसी विश्वविद्यालय में प्रवेश करने की अनुमति देगा (मैं यह नहीं कहता कि यह किस तरह का पहला गैर-शास्त्रीय है)। मुझे लगता है कि यदि आप अभी भी काम करते हैं, तो आप इसमें से कुछ और दिलचस्प निकाल सकते हैं, उदाहरण के लिए, प्रकाशनों की गुणवत्ता का एक विश्लेषक, सामुदायिक प्रशासन के लिए एक एनालिटिक्स सेवा या कुछ और।

मुझे पहली बार ऊपर के पाठ से कई बातें पता चलीं। इसका मतलब है कि मैं कुछ गलत कर सकता था। अगर मेरे पाठकों को पता है कि क्या सुधार / तय किया जा सकता है, जहां मुझे अन्य समस्याएं हो सकती हैं और इसी तरह - कृपया इस बारे में टिप्पणी में लिखें। और मैं आपको लेख की गुणवत्ता के बारे में आलोचना देने के लिए कहता हूं, ताकि मैं अगली बार इसे सुधार सकूं। आपका धन्यवाद

मैं एक VKontakte समुदाय सिफारिश सेवा कैसे बना सकता हूं