मैंने प्राकृतिक भाषा प्रसंस्करण का उपयोग करके सौंदर्य मानक की खोज कैसे की (और यह नहीं मिला)

यह उद्देश्यपूर्ण रूप से मापना असंभव है कि कौन सी लड़कियां अधिक सुंदर हैं: गोरे या ब्रूनेट्स, स्वारथी या सफेद-चमड़ी, लंबा या छोटा। लेकिन आप गणना कर सकते हैं कि सौंदर्य के बारे में बात करते समय कौन सी उपस्थिति विशेषताओं का अधिक बार उल्लेख किया गया है।

मेरे पास प्रयोगों के लिए एक सप्ताह था, हमारे डेटा विश्लेषण इंजन, 16 हजार रूसी उपन्यास और XIX सदी के उपन्यास और 15 हजार आधुनिक लंबे काम थे। और, ज़ाहिर है, कोई टैग डेटा नहीं था।

मुख्य विचार यह था कि ग्रंथों के इस पहाड़ से सुंदर महिलाओं के विवरणों के टुकड़े निकालने के लिए, और फिर इन टुकड़ों से उपस्थिति की आवृत्ति लाइनों को निकालने के लिए।

यहाँ जो हुआ उसका एक दृश्य है। अधिक सटीक, सामान्य विकल्पों में से एक।


आंखों का रंग, बाल, पोशाक, विकास, शिक्षा - यह सब ग्रंथों के शरीर से अलग किया जा सकता है।

बेशक, सब कुछ इतना सरल और अस्पष्ट नहीं है जितना कि आंकड़े हैं, लेकिन आप पहले से ही एक मोटा विचार प्राप्त कर चुके हैं। अब बात करते हैं क्रियाओं के विवरण और अनुक्रम की।

पाठ कॉर्पस

मैं ग्रंथों के वितरण के लिए एक खुले लाइसेंस के साथ संसाधनों को खोजने में कामयाब रहा। उन लोगों के लिए धन्यवाद जिन्होंने यह सब एकत्र किया और पोस्ट किया।

19 वीं शताब्दी और वर्तमान दोनों में केवल मूल रूसी भाषा के ग्रंथों को शामिल किया गया था, अर्थात् कोई अनुवादित साहित्य नहीं है।

मैंने एसएएस विज़ुअल टेक्स्ट एनालिटिक्स और पायथन लाइब्रेरीज़ (pymorphy2, gensim, tanorflow) के एक समूह पर सभी विश्लेषण किया।

चरण 1. भाषाई नियम

तो, पहले, महिला उपस्थिति के विवरण के साथ टुकड़ों को उजागर करना आवश्यक था। कोई चिह्नित डेटा नहीं था, इसलिए मैंने "लड़की और आँखों (बाल या चेहरे)" की भावना से सरल नियमों के साथ शुरुआत की। एसएएस विज़ुअल टेक्स्ट एनालिटिक्स में नियमों को लिखा गया था, ताकि वे रूपात्मक रूपों को ध्यान में रखें, टाइपोस (आधुनिक मामले के लिए यह प्रासंगिक था), सरल वाक्यविन्यास, टोकन और फ़िल्टर्ड अवांछित संदर्भों के बीच की दूरी।


दूसरे शब्दों में, पांच वाक्यों के भीतर एक महिला का उल्लेख होना चाहिए, उसके आकर्षण के तथ्य का उल्लेख होना चाहिए, किसी भी उपस्थिति का विवरण होना चाहिए, और कोई अवांछनीय संदर्भ नहीं होना चाहिए।

इस तरह के नियम को लिखना मुश्किल नहीं है, समस्या विवरण में है। उदाहरण के लिए, महिलाओं के लिए सभी संभावित संदर्भों को कैसे एकत्र किया जाए? दरअसल, पाठ में यह "मालकिन", और "लड़की", और "मार्गरीटा", और "चचेरा भाई" हो सकता है। सरल पर्यायवाची शब्द यहां अपरिहार्य हैं, एक भी शब्दकोश "टाइपिस्ट" या "छात्र" को "महिला" के पर्याय के रूप में नहीं देगा। आप "सिर से" सूचीबद्ध कर सकते हैं, जबकि पर्याप्त कल्पना है, लेकिन सूची अधूरी होगी (और यह उबाऊ है)।

नियमों का विस्तार करने और प्रासंगिक पर्यायवाची खोजने के लिए, हम वेक्टर अभ्यावेदन कनेक्ट करते हैं।

चरण 2. शब्द 2vec मॉडल

Word2vec एक शब्द वेक्टरकरण उपकरण है, जो "मुझे बताओ कि तुम्हारे बगल में कौन खड़ा है और मैं बताऊंगा कि तुम कौन हो" के विचार पर आधारित है। उदाहरण के लिए, "मैं ___ उसे पहली नजर में" वाक्य में, ज्यादातर पास को "प्यार" जैसे शब्द से बदल देगा। विचार सरल है - समान संदर्भों में समान शब्द पाए जाते हैं। रूसी भाषा के लिए, तैयार-पूर्व प्रशिक्षित मॉडल हैं जो यहां पोस्ट किए गए हैं । परियोजनाओं पर अनुभव से पता चलता है कि विषय क्षेत्र में प्रशिक्षित मॉडल "पूरी भाषा के लिए" मॉडल की तुलना में बेहतर काम करते हैं, इसलिए मैंने अपने शरीर पर दो मॉडलों को प्रशिक्षित किया।

सबसे पहले, उसने अजगर को शब्दों में पिरोया, शब्दों को प्रारंभिक रूप में लाया (pymorphy2 के लिए धन्यवाद), एक चचेरे भाई, शेर की अयाल, ततैया कमर (gensim से वाक्यांशों के लिए धन्यवाद) की तरह आवृत्ति क्रिया अभिव्यक्तियों को निकाला। संसाधित डेटा पर, मैंने शब्द 2vec मॉडल (स्किपग्राम एल्गोरिथम, विंडो - 3, आयाम - 300) सीखा।

प्रशिक्षित मॉडल का उपयोग करते हुए, समान शब्दों की पुनरावृत्त संकलन सूची। Gensim में सबसे अधिक_सिमिलर फ़ंक्शन इनपुट के रूप में एक शब्द लेता है और उन शब्दों / अभिव्यक्तियों की एक सूची देता है जिनके वेक्टर मूल शब्द के वेक्टर को कोसने माप में बंद होते हैं।


यहाँ समस्या यह थी कि समान वैक्टरों में, विलोम पूरे आ सकते हैं, क्योंकि वे एक ही संदर्भ में हो सकते हैं। उदाहरण के लिए, "पहली नजर में प्यार हो गया" के बारे में उदाहरण में पास के स्थान पर यह अच्छी तरह से "पहली नजर में नफरत" होने का संकेत हो सकता है। हमारे मामले में, उदाहरण के लिए, वेक्टर "युवा" शब्द "लड़की" शब्द के सबसे करीब है, और इसके बाद ही "महिला", "देवियों", आदि आते हैं। विलोम के साथ समस्या केवल मैनुअल चयन द्वारा हल की गई थी। लेकिन कुछ सुर थे, इसलिए इसने थोड़ा प्रयास किया।

वैसे, यह मज़ेदार है कि 19 वीं शताब्दी की एक महिला के समान शब्द पारिवारिक अवधारणाओं (बेटी, बहन, चचेरे भाई) या सेवारत व्यवसायों (नौकरानी, ​​नौकरानी, ​​कुक), पति द्वारा सामाजिक स्थिति (एडमिरल, सामान्य, बैरोनेस) के सभी प्रकार हैं। 21 वीं सदी में, स्पेक्ट्रम का विस्तार हो रहा है: एक छात्र, सहपाठी, एथलीट, प्रयोगशाला सहायक, कोम्सोमोल सदस्य, अनुवादक और नेता हैं।



शेष नियमों का विस्तार करने के लिए इसी सिद्धांत का उपयोग किया।

चरण 3. अवांछित संदर्भ

इसलिए, मेरे पास लंबे समय तक विस्तृत नियम हैं जो उपस्थिति के विवरण को सफलतापूर्वक पकड़ते हैं, एक महिला का उल्लेख करते हैं और उसके आकर्षण के तथ्य का उल्लेख करते हैं। मैं भाषाई नियमों में स्पष्ट प्रतिबंधों को लिखता हूं: किसी को नकारात्मक, आधुनिकता, सशर्त मनोदशा को ध्यान में रखना चाहिए ताकि "सौंदर्य द्वारा प्रतिष्ठित नहीं", "सौंदर्य से दूर" जैसे संदर्भों को पकड़ा न जाए।


इसके अलावा, आश्चर्यजनक रूप से अक्सर, लेखक आमतौर पर प्रतिकारक पात्रों का वर्णन करने का प्रबंधन करते हैं जिनमें एक अच्छा स्पर्श होता है। इन संदर्भों को संभालना मुश्किल है, वे शोर कर सकते हैं, इसलिए मैं सिर्फ उन्हें विचार से हटा देता हूं।

अब मेरे हाथ में नियम और वेक्टर अभ्यावेदन के आधार पर मार्कअप के साथ ग्रंथों के टुकड़े हैं। यद्यपि नियमों को स्पष्ट करने में कुछ दिनों का समय लगा, लेकिन पाया गया संदर्भों में एक त्रुटि है, जो मुझे इस कार्य के लिए काफी अच्छी लगती है। उदाहरण के लिए, उपस्थिति के कुछ विवरण इस तथ्य के कारण नहीं निकाले गए थे कि यह प्रश्न में महिला या पुरुष के बारे में स्पष्ट नहीं है: "वली की आँखों में चश्मे के पतले चश्मे के नीचे छिपी हुई ग्रे-नीली आँखें थीं।" सिद्धांत रूप में, इस अस्पष्टता को पाठ के एक बड़े टुकड़े के आधार पर हल किया जा सकता था, लेकिन मेरे पास केवल एक सप्ताह था, इसलिए मैंने पंखों में प्रतीक्षा करने के लिए सभी अशुद्धियों को छोड़ दिया।
यहाँ मार्कअप है।

पार्सिंग के उदाहरण, संदर्भ को बोल्ड में रेखांकित किया गया है, अंडरलाइनिंग उपस्थिति के बारे में तथ्य हैं। कुछ को छोड़कर। और यह लिंक भी लिंक नहीं है और क्लिक नहीं करता है!

एलिना , आखिरकार, एक अलग सर्कल से थी, और सामान्य रूप से बाकी सब कुछ। वह बहुत सुंदर थी : ग्रे-नीली आँखों वाला एक स्टाइलिश, एक झुका हुआ माथा , एक साफ नाक , एक छेनी वाला चेहरा , पतली कलाई, जो मैंने अपने जीवन में अब तक देखी गई सबसे स्टाइलिश बाउबल्स को खतरे में डाल दिया था। वह मेरे सिर के ऊपर एक कट था, उसका फिगर था ... अच्छा, कोई मज़ाक नहीं, मस्त ।

के। बेलोज़्योर्वा, "ए फ्रेंड हू इज़ नॉट"।

वह उन लोगों में से एक नहीं थी जो एक शब्द के लिए उसकी जेब में चढ़ते हैं, उसकी प्राकृतिक सुंदरता और आकर्षण मोहित हो जाता है और उसे चकित कर देता है। उच्च माथे को एक चिकनी बैंग , चिकनी काले बालों से ढंक दिया गया था , बिस्टरो लैंप की रोशनी में चमकती हुई, कंधों तक पहुंच गई , धीरे से सुशोभित गर्दन के साथ बह रही थी। उसकी हरी आंखों ने मेरे व्यक्ति में स्पष्ट रुचि दिखाई: अलीना अपने दाहिने हाथ की तर्जनी से पतली नाक के पुल को रगड़ती रही, जिसने उसे शर्मिंदगी का संकेत दिया । मेरे अगले मजाक पर, लड़की हंसी, और इसने उसके कामुक होठों को एक मुस्कान में बदल दिया, और उसके होंठों के कोनों के पास डिम्पल दिखाई दिए। मैंने खुद को यह सोचकर पकड़ा कि मैं चाहता हूं कि यह शाम कभी खत्म न हो।

डी। इलीन, "भाग्य का चौराहा।"

उसमें कुछ रहस्यमय और आकर्षक था, वह पतला और सुंदर था । लंबे, थोड़े घुंघराले बाल, नियमित विशेषताएं , बहुत जीवंत नीली आंखों ने लीना को आकर्षक बना दिया। बोरिस को उसकी शरारती मुस्कान, कामुक मुंह, उसकी सुंदरता पसंद थी। उसकी उपस्थिति और धारण करने का उसका तरीका दोनों उसके लिए बेहद आकर्षक लग रहे थे।

ए। बोलशकोव, "आउटकास्ट"।

वह तीक्ष्ण विशेषताओं वाली, तीक्ष्ण नाक और छेनी वाली ठुड्डी वाली एक बहुत ही सुंदर महिला थी, उसका नाम कोई कम प्रभावशाली नहीं था - एडिलेड। वह एक लंबे चमकीले हरे रंग की पोशाक में मुझसे मिलने के लिए बाहर निकली, और उसके सीने और हाथों पर कुछ अलौकिक जातीय आभूषण लटका दिए। "आप बस इडा को", उसने बहुत प्यार से कहा, और उसके पतले मुंह के कोने विषम रूप से अलग हो गए। "क्या एक मोड़ के साथ एक सौंदर्य !" मैंने सोचा।

ओ। पावेलेंको, "द टेल ऑफ़ द विच।"

एक युवती हाथों में मोमबत्ती लेकर बगल के कमरे के दरवाजे पर खड़ी थी ... मैंने देखा और आश्चर्यचकित था - वह एक सफेद हुड में इतनी सुंदर थी, जिसके कंधों पर उसके बाल ढीले थे। क्या एक सुंदर लक्षण , इस तथ्य के बावजूद कि वे क्रोध से विकृत थे! पतला पुतलियों वाली नीली आँखें एक अशुभ चमक के साथ चमकती हैं ... आंकड़ा पतला , लचीला है।

के। स्टैन्यूकोविच, "द ओरिजिनल कपल"।

और जैकब के पास अपनी युवा महिला से प्यार करने के लिए कुछ था : एक महिला - एक मेहनती महिला , खाली नहीं, एक अश्रु नहीं, एक स्वस्थ और सुंदर महिला । उसका चेहरा सीधा, पतली नाक और पफी, लाल रंग के होंठों के साथ तिरछा है । उसकी नीली आँखें श्वेत प्रकाश पर खुले तौर पर टकटकी लगाए रहती हैं। और उनके ऊपर, ब्रश की तरह, गहरी भौहें रखीं । उसके गाल पर एक मोटा ब्लश खेलता है।

पी। ज़सोदिमस्की, "हल से बंदूक तक।"

चरण 4. परिणाम कोडिंग

यह फ्रेंकस्टीन को इकट्ठा करने और सबसे अधिक आवृत्ति विशेषताओं को संयोजित करने के लिए बनी हुई है। कुछ संकेतों में बहुत करीबी आवृत्ति थी, इसलिए हमने खुद को थोड़ा कल्पना करने और कुछ पात्रों को इकट्ठा करने की अनुमति दी।

पहले दो प्रकार के लक्षण:


19 वीं सदी की महिला। 21 वीं सदी की वी.एस. लेडी।

यह था: बहुत गोरा, लगभग पीला त्वचा और विशाल नीली आंखों के साथ एक लंबा और पतला गोरा। सबसे अधिक संभावना है, "कंधों पर बिखरे हुए" कर्ल के साथ। शायद वह लाड़-प्यार, ममता और थोड़ी मूडी है। लगभग इसी आधुनिक एनालॉग: लंबे काले बालों के साथ एक घुंघराले भूरे रंग की आंखों वाली महिला, एक मुड़े हुए चेहरे पर बाहर की ओर होंठ। हो सकता है कि वह चुलबुली और तनावमुक्त हो, लेकिन साथ ही साथ रोमांटिक और कमजोर भी।

दूसरा प्रकार। आप इस तस्वीर से पहले से ही परिचित हैं:



यह था: नीली आंखों के साथ एक युवा निविदा श्यामला जो गर्मजोशी से मुस्कुराती है। साफ पतली उंगलियों पर बहुत ध्यान दिया जाता है। वह विचारशील, नम्र, आज्ञाकारी, शर्मीला भी है। अक्सर वह एक कर्ल के पीछे से देखती है। आधुनिक सुंदरता अलग होगी। नीली आँखें अभी भी काले लोगों के साथ-साथ सुंदरता की निशानी हैं, लेकिन हरी आँखें दिखाई देती हैं कि पहले बिल्कुल नहीं थीं। यह एक युवा, हरा-आंखों वाला, लाल बालों वाला (यह भी एक पूरी तरह से नया संकेत है!) लड़की, अच्छे मेकअप के साथ, वह भी पतली है, लम्बी है, हल्की, हल्की पोशाक पहनती है। वह आशावादी, शांत और स्मार्ट है।

विज़ुअलाइज़ेशन में अंतर दिखाने की अधिक संभावना है: कलाकार इस तरह से मापदंडों के मेरे सरणियों को देखते हैं। निकाले गए अंशों में पाए जाने वाले आवृत्ति एपिथिट्स से चरित्र की कल्पनाएं भी सामने आईं।

यह सब क्यों है?

बस परियोजनाओं के बीच अभ्यास करें। उसी तरह, मैं आपके पत्राचार में व्यापार रहस्यों के संकेतों की तलाश कर सकता हूं, भले ही आप इसे बहुत ही घुमावदार तरीके से वर्णित करें। उसी तरह, मैं आपकी कंपनी से संबंधित विशिष्ट घटनाओं या घटनाओं को देखने के लिए समाचार की निगरानी कर सकता हूं। उसी तरह, मैं ब्रांड उल्लेखों की निगरानी कर सकता हूं और उन्हें विभाग, टनिटी और संपर्क के कारण श्रेणियों में विभाजित कर सकता हूं। मैं बहुत ही अपर्याप्त उपयोगकर्ताओं से तकनीकी सहायता के लिए आवेदन पार्स कर सकता हूं। मैं इस बात का विश्लेषण कर सकता हूं कि किस शहर में संवाद हो रहे हैं। मैं बैंक के अंदर से आपके सभी भुगतानों के लिए प्लेटफ़ॉर्म सेट कर सकता हूं और सभी बैंक के समकक्षों के लिए निर्मित उत्पादों की सूची, वितरित उत्पादों की एक सूची बनाते हैं और समझते हैं कि प्रबंधक के लिए क्या दिलचस्प है। सामान्य तौर पर, मुझसे डरें!

खैर, या मैं सिर्फ ग्रंथों में कुछ भी देख सकते हैं। घरों और अंदरूनी के विवरण का विश्लेषण करें। दवा पर दुष्प्रभाव का पता लगाएं। पता लगाएं कि वफ़ल किसी तरह से खराब हो गया है, और कुकीज़ में चीनी पर्याप्त मीठा नहीं है। पता करें कि गोरे अभी भी लगभग दोगुने लोकप्रिय हैं, जैसे कि ब्रुनेट्स, और नीली आँखें शैली से बाहर नहीं जाती हैं। और इसी तरह…

लेकिन व्यावहारिक अनुप्रयोग: हमने चिकित्सा त्रुटियों के संकेतों की तलाश कैसे की ।