इंटरनेट पर रूसी भाषाएं

मैंने इस पाठ को बहुत पहले लिखना शुरू कर दिया था, इसलिए इसे राजनीतिक रूप से प्रासंगिक नहीं बताया गया था। लेकिन यह पता चला कि यह इन दिनों था कि मीडिया रूस की छोटी (अल्पसंख्यक) भाषाओं से संबंधित एक सूचना गाइड दिखाई दिया । यह संभव है कि अध्ययन, जो मैं नीचे के बारे में लिखता हूं, इस अर्थ में किसी को कुछ स्पष्ट करेगा।

रूस में कितनी भाषाएँ हैं?

यह महसूस करना इतना आसान नहीं है, लेकिन रूस में वे प्रभावशाली संख्या में भाषा बोलते हैं। इसके अलावा, रूस में वे ऐसी भाषा बोलते हैं जो कहीं और वितरित नहीं की जाती हैं। कहते हैं, यूक्रेनियन और उज्बेक्स के लाखों लोग रूस में रहते हैं, लेकिन एक ही समय में यूक्रेन और उज्बेकिस्तान में संप्रभु राज्य हैं, जहां संबंधित भाषाएँ आधिकारिक हैं। लेकिन रूस में वे बश्किर, तुवन, उडमर्ट और कई (वास्तव में कई) अन्य भाषाएं बोलते हैं, जिनकी राज्य की स्थिति कहीं और नहीं है।

राज्य की स्थिति महत्वपूर्ण है। वैश्वीकरण के युग में, जीवित रहने के लिए, भाषाओं को समर्थन की आवश्यकता होती है जो सकारात्मक रूप से प्रिंट, मीडिया, कला को प्रभावित करती है, और अंततः लोगों की अपनी मूल भाषा बोलने की इच्छा और क्षमता।

और ये भाषाएँ नई डिजिटल वास्तविकताओं के अनुकूल कैसे हुईं? क्या यह सच है कि वे केवल सुदूर पहाड़ी गाँवों में बोली जाती हैं? या वे अभी भी ऑनलाइन संवाद करने का एक पूर्ण तरीका हैं? कुछ साल पहले, मेरे सहयोगियों और मैंने इसका पता लगाने का फैसला किया।

सबसे पहले, यह इंटरनेट एंड द एनईएस सोसाइटी (अब इसे सफलतापूर्वक क्लब ऑफ इंटरनेट एंड सोसाइटी लवर्स में तब्दील कर दिया गया है) के लिए अब डिफेक्ट सेंटर फॉर द स्टडी ऑफ़ द इंटरनेट और एनईईएस सोसाइटी के ढांचे के भीतर एक अध्ययन था, तब हमने हायर स्कूल ऑफ़ इकोनॉमिक्स के स्कूल ऑफ़ लिंग्विस्टिक्स की पत्रिका में एक शोध परियोजना का आयोजन किया, और सामान्य तौर पर, सफल रहे। सभी परिणाम एक विशेष वेबसाइट, रूस की भाषाओं में प्रस्तुत किए जाते हैं, लेकिन मैं आपको सबसे दिलचस्प के बारे में बताता हूं कि हमने क्या किया और कैसे किया (साथ ही साथ क्या हुआ)।

सबसे पहले, यह स्थापित करना आवश्यक था कि रूस में सामान्य रूप से कितनी भाषाएं हैं, और वे कौन सी भाषाएं हैं। भाषाविदों के पास कोई आम तौर पर स्वीकृत सूची नहीं है: यह कुछ भाषाओं के बारे में नहीं जानता है कि क्या कम से कम एक अन्य वक्ता जीवित है, कुछ के बारे में कोई समझौता नहीं है कि क्या यह वास्तव में एक भाषा है, या वास्तव में यह किसी अन्य भाषा की बोली है। और एक को दूसरे से अलग करने के लिए कोई स्पष्ट मानदंड नहीं हैं। एक मजाक है: "भाषा सेना और नौसेना के साथ एक बोली है", लेकिन वेनरिच के इस कथन के सभी बुद्धि के साथ , पर्याप्त प्रतिपक्ष हैं: ब्राजील में एक सेना और नौसेना है, लेकिन अपनी खुद की भाषा नहीं है (ब्राज़ीलियाई लोग पुर्तगाली का उपयोग करते हैं, उनके पूर्व महानगर की भाषा), इसके अलावा, और अधिक। अमेरिकियों, दुनिया में सबसे शक्तिशाली सेना के मालिक, केवल एक बोली का उपयोग करते हैं और अपनी भाषा नहीं। आइसलैंड के पास एक सेना या एक बेड़ा (केवल तट रक्षक जहाज) नहीं है, लेकिन कोई भी उनकी भाषा की ख़ासियत का अतिक्रमण नहीं करता है (हालांकि कोई यह तर्क नहीं देता है कि वह आधुनिक नार्वे का रिश्तेदार है)।

एक शब्द में, कार्य आसान नहीं था। विशेष कठिनाई के लिए डागेस्तान की भाषाएं थीं। बहुत सारी भाषाएँ हैं (वास्तविक भाषाएँ, बोलियाँ नहीं! उनकी वाहक एक दूसरे को नहीं समझती हैं) कि आप विशेषज्ञों से सलाह लेने के बाद ही इसका पता लगा सकते हैं।

हमने अपनी सूची के बाहर अन्य राज्यों की शीर्षक भाषाओं को स्थानांतरित करने का भी निर्णय लिया। दरअसल, अगर रूस के बाहर एक पूरा देश कुछ भाषा बोलता है, तो सबसे अधिक संभावना है कि राज्य संसाधन का उपयोग भाषा का समर्थन करने के लिए भी किया जाता है। ऐसी भाषा पर रूस की भाषा के रूप में विचार करना संभव है, लेकिन विदेशों से ईंधन नहीं आने वाली अन्य भाषाओं की तुलना में इंटरनेट पर इसकी उपस्थिति का मूल्यांकन करना गलत होगा: इंगुश और कजाख पूरी तरह से अलग-अलग भार श्रेणियों में होंगे। इसलिए, ओस्सेटियन ने हमारे अध्ययन पर पानी फेर दिया: इस तथ्य के बावजूद कि रूस में एक पूरा दशकीय क्षेत्र है जहां ओस्सेटियन की बात की जाती है, रूस, दक्षिण ओसेशिया द्वारा मान्यता प्राप्त एक अलग देश भी है, जिसके लिए यह भाषा आधिकारिक है। कड़े शब्दों में, दक्षिण और उत्तर ओसेशिया में वे अलग-अलग बोलियाँ बोलते हैं, आयरन और डगर। लेकिन स्वचालित रूप से, कंप्यूटर, उनके बीच अंतर करना बहुत मुश्किल है। इसलिए उन्हें एक भाषा के रूप में मानना ​​बेहतर है जो रूस की भाषाओं के वर्ग से संबंधित नहीं है।

एक अन्य घटना यिडिश से संबंधित है। रूस में, नाममात्र में, एक क्षेत्र भी है जिसमें यिडिश वक्ताओं को जीना चाहिए - यहूदी स्वायत्त क्षेत्र। उसी समय, हमारे विशेषज्ञों ने हमें समझाया कि ईएओ में लगभग कोई भी यिडिश स्पीकर नहीं थे, और इस भाषा में इंटरनेट पर सभी ग्रंथ लगभग विशेष रूप से इज़राइल और संयुक्त राज्य अमेरिका में लिखे गए थे। इसलिए इंटरनेट पर येदिश के प्रतिनिधित्व का विश्लेषण करना क्योंकि रूस की भाषा मूर्ख है। यह इस तथ्य के अतिरिक्त है कि हम विभिन्न प्रकार के वर्तनी विकल्पों से जुड़े सिरदर्द का सामना करेंगे। इस बारे में कुछ प्रासंगिक लिंक इस प्रकार हैं: [ १ ], [ २ ], [ ३ ]।
इसलिए, हमने भाषाओं पर फैसला किया। उनमें से 96 थे।

अब वेब पर उनके लिए कैसे देखना है? आप संपूर्ण इंटरनेट को अपस्फीति कर सकते हैं और परिणामी संग्रह में आवश्यक ग्रंथों को खोजने का प्रयास कर सकते हैं ... लेकिन रुकिए, आप वास्तव में संपूर्ण इंटरनेट को अपवित्र नहीं कर सकते। यही है, यदि आप एक उपयुक्त सर्वर बेड़े और विकास टीम के साथ एक बड़ी आईटी कंपनी हैं तो यह संभव है। और अगर आपके पास अपने निपटान में एक छोटी विश्वविद्यालय टीम है, तो इसके बारे में सोचने के लिए कुछ भी नहीं है। दूसरी ओर, आपको इस स्तर पर कुछ भी डाउनलोड करने की आवश्यकता नहीं है, क्योंकि खोज इंजन पहले ही पूरे नेटवर्क को बायपास कर चुके हैं। केवल खोज इंजन को सही प्रश्न पूछना आवश्यक है। सच है, खोज इंजन को स्वचालित हिट पसंद नहीं है। लेकिन अगर आप वास्तव में पूछते हैं, तो आप उदाहरण के लिए, Yandex.XML का उपयोग कर सकते हैं, जिसमें अनुरोधों की संख्या की सीमा है, लेकिन फिर भी यह आपके हाथों से खोज परिणामों के साथ काम करने के समान नहीं है।

मार्कर शब्द

लेकिन क्या पूछना है? शब्दों की आवश्यकता है - यह स्पष्ट है। खोज अनुक्रमणिका शब्दों से बनती है, इसलिए आपको प्रत्येक भाषा के लिए उन शब्दों का चयन करना होगा जिन्हें आप ढूंढ रहे हैं जो कि उस विशेष भाषा में मिलेंगे और किसी भी अन्य भाषा के किसी भी शब्द के साथ अक्षरों की रचना से मेल नहीं खाएंगे। एक मायने में, रूसी भाषाओं की खोज सरल होनी चाहिए, क्योंकि हमारी सूची की लगभग सभी भाषाओं में सिरिलिक लिपियाँ हैं, और यह विश्व भाषाओं के लिए एक अपेक्षाकृत दुर्लभ मामला है, इसलिए विभिन्न भाषाओं से मेल खाने वाले दो शब्दों की संभावना कम हो जाती है: यह भ्रमित करना संभव होगा सोवियत के बाद के स्थान की भाषाओं के केवल शब्द और ओशिनिया की कुछ भाषाओं के शब्द शोर नहीं पैदा करेंगे।

लेकिन शब्द कहां से लाएं? यदि हम फिर से भाषाविदों की ओर मुड़ते हैं, तो वे आपको बताएंगे कि एक पुराना और अच्छी तरह से योग्य प्रकाशन है - गिलेरव्स्की आर.एस., ग्रिविन वी। एस। लिखित भाषाओं द्वारा दुनिया की भाषाओं के निर्धारक (दूसरे संस्करण के लिए एम।, 1961)। वर्णित भाषाओं में से प्रत्येक (लगभग 200) में एक पृष्ठ है, जहां एक टेम्पलेट में भाषा का नाम, उन पर दो लघु ग्रंथ, वर्णमाला, इसकी मुख्य विशेषताएं और वाहकों की संख्या और आनुवंशिक संबद्धता की जानकारी है।

ऐसा लगता है कि हमारे उद्देश्यों के लिए पुस्तक पूरी तरह से बेकार है, लेकिन पृष्ठ 259 पर एक अतिरिक्त खंड है, "विशिष्ट संयोजन और कुछ भाषाओं के सेवा शब्द"। ऐसा लगता है कि यह वही है जो आपको चाहिए, लेकिन दुर्भाग्य से, जो शब्द वहां उद्धृत किए गए हैं, वे बहुत कम हैं और पत्र रचना में रूसी भाषा के शब्दों के साथ मेल खाते हैं। उदाहरण के लिए, बलकार के लिए यह "ब्ला" शब्द है, जो खोज करने पर एक राक्षसी मात्रा में कचरा निकलेगा जो कि बलकार भाषा के साथ बिल्कुल भी मेल नहीं खाता (न केवल ब्ला ब्ला, बल्कि " मानव रहित हवाई वाहन "), और पहाड़ मारी के लिए - "डॉन" ( खोज और भी खराब होगी)। ठीक है, सभी समान, इस खंड में शब्द एक दुर्लभ वस्तु हैं। और यांडेक्स में पत्र संयोजन से आप नहीं देखेंगे।

इसलिए भाषाविद ऐसा करने का प्रस्ताव देंगे। कंप्यूटर वैज्ञानिकों का एक अलग समाधान होगा। क्यों नहीं विकिपीडिया (आखिरकार, रूस के लोगों की भाषाओं में विकिपीडिया हैं), इससे एक आवृत्ति पुस्तक बनाते हैं, शब्दकोशों को पार करते हैं, इस तरह से अद्वितीय टोकन ढूंढते हैं, और उन्हें खोज प्रश्नों के लिए उपयोग करते हैं? दुर्भाग्य से, यह भी काम नहीं करेगा। सबसे पहले, विकिपीडिया रूस की सभी भाषाओं के लिए नहीं है। केवल 22 "वास्तविक" विकिपीडिया खंड हैं, इनक्यूबेटर से नहीं। इनक्यूबेटर 41 अधिक जोड़ता है। लेकिन आमतौर पर यह अधिकतम कुछ दर्जन बहुत ही छोटे ग्रंथ हैं, अर्थात्, वे सांख्यिकीय रूप से महत्वपूर्ण परिणाम नहीं देंगे। यहाँ पर तबरसन विकिपीडिया (5 लेख) के साथ एक इनक्यूबेटर है । यहाँ एक नोगाई इनक्यूबेटर (23 लेख) है। इसके अलावा, कुछ में कोई पाठ नहीं है, लेकिन बश्किरों के बारे में लेख । और इसी तरह।

लेकिन असली (गैर-ऊष्मायन) विकिपीडिया एक अच्छे स्रोत के रूप में काम नहीं कर सकता है। क्योंकि वे ... लोगों द्वारा लिखित नहीं हैं! रूस के लोगों की भाषाओं में सबसे बड़ा विकिपीडिया विकिपीडिया के लोगों को " एराकोनोफिलिया " कहता है। वह है, टेम्पलेट द्वारा उत्पन्न लेखों के साथ अनुभाग का स्वत: भरना जिसमें एक खुले डेटाबेस या रजिस्ट्री से कुछ संख्यात्मक डेटा डाला जाता है। कहते हैं, "मानव" के बहुत छोटे प्रतिशत के लिए बश्किर और तातार विकिपीडिया, नदियों और झीलों के बारे में हजारों स्वचालित लेख हैं। बशीर विकिपीडिया पर " यादृच्छिक लेख " लिंक पर क्लिक करने की कोशिश करें, 10 में से कितनी बार आपको "गैर-जल लेख" (आप "नदी" के लिए खोज कर सकते हैं "कीवर्ड" yylkha ")? अब स्थिति कुछ हद तक सुधर गई है, अभी भी देशों और बस्तियों के बारे में लेख हैं, लेकिन पांच साल पहले 10. मामलों में "पानी" विषय थे 10. मैंने अब क्लिक किया, यह नदियों के पक्ष में 7: 3 निकला। आपके बारे में क्या?

सब कुछ ठीक होगा, लेकिन इस तरह के ग्रंथों में आवृत्ति शब्द भाषा में आवृत्ति शब्द बिल्कुल नहीं हैं। एक "सामान्य" आवृत्ति शब्दकोश प्राकृतिक मूल के ग्रंथों के आधार पर कैसा दिखता है? दर्जनों पदों के पहले जोड़े पर विभिन्न आधिकारिक शब्दों का कब्जा है, जो किसी भी महत्वपूर्ण लोगों की तुलना में भाषण में कई गुना अधिक आम हैं। यहाँ रूसी भाषा के लिए एक आवृत्ति शब्दकोश है । पहली संज्ञा (वर्ष) तीसरे दस के अंत में वहां दिखाई देती है। और इससे पहले, सब कुछ पूरी तरह से है - संयोजन, प्रस्ताव, सर्वनाम और कण। और यहाँ 2013 के लिए तातार विकिपीडिया की आवृत्ति शब्दकोश है:

केवल दो आधिकारिक शब्द हैं, जिनमें से केवल एक - ” m "और" - वास्तव में विशेष रूप से अक्सर वास्तविक ग्रंथों में पाया जाता है। बाकी, ज़ाहिर है, मूल नमूने की बारीकियों के कारण ही सूची में शामिल किया गया था।

हमारे लिए केवल एक ही रास्ता था: प्रत्येक भाषा के लिए मैन्युअल रूप से खोज प्रश्नों को परिभाषित करने के लिए शब्द एकत्र करना। यह एक विशेषज्ञ कार्य है, आपको शब्दकोशों और व्याकरण में देखने की जरूरत है, फिर उम्मीदवार शब्दों को खोज में चलाएं और परिणाम को देखें और मूल्यांकन करें कि कितना कचरा निकलता है। इसके अलावा, प्रत्येक शब्द को दो अनिवार्य मानदंडों को पूरा करना चाहिए। सबसे पहले, यह आपकी भाषा के लिए आवृत्ति होनी चाहिए। इसलिए, तातार andm "और" फिट होगा। दरअसल, यह शब्द तातार भाषा के अधिकांश ग्रंथों में पाया जाता है, और एक अनुरोध जिसमें इस शब्द को शामिल किया जाएगा, हमें प्राप्त करने की अनुमति देगा और इस तरह के अधिकांश साइटों को पकड़ लेगा, जिनके तातार भाषा में ग्रंथ हैं। दूसरी बात, ऐसा शब्द अद्वितीय होना चाहिए, जिसका उपयोग केवल इस भाषा में किया जाए, लेकिन किसी अन्य में नहीं। इस दृष्टिकोण से, उम , अफसोस, "मक्खियों", क्योंकि बिल्कुल वही शब्द बश्किर में है।
एक और बारीकियां है। राष्ट्रीय भाषाओं के वर्णमाला में कई "विशेष" वर्ण हैं, अर्थात्, अक्षर जो रूसी भाषा की वर्णमाला में नहीं हैं, इन वर्णों का उपयोग करते हुए (जैसा कि भाषाविद कहते हैं, "अंगूर"), विशेष ध्वनियों (जैसा कि भाषाविदों का कहना है, "इन भाषाओं के" ध्वनि ") को रिकॉर्ड किया जाता है। उदाहरण के लिए, कोमी-ज़ायरन शब्द तश्तम में ऐसा प्रतीक होता है, जो उन सबसे अधिक विदेशी से दूर होता है, जो (उपरोक्त उदाहरण "पानी" शब्दों की तातार सूची में देखे जा सकते हैं)।

तथ्य यह है कि चूंकि यह सभी ग्राफिक लक्जरी मानक रूसी कीबोर्ड पर नहीं है, जिस पर हर कोई मूल रूप से टाइप करता है, इसलिए वास्तविक उपयोगकर्ता वास्तव में इन अक्षरों को दर्ज नहीं करते हैं, उन्हें अन्य लोगों के साथ प्रतिस्थापित करते हैं जो वर्तनी या ध्वनि में समान हैं। तश्तम शब्द का अनुवाद तश्तम या तश्तम के रूप में किया जाता है। बशकिर में, "ә" अक्षर को "ई" या "ए" के रूप में प्रेषित किया जाता है, और पत्र "z" को "जेड" के रूप में। यहां केडीपीवी पर केवल "मेनन" शब्द को वास्तव में "मेनन" लिखा जाना चाहिए। भाषाविद् ए। ए। ज़ालिज़िनेक के बाद, हम इस तरह के एक स्पेलिंग शासन को "रोजमर्रा की लेखन प्रणाली" कहते हैं। उसी प्रक्रियाओं के बारे में (केवल कीबोर्ड और अन्य सॉफ़्टवेयर के बिना) ज़ालिज़नीक ने बर्च बेंच पत्रों पर दर्ज ओल्ड नोवगोरोड बोली के लिए वर्णित किया।

व्यवहार में इसका क्या अर्थ है? कि, आदर्श रूप से, न केवल मार्कर शब्दों की आवश्यकता है जो इस भाषा के लिए अद्वितीय हैं और इस भाषा में आवृत्ति है। ऐसे शब्दों की भी आवश्यकता है ताकि उनमें ये "विशेष वर्ण" न हों। क्योंकि वास्तव में, इस तरह के चरित्र सभी द्वारा नहीं लिखे गए हैं, और यदि आप "सही" अनुसूची में शब्द के साथ खोज इंजन के लिए अनुरोध भेजते हैं, तो उत्तर की पूर्णता इतनी हो जाएगी कि: हम बड़ी संख्या में ऐसे ग्रंथों में नहीं आएंगे जो होम सिस्टम में लिखे गए हैं।

इसके अलावा, अधिक चालाक प्रतीक हैं, उदाहरण के लिए, "I": "याकोवलेव्स वैंड" (विभिन्न कोकेशियान भाषाओं में इसका अर्थ है या तो एक लैरींगियल धनुष या तथाकथित "अपमानजनक" ध्वनि)। अक्सर एक घरेलू प्रणाली में इसे एक इकाई के साथ बदल दिया जाता है, लेकिन ऐसा होता है कि वे प्रतीक "|" भी लिखते हैं, एक ऊर्ध्वाधर बार, जिसका उपयोग खोज ऑपरेटर के रूप में किया जाता है "या" (इस ऑपरेटर से जुड़े किसी भी शब्द वाले पृष्ठों के लिए खोज।)।

संक्षेप में, यह आसान नहीं है। लेकिन हमने उन अधिकांश भाषाओं के लिए मार्कर शब्दों की ऐसी सूची बनाई, जिनमें हम रुचि रखते थे। और यह एकमात्र ऐसी चीज है जिसे हम सार्वजनिक रूप से पोस्ट नहीं करते हैं, क्योंकि इस तरह के शब्द अभी भी ग्रंथों की खोज के लिए उपयोगी हो सकते हैं, और यह सूची बहुत ही आसान है, उदाहरण के लिए, यदि कोई व्यक्ति खोज स्पैम उत्पन्न करने के लिए उनका उपयोग करना चाहता है।

खोज

इसलिए, हमारे पास खोज शब्द हैं, हम उन्हें Yandex.XML के बदले भेजते हैं और हमें परिणाम मिलते हैं। यहाँ भी, इतना आसान नहीं है। सबसे पहले, Yandex.XML हमारे ऐपेटाइट को प्रति दिन 10,000 अनुरोधों तक सीमित करता है। इतना कम नहीं? हां, लेकिन वह पेज (10 प्रति पेज) द्वारा लिंक पेज देता है और अगले पेज पर संक्रमण एक अलग अनुरोध माना जाता है ...

इसके अलावा, हम अभी भी आउटपुट पर कचरा प्राप्त करते हैं। यहां तक ​​कि "अच्छे" मार्करों के लिए भी। हमारे पास क्या है? दर्पण और युगल। विशेष रूप से विकिपीडिया का बहुत कुछ लेता है। और क्यों विकिपीडिया पर विचार करना चाहिए यदि हमारा लक्ष्य एक निश्चित भाषा में सभी ग्रंथों को इकट्ठा करना है? आखिरकार, विकिपीडिया को एक क्लिक से डाउनलोड किया जा सकता है! और क्या? भाषाई वैज्ञानिक लेख। कुछ भाषाविद् रूसी में एक लेख लिखते हैं और कुछ रुतुलियन में एक वाक्य का उदाहरण देते हैं, और इस वाक्य में हमारा मार्कर शब्द है। यह भी अच्छा नहीं है, क्योंकि इससे पहले कि हम वास्तव में रूसी में एक पाठ है। या फिर यह एक शब्दकोश हो सकता है। वह शब्द भी होगा जिसे हम ढूंढ रहे थे, लेकिन कोई पाठ नहीं होगा। हमारे लिए एक आश्चर्य की बात संगीत साइटें थीं। उनमें एक छोटी भाषा में कई लोक या कॉपीराइट गीतों के एमपी 3 होते हैं। वहाँ कोई ग्रंथ नहीं हैं, लेकिन अनुरोध के लिए उपयुक्त छोटे वाक्यांश हैं - संगीत कार्यों के नाम। कुछ भाषाओं के लिए, ये साइटें इतनी अधिक हैं कि वे पूरे आउटपुट को रोकती हैं। हमने तय किया कि चूंकि हम ग्रंथों की तलाश कर रहे हैं, ये हमारे ग्राहक भी नहीं हैं।

कुछ तो काट देना चाहिए। खोज इंजन से संपर्क करने के चरण में पहला फ़िल्टर दर्ज किया जा सकता है। यदि हमारे पास भाषा के लिए कई मार्कर हैं, तो नीचे कुछ डोमेन पकड़े जाने पर, हम खोज इंजन से पूछ सकते हैं कि क्या उसी साइट पर हमारी सूची के अन्य शब्द हैं। यदि ऐसा है, तो यह संभावना है कि हम उस साइट पर पहुंच गए जिसकी हमें आवश्यकता है। यदि एक मार्कर है, लेकिन बाकी का प्रतिनिधित्व नहीं किया जाता है, तो हमारे हाथों में डमी रखने की अत्यधिक संभावना है। उदाहरण के लिए, अद्भुत खाकस शब्द "साइनस" ("फिर से") है। यह ऊपर सूचीबद्ध एक मार्कर शब्द के लिए सभी मानदंडों को पूरा करता है। लेकिन यहाँ बात है। जब वे रूसी में लिखते हैं, तो कभी-कभी वे गलतियाँ करते हैं और "साइनस" (नाक) के बजाय "साइनस" टाइप करते हैं। हमारा फ़िल्टर यह समझने में मदद करेगा कि क्या कोई टाइपो रूसी पाठ में है, या वास्तव में खाकस पाठ है। बात यह है कि ये अतिरिक्त अनुरोध हैं, जिनमें से बहुत कम हैं।

सभी चीजें उन साइटों की सूची के साथ अस्पष्ट नहीं हैं जिन पर हमें जिन ग्रंथों की आवश्यकता थी, वे मिले। यदि हम न केवल इन साइटों को खोजने की योजना बनाते हैं, बल्कि कॉर्पस बनाने के लिए उन्हें पंप करने के लिए भी करते हैं, तो हमें यह जानने की जरूरत है कि किस पंपिंग के लिए गहराई होनी चाहिए। हमने सभी डोमेन को तीन श्रेणियों में विभाजित किया है (यह सब सही यैंडेक्स प्रश्न पूछकर भी पाया जा सकता है)।
, ( — ) .

, ( ) .

, . Youtube ( - «» ) stihi.ru ( , , ).

, , VK.com. , , , , ( ), , , -, . , , . .

VK.com . : - , - , vk.com. 2016 , .

. . , . Scrapy , . VK API .

. , . , , . , , , , - . ( — , ngram) . - , , , . , . .

, - . , , , . — ( , ), — . . . - «» . , , , . , , .
, , , .

परिणाम

, . . ?

, . , , , . «» . .
- . ? , , - ?

, ( ) .

? — ?

, - , .

?

, , 2012 . क्यों? , . , vk.com.

. : , ( , ). ( , , , - , ). ? ?

, - ( 0.7), - . , , , . , , , . , , . , , .

, . ? , , , , .

, . , , , , , .

, -, ?

, , : - , , - , , .

सामाजिक नेटवर्क

, vk.com. - , - , : , . . .

:

, , , , — . , — . , , . . , .

- ?

• : 19-31;
• : ;
• , «» -;
• , .

, «» :

• ;
• .

?

- . , , . , , . , 90- 2000-.

इसलिए, हमने सीखा कि इंटरनेट पर रूस की छोटी भाषाएँ हैं। वे साइटों और सामाजिक नेटवर्क पर रहते हैं, और 2012 के बाद से, मुख्य रूप से सामाजिक नेटवर्क पर। वहां और वहां दोनों को "प्रतिष्ठित" रूसी भाषा के साथ भयंकर प्रतिस्पर्धा का सामना करने के लिए मजबूर किया जाता है। इंटरनेट पर किसी भाषा की जीवन शक्ति इस बात पर ज्यादा निर्भर नहीं करती है कि वह उस भाषा को "जीवन में" कितना बोलती है। सबसे महत्वपूर्ण बात यह है कि इस भाषा के आसपास एक सक्रिय नेटवर्क समुदाय विकसित किया गया है, जो प्रतिष्ठित इंटरनेट साइटों (विकिपीडिया, Vkontakte) पर काम कर रहा है। यदि ऐसा हुआ, तो यह उस क्षेत्र में "जमीन पर" हुआ जहां इस भाषा के मूल वक्ता रहते हैं।

लेकिन क्या भूमंडलीकरण की स्थिति में छोटी भाषाएँ बच पाएंगी, हमें अभी भी अपने जीवन काल के दौरान सीखना होगा।

सभी प्रोजेक्ट कोड रिपॉजिटरी में है । सभी पाठ संग्रह और डोमेन और समुदायों की सूची डाउनलोड के लिए उपलब्ध हैं ।

और मैं बिल्लियों के साथ छोटी भाषाओं में प्यारा मेम के साथ vk.com में समुदाय की सिफारिश नहीं कर सकता।