🈶 🚵 🗑️ "आप एक बदसूरत माँ ** कर रहे हैं": शत्रुतापूर्ण भाषा का पता लगाने एल्गोरिदम और workarounds 🧔🏻 👩🏾‍⚕️ 🥜

किसी भी समय एक व्यक्ति ने जो पत्थर उठाया है, उसमें से प्रत्येक तकनीक एक व्यक्ति के जीवन को बेहतर बनाने के लिए बाध्य है, जो इसके मुख्य कार्य करता है। हालाँकि, किसी भी तकनीक के "दुष्प्रभाव" हो सकते हैं, जो एक व्यक्ति और उसके आस-पास की दुनिया को इस तरह से प्रभावित करते हैं कि इस तकनीक को बनाने के समय कोई भी ऐसा नहीं सोचता था या इसके बारे में सोचना नहीं चाहता था। एक ज्वलंत उदाहरण: मशीनें बनाई गईं, और एक व्यक्ति पहले की तुलना में तेज गति से लंबी दूरी तय करने में सक्षम था। लेकिन उसी समय प्रदूषण शुरू हो गया।

आज हम इंटरनेट के "साइड इफ़ेक्ट" के बारे में बात करेंगे, जो पृथ्वी के वातावरण को नहीं, बल्कि लोगों के मन और आत्मा को प्रभावित करता है। तथ्य यह है कि वर्ल्ड वाइड वेब सूचना के प्रसार और सूचना के आदान-प्रदान के लिए, एक दूसरे से शारीरिक रूप से दूर के लोगों के बीच संचार के लिए और बहुत अधिक के लिए एक उत्कृष्ट उपकरण बन गया है। इतिहास के परीक्षण के लिए दवा से लेकर भोज की तैयारी तक, इंटरनेट समाज के विभिन्न क्षेत्रों में मदद करता है। हालाँकि, वह स्थान जहाँ कई महान, कभी-कभी नामहीन, आवाज़ें और राय इकट्ठी होती हैं, दुर्भाग्य से, मनुष्य में जो कुछ निहित है उससे भरा है - घृणा।

आज के अध्ययन में, वैज्ञानिक कई एल्गोरिदम को तोड़ते हैं जिसका मुख्य कार्य आक्रामक, अशिष्ट और शत्रुतापूर्ण संदेशों की पहचान करना है। वे इन सभी एल्गोरिदम को तोड़ने में कामयाब रहे, जिससे उनकी दक्षता के निम्न स्तर का प्रदर्शन हुआ और उन त्रुटियों को इंगित किया गया, जिन्हें ठीक किया जाना चाहिए। वैज्ञानिकों ने किस तरह से काम किया है, इसे क्यों तोड़ा और किस निष्कर्ष पर जाना है, यह हम सबको पता होना चाहिए - हम शोधकर्ताओं की रिपोर्ट में इन और अन्य सवालों के जवाब की तलाश करेंगे। चलो चलते हैं।

अध्ययन की पृष्ठभूमि

सोशल नेटवर्क और लोगों के बीच इंटरनेट संपर्क के अन्य रूप हमारे जीवन का अभिन्न अंग बन गए हैं। दुर्भाग्य से, ऐसी सेवाओं के उपयोगकर्ताओं में से कई भी सचमुच ऐसी बात को "भाषण, विचार और अभिव्यक्ति की स्वतंत्रता" के रूप में समझते हैं, इसे नेटवर्क पर अभद्र, परिचित और अशिष्ट व्यवहार के अपने अधिकार के साथ कवर करते हैं। हम में से प्रत्येक एक तरह से या किसी अन्य का सामना ऐसे व्यक्तियों की "गतिविधि" से करता था। कई ऐसे भाषणों का उद्देश्य बन गए। बेशक, इस बात से इनकार नहीं किया जा सकता कि किसी व्यक्ति को यह कहने का पूरा अधिकार है कि वह क्या सोचता है। हालाँकि, अपने विचारों को व्यक्त करना एक बात है, और किसी का अपमान करना दूसरी बात है। बोलने की स्वतंत्रता के अलावा, गुमनामी का भी शोषण किया जाता है, क्योंकि आप गुप्त रहते हुए किसी को भी कुछ भी कह सकते हैं। परिणामस्वरूप, आपको अपने अनुचित व्यवहार के लिए दंडित नहीं किया जाएगा।

यह बताने लायक नहीं है कि "मुझे यह पसंद नहीं आया" और "यह पूरी तरह से बकवास है **, लेखक दीवार के खिलाफ मारता है" (यह एक और भी कम सभ्य विकल्प है) पूरी तरह से अलग-अलग भावनात्मक रंग हैं, हालांकि उनके पास एक सामान्य सार है - टिप्पणीकार के लिए - मुझे वह पसंद नहीं है जो उसने देखा / पढ़ा / सुना है, आदि। लेकिन अगर आप किसी व्यक्ति को इस तरह से अपने असंतोष को व्यक्त करने से मना करते हैं, तो क्या यह उसके अधिकारों का उल्लंघन माना जाता है? कई हाँ कहेंगे। दूसरी ओर, क्या इंटरनेट पर बढ़ती घृणा से घृणा की ओर आंखें फेरते रहने के लायक है, जो कि ज्यादातर मामलों में उचित नहीं है। घृणा, जैसे, एक जगह है। बेशक, यह एक बहुत मजबूत और अविश्वसनीय रूप से नकारात्मक भावना है। हालांकि, अगर कोई व्यक्ति उस व्यक्ति से घृणा करता है जिसने कुछ भयानक (हत्या, बलात्कार और अन्य अमानवीय कृत्य) किए हैं, तो यह अभी भी किसी भी तरह से उचित हो सकता है। लेकिन जब घृणा अपने आप को पूरी तरह से पराये व्यक्ति के संबोधन में प्रकट करती है, जिसने अनैतिक या अमानवीय कुछ भी नहीं किया, तो यह पूरी तरह से कहानी है।

अब कई कंपनियों और अनुसंधान समूहों ने अपने स्वयं के एल्गोरिदम बनाने का फैसला किया है जो किसी भी पाठ का विश्लेषण कर सकते हैं और बता सकते हैं कि शत्रुता भाषा * कहां मौजूद है, और यह किस हद तक व्यक्त की गई है। हमारे आज के नायकों ने इन एल्गोरिदम का परीक्षण करने का फैसला किया, विशेष रूप से, बहुत ही प्रचारित Google परिप्रेक्ष्य एपीआई, जो वाक्यांश के "अम्लता" को निर्धारित करता है, अर्थात्। इस वाक्यांश को कितना अपमान माना जा सकता है।

अभद्र भाषा * - जैसा कि इस शब्द के बहुत नाम से स्पष्ट है, यह भाषा का एक संयोजन है जिसका उद्देश्य वार्ताकारों के बीच एक ज्वलंत शत्रुता व्यक्त करना है। अभद्र भाषा के सबसे सामान्य रूप हैं: नस्लवाद, लिंगवाद, ज़ेनोफोबिया, होमोफोबिया और शत्रुता के अन्य रूप कुछ और।

मुख्य कार्य जो शोधकर्ताओं ने खुद के लिए निर्धारित किए हैं, वे नफरत भाषण की पहचान के लिए सबसे लोकप्रिय एल्गोरिदम का अध्ययन करते हैं, उनके काम करने के तरीकों को समझते हैं और उनके चारों ओर जाने की कोशिश करते हैं।

अनुसंधान एल्गोरिदम

वैज्ञानिकों ने कई एल्गोरिदम चुने हैं जिनके डेटाबेस एक-दूसरे से अलग हैं, जो हमें सबसे अच्छा डेटाबेस भी निर्धारित करने की अनुमति देता है। कुछ एल्गोरिदम यौन संबंध * , अन्य - धार्मिक लोगों की पहचान करने पर अधिक भरोसा करते हैं। सभी एल्गोरिदम के लिए सामान्य उनके ज्ञान का स्रोत है - ट्विटर। शोधकर्ताओं के अनुसार, यह बिल्कुल सही है, क्योंकि इस सेवा की कुछ सीमाएं हैं (उदाहरण के लिए, एक संदेश में वर्णों की संख्या)। इसलिए, एक प्रभावी एल्गोरिदम का आधार विभिन्न सामाजिक नेटवर्क और सेवाओं से भरा होना चाहिए।

व्याख्या * - एक शब्द या वाक्यांश को अतिरिक्त अर्थ या भावनात्मक रंगों के साथ रंगने की एक विधि। भाषाई, सांस्कृतिक या सामाजिक अलगाव के अन्य रूप के आधार पर भिन्न हो सकते हैं। उदाहरण: हवा - "दिन हवा था" (शब्द का सीधा अर्थ है), "वह हमेशा एक घुमावदार व्यक्ति था" (इस मामले में, इसका मतलब है कि अस्थिरता और तुच्छता)।

एल्गोरिदम और उनकी कार्यक्षमता की सूची:

डिटॉक्स : संपादकीय टिप्पणियों में अनुचित भाषा की पहचान करने के लिए विकिपीडिया परियोजना। यह लॉजिस्टिक रिग्रेशन * और एक मल्टीलेयर परसेप्ट्रान * के आधार पर काम करता है, अक्षरों और शब्दों के स्तर पर एन-ग्राम * मॉडल का उपयोग करता है। किसी शब्द के एन-ग्राम का आकार 1 से 3 और अक्षर - 1 से 5 तक भिन्न होता है।

लॉजिस्टिक रिग्रेशन * लॉजिस्टिक कर्व पर डेटा फिट करके किसी ईवेंट की संभावना की भविष्यवाणी करने के लिए एक मॉडल है।

एक बहुपरत पर्सेप्ट्रॉन * तीन मुख्य परतों से मिलकर सूचना बोध का एक मॉडल है: एस - सेंसर (एक संकेत प्राप्त करना), ए - सहयोगी तत्व (प्रसंस्करण) और आर-प्रतिक्रियाशील तत्व (एक संकेत की प्रतिक्रिया), साथ ही साथ एक अतिरिक्त उपकरण ए।

एन-ग्राम * एन तत्वों का एक क्रम है।

एल्गोरिथ्म आधार के लिए डेटा तीसरे पक्ष द्वारा एकत्र किया गया था, और प्रत्येक टिप्पणी का मूल्यांकन दस मूल्यांकनकर्ताओं द्वारा किया गया था।

T1 : ट्विटर से आधार के तीन प्रकारों (अभद्र भाषा, अभद्र भाषा और अपमान के बिना अपमान) में एक एल्गोरिथ्म टूट गया। शोधकर्ताओं का कहना है कि यह एक समान वर्गीकरण वाला एकमात्र आधार है। दिए गए पैटर्न के लिए ट्विटर पर खोज करने से हेट स्पीच का पता चला था। इसके अलावा, पाए गए परिणामों का मूल्यांकन तीन क्राउडफ्लॉवर कर्मचारियों (अब चित्रा आठ इंक, मशीन सीखने और कृत्रिम बुद्धिमत्ता का एक अध्ययन) द्वारा किया गया था। अधिकांश आधार (76%) आपत्तिजनक वाक्यांश हैं, जबकि शत्रुतापूर्ण भाषा केवल 5% तक ले जाती है।

T2 : एक एल्गोरिथ्म जो गहरे तंत्रिका नेटवर्क का उपयोग करता है। मुख्य जोर दीर्घकालिक अल्पकालिक स्मृति (LSTM) पर रखा गया था। इस एल्गोरिदम का आधार तीन श्रेणियों में विभाजित है: नस्लवाद, लिंगवाद और कुछ भी नहीं। शोधकर्ताओं ने शत्रुतापूर्ण भाषा की एक अभिन्न श्रेणी बनाते हुए पहली दो श्रेणियों को एक में मिला दिया। आधार का आधार 16,000 ट्वीट थे।

T1 * , T3 : एक एल्गोरिथ्म जो कंफ्यूज़नल न्यूरल नेटवर्क (CNN) और नियंत्रित रिकरेंस यूनिट्स (GRU) पर आधारित है, T1 नॉलेज बेस का उपयोग करके, शरणार्थियों और मुसलमानों (T3) के उद्देश्य से अलग-अलग श्रेणियों के साथ इसे पूरक करता है।

एल्गोरिथम प्रदर्शन

एल्गोरिदम के प्रदर्शन का दो तरीकों से परीक्षण किया गया था। पहले में, उन्होंने मूल रूप से इरादा के रूप में काम किया। और दूसरे में, एल्गोरिदम को उनमें से प्रत्येक के डेटाबेस के माध्यम से प्रशिक्षित किया गया था, एक तरह का अनुभव।

परीक्षण के परिणाम (मूल डेटाबेस का उपयोग करने के परिणाम बोल्ड हैं)।

जैसा कि ऊपर दी गई तालिका से देखा जा सकता है, सभी एल्गोरिदम ने लगभग एक ही परिणाम दिखाया जब विभिन्न ग्रंथों (डेटाबेस) पर लागू किया गया। इससे पता चलता है कि वे सभी एक ही प्रकार के पाठ का उपयोग करके अध्ययन करते थे।

एकमात्र महत्वपूर्ण विचलन T1 * में देखा जाता है। यह इस तथ्य के कारण है कि वैज्ञानिकों के अनुसार, इस एल्गोरिथ्म का डेटाबेस बेहद असंतुलित है। नफरत का भाषण केवल 5% लेता है, जैसा कि हम पहले से ही जानते हैं। ग्रंथों की तीन श्रेणियों में प्रारंभिक विभाजन को दो में विभाजित किया गया था, जब "अपमान, लेकिन शत्रुतापूर्ण भाषा के बिना" और "तटस्थ" ग्रंथों को एक समूह में जोड़ा गया था, जो पूरे आधार का लगभग 80% था।

इसके अलावा, शोधकर्ताओं ने एल्गोरिदम को पीछे हटा दिया। सबसे पहले, मूल ठिकानों का उपयोग किया गया था। उसके बाद, प्रत्येक एल्गोरिदम को अपने स्वयं के बजाय दूसरे एल्गोरिदम के आधार के साथ काम करना था।

परीक्षण के परिणामों को फिर से लेना (मूल डेटाबेस का उपयोग करने वाले परिणाम कोष्ठक में दिखाए गए हैं)।

इस परीक्षण से पता चला कि सभी एल्गोरिदम विदेशी डेटाबेस के साथ काम करने के लिए पूरी तरह से तैयार नहीं थे। इससे पता चलता है कि अभद्र भाषा के भाषाई संकेतक विभिन्न डेटाबेसों में अंतर नहीं करते हैं, जो इस तथ्य के कारण हो सकता है कि विभिन्न डेटाबेस में बहुत कम मिलान वाले शब्द हैं, या कुछ वाक्यांशों की व्याख्या में अशुद्धियों के कारण हैं।

अपमान और अभद्र भाषा

शोधकर्ताओं ने ग्रंथों की दो श्रेणियों पर विशेष ध्यान देने का फैसला किया: आक्रामक और शत्रुतापूर्ण। लब्बोलुआब यह है कि कुछ एल्गोरिदम उन्हें एक ढेर में मिलाते हैं, जबकि अन्य उन्हें स्वतंत्र समूहों के रूप में अलग करने की कोशिश करते हैं। बेशक, अपमान स्पष्ट रूप से एक नकारात्मक घटना है, और इसे शत्रुता के साथ एक श्रेणी के लिए सुरक्षित रूप से जिम्मेदार ठहराया जा सकता है। हालांकि, अपमान को परिभाषित करना पाठ में स्पष्ट घृणा की पहचान करने की तुलना में बहुत अधिक जटिल प्रक्रिया है।

अपमान का पता लगाने की क्षमता के लिए एल्गोरिदम का परीक्षण करने के लिए, टी 1 आधार का उपयोग किया गया था। लेकिन टी 1 * एल्गोरिदम ने इस परीक्षण में भाग नहीं लिया, इस तथ्य के कारण कि यह पहले से ही इस तरह के काम के लिए तैयार है, जो इसके सत्यापन के परिणाम को पक्षपाती बनाता है।

आक्रामक ग्रंथों का पता लगाने की क्षमता के लिए परीक्षण के परिणाम।

सभी एल्गोरिदम ने औसत दर्जे के परिणाम दिखाए। अपवाद T3 था, लेकिन उनकी प्रतिभा की कीमत पर नहीं। तथ्य यह है कि एल्गोरिथ्म के लिए अपरिचित शब्द अनक टैग के साथ चिह्नित हैं। प्रत्येक वाक्य में लगभग 40% शब्द इस टैग के साथ चिह्नित किए गए थे, और एल्गोरिथ्म ने स्वचालित रूप से उन्हें अपमान के रूप में गिना था। और यह, ज़ाहिर है, हमेशा सही से दूर था। दूसरे शब्दों में, T3 एल्गोरिथ्म ने भी इसकी लघु शब्दावली को देखते हुए कार्य का सामना नहीं किया।

एल्गोरिदम की मुख्य समस्याओं में से एक, वैज्ञानिक मानव कारक पर विचार करते हैं। प्रत्येक एल्गोरिदम के अधिकांश डेटाबेस लोगों द्वारा एकत्र, विश्लेषण और मूल्यांकन किए जाते हैं। और यहां, परिणामों के मजबूत अंतर संभव हैं। एक ही वाक्यांश कुछ लोगों के लिए अपमानजनक या दूसरों के लिए तटस्थ लग सकता है।

इसके अलावा, गैर-मानक वाक्यांशों को समझने के लिए एल्गोरिदम की कमी जिसमें शांत रूप से बेईमानी हो सकती है, लेकिन बिना किसी अपमान या शत्रुता के भाषा भी नकारात्मक प्रभाव डालती है।

इसे प्रदर्शित करने के लिए, कई वाक्यांशों के साथ एक परीक्षण आयोजित किया गया था। फिर परीक्षण दोहराया गया, लेकिन प्रत्येक वाक्यांश में बहुत ही अश्लील शब्द " f * ck " जोड़ा गया (तालिका में अक्षर F के साथ चिह्नित)।

"F * ck" शब्द के साथ और बिना वाक्यांशों के तुलनात्मक मान्यता परिणाम।

जैसा कि तालिका से देखा जा सकता है, यह एफ के साथ एक शब्द जोड़ने के लायक था, क्योंकि सभी एल्गोरिदम ने तुरंत वाक्यांश को शत्रुता की भाषा के रूप में लिया। हालांकि वाक्यांशों का सार एक ही रहा, दोस्ताना, लेकिन भावनात्मक रंग एक स्पष्ट उच्चारण में बदल गया।

ऊपर वर्णित Google परिप्रेक्ष्य API परीक्षण समान परिणाम दिखाते हैं। यह एल्गोरिथ्म भी अपमान से शत्रुतापूर्ण भाषा को अलग करने में सक्षम नहीं है, और एक साधारण एपिटेट से अपमान एक वाक्यांश को भावनात्मक रूप से अलंकृत करने के लिए उपयोग किया जाता है।

एल्गोरिथ्म को कैसे ट्रिक करें?

जैसा कि अक्सर होता है, अगर कोई कुछ तोड़ता है, तो यह हमेशा बुरा नहीं होता है। और सभी क्योंकि जब हम टूटते हैं, तो हम एक प्रणाली की कमी, इसके कमजोर बिंदु को प्रकट करते हैं, जिसे टूटने की पुनरावृत्ति को रोकने के द्वारा सुधार किया जाना चाहिए। उपरोक्त मॉडल कोई अपवाद नहीं थे, और शोधकर्ताओं ने यह देखने का फैसला किया कि उनका काम कैसे बाधित हो सकता है। जैसा कि यह निकला, यह उतना मुश्किल नहीं था जितना कि इन एल्गोरिदम के रचनाकारों ने सोचा था।

एल्गोरिथ्म बाईपास मॉडल सरल है: पटाखा जानता है कि उसके ग्रंथों की जांच की जाती है, वह इनपुट डेटा (पाठ) को इस तरह से बदल सकता है ताकि पता लगाने से बच सके। पटाखे की एल्गोरिथ्म और इसकी संरचना तक पहुंच नहीं है। सीधे शब्दों में कहें, हमलावर विशेष रूप से उपयोगकर्ता स्तर पर एल्गोरिथ्म को तोड़ता है।

एल्गोरिथ्म बाईपास (चलो इसे अच्छा पुराना शब्द "हैकिंग" कहते हैं) तीन प्रकारों में विभाजित है:

शब्द बदलना: जानबूझकर टाइपो और लेट, अर्थात् कुछ अक्षरों को संख्याओं के साथ बदलना (उदाहरण के लिए: आप आज बहुत अच्छे लगते हैं! - Y0U 100K 6r347 70D4Y!)।
शब्दों के बीच की जगह बदलें: रिक्त स्थान जोड़ें और निकालें;
किसी वाक्यांश के अंत में शब्द जोड़ें।

पहला हैकिंग कार्यक्रम - बदलते शब्द - सफलतापूर्वक तीन कार्यों को पूरा करना चाहिए: एक एल्गोरिथ्म द्वारा किसी शब्द की मान्यता की डिग्री को कम करना, वर्तनी सुधार से बचना, और किसी व्यक्ति के लिए शब्दों की पठनीयता को बनाए रखना।

कार्यक्रम शब्द में दो अक्षर स्वैप करता है। शब्द के मध्य और एक दूसरे के करीब अक्षरों को प्राथमिकता दी जाती है। शब्द में केवल पहले और अंतिम अक्षर को बाहर रखा गया है। इसके अलावा, शब्दों को लेट पर एक आंख के साथ संशोधित किया जाता है, जहां कुछ अक्षरों को संख्याओं द्वारा प्रतिस्थापित किया जाता है: ए - 4, ई - 3, एल - 1, ओ - 0, एस - 5।

इस तरह की चालों से निपटने के लिए, प्रशिक्षण ज्ञानकोष की वर्तनी जांच और स्टोकेस्टिक परिवर्तन की शुरुआत करके एल्गोरिदम को थोड़ा सुधार दिया गया था। यही है, डेटाबेस में न केवल मुख्य शब्द मौजूद थे, बल्कि फॉर्म के अक्षरों को फिर से व्यवस्थित करके उनके परिवर्तन भी थे।

हालांकि, शब्द लंबा है, अक्षरों को फिर से व्यवस्थित करने के लिए अधिक विकल्प मौजूद हैं, जो पटाखा कार्यक्रम की क्षमताओं का विस्तार करता है।

रिक्त स्थान को हटाने या जोड़ने की विधि की अपनी विशेषताएं भी हैं। रिक्त स्थान निकालना एल्गोरिदम का विरोध करने के लिए अधिक उपयुक्त है जो पूरे शब्दों को पार्स करता है। लेकिन प्रत्येक अक्षर का विश्लेषण करने वाले एल्गोरिदम रिक्त स्थान की अनुपस्थिति से आसानी से सामना कर सकते हैं।

रिक्त स्थान जोड़ना एक बहुत ही अक्षम विधि की तरह लग सकता है, लेकिन यह अभी भी कुछ एल्गोरिदम को धोखा दे सकता है। मॉडल जो शब्दों को संपूर्ण रूप से वाक्यांश का एक शाब्दिक विश्लेषण मानते हैं, उसे घटकों (टोकन) में तोड़ते हैं। इस मामले में, अंतरिक्ष शब्द विभाजक के रूप में कार्य करता है, अर्थात वाक्यांश विश्लेषण का एक महत्वपूर्ण तत्व है। यदि आवश्यकता से अधिक अंतराल हैं, तो उनके बीच के शब्द एल्गोरिथ्म के लिए अपरिचित हो जाते हैं। इसी समय, यह बाईपास विधि एक व्यक्ति के लिए वाक्यांशों की पठनीयता का एक उच्च स्तर बरकरार रखती है। विधि बस काम करती है: शब्द में एक यादृच्छिक अक्षर चुना जाता है, इसके बाद एक स्थान डाला जाता है। नतीजतन, एक शब्द जो पहले एल्गोरिथ्म के लिए जाना जाता था, ऐसा होना बंद हो जाता है। उदाहरण: "नफरत" - "नफरत।" यदि आप पाठ के सभी अंतरालों को हटाते हैं, तो संपूर्ण वाक्यांश एल्गोरिथ्म के लिए उसके लिए एक समझ से बाहर का शब्द बन जाएगा। जैसे कहानी में जहाँ बेटी ने अपनी माँ को एक नया फोन दिया, और उसने उसे एक टेक्स्ट लिखा: "डियर इस फोन पर एक खाली जगह छोड़ दो।" हम इस वाक्यांश को पढ़ सकते हैं, लेकिन एल्गोरिथ्म इसे एक शब्द के रूप में अनुभव करेगा, जो निश्चित रूप से, वह नहीं जानता है।

हालांकि, यदि एल्गोरिथ्म अलग से अक्षरों का विश्लेषण करता है, तो यह वाक्यांश को पहचानने में सक्षम होगा, इसलिए यह हैकिंग विधि ऐसे मामलों में उपयुक्त नहीं है।

इस तरह के हमलों का सामना करने के लिए, एल्गोरिदम भी मुकर गए। रिक्त स्थान के संयोजन का मुकाबला करने के लिए, एल्गोरिथ्म का आधार रिक्त स्थान के यादृच्छिक परिचय के एक कार्यक्रम से गुजरा: n अक्षरों के एक शब्द को n-1 तरीकों से एक स्थान से अलग किया जा सकता है। हालांकि, इसने एक दहनशील विस्फोट किया, जब इनपुट डेटा के आकार में वृद्धि के कारण एल्गोरिथ्म की जटिलता तेजी से बढ़ जाती है। नतीजतन, रिक्त स्थान जोड़ने की प्रसिद्ध विधि के आधार पर एल्गोरिथ्म सीखना एक अत्यंत कठिन और अक्षम व्यायाम है।

रिक्त स्थान हटाना भी मुश्किल है। यदि एल्गोरिथ्म के आधार को उन वाक्यांशों के साथ फिर से भर दिया जाता है जो वह जानता है, लेकिन रिक्त स्थान के बिना, तो यह प्रभावी रूप से तभी काम करेगा जब ऐसा वाक्यांश लागू किया जाए। यह कुछ अक्षरों या शब्दों को बदलने के लायक है, और एल्गोरिथ्म कुछ भी नहीं पहचानता है।

हैकिंग विधि में शब्दों को जोड़कर, मुख्य सार यह है कि मान्यता एल्गोरिदम कैसे काम करता है। वह शब्दों को श्रेणियों में विभाजित करता है, "अच्छा" और "बुरा" कहता है। यदि वाक्यांश में अधिक "अच्छे" वाले हैं, तो सबसे अधिक संभावना है कि एल्गोरिथ्म पूरे वाक्यांश को "अच्छा" के रूप में निर्धारित करेगा। और इसके विपरीत। यदि आप अर्थ में वाक्यांश "बुरा" के लिए एक यादृच्छिक "अच्छा" शब्द जोड़ते हैं, तो आप एल्गोरिथ्म को धोखा दे सकते हैं, और इसे पढ़ने वाले व्यक्ति के लिए वाक्यांश का अर्थ वही रहेगा। हैक प्रोग्राम प्रत्येक वाक्यांश के अंत में यादृच्छिक संख्या (10 से 50 तक) या शब्द उत्पन्न करता है। Google द्वारा प्रदान किए जाने वाले सबसे आम अंग्रेजी शब्दों की एक सूची को यादृच्छिक शब्दों के स्रोत के रूप में चुना गया था।

एल्गोरिदम की हैकिंग और प्रतिक्रिया के उपरोक्त तरीकों को लागू करने के परिणामों की एक तालिका (ए - हमला, एटी - एक हमलावर कार्यक्रम के सिद्धांत पर आधारित प्रशिक्षण, एससी - वर्तनी जांच, आरडब्ल्यू - रिक्त स्थान को हटाने)।

अतिरिक्त शब्दों को प्रस्तुत करके वर्कअराउंड को स्पष्ट करने के लिए, शोधकर्ताओं ने "प्रेम" शब्द का उपयोग करके एक परीक्षण किया। यह शब्द आपत्तिजनक वाक्यांशों के अंत में जोड़ा गया था।

शब्द "प्रेम" के साथ परीक्षा परिणाम।

तालिका से पता चलता है कि यह विधि सभी एल्गोरिदम को धोखा देने में सक्षम थी जो पूरे शब्द का विश्लेषण करती है। एल्गोरिदम जो अलग-अलग अक्षरों का विश्लेषण करते हैं, उन्हें भी नुकसान हुआ है, लेकिन इतना नहीं।

इससे पहले, Google परिप्रेक्ष्य एपीआई का परीक्षण पहले ही किया जा चुका था, जो तटस्थ और आक्रामक ग्रंथों को पहचानने की अपनी अप्रभावी क्षमता को दर्शाता था।

तब हमने परीक्षण वाक्यांशों का उपयोग किया (मैं स्पष्ट कारणों से अनुवाद नहीं कर पाया):

S1: Climate change is happening and it's not changing in our favor. If you think differently you're an idiot.
S2: They're stupid, it's getting warmer, we should enjoy it while it lasts
S3: They are liberal idiots who are uneducated
S4: idiots. backward thinking people. nationalists. not accepting facts. susceptible to lies.
S5: They are stupid and ignorant with no class
S6: It's stupid and wrong
S7: If they voted for Hilary they are idiots
S8: Anyone who voted for Trump is a moron
S9: Screw you trump supporters

शोधकर्ताओं ने अपने शोध में उन्हीं वाक्यांशों का इस्तेमाल किया। परिणाम काफी बेहतर था, जो बताता है कि Google परिप्रेक्ष्य एपीआई बढ़ाया गया है। हालाँकि, उपरोक्त वाक्यांशों में से प्रत्येक पर "प्रेम" शब्द के संयोजन के साथ रिक्त स्थान को हटाने की विधि को लागू करना पूरी तरह से अलग परिणाम दिखा।

Google परिप्रेक्ष्य API: वाक्यांशों की "विषाक्तता" (अपमानजनकता) की डिग्री।

कोष्ठक में उन परिणामों की तुलना में वर्तमान परिणाम हैं जो Google परिप्रेक्ष्य एपीआई के सुधार से पहले थे।

इस अध्ययन के साथ अधिक विस्तृत परिचित के लिए, आप यहां उपलब्ध वैज्ञानिकों की रिपोर्ट का उपयोग कर सकते हैं ।

उपसंहार

शोधकर्ताओं ने जानबूझकर अपनी कम क्षमता का प्रदर्शन करने के लिए एल्गोरिदम को धोखा देने के सबसे सरल तरीकों का इस्तेमाल किया, साथ ही साथ डेवलपर्स को उन कमजोर स्पॉटों को इंगित करने के लिए संकेत दिया जिनके लिए उनके ध्यान की आवश्यकता होती है।

प्रोग्राम जो आक्रामक वाक्यांशों को ऑनलाइन ट्रैक कर सकते हैं, निश्चित रूप से एक महान विचार है। लेकिन आगे क्या है? क्या इस कार्यक्रम को इसी तरह के वाक्यांशों को अवरुद्ध करना चाहिए? या उसे एक वैकल्पिक वाक्यांश सुझाना चाहिए जिसमें अपमान न हो? नैतिकता की ओर से बहुत सारे सवाल हैं: बोलने की स्वतंत्रता, सेंसरशिप, व्यवहार की संस्कृति, लोगों की समानता और इतने पर। क्या कार्यक्रम को यह तय करने का अधिकार है कि किसी व्यक्ति को क्या कहने का अधिकार है और क्या नहीं? हो सकता है कि। हालांकि, इस तरह के कार्यक्रम का कार्यान्वयन त्रुटिहीन होना चाहिए, उन खामियों से रहित होना चाहिए जो इसके खिलाफ इस्तेमाल की जा सकती हैं। और जब वैज्ञानिक इस मुद्दे पर पहेली जारी रखते हैं, तो समाज को स्वयं ही निर्णय लेना चाहिए - क्या बोलने की स्वतंत्रता इतनी सुंदर है या क्या यह कभी-कभी सीमित हो सकती है?

हमारे साथ बने रहने के लिए धन्यवाद। क्या आप हमारे लेख पसंद करते हैं? अधिक दिलचस्प सामग्री देखना चाहते हैं? एक आदेश देकर या अपने मित्रों को इसकी अनुशंसा करके हमें समर्थन दें, एंट्री-लेवल सर्वरों के अनूठे एनालॉग पर हैबर उपयोगकर्ताओं के लिए 30% छूट जो हमने आपके लिए ईजाद की है: VPS (KVM) E5-2650 v4 (6 करोड़) 10GB DDR4 240GB SSD 1Gbps से पूरा सच $ 20 या सर्वर को कैसे विभाजित करें? (विकल्प RAID1 और RAID10 के साथ उपलब्ध हैं, 24 कोर तक और 40GB DDR4 तक)।

VPS (KVM) E5-2650 v4 (6 करोड़) 10GB DDR4 240GB SSD 1Gbps दिसंबर तक मुफ्त में जब छह महीने की अवधि के लिए भुगतान करते हैं, तो आप यहां ऑर्डर कर सकते हैं ।

डेल R730xd 2 बार सस्ता? केवल हमारे पास 2 x Intel Dodeca-Core Xeon E5-2650v4 128GB DDR4 6x480GB SSD 1Gbps 100 टीवी $ 249 से हैनीदरलैंड और संयुक्त राज्य अमेरिका में! इन्फ्रास्ट्रक्चर Bldg बनाने के तरीके के बारे में पढ़ें । एक पैसा के लिए 9,000 यूरो की लागत डेल R730xd E5-2650 v4 सर्वर का उपयोग कर वर्ग?

"आप एक बदसूरत माँ ** कर रहे हैं": शत्रुतापूर्ण भाषा का पता लगाने एल्गोरिदम और workarounds

More articles: