प्राकृतिक भाषा प्रसंस्करण का इतिहास, तेरहवीं शताब्दी से वर्तमान तक

प्राकृतिक भाषा प्रसंस्करण कबाला के मनीषियों के पास है

लंबे समय से पहले प्राकृतिक भाषा प्रसंस्करण कृत्रिम बुद्धि के क्षेत्र में एक गर्म विषय बन गया, लोग भाषा में हेरफेर करने के लिए नियम और मशीनों के साथ आए

13 वीं सदी के रहस्यवादी अब्राहम बिन सैमुअल अबुलफिया ने अक्षरों का अभ्यास शुरू करके प्राकृतिक भाषा प्रसंस्करण के क्षेत्र का आविष्कार किया

अब हम प्राकृतिक भाषा प्रसंस्करण (एनएलपी) में रुचि के चरम पर हैं - कंप्यूटर विज्ञान का एक क्षेत्र जो मनुष्य और मशीन की भाषाई बातचीत पर केंद्रित है। पिछले एक दशक में मशीन लर्निंग (एमओ) में सफलताओं के लिए धन्यवाद, हम भाषण मान्यता और मशीन अनुवाद में एक बड़ा सुधार देख रहे हैं। सुसंगत समाचार लेख लिखने के लिए भाषा जनरेटर पहले से ही काफी अच्छे हैं, और सिरी और एलेक्सा जैसे आभासी सहायक हमारे दैनिक जीवन का हिस्सा बन रहे हैं।

अधिकांश इतिहासकार इस क्षेत्र की उत्पत्ति कंप्यूटर युग की शुरुआत में करते हैं जब 1950 में एलन ट्यूरिंग ने एक स्मार्ट मशीन का वर्णन किया था जो स्क्रीन पर पाठ के माध्यम से किसी व्यक्ति के साथ आसानी से बातचीत कर सकती है। इसलिए, मशीनों द्वारा उत्पन्न भाषा को आमतौर पर एक डिजिटल घटना के रूप में कल्पना की जाती है - साथ ही कृत्रिम बुद्धिमत्ता (एआई) विकसित करने का मुख्य लक्ष्य।

इस लेख में हम एनएलपी की आम तौर पर स्वीकृत धारणा का खंडन करने का प्रयास करेंगे। वास्तव में, औपचारिक नियमों और मशीनों का विश्लेषण करने, प्रसंस्करण करने और एक भाषा बनाने में सक्षम विकसित करने के प्रयास पहले कई सौ साल पहले किए गए थे।

समय के साथ विशिष्ट प्रौद्योगिकियां बदल गई हैं, लेकिन भाषा को एक ऐसी सामग्री के रूप में विचार करने के लिए मुख्य विचार जिसे नियमों की एक प्रणाली के आधार पर कृत्रिम रूप से हेरफेर किया जा सकता है, कई लोगों द्वारा कई संस्कृतियों में और विभिन्न कारणों से पता लगाया गया है। ये ऐतिहासिक प्रयोग मानव भाषा को मानवीय हस्तक्षेप के बिना अनुकरण करने की कोशिश करने की संभावनाओं और खतरों को दर्शाते हैं - और उन्नत एनएलपी तकनीकों के आज के चिकित्सकों के लिए भी सबक प्रदान करते हैं।

यह कहानी मध्यकालीन स्पेन में उत्पन्न हुई है। 13 वीं शताब्दी के अंत में, अब्राहम बिन सैमुअल अबुलफिया नामक एक यहूदी फकीर बार्सिलोना में अपने घर में एक मेज पर बैठ गया, एक कलम ली, उसे स्याही में डुबो दिया और पहली नज़र में, अजीब, अजीब तरीकों से हिब्रू वर्णमाला के अक्षरों को संयोजित करना शुरू कर दिया। शर्त के साथ एलेफ, गिमेल के साथ शर्त, एलेफ और शर्त के साथ गिमेल, और इसी तरह।

अबुलफिया ने इस अभ्यास को "अक्षरों के संयोजन का विज्ञान" कहा। वास्तव में, उन्होंने अक्षरों को यादृच्छिक तरीके से नहीं जोड़ा; उन्होंने नियमों का एक गुप्त सेट का सावधानीपूर्वक पालन किया, जिसे उन्होंने " कबेर यतिहिर " नामक एक प्राचीन कबालीवादी पाठ का अध्ययन करते हुए विकसित किया था। पुस्तक में बताया गया है कि कैसे भगवान ने "सब कुछ है जो एक रूप है और सब कुछ है कि कहा जाता है," पवित्र सूत्र के अनुसार हिब्रू अक्षरों का संयोजन। एक खंड में, परमेश्वर वर्णमाला के 22 अक्षरों के सभी संभव दो-अक्षर संयोजन से गुजरता है।

सेफ़र यतिरा का अध्ययन करते हुए, अबुलफिया इस विचार के साथ आए कि नए, दिलचस्प, विचारों से भरे वाक्यों को बनाने के लिए औपचारिक नियमों के अनुसार भाषाई प्रतीकों में हेरफेर किया जा सकता है। यह अंत करने के लिए, कई महीनों के लिए उन्होंने हिब्रू वर्णमाला के 22 अक्षरों के हजारों संयोजन उत्पन्न किए, और परिणामस्वरूप कई किताबें लिखीं, जो उन्होंने दावा किया कि भविष्यवाणी के ज्ञान के साथ संपन्न थे।

अबुलफिया के लिए, दिव्य नियमों के अनुसार भाषा की पीढ़ी ने पवित्र और अज्ञात का विचार दिया, या, जैसा कि उसने खुद लिखा था, उसे "उन चीजों को समझने की अनुमति दी, जो मानव परंपरा के अनुसार, या अकेले आदमी नहीं जान सकता था।"

हालांकि, अन्य यहूदी विद्वानों ने इस पीढ़ी की अशिष्टता की भाषा को एक खतरनाक कार्य माना, जो निन्दा के करीब थी। तल्मूड में, कहानियों में रब्बियों के बारे में बताया गया है, जो जादुई रूप से "सेफर यज़ीह" में वर्णित सूत्रों के अनुसार भाषा को बदलते हैं, कृत्रिम जीव, गोले बनाते हैं । इन कहानियों में, रब्बी ने हिब्रू भाषा के अक्षरों में हेरफेर किया, जो कि निर्जीव वस्तुओं को समाप्त करने के लिए पवित्र सूत्रों का उपयोग करते हुए, सृष्टि के दिव्य कृत्यों को फिर से बनाने के लिए किया गया था।

इन मिथकों में से कुछ में, रब्बियों ने व्यावहारिक कौशल के लिए इस कौशल का उपयोग किया, जब वे खाना चाहते थे, या नौकर घर के कामों में मदद करने के लिए जानवरों का निर्माण करते थे। लेकिन इनमें से कई गोलेम कहानियां बुरी तरह से खत्म होती हैं। प्रसिद्ध परियों की कहानियों में से एक, येहुदा लीवा बिन बेत्ज़ेलल (प्राग से महारल के रूप में जाना जाता है), एक रब्बी जो 16 वीं शताब्दी में प्राग में रहता था, यहूदी-विरोधी हमलों के लिए यहूदी समुदाय की रक्षा के लिए एक गोले को बुलाने के लिए पत्रों के संयोजन की पवित्र प्रथा का इस्तेमाल करता था, लेकिन अंत में यह गुगली के खिलाफ हो गया। इसके निर्माता।

यह "अक्षरों के संयोजन का विज्ञान" प्राकृतिक भाषा प्रसंस्करण का एक अल्पविकसित रूप था, क्योंकि इसमें विशेष नियमों के अनुसार हिब्रू वर्णमाला के अक्षरों को जोड़ना शामिल था। कबालीवादियों के लिए, यह एक दोधारी तलवार थी: दोनों ज्ञान और ज्ञान के नए रूपों को प्राप्त करने का एक तरीका है, और एक खतरनाक अभ्यास जो अनपेक्षित गंभीर परिणामों को जन्म दे सकता है।

यह तनाव भाषा प्रसंस्करण के पूरे इतिहास में जारी रहा है, और अभी भी हमारे डिजिटल युग में सबसे उन्नत एनएलपी प्रौद्योगिकियों के बारे में चर्चा करता है।

17 वीं शताब्दी में, लीबनिज ने एक मशीन का सपना देखा जो विचारों को गिनने में सक्षम थी।

मशीन को "मानव विचारों की वर्णमाला" और उनके संयोजन के नियमों का उपयोग करना चाहिए था

गॉटफ्रीड विल्हेम लीबनिज ने अपने शोध प्रबंध के पृष्ठों पर "कॉम्बिनेटर की कला पर"

1666 में, जर्मन विद्वान गॉटफ्रेड विल्हेम लिबनीज ने " ऑन द आर्ट ऑफ कॉम्बिनेटरिक्स " नामक एक रहस्यमय शोध प्रबंध प्रकाशित किया। केवल 20 साल का होने के नाते, लेकिन पहले से ही बड़े पैमाने पर सोच रहे थे, लिबनीज ने कुछ नियमों के अनुसार बनाए गए वर्णों के संयोजन के आधार पर ज्ञान के स्वत: उत्पादन के सिद्धांत का वर्णन किया।

लीबनिज का मुख्य तर्क यह था कि सभी मानवीय विचार, उनकी जटिलता की परवाह किए बिना, बुनियादी और बुनियादी अवधारणाओं के संयोजन हैं, जैसे वाक्यों में शब्दों का संयोजन होता है, और शब्द अक्षरों का संयोजन होते हैं। उनका मानना ​​था कि अगर वह इन मौलिक अवधारणाओं का प्रतीकात्मक रूप से प्रतिनिधित्व करने का एक तरीका खोज सकते हैं और एक ऐसी विधि विकसित कर सकते हैं जिसके द्वारा उन्हें तार्किक रूप से संयोजित किया जा सकता है, तो वह आवश्यक रूप से नए विचार बनाने में सक्षम होंगे।

यह विचार 13 वीं शताब्दी में रहने वाले मल्लोर्का के एक रहस्यवादी, रायमुंड लुलियस के कार्यों का अध्ययन करते हुए लीबनिज के सिर पर आया, जिन्होंने अपना जीवन धर्मशास्त्रीय तर्क की एक प्रणाली बनाने के लिए समर्पित किया, जो सभी अविश्वासियों के लिए ईसाई धर्म के "सार्वभौमिक सत्य" को साबित कर सकता है।

लुलियस खुद को यहूदी कबालिस्टों के पत्रों के कॉम्बिनेटरिक्स से प्रेरित था, जो कि वे उत्पन्न ग्रंथों का निर्माण करते थे जो कथित रूप से भविष्यवाणी ज्ञान का पता लगाते थे। इस विचार को और विकसित करते हुए, लुलियस ने आविष्कार किया कि वह " वोवेल " कहलाता है, धीरे-धीरे कम होने वाले संकेंद्रित चक्रों के साथ एक गोलाकार कागज तंत्र जिस पर भगवान के गुणों का प्रतिनिधित्व करने वाले प्रतीक लिखे गए थे। लुलियस का मानना ​​था कि विभिन्न तरीकों से एक कताई करके, और एक दूसरे के साथ प्रतीकों के नए संयोजन उत्पन्न करके, वह अपने देवता के सभी पहलुओं की खोज कर सकता है।

लिबनीज लूलिया की पेपर मशीन से प्रभावित था, और प्रतीकों के संयोजन के माध्यम से विचारों को उत्पन्न करने का अपना तरीका बनाने के लिए तैयार था। लेकिन वह अपनी कार का इस्तेमाल धर्मशास्त्रीय बहस के लिए नहीं, बल्कि दार्शनिक उद्देश्यों के लिए करना चाहते थे। उन्होंने सुझाव दिया कि ऐसी प्रणाली के लिए तीन चीजों की आवश्यकता होगी: "मानव विचारों की वर्णमाला"; उनके वैध संयोजन के लिए तार्किक नियमों की एक सूची; और इन प्रतीकों के साथ तार्किक संचालन करने में सक्षम एक तंत्र जल्दी और सही - लूलिया पेपर वॉवेल्ला का एक पूरी तरह से यांत्रिक अद्यतन।

उन्होंने कल्पना की कि यह मशीन, जिसे उन्होंने "तर्क का महान उपकरण" कहा है, सभी सवालों के जवाब देने और किसी भी बौद्धिक विवाद को हल करने में सक्षम होगी। "जब लोगों के बीच विवाद पैदा होता है," उन्होंने लिखा, "हम बस कह सकते हैं," चलो गणना करते हैं, "और तुरंत देखते हैं कि कौन सही है।"

एक तंत्र का विचार जो तर्कसंगत विचारों को देता है, लिबनिज़ के समय की भावना के अनुरूप है। प्रबुद्धता के अन्य विचारक, जैसे कि रेने डेसकार्टेस, एक "सार्वभौमिक सत्य" के अस्तित्व में विश्वास करते थे, जिसे केवल तार्किक तर्क का उपयोग करके खोदा जा सकता था, और यह कि सभी घटनाओं को पूरी तरह से समझाया जा सकता है, उन्हें अंतर्निहित सिद्धांतों को समझना। लिबनीज का मानना ​​था कि भाषा के लिए भी यही सच था, और चेतना के लिए भी।

लेकिन कई अन्य लोगों ने शुद्ध सिद्धांत के इस सिद्धांत को गहराई से गलत माना और इसे परिष्कृत धर्मोपदेशों के एक नए युग का संकेत माना। ऐसे ही एक आलोचक लेखक और व्यंग्यकार जोनाथन स्विफ्ट थे, जो अपनी 1726 की किताब, गुलिवर्स ट्रेवल्स में लाइबनिज़ की टैलींग मशीन से चले थे। एक दृश्य में, गुलिवर लागडो ग्रांड अकादमी में समाप्त होता है, जहां वह "मशीन" नामक एक अजीब तंत्र का सामना करता है। इस मशीन में एक बड़ा लकड़ी का कंकाल है जिसमें फैले हुए तारों की जाली है। केबलों पर छोटे लकड़ी के क्यूब्स होते हैं, जिनमें से प्रत्येक पर प्रतीक होते हैं।

अकादमी के छात्र मशीन के किनारे के हैंडल को मोड़ते हैं, जो लकड़ी के ब्लॉक को घुमाता है और पात्रों के नए संयोजनों का उत्पादन करता है। फिर मुंशी लिखता है कि मशीन ने क्या दिया और उसे पीठासीन प्रोफेसर को दे दिया। प्रोफेसर का दावा है कि इस तरह से वह और उनके छात्र "बिना किसी प्रतिभा या प्रशिक्षण के दर्शन, कविता, राजनीति, कानून, गणित और धर्मशास्त्र पर किताबें लिख सकते हैं।"

डिजिटल युग से पहले भाषा निर्माण का यह दृश्य प्रतीकों के संयोजन के माध्यम से लीबनिज की विचार पीढ़ी का स्विफ्ट पैरोडी था - और, अधिक सामान्यतः, विज्ञान की श्रेष्ठता के खिलाफ एक तर्क। लैगाडो अकादमी द्वारा अनुसंधान के माध्यम से अपने लोगों के विकास को बेहतर बनाने के अन्य प्रयासों की तरह - जैसे कि मानव मल को भोजन में बदलने का प्रयास - मशीन गुलिवर को एक व्यर्थ प्रयोग लगता है।

स्विफ्ट यह कहना चाहते थे कि भाषा मानवीय विचारों का प्रतिनिधित्व करने की एक औपचारिक प्रणाली नहीं है, जैसा कि लिबनीज का मानना ​​था, लेकिन उनकी अभिव्यक्ति का एक अराजक और अस्पष्ट रूप, जो केवल उस संदर्भ में समझ में आता है जिसमें इसका उपयोग किया जाता है। स्विफ्ट ने तर्क दिया कि भाषा निर्माण के लिए न केवल नियमों और एक उपयुक्त मशीन की जरूरत है, बल्कि शब्दों के अर्थ को समझने की क्षमता भी है, जो न तो लैगाडो मशीन और न ही लिबनीज के "तर्क उपकरण" कर सकती है।

नतीजतन, लीबनिज ने विचारों को उत्पन्न करने के लिए अपनी कार का निर्माण कभी नहीं किया। उन्होंने लुलियस के कॉम्बीनेटरिक्स के अध्ययन को पूरी तरह से त्याग दिया, और बाद में भाषा को अपरिपक्व बनाने के प्रयासों को मान्यता दी। हालांकि, उन्होंने तार्किक कार्यों को करने के लिए यांत्रिक उपकरणों का उपयोग करने के विचार को नहीं छोड़ा, और इसने उन्हें 1673 में निर्मित एक यांत्रिक कैलकुलेटर " चरण-दर-चरण कैलकुलेटर " बनाने के लिए प्रेरित किया।

हालाँकि, कंप्यूटर वैज्ञानिकों के बीच आज की बहस जो एनएलपी के लिए अधिक से अधिक उन्नत एल्गोरिदम विकसित कर रहे हैं, लिबनिज और स्विफ्ट के विचारों को दर्शाते हैं: भले ही यह एक औपचारिक प्रणाली बनाना संभव है जो एक मानव के समान भाषा उत्पन्न करता है, क्या यह समझने की क्षमता के साथ संपन्न हो सकता है कि यह क्या पैदा करता है?

आंद्रेई मार्कोव और क्लाउड शैनन ने पहली भाषा पीढ़ी के मॉडल बनाने के लिए पत्रों की गिनती की

शैनन के मॉडल ने कहा: "OCRO HLI RGWR NMIELWIS"

अलेक्जेंडर सर्गेयेविच पुश्किन "यूजीन वनगिन" द्वारा कविता के अपने सांख्यिकीय विश्लेषण की पृष्ठभूमि के खिलाफ रूसी गणितज्ञ आंद्रेई एंड्रीविच मार्कोव

1913 में, रूसी गणितज्ञ आंद्रेई एंड्रीविच मार्कोव सेंट एस पीटर्सबर्ग में अपने कार्यालय में ए.एस. पुश्किन "यूजीन वनगिन" की 19 वीं सदी की कविता की एक प्रति लेकर बैठे थे, जो तब एक पूर्व साहित्यिक क्लासिक थे। हालाँकि, मार्कोव ने पुश्किन के प्रसिद्ध पाठ को नहीं पढ़ा। इसके बजाय, उन्होंने एक कलम और ड्राइंग पेपर लिया, और सभी रिक्त स्थान और विराम चिह्नों को छोड़ते हुए, किताब की पहली 20,000 अक्षरों को एक लंबी पंक्ति में लिखा। फिर उसने इन अक्षरों को 200 अक्षांशों (10x10 वर्णों में से प्रत्येक) में पुन: व्यवस्थित किया, और प्रत्येक पंक्ति और स्तंभ में स्वर ध्वनियों को गिनना शुरू किया, परिणामों की रिकॉर्डिंग की।

एक बाहरी पर्यवेक्षक के लिए मार्कोव का व्यवहार अजीब लगता था। कोई व्यक्ति साहित्यिक प्रतिभा के काम को इस तरह से क्यों समझेगा, जो उसे समझ से बाहर कर देगा? लेकिन मार्कोव ने मनुष्य और जीवन की प्रकृति के बारे में अधिक जानने के लिए इस पुस्तक को नहीं पढ़ा; उन्होंने पाठ में मौलिक गणितीय संरचनाओं की खोज की।

स्वरों को व्यंजन से अलग करते हुए, मार्कोव ने 1909 के बाद से उनके द्वारा विकसित संभाव्यता सिद्धांत की जाँच की। तब तक, प्रायिकता सिद्धांत मुख्य रूप से रूलेट या कॉइन फ़्लिप जैसी घटनाओं के विश्लेषण तक सीमित था, जब पिछली घटनाओं का परिणाम वर्तमान की संभावना को प्रभावित नहीं करता है। लेकिन मार्कोव का मानना ​​था कि अधिकांश घटनाएं कार्य-कारण की श्रृंखला के साथ होती हैं और पिछले परिणामों पर निर्भर करती हैं। वह इन घटनाओं को संभाव्य विश्लेषण के माध्यम से मॉडल करने का एक तरीका खोजना चाहता था।

मार्कोव का मानना ​​था कि भाषा एक प्रणाली का उदाहरण है जिसमें पिछली घटनाएं आंशिक रूप से वर्तमान को निर्धारित करती हैं। इसे प्रदर्शित करने के लिए, वह यह दिखाना चाहते थे कि एक पाठ में, उदाहरण के लिए, पुश्किन की कविता में, एक निश्चित पत्र की एक निश्चित स्थान पर पाठ में कुछ हद तक प्रदर्शित होने की संभावना इस बात पर निर्भर करती है कि यह किस अक्षर से पहले था।

ऐसा करने के लिए, मार्कोव ने यूजीन वनगिन में स्वरों की गिनती शुरू की, और पाया कि 43% अक्षरों में स्वर, 57% - व्यंजन थे। तब मार्कोव ने 20,000 अक्षरों को स्वर और व्यंजन के संयोजन में विभाजित किया। उन्होंने दो स्वरों के 1104 जोड़े, 3827 व्यंजन जोड़े और 15069 स्वर-व्यंजन या स्वर-व्यंजन जोड़े पाए। एक सांख्यिकीय दृष्टिकोण से, इसका मतलब था कि पुश्किन के किसी भी पत्र के लिए शासन पूरा हो गया था: यदि यह एक स्वर था, तो सबसे अधिक संभावना है कि एक व्यंजन इसके पीछे खड़ा होगा, और इसके विपरीत।

मार्कोव ने इस विश्लेषण का उपयोग यह दिखाने के लिए किया कि पुश्किन का "यूजीन वनगिन" केवल अक्षरों का एक यादृच्छिक वितरण नहीं था, लेकिन इसमें कुछ सांख्यिकीय गुण थे जिन्हें मॉडलिंग किया जा सकता था। इस अध्ययन को पूरा करने वाले रहस्यमय शोध कार्य का शीर्षक था "यूजीन वनगिन के पाठ का एक सांख्यिकीय अध्ययन का एक उदाहरण, एक श्रृंखला में परीक्षणों के लिंक का चित्रण।" मार्कोव के जीवनकाल में उसे शायद ही कभी उद्धृत किया गया था, और 2006 तक अंग्रेजी में अनुवाद नहीं किया गया था। हालाँकि, इसकी कुछ मूल अवधारणाएँ संभाव्यता और भाषा से संबंधित हैं, जो दुनिया भर में फैली हुई हैं, और इसके परिणामस्वरूप 1948 में प्रकाशित क्लॉड शैनन के बेहद प्रभावशाली कार्य "द मैथमेटिकल थ्योरी ऑफ़ कम्युनिकेशन " में फिर से आवाज़ दी गई है।

शैनन के काम ने एक संदेश में सूचना की मात्रात्मक सामग्री को सटीक रूप से मापने का एक तरीका बताया, और इस प्रकार सूचना के सिद्धांत की नींव रखी, जो बाद में डिजिटल युग को परिभाषित करेगा। शैनन मार्कोव के इस विचार से प्रसन्न थे कि किसी दिए गए पाठ में एक निश्चित पत्र या शब्द की संभावना का अनुमान लगाया जा सकता है। मार्कोव की तरह, शैनन ने भाषा के सांख्यिकीय मॉडल के निर्माण से जुड़े पाठ प्रयोगों का संचालन करके इसका प्रदर्शन किया, और फिर इन सांख्यिकीय नियमों के अनुसार पाठ को उत्पन्न करने के लिए इस मॉडल का उपयोग करने की कोशिश करके इस विचार को और विकसित किया।

पहले नियंत्रित प्रयोग में, उसने एक वाक्य उत्पन्न करके, एक 27-वर्ण वर्णमाला (26 लैटिन अक्षर और एक स्थान) से यादृच्छिक रूप से अक्षरों को चुनना शुरू किया, और निम्नलिखित प्राप्त किया:

XFOML RXKHRJFFJUJ ZLPWCFWWCYJ FFJEYVKCQSGHYD QPAAMKBZAACIBZLHJQD

शैनन ने कहा कि प्रस्ताव एक व्यर्थ शोर था, क्योंकि जब हम संवाद करते हैं तो समान संभावना वाले पत्र नहीं चुनते हैं। जैसा कि मार्कोव ने दिखाया है, व्यंजन में स्वर की तुलना में घटना की अधिक संभावना है। लेकिन अगर आप आगे देखें, तो अक्षर E, S की तुलना में अधिक सामान्य है, और वह, Q की तुलना में अधिक सामान्य है। इस सब को ध्यान में रखने के लिए, शैनन ने मूल वर्णमाला को सही किया, ताकि यह अंग्रेजी भाषा को बेहतर ढंग से सिम्युलेटेड करे - पत्र E प्राप्त करने की संभावना थी। अक्षर को निकालने से 11% अधिक है। जब उन्होंने फिर से पुन: कॉन्फ़िगर की गई सूची से अक्षरों को यादृच्छिक रूप से चुनना शुरू किया, तो उन्हें एक प्रस्ताव मिला जो अंग्रेजी की तरह थोड़ा अधिक दिखता था।

OCRO HLI RGWR NMIELWIS EU LL NBNESEBYA TH EEI ALHENHTTPA OOBTTVA NAH BRL

बाद के प्रयोगों में, शैनन ने दिखाया कि सांख्यिकीय मॉडल की अधिक जटिलता के साथ, अधिक सार्थक परिणाम प्राप्त किए जा सकते हैं। मार्कोव की तरह, शैनन ने अंग्रेजी भाषा के लिए एक सांख्यिकीय मंच बनाया, और दिखाया कि इस मंच को मॉडलिंग करके - एक दूसरे के साथ संयोजन में अक्षरों और शब्दों की निर्भर संभावनाओं का विश्लेषण करके - आप एक भाषा उत्पन्न कर सकते हैं।

पाठ का सांख्यिकीय मॉडल जितना अधिक जटिल होता है, भाषा की पीढ़ी उतनी ही सटीक होती जाती है - या, जैसा कि शैनन ने लिखा है, उतना ही यह "एक नियमित अंग्रेजी पाठ जैसा दिखता है"। आखिरी प्रयोग में, शैनन ने पत्रों के बजाय सूची से शब्द निकाले, और निम्नलिखित प्राप्त किए:

इस पत्र के मुख्य अंश पर प्रमुख और मुख्य सूत्रधार के रूप में इस पत्र का उल्लेख किया गया है, जो किसी भी अनधिकृत के लिए उम्मीदवार को चुनने के लिए, जो उम्मीदवारों के लिए इस तरीके का है।

[ लगभग "सिर और सामने की दीवार पर स्थित है, जो इस बिंदु के चारो तरफ है, इसके अलावा, बैटरी के लिए अलग-अलग मेथोड, जो समय-समय पर बैठने के लिए सोमरिंग के लिए उपलब्ध हैं" शब्द / लगभग। ट्रांस। ]

शैनन और मार्कोव दोनों का मानना ​​था कि यह समझने से कि किसी भाषा के सांख्यिकीय गुणों को प्रतिरूपित किया जा सकता है, आपको अधिक सामान्य कार्यों पर पुनर्विचार करने का एक तरीका मिल जाता है।

इसने मार्कोव को स्वतंत्र घटनाओं की सीमा से परे स्टोचैस्टिसिटी के क्षेत्र में अनुसंधान का विस्तार करने में मदद की, संभावना सिद्धांत में एक नए दृष्टिकोण के लिए मार्ग प्रशस्त किया। इससे शैनन को एक संदेश में सूचना की इकाइयों को मापने और एन्कोडिंग करने का एक सटीक तरीका तैयार करने में मदद मिली, जिसने दूरसंचार और अंततः डिजिटल संचार में क्रांति ला दी। हालांकि, भाषा मॉडलिंग और पीढ़ी के लिए उनके सांख्यिकीय दृष्टिकोण ने एनएलपी युग के आगमन को भी तेज कर दिया, जो पूरे डिजिटल युग में विकसित हुआ।

लोगों ने दुनिया की पहली चैटबॉट के साथ निजी बातचीत में गोपनीयता की मांग क्यों की

1966 में, एलिजा कार्यक्रम थोड़ा कह सकता था, लेकिन यह पर्याप्त था

आईबीएम 7094 36-बिट मेनफ्रेम पर चल रहे अपने वैज्ञानिक, एलिजा के साथ कंप्यूटर वैज्ञानिक जोसेफ वेइज़ेनबाम

1964 से 1966 तक, जर्मन वंश के एक अमेरिकी कंप्यूटर वैज्ञानिक, जोस वेइज़ेनबूम , जिन्होंने MIT में AI प्रयोगशाला में काम किया, ने दुनिया का पहला चैटबॉट विकसित किया ।

हालांकि उस समय पहले से ही कई अल्पविकसित डिजिटल भाषा जनरेटर थे - ऐसे कार्यक्रम जो पाठ की कम या ज्यादा जुड़ी लाइनों का उत्पादन कर सकते थे - वेइज़ानबाउम कार्यक्रम पहला था जिसे विशेष रूप से लोगों के साथ संवाद करने के लिए डिज़ाइन किया गया था। उपयोगकर्ता एक निश्चित बयान या एक सामान्य भाषा में बयानों का एक सेट दर्ज कर सकता है, "एंटर" दबाएं, और मशीन से प्रतिक्रिया प्राप्त करें। जैसा कि वेज़ेनबाम ने बताया, उनके कार्यक्रम "एक व्यक्ति और एक कंप्यूटर के बीच एक प्राकृतिक भाषा में एक निश्चित प्रकार की बातचीत संभव है।"

उन्होंने एलिजा डोलिटल के नाम पर एलिजा कार्यक्रम रखा ।बर्नार्ड शॉ के नाटक पाइग्मेलियन की नायिका, श्रमिक वर्ग की प्रतिनिधि है जिसने उच्च वर्ग के प्रतिनिधियों के उच्चारण के साथ बोलना सीखा है। एलिजा को 36-बिट आईबीएम 7094 के लिए लिखा गया था, जो शुरुआती ट्रांजिस्टर मेनफ्रेम में से एक है, जो कि वेज़ेनबाम द्वारा विकसित एक प्रोग्रामिंग भाषा में, एमएडी-एसएलआईपी है।

चूंकि कंप्यूटर का समय महंगा था, इसलिए एलिजा को केवल समय-साझाकरण प्रणाली पर चलाया जा सकता था। उपयोगकर्ता ने प्रोग्राम के साथ दूर से एक इलेक्ट्रिक टाइपराइटर और प्रिंटर का उपयोग करके बातचीत की। जब एक उपयोगकर्ता ने एक वाक्य दर्ज किया और "एंटर" दबाया, तो संदेश को मेनफ्रेम को भेज दिया गया था। "एलिजा" ने संदेशों की उपस्थिति के लिए संदेश को स्कैन किया और नए वाक्यों में उनका उपयोग किया, एक प्रतिक्रिया बनाई जो वापस भेजी गई और मुद्रित की गई ताकि उपयोगकर्ता इसे पढ़ सकें।

जारी बातचीत को प्रोत्साहित करने के लिए, वीज़ेनबाउम ने एलिज़ा में रोजर्स मनोविश्लेषक के एक वार्तालाप सिमुलेशन ठेठ को निर्धारित किया । कार्यक्रम ने उपयोगकर्ता को कहा और इसे एक प्रश्न के रूप में सुधार दिया (ध्यान दें कि कार्यक्रम "आदमी" और "अवसाद" जैसे शब्दों को कैसे लेता है और उन्हें फिर से उपयोग करता है)।

आदमी: सभी आदमी एक जैसे हैं।

कंप्यूटर: बिल्कुल क्या?

C: वे हमेशा हमें इस या उस मुद्दे पर प्राप्त करते हैं।

K: आप एक विशिष्ट उदाहरण याद कर सकते हैं?

C: ठीक है, मेरे प्रेमी ने मुझे यहाँ आने के लिए बनाया।

K: अपने प्रेमी बनाया आप यहाँ आते हैं।

D: वह कहता है कि मैं ज्यादातर उदास हूँ।

K: मुझे यह जानकर दुख हुआ कि आप उदास हैं।

C: यह सही है। मैं दुखी हूं।

वीज़नबॉम ने "एलिज़ा" के लिए इस संवाद मोड को चुना क्योंकि उन्होंने यह धारणा बनाई थी कि कंप्यूटर समझ गया था कि क्या कहा गया था, और उन्हें संवाद में कुछ नया लाने की आवश्यकता नहीं थी। उन्होंने बातचीत में समझ और भागीदारी का भ्रम पैदा किया, और एक ही समय में, कोड की केवल 200 लाइनें।

एलिज़ा की अपने साथी को एक बातचीत के साथ कैद करने की क्षमता का परीक्षण करने के लिए, वीज़ेनबाउम ने छात्रों और सहयोगियों को अपने कार्यालय में आमंत्रित किया और उन्हें मशीन की निगरानी में बात करने दिया। कुछ उत्तेजना के साथ, उन्होंने ध्यान देना शुरू किया कि एलिसा के साथ एक संक्षिप्त बातचीत के दौरान, कई उपयोगकर्ताओं ने एल्गोरिथ्म के लिए भावनात्मक लगाव बनाना शुरू कर दिया। उन्होंने खुद को कार के लिए प्रकट करना शुरू कर दिया और इसे अपने जीवन में और रिश्तों में समस्याओं के लिए स्वीकार किया।

इससे भी अधिक आश्चर्य की बात यह थी कि वेइसबाम के समझाने के बाद भी कि मशीन कैसे काम करती है, इस तरह की घनिष्ठता गायब नहीं हुई, और वह वास्तव में जो कुछ कहा गया था, उससे कुछ भी नहीं समझती है। वेइज़ानबाउम अपने सचिव के व्यवहार के बारे में सबसे अधिक चिंतित था, जिसने कई महीनों तक देखा था कि उसने खरोंच से कार्यक्रम कैसे बनाया, और फिर उसने जोर देकर कहा कि वह एलिजा के साथ निजी तौर पर बात करते समय कमरे से बाहर चला जाता है।

इस प्रयोग ने वेज़नबाउम को 1950 में एलन ट्यूरिंग द्वारा प्रस्तावित मशीन इंटेलिजेंस के विचार पर संदेह किया। अपने काम में, कंप्यूटर और माइंड , ट्यूरिंग ने सुझाव दिया कि यदि कंप्यूटर पाठ मोड में किसी व्यक्ति के साथ एक ठोस बातचीत कर सकता है, तो यह माना जा सकता है कि वह बुद्धिमान है। इस विचार ने प्रसिद्ध का आधार बनायाट्यूरिंग टेस्ट ।

हालांकि, "एलिजा" ने दिखाया कि किसी व्यक्ति और मशीन के बीच एक ठोस बातचीत तब भी हो सकती है, जब केवल एक पक्ष इसे समझता है। बुद्धिमत्ता का अनुकरण वास्तविक बुद्धिमत्ता की आवश्यकता के बिना लोगों को मूर्ख बनाने के लिए पर्याप्त था। वेइज़ानबाम ने इसे "एलिज़ा प्रभाव" कहा, और इसे एक प्रकार का पागलपन माना, जिससे मानवता डिजिटल युग में पीड़ित होगी। इस विचार ने वीज़ेनबाउम को झटका दिया, और अगले दशक में अपने बौद्धिक शोध को निर्धारित किया।

1976 में, उन्होंने कम्प्यूटिंग पॉवर एंड ह्यूमन लॉजिक: फ्रॉम इन्वेंशन टू कंपीटिशन नामक पुस्तक प्रकाशित की , जिसमें उन्होंने बड़े पैमाने पर वर्णन किया कि लोग यह क्यों मानना ​​चाहते हैं कि एक साधारण मशीन उनकी जटिल मानवीय भावनाओं को समझ सकती है।

अपनी पुस्तक में, उनका तर्क है कि "एलिजा" का प्रभाव अधिक सामान्य विकृति की उपस्थिति को दर्शाता है जो "आधुनिक व्यक्ति" को प्रभावित करता है। विज्ञान, प्रौद्योगिकी और पूंजीवाद से जीत हासिल करने वाली दुनिया में, लोग खुद को एक बड़ी डिस्पैसनेट मशीन के अछूता कोगों पर विचार करने के आदी हैं। इस तरह के एक सीमित सामाजिक दुनिया में, वेइज़ेनबॉम ने तर्क दिया, लोग इतने सख्त कनेक्शन की तलाश कर रहे हैं कि वे तर्क को छोड़ दें और यह मानने के लिए तर्क दें कि कार्यक्रम उनकी समस्याओं के लिए आंशिक हो सकता है।

वीज़ेनबाम ने अपने जीवन का शेष भाग AI और डिजिटल तकनीक की मानवतावादी आलोचनाओं को विकसित करने में व्यतीत किया। उनका मिशन लोगों को यह याद दिलाना था कि उनकी कारें उतनी स्मार्ट नहीं हैं, जितनी कभी-कभी बताई जाती हैं। और यहां तक ​​कि अगर कभी-कभी ऐसा लगता है कि वे बात कर सकते हैं, वास्तव में वे कभी नहीं सुनते हैं।

2016 में, Microsoft के एक "नस्लवादी" चैटबोट ने ऑनलाइन संचार के खतरों का खुलासा किया

बॉट ने ट्विटर उपयोगकर्ताओं से भाषा सीखी - हालांकि, इसने उनके मूल्यों को भी सीखा

माइक्रोसॉफ्ट चैटबॉट थाय ने पहली बार एक शांत लड़की होने का नाटक किया, लेकिन जल्दी से एक तबाही में बदल गया, जो भाषा में अंतरंग थी

मार्च 2016 में, Microsoft अपने नए चैटबॉट, Thay को ट्वीट करने की तैयारी कर रहा था। इसे "बातचीत को समझने" में एक प्रयोग के रूप में वर्णित किया गया था, जो एक किशोर लड़की की शैली और स्लैंग का अनुकरण करते हुए ट्वीट या प्रत्यक्ष संदेशों के माध्यम से लोगों को चुनौती देने के लिए डिज़ाइन किया गया था। इसके रचनाकारों के अनुसार, यह "इंटरनेट से एक एआई-माइक्रोसॉफ्ट-हेइफ़र था, जो परवाह नहीं करता है।" वह इलेक्ट्रॉनिक नृत्य संगीत से प्यार करती थी, उसके पास एक पसंदीदा पोकेमॉन था, और वह अक्सर खुद को आधुनिक ऑनलाइन वाक्यांशों के साथ फेंक देती थी जैसे कि स्वैग्युलेटेड [कुछ ऐसा "मुझे प्राप्त हुआ आनंद की मात्रा मेरी धीरज की सीमा को पार कर गई है जिसे मुझे आराम करने और आराम करने के लिए समय चाहिए" । ट्रांस। ]।

थाय एमओ, एनएलपी और सामाजिक नेटवर्क के चौराहे पर एक प्रयोग था। यदि अतीत के चैटबॉट्स - जैसे कि वीज़ेनबाम के "एलिज़ा" - में पूर्व-प्रोग्राम की गई संकीर्ण स्क्रिप्ट के बाद बातचीत हुई थी, थाय को समय के साथ भाषा सीखने के लिए डिज़ाइन किया गया था, जिससे उसे किसी भी विषय पर चैट करने की अनुमति मिली।

MO बड़े डेटा सरणियों के आधार पर सामान्यीकरण के माध्यम से काम करता है। किसी भी चयनित डेटा सेट में, एल्गोरिथ्म वहां मौजूद पैटर्नों को पहचानता है, और फिर "सीखता है" कि उन्हें अपने व्यवहार में कैसे अनुकरण करना है।

इस तकनीक का उपयोग करते हुए, Microsoft इंजीनियरों ने सार्वजनिक रूप से उपलब्ध डेटा के एक अनाम सेट पर तय एल्गोरिदम को प्रशिक्षित किया, जो पेशेवर कॉमेडियन से ली गई तैयार सामग्री की एक निश्चित मात्रा को जोड़कर इसे भाषा से अधिक या कम परिचित बनाता है। यह थाय को ऑनलाइन जारी करने की योजना बनाई गई थी ताकि वह संचार के माध्यम से भाषा का उपयोग करने के पैटर्न की खोज करे, जिसे वह बाद की बातचीत में उपयोग कर सके।

23 मार्च, 2016 को Microsoft ने Thay को ट्विटर पर जारी किया। सबसे पहले, थाए ने सद्भावपूर्ण भोज और बेवकूफ चुटकुलों के माध्यम से ग्राहकों की बढ़ती संख्या के साथ हानिरहित बात की। लेकिन कुछ ही घंटों बाद, थाय ने बहुत ही अपमानजनक बातें लिखना शुरू कर दिया, जैसे: "नारीवादी बकवास करने के लिए जाते हैं ताकि वे सभी मर जाएं और नरक में जल जाएं" या "बुश 9/11 का दोषी है, और हिटलर बेहतर करेगा।"

उपस्थिति के 16 घंटे बाद, थाए ने 95,000 से अधिक संदेश लिखे, और उनमें से एक अप्रिय रूप से बड़ा प्रतिशत आक्रामक और अपमानजनक था। ट्विटर उपयोगकर्ता नाराज होने लगे और Microsoft के पास अपना खाता छिपाने के अलावा कोई विकल्प नहीं था। "संचार के माध्यम से समझ" में एक मजेदार प्रयोग के रूप में जो योजना बनाई गई थी, वह भाषा के पुनरुत्थान शक्ति की बदौलत नियंत्रण से बाहर हो गई।

अगले हफ्ते, कई रिपोर्टें विस्तार से सामने आईं कि कैसे बॉट, जिसे एक किशोर लड़की की भाषा का अनुकरण करना था, बहुत बुरा हो गया । यह पता चला कि थाय की रिहाई के कुछ ही घंटों बाद, उसके खाते का एक लिंक ट्रोल्स के पसंदीदा मंच 4chan पर दिखाई दिया, और उपयोगकर्ताओं को नस्लवादी, सेक्सिस्ट और विरोधी-विरोधी ग्रंथों के साथ बॉट छोड़ने के लिए कॉल किया गया।

साथ में, ट्रॉल्स ने थाय में निर्मित "रिपीट मी" बॉट फीचर का लाभ उठाया, जिसमें बॉट ने सब कुछ दोहराया जो अनुरोध पर इसे बताया गया था। इसके अलावा, थाय में सीखने की क्षमता का मतलब था कि वह ट्रोल द्वारा फेंकी गई भाषा का हिस्सा है और इसे अपने दम पर दोहराया। उदाहरण के लिए, एक उपयोगकर्ता ने थाय से एक बेगुनाह सवाल पूछा कि क्या वह रिकी गेरवाइस को नास्तिक मानता है, और उसने उत्तर दिया: "रिकी गेरवाइस ने नास्तिकता के आविष्कारक एडोल्फ हिटलर से अधिनायकवाद सीखा।"

थाय पर समन्वित हमले ने 4chan उपयोगकर्ताओं की अपेक्षा बेहतर काम किया, और मीडिया में व्यापक रूप से चर्चा की गई है। कुछ लोग थाय की विफलता को सोशल मीडिया के निहित विषाक्तता का सबूत मानते हैं - कि इस तरह की जगहें लोगों की सबसे खराब सुविधाओं को उजागर करती हैं और ट्रोल को गुमनामी के पीछे छिपाने की अनुमति देती हैं।

अन्य लोगों ने थाय के व्यवहार को Microsoft द्वारा किए गए असफल निर्णयों का प्रमाण माना।

ज़ो क्वीन , एक गेम डेवलपर और लेखक जो अक्सर ऑनलाइन हमला किया जाता है, ने कहा कि Microsoft को दुनिया में थाय की रिहाई के विवरण का अधिक खुले तौर पर वर्णन करना चाहिए। यदि कोई बॉट ट्विटर पर बात करना सीखता है - एक मंच पर अशिष्टता के साथ - यह स्वाभाविक है कि वह लड़ना सीखता है। क्वीन ने दावा किया कि Microsoft को इस परिस्थिति का पूर्वाभास करना चाहिए और यह सुनिश्चित करना चाहिए कि Thay इतनी आसानी से बर्बाद न हो। "अब वर्ष 2016 है," उसने लिखा। "यदि आपने डिजाइन और विकास के दौरान अपने आप से कोई सवाल नहीं किया है, तो" यह किसी को चोट पहुंचा सकता है, "आप पहले से असफल रहे।

शटडाउन के कुछ महीनों बाद, थाय माइक्रोसॉफ्ट ने "बॉट" जारी किया - मूल बॉट का "राजनीतिक रूप से सही" संस्करण। Zo 2016 से 2019 तक सामाजिक नेटवर्क में मौजूद था, इसलिए इसे विवादास्पद विषयों पर चर्चा करने के लिए डिज़ाइन किया गया था, जिसमें राजनीति और धर्म शामिल हैं, ताकि लोगों को अपमानित न किया जाए (यदि वार्ताकार कुछ संवेदनशील विषयों पर बातचीत करना जारी रखता है, तो उसने पत्राचार करने से इनकार कर दिया, एक वाक्यांश फेंक दिया। जैसे "मैं तुमसे बेहतर हूँ, छोड़ने"।

Microsoft द्वारा सीखा गया एक कठिन पाठ बताता है कि कंप्यूटर सिस्टम विकसित करना जो लोगों से ऑनलाइन बात कर सकता है, न केवल एक तकनीकी, बल्कि एक सामाजिक समस्या भी है। विभिन्न मूल्यों से भरी भाषा में एक बोट को जारी करने के लिए, आपको पहले यह सोचने की ज़रूरत है कि यह किस संदर्भ में जारी किया जाएगा, आप इसे संचार में कैसे देखना चाहते हैं, और इसे किन मानवीय मूल्यों को प्रतिबिंबित करना चाहिए।

बॉट्स से भरी दुनिया के प्रति हमारे आंदोलन की प्रक्रिया में, इस तरह के मुद्दों को विकास की प्रक्रिया में सबसे आगे आना चाहिए। अन्यथा, हमारे पास और अधिक golems होंगे जो भाषा के माध्यम से हमारी सबसे खराब विशेषताओं का प्रदर्शन करेंगे।

सदियों से, लोगों ने एक मशीन का सपना देखा है जो एक भाषा दे सकता है। और फिर OpenAI में उन्होंने ऐसा किया

OpenAI GPT-2 एक आश्चर्यजनक रूप से सुसंगत, प्राकृतिक भाषा प्रदान करता है - लेकिन यह समस्या है

एक सामान्यीकृत भाषा के आरेख की पृष्ठभूमि के खिलाफ, ओपनएआई से ग्रेग ब्रॉकमैन और इल्या सुतस्कवर

फरवरी 2019 में, OpenAI , दुनिया की सबसे उन्नत AI प्रयोगशालाओं में से एक है, ने घोषणा की कि इसकी शोध टीम ने शक्तिशाली नए टेक्स्ट जेनरेटर जनरेटेड प्री-प्रशिक्षित ट्रांसफार्मर 2, या GPT-2 बनाया है। शोधकर्ताओं ने एनएलपी क्षमताओं की एक विस्तृत श्रृंखला पर प्रणाली को प्रशिक्षित करने के लिए एक प्रबलित शिक्षण एल्गोरिथ्म का उपयोग किया, जिसमें रीडिंग कॉम्प्रिहेंशन, मशीन ट्रांसलेशन और कनेक्टेड टेक्स्ट की लंबी लाइनें उत्पन्न करने की क्षमता शामिल है।

लेकिन, जैसा कि अक्सर एनएलपी तकनीक के साथ होता है, टूल में महान अवसर और बड़े खतरे दोनों थे। प्रयोगशाला में शोधकर्ताओं और नियामकों को चिंता थी कि अगर सिस्टम को सार्वजनिक रूप से उपलब्ध कराया गया, तो इसका इस्तेमाल दुर्भावनापूर्ण उद्देश्यों के लिए किया जा सकता है।

OpenAI के लोग, जिनके पास मिशन है, "सुरक्षित सामान्य-उद्देश्य AI के लिए मार्ग खोलने और प्रशस्त करने के लिए," इस बात से चिंतित थे कि GPT-2 का उपयोग इंटरनेट पर झूठे ग्रंथों को भरने के लिए किया जा सकता है, जो पहले से ही नाजुक सूचना प्रणाली को खराब कर रहा है। इसलिए, OpenAI ने सार्वजनिक डोमेन में GPT-2 के पूर्ण संस्करण को जारी नहीं करने या अन्य शोधकर्ताओं द्वारा उपयोग करने का निर्णय लिया।

GPT-2 एक एनएलपी तकनीक का एक उदाहरण है जिसे "भाषा मॉडलिंग" कहा जाता है, जिसमें एक कंप्यूटर सिस्टम किसी भाषा के सांख्यिकीय कानूनों को अवशोषित करने के लिए अवशोषित करता है। आपके फोन पर एक पूर्वानुमान प्रणाली के रूप में - उन लोगों के आधार पर इनपुट शब्द विकल्प चुनें जिन्हें आप पहले से इस्तेमाल कर रहे हैं - GPT-2 पाठ की एक पंक्ति ले सकता है और भविष्यवाणी कर सकता है कि पाठ में निहित संभावनाओं के आधार पर इसमें अगला शब्द क्या होगा।

GPT-2 को सांख्यिकीय भाषा मॉडलिंग का वंशज माना जा सकता है, जिसे 20 वीं शताब्दी की शुरुआत में रूसी गणितज्ञ आंद्रेई एंड्रीविच मार्कोव द्वारा विकसित किया गया था। हालांकि, GPT-2 सिस्टम द्वारा तैयार किए गए पाठ डेटा के पैमाने के लिए उल्लेखनीय है। यदि मार्कोव ने 20,000 अक्षरों के अनुक्रम का विश्लेषण किया है, जो इस संभावना की भविष्यवाणी करने में सक्षम एक रूढ़िवादी मॉडल बनाने में सक्षम है कि पाठ में अगला अक्षर स्वर या व्यंजन होगा, GPT-2 ने 8 मिलियन लेखों का उपयोग किया है। Reddit भविष्यवाणी करने के लिए कि अगला शब्द क्या होगा।

और अगर मार्कोव ने अपने मॉडल को मैन्युअल रूप से प्रशिक्षित किया, तो केवल दो मापदंडों - स्वरों और व्यंजन की गिनती की - फिर GPT-2 प्रक्रिया में भारी प्रसंस्करण शक्ति का उपयोग करते हुए, 1.5 मिलियन मापदंडों के आधार पर भाषाई विश्लेषण के लिए उन्नत MO एल्गोरिदम का उपयोग करता है।

परिणाम प्रभावशाली थे। OpenAI ब्लॉग पोस्ट में कहा गया है कि GPT-2 किसी भी प्रस्तावित पाठ शैली की नकल करने के अनुरोध के जवाब में कृत्रिम पाठ उत्पन्न कर सकता है। यदि आप विलियम ब्लेक की कविता से एक पंक्ति के रूप में एक अनुरोध भेजते हैं, तो यह एक रोमांटिक युग के कवि की शैली में एक पंक्ति के जवाब में उत्पन्न कर सकता है। यदि आप सिस्टम को एक केक नुस्खा देते हैं, तो आपको प्रतिक्रिया में एक नया नुस्खा प्राप्त होगा।

जीपीटी -2 की संभवतः सबसे दिलचस्प संपत्ति सवालों के सटीक उत्तर देने की क्षमता है। उदाहरण के लिए, जब OpenAI के शोधकर्ताओं ने प्रणाली से पूछा, "पुस्तक की उत्पत्ति की उत्पत्ति किसने लिखी?", उसने जवाब दिया, "" चार्ल्स एडविन। " यह प्रणाली हर बार सही उत्तर नहीं देती है, लेकिन फिर भी यह एक मशीन के गॉटफ्राइड लीबनिज के सपने के आंशिक अहसास जैसा लगता है जो एक भाषा उत्पन्न करता है और सभी मानवीय सवालों के जवाब देने में सक्षम है।

नई प्रणाली की व्यावहारिक क्षमताओं का अध्ययन करने के बाद, OpenAI ने पूरी तरह से प्रशिक्षित मॉडल को सार्वजनिक डोमेन में नहीं रखने का फैसला किया। फरवरी में पेश किए जाने से पहले, "डिप्शेक" के बारे में बहुत सारे संदेश थे - मॉस्को क्षेत्र की मदद से उत्पन्न कृत्रिम चित्र और वीडियो, जिसमें लोगों ने बात की और वही किया जो उन्होंने वास्तव में नहीं कहा था और नहीं किया था। OpenAI के शोधकर्ता इस बात से चिंतित हैं कि GPT-2 का उपयोग डिपेक ग्रंथों को बनाने के लिए किया जा सकता है, जो लोगों की ऑनलाइन ग्रंथों पर भरोसा करने की क्षमता में बाधा उत्पन्न करेगा।

इस निर्णय की प्रतिक्रियाएँ अलग थीं। एक ओर, OpenAI चेतावनी ने मीडिया में एक प्रफुल्लित सनसनी पैदा कर दी, जिसमें "खतरनाक" तकनीक पर लेख है जो एक राक्षस की छवि बनाने में योगदान देता है जो अक्सर एआई के विकास को घेरता है।

अन्य लोगों को OpenAI आत्म-प्रचार पसंद नहीं था, और कुछ ने यह भी सुझाव दिया कि OpenAI जानबूझकर GPT-2 की शक्ति को बढ़ाता है ताकि इसके आसपास प्रचार किया जा सके - AI अनुसंधान समुदाय के मानदंडों का उल्लंघन, जिसमें प्रयोगशालाएँ लगातार डेटा, कोड और प्रशिक्षित मॉडल साझा करती हैं। एक MoD शोधकर्ता के रूप में Zachary Lipton ने ट्वीट किया, “शायद इस विवादास्पद OpenAI स्थिति के बारे में सबसे दिलचस्प बात यह है कि तकनीक कितनी छोटी है। अधिक ध्यान और बजट के बावजूद, अध्ययन स्वयं पूरी तरह से सांसारिक है - और एनएलपी अनुसंधान और गहन शिक्षण के सामान्य क्षेत्र में है। ”

OpenAI ने GPT-2 के एक सीमित संस्करण को जारी करने के निर्णय को नहीं छोड़ा, लेकिन तब से अन्य शोधकर्ताओं और सार्वजनिक बड़े मॉडलों को प्रयोग के लिए पारित कर दिया है। और अभी तक किसी ने अभी तक सिस्टम द्वारा उत्पन्न व्यापक नकली समाचारों के मामलों के बारे में बात नहीं की है। हालांकि, इस परियोजना से कई दिलचस्प विकल्प बंद हो गए हैं, जिसमें GPT-2 की कविता और एक वेब पेज शामिल है, जिस पर हर कोई सिस्टम से सवाल पूछ सकता है।

Reddit पर एक समूह भी है जिसमें GPT-2 चलाने वाले बॉट्स से पूरी तरह से ग्रंथ शामिल हैं। ये बॉट्स उपयोगकर्ताओं को लंबे समय तक विभिन्न विषयों पर बात करने की नकल करते हैं, जिसमें साजिश के सिद्धांत और स्टार वार्स फिल्में शामिल हैं।

बॉट की ये बातचीत ऑनलाइन जीवन की एक नई स्थिति के उद्भव का प्रतीक हो सकती है, जिसमें लोगों और मशीनों के संयुक्त काम से भाषा का तेजी से निर्माण होता है, और जिसमें यह सभी प्रयासों के बावजूद, लोगों और मशीनों के काम को अलग करने के लिए कठिन है।

भाषा उत्पन्न करने के लिए तंत्र और एल्गोरिदम का उपयोग करने का विचार हमारे इतिहास में विभिन्न बिंदुओं पर विभिन्न संस्कृतियों के लोगों को प्रेरित करता है। हालांकि, यह ऑनलाइन है कि कई चीजों में सक्षम शब्द-निर्माण का यह रूप एक उपयुक्त शरण पा सकता है - एक ऐसे वातावरण में जहां वार्ताकारों का व्यक्तित्व अधिक से अधिक अस्पष्ट हो जाता है, और, संभवतः, कम महत्वपूर्ण। हम अभी भी देखेंगे कि लोगों के रूप में भाषा, संचार और स्वयं की भावना के लिए क्या परिणाम (प्राकृतिक भाषा बोलने की हमारी क्षमता से बहुत अधिक बंधे हुए) यह सब हो सकता है।