जर्नलिज्म में रोबोट, या कंटेंट बनाने के लिए आर्टिफिशियल इंटेलिजेंस का उपयोग कैसे करें

कारें होशियार हो रही हैं। पहले से ही अब वे ऐसी गुणवत्ता की सामग्री तैयार कर रहे हैं कि एक पेशेवर भी हमेशा इसे "मानव" से अलग नहीं करता है। डेटा स्टूडियो के सर्गेई मारिन ने इस बारे में बात की कि पत्रकारों और संपादकों को प्रतिस्पर्धा से डरना नहीं चाहिए, और हमारे सम्मेलन " कंटेंटिंग " में पत्रकारिता को स्वचालित करने की संभावनाओं के बारे में।



उसकी रिपोर्ट के कट-ऑफ ट्रांसक्रिप्ट के तहत।

स्पीकर के बारे में
सर्गेई मारिन एक कृत्रिम बुद्धि विशेषज्ञ, नेता और डेटा स्टूडियो के संस्थापक हैं।

कृत्रिम बुद्धि के तीन व्हेल

अगर हम कृत्रिम बुद्धिमत्ता के बारे में बात कर रहे हैं - पत्रकारिता या किसी अन्य क्षेत्र में - तो हमें सबसे पहले इसकी संरचना को समझना चाहिए। एआई में तीन मुख्य घटक होते हैं: मशीन लर्निंग, सिफारिश प्रणाली और तंत्रिका नेटवर्क। वैसे, कई लोग तंत्रिका नेटवर्क को कृत्रिम बुद्धिमत्ता का पर्याय मानते हैं, लेकिन यह केवल एक उपकरण है, यहां तक ​​कि सबसे बड़े पैमाने पर भी नहीं: प्रत्येक मामले में, उन एल्गोरिदम जो सबसे अधिक आशावादी रूप से काम करते हैं।

मशीन लर्निंग: शेल्फ

मशीन लर्निंग का उपयोग डेटा में छिपे हुए पैटर्न को खोजने के लिए किया जाता है। कल्पना कीजिए कि हमारे पास सूचना रेखाओं या प्रकाशनों का एक समूह है, जिन्हें वर्गीकृत करने की आवश्यकता है, अर्थात्, स्वचालित रूप से उन्हें कुछ टैग असाइन करें। या बहुत सारे शब्दों वाले ग्रंथों को कुछ वर्गों, रुचियों, मनोदशाओं आदि में विभाजित करने की आवश्यकता होती है। हम यह कैसे करते हैं? यदि हम मशीन लर्निंग के बारे में बात करते हैं, तो हम उनके आधार पर निष्कर्ष निकालने के लिए किसी भी कीवर्ड की तलाश नहीं कर रहे हैं। इसके बजाय, हम मशीन को सबसे बड़ी संभव संख्या दिखाते हैं जो हमने पहले ही बड़ी संख्या में वर्गों के साथ चिह्नित कर ली है। जिसके बाद हम एक नया पाठ देते हैं, और मशीन खुद इसे उस क्षेत्र में वर्गीकृत करती है, जिसके पास यह है। यही है, हम पहले सिखाते हैं, कई उदाहरण दिखाते हैं।



अर्थात्, पत्रकारिता में मशीन लर्निंग का मुख्य अनुप्रयोग वर्गीकरण है। उदाहरण के लिए, हमारे पास बड़ी संख्या में सूचना लाइनें हैं - इंटरनेट, सामाजिक नेटवर्क, समाचार एजेंसियों से - और हमें उन्हें जल्दी से वर्गीकृत करने की आवश्यकता है। हमने अपने मॉडल को पूर्व-प्रशिक्षित किया है, और जब हमारे पास एक नई सूचना मार्गदर्शिका होती है, तो मशीन समझती है कि वह कहां है, उसका विषय क्या है, यह किस मूड में है, इसके लिए कौन से दर्शक इसे लागू कर सकते हैं। लोकप्रियता की भविष्यवाणी इसी तरह की जाती है, कुछ समाचार फ़ीड की रेटिंग।

अनुशंसित सिस्टम: एक व्यक्तिगत दृष्टिकोण खोजें

सिफारिश प्रणाली के आवेदन का मुख्य क्षेत्र निजीकरण है। हम ऐसी सामग्री दिखाना चाहते हैं जो कम से कम एक निश्चित खंड के लिए प्रासंगिक है, और आदर्श रूप से - प्रत्येक व्यक्ति के लिए इसका चयन करें। इस संबंध में, सामग्री की प्रस्तुति बिक्री से अलग नहीं है। लक्षित उत्पादों की बिक्री में नेताओं को याद करें: अमेज़ॅन और ऑनलाइन सिनेमा जैसे ऑनलाइन स्टोर अपने उत्पादों की सिफारिश कर सकते हैं। और अगर हम सामग्री को एक उत्पाद मानते हैं, तो यह पता चला है कि हम पहले से ही यह जानते हैं कि इसे अच्छी तरह से कैसे सुझाएं और लक्षित करें।



हम यह कैसे करते हैं? दो बुनियादी सिद्धांत हैं। पहला रेफरल सिस्टम है जो वास्तव में, उनकी खरीद के आधार पर लोगों के बीच तुलना करता है, इस मामले में, उस सामग्री के आधार पर जो उन्होंने उपभोग की थी। आइए एक सरल उदाहरण लेते हैं: इगोर और पीटर ने एक ही फिल्मों के बारे में देखा, और यदि कोई एक फिल्म केवल इगोर द्वारा देखी गई थी, तो पीटर को इसकी सिफारिश करना तर्कसंगत है।

सामग्री की सिफारिश करने के मामले में एक और सिद्धांत बहुत मजबूत है - इसकी लोकप्रियता का एक मूल्यांकन, पेजरैंक। इस तरह का पहला उदाहरण है, गूगल, यैंडेक्स में खोज। यह कैसे निर्धारित करें कि एक निश्चित पृष्ठ महत्वपूर्ण है? हम अन्य संसाधनों पर इस पृष्ठ के लिंक या संदर्भों की संख्या पर विचार करते हैं और एक तरह की रेटिंग प्राप्त करते हैं जो इसे सौंपी जाती है। लेकिन यह एक बात है जब पांच अज्ञात पृष्ठ प्रकाशन से जुड़ते हैं, और यदि किसी लोकप्रिय ब्रांड या प्रमुख समाचार एजेंसियों द्वारा लिंक दिए गए हैं तो यह काफी महत्वपूर्ण है। यह पता चला है कि हमें उन लोगों की रेटिंग को ध्यान में रखना चाहिए जो हमारे पेज से जुड़ते हैं - हमें ऐसा पदानुक्रम मिलता है।

टिंडर उसी तरह काम करता है: जब आप बाएं-दाएं स्क्रॉल करते हैं, तो रेटिंग की गणना आपके लिए और उन लोगों के लिए की जाती है, जिन्हें आपको दिखाया जाता है। वे आपको उन लोगों की तस्वीरें दिखाते हैं जिनके पास आपके साथ एक ही रेटिंग है - यह सेवा का अनुशंसित अर्थ है।



यह कुछ जानकारी के महत्व के स्वचालित मूल्यांकन के लिए एक बहुत प्रभावी तरीका है। यदि आप जानते हैं कि न केवल उल्लेख, बल्कि उनके महत्व को कैसे गिनना है, तो आप विशिष्ट लक्ष्य दर्शकों के लिए सभी समाचार फ़ीड को स्वचालित रूप से सॉर्ट कर सकते हैं। इसलिए, सिफारिशों का उपयोग मुख्य रूप से ऐसे स्तर के लक्ष्यीकरण के लिए किया जाता है।

तंत्रिका नेटवर्क: मस्तिष्क की नकल

तंत्रिका नेटवर्क की अवधारणा सरल और उबाऊ है। पिछली शताब्दी के 60 के दशक तक, मानव मस्तिष्क के सिद्धांतों के अध्ययन ने निम्नलिखित चित्र को चित्रित किया: कुछ निश्चित न्यूरॉन्स हैं जो इनपुट संकेतों को प्राप्त करते हैं। उसके बाद, प्रत्येक न्यूरॉन सिग्नल का एक छोटा संशोधन करता है और इसे पास करता है। यह समझने के लिए कि ये न्यूरॉन्स मस्तिष्क के भीतर समूहों में एक साथ कैसे आते हैं, हमने कंप्यूटर मॉडल बनाने का फैसला किया - न्यूरॉन्स का एक सेट जो किसी तरह जुड़ा हुआ है। तो पहले तंत्रिका नेटवर्क का जन्म हुआ, और इस रूप में वे अभी भी मशीन सीखने की समस्याओं को हल करने के लिए उपयोग किए जाते हैं। लेकिन अगर हम कुछ और उन्नत के बारे में बात कर रहे हैं, तो ऐसी प्रणाली फिट नहीं होती है।



पिछली शताब्दी के 90 के दशक में, वैज्ञानिकों ने महसूस किया कि मानव मस्तिष्क काफी काम नहीं करता है। न्यूरॉन्स वास्तव में एक दूसरे के साथ बातचीत करते हैं, लेकिन सब कुछ पदानुक्रम में निर्मित होता है। उदाहरण के लिए, जब मैं कोई चित्र देखता हूं, तो उसके प्रत्येक क्षेत्र से जानकारी एकत्र की जाती है, जिसे आगे एक और छोटे न्यूरॉन्स के समूह में एकत्रित किया जाता है। और वहां इसे किसी प्रकार के आंतरिक प्रतिनिधित्व के रूप में संग्रहीत किया जाता है। वास्तव में, हम इन आंतरिक अभ्यावेदन के साथ सोचते हैं, न कि उन वास्तविक चित्रों के साथ जो हम देखते हैं। सिद्धांत को तुरंत तंत्रिका नेटवर्क में फिर से बनाया गया था, और अब छवियों के वर्गीकरण के अनुसार ऐसे तंत्रिका नेटवर्क मनुष्यों की तुलना में बहुत बेहतर काम करते हैं। इन तंत्रिका नेटवर्क को विक्षेपण कहा जाता है - क्योंकि सामान्यीकरण प्रक्रिया हो रही है।



दूसरी सफलता तब मिली जब उन्हें पता चला: एक व्यक्ति पल में नहीं बल्कि एक निश्चित संदर्भ को ध्यान में रखते हुए जानकारी प्राप्त करता है। संचित अनुभव का विश्लेषण करने के लिए कंप्यूटर को प्रशिक्षित करने के लिए, उन्होंने तथाकथित आवर्तक तंत्रिका नेटवर्क का निर्माण किया। वे वर्गीकृत करने के लिए पहले तंत्रिका नेटवर्क के काम का उपयोग करते हैं, और फिर कुछ सामग्री बनाने के लिए। यह सभी अब अनुक्रम मॉडलिंग में उपयोग किया जाता है, और यदि यह आसान है - चैट बॉट में। उदाहरण के लिए, जब यैंडेक्स समान शब्दों का चयन करता है, ये आवर्तक तंत्रिका नेटवर्क होते हैं जो दोहराते हैं कि कोई व्यक्ति जानकारी कैसे संसाधित करता है।

पत्रकारिता में तंत्रिका नेटवर्क का उपयोग कैसे किया जाता है

तंत्रिका नेटवर्क के लिए आवेदन का पहला क्षेत्र सामग्री पीढ़ी है। यदि हमारे पास कुछ प्रकार की सूचना मार्गदर्शिका है, तो एक प्रशिक्षित तंत्रिका नेटवर्क हमें विषय निर्धारित करने और काफी समझदार पाठ लिखने की अनुमति देता है। पहले से ही ऐसी कंपनियां हैं जो संबंधित सॉफ़्टवेयर का उत्पादन करती हैं। ऐसे प्रकाशन हैं जो इसे नियमित सूचना लाइनों के लिए उपयोग करते हैं - एक्सचेंज रिपोर्ट, कंपनियों के वित्तीय संकेतक। तथ्यात्मक जानकारी के लिए - एक भूकंप यहाँ से गुजरा, एक जहाज वहाँ गया और इसी तरह - यह ठीक काम करता है। लेकिन अगर हम अधिक उन्नत सूचना फ़ीड के बारे में बात कर रहे हैं, तो हमें तंत्रिका नेटवर्क द्वारा उत्पन्न सामग्री को वास्तव में सार्थक और पर्याप्त रूप में बदलने के लिए गंभीरता से काम करना होगा।



दूसरा क्षेत्र वर्गीकरण है, इसका उल्लेख पहले ही किया जा चुका है। तीसरा है धारणा मूल्यांकन या ए / बी परीक्षण, जिसका उपयोग शायद ही कभी बिक्री के बाहर किया जाता है। पत्रकारिता में, सिद्धांत समान है: हमारे पास प्रकाशन के कई रूप हैं, और हम यह परीक्षण करना चाहते हैं कि यह विभिन्न लक्षित समूहों में कैसे जाएगा। ऐसे तरीकों का उपयोग करते हुए, इस प्रक्रिया को पूरी तरह से स्वचालित किया जा सकता है।

बाद की दिशा उन लोगों से अपील करेगी, जिन्हें विभिन्न चैनलों, संसाधनों, लक्षित दर्शकों के लिए एक ही सामग्री लिखने की आवश्यकता है। हैबे पर एक लेख प्रकाशित करने के लिए, जो पहले से ही दूसरे प्रकाशन में प्रकाशित हो चुका है, आप केवल कॉपी-पास्ट नहीं कर सकते। इसे अनुकूलित करने के लिए, आप या तो एक कॉपीराइटर को आकर्षित कर सकते हैं या एक तंत्रिका नेटवर्क का उपयोग कर सकते हैं। एक कंप्यूटर के लिए, यह मशीन अनुवाद से भी सरल है: पाठ को किसी अन्य भाषा, वाक्यविन्यास, और इसी तरह परिवर्तित करने की आवश्यकता नहीं है। लेकिन कुल मिलाकर यह एक ही है।

इसका उपयोग कहां किया जाता है? प्रमुख एजेंसियों में एक अग्रणी एसोसिएटेड प्रेस है। वे वित्तीय समाचारों के लिए स्वचालित सामग्री पीढ़ी का उपयोग करते हैं, जिसमें थोड़ा विश्लेषिकी है, लेकिन बहुत सारे आंकड़े और सबूत हैं। ऐसे तीन विक्रेता हैं जो इस तरह के सॉफ्टवेयर बनाते हैं: नैरेटिव साइंस, ऑटोमेटेड इनसाइट्स और आर्टिकल फोर्ज। यदि आप उनकी साइटों पर जाते हैं, तो आप बहुत सारे वास्तविक मामलों को देख सकते हैं - रोबोट द्वारा लिखित प्रकाशनों के उदाहरण। ये सभी लेख कुछ प्रमाणों पर आधारित हैं।



क्या संलेखन और उत्पन्न सामग्री के बीच ध्यान देने योग्य अंतर है? संयुक्त राज्य अमेरिका और जर्मनी में, उन्होंने शोध किया, जिसके दौरान अंग्रेजी और जर्मन में, पत्रकारों के समूहों को बड़ी संख्या में लेख दिखाए गए। आधे ग्रंथ लोगों द्वारा लिखे गए, आधे मशीनों द्वारा। औसतन, लोग उनके बीच अंतर नहीं कर सकते थे। और जब विषयों को उनकी विश्वसनीयता और रुचि के अनुसार ग्रंथों को वर्गीकृत करने के लिए कहा गया, तो यह पता चला कि वे मशीन द्वारा लिखे गए ग्रंथों को अधिक विश्वसनीय पाते हैं। उसी समय, उत्तरदाताओं ने नोट किया कि उन्हें पढ़ना "मानव" लेख जितना दिलचस्प नहीं है।

यह पता चला है कि लोग मनोरंजक सामग्री करने से बेहतर हैं। और अगर आपको कुछ समाचार लाने की आवश्यकता है - कार का उपयोग करें, तो वे इसे और अधिक विश्वास करेंगे।

लाभ और खतरे

रोबोट आपको उस सामग्री पर ध्यान केंद्रित करने की अनुमति देते हैं, जिसे आप सामग्री में एम्बेड करना चाहते हैं, न कि इसे अलग-अलग प्रारूपों में बदलने की थकाऊ प्रक्रिया पर। मशीनों का एक और लाभ प्रतिक्रिया की गति है: यदि आपको सूचनाओं को शीघ्रता से संसाधित करने की आवश्यकता है, तो यह आपका उपकरण है। हमने पहले ही उपयोगकर्ता के निजीकरण के बारे में कहा है, यह एक निश्चित प्लस है। चौथा लाभ क्राउडसोर्सिंग है: यदि आप बड़ी संख्या में स्रोतों का उपयोग करते हैं, तो मशीन स्वचालित रूप से उन से प्राप्त जानकारी को वर्गीकृत करने में सक्षम होगी, बुरे से अच्छा भेद करेगी, और पर्याप्त का चयन करेगी।



संभावित खतरे हैं। पहला इको कैमरा है। जो सामग्री वे मुझे दिखाते हैं, वह मेरे हितों की समानता के आधार पर वैयक्तिकृत है - जो मैं पहले से ही पढ़ रहा हूं, और मेरे जैसे लोगों के हितों को ध्यान में रखते हुए। इस प्रकार, एक निश्चित संख्या में पुनरावृत्तियों के बाद, मैं अपने बंद सूचना क्षेत्र में खाना बनाना शुरू करता हूं।

दूसरा खतरा सूचना बुलबुले है। यदि आप किसी प्रकार की काल्पनिक स्थिति, घटना, मशीन बनाते हैं, तो प्रकाशन के कई अलग-अलग संस्करण लिख सकते हैं जो प्रामाणिक दिखते हैं। बॉट्स, सोशल नेटवर्क आदि की मदद से इस तरह की गलत सूचनाओं को विशाल दर्शकों तक फैलाया जा सकता है।



अब वे तंत्रिका नेटवर्क पर तथाकथित प्रतिकूल हमलों के बारे में बात कर रहे हैं। केएफसी लोगो के साथ एक उदाहरण दिया गया है: यदि आप सेल्फ-ड्राइविंग कार को ऐसी तस्वीर दिखाते हैं, तो यह तुरंत बढ़ जाता है - कृत्रिम बुद्धिमत्ता छवि को स्टॉप साइन के रूप में पहचानती है। यदि ग्रंथों के साथ इस तरह की जोड़तोड़ संभव है, तो एक निश्चित एल्गोरिथ्म के अनुरूप शब्दों का एक अर्थहीन सेट तंत्रिका नेटवर्क की एक उच्च रेटिंग प्राप्त करने में सक्षम होगा, और पाठक कुछ प्रकार की अस्पष्टता देखेंगे।



सौभाग्य से, व्यवहार में, ऐसा हमला बहुत मुश्किल है। याद रखें कि तंत्रिका नेटवर्क - हमारे मस्तिष्क की तरह - किसी भी छवि को आंतरिक प्रतिनिधित्व के अनुसार लाता है। तस्वीर को देखें: चेहरे के बाईं ओर, जैसा कि हम उन्हें देखते हैं, और दाईं ओर - जैसा कि तंत्रिका नेटवर्क देखता है। स्वयं तंत्रिका नेटवर्क तक पहुंच के बाद, चित्रों का चयन किया जा सकता है, जैसा कि केएफसी लोगो के साथ उदाहरण में। वास्तव में, समस्या को क्रिप्टोग्राफी से भी जाना जाता है, क्योंकि यह हैश फ़ंक्शन हैकिंग का एक एनालॉग है। इस मामले में तंत्रिका नेटवर्क एक हैश फ़ंक्शन है: आप एक निश्चित लंबे पाठ को एक छोटे आंतरिक प्रतिनिधित्व में बदलते हैं। यदि आप कुछ ऐसा उठाते हैं जो मेल खाता है - हैक। लेकिन अधिक पुनरावृति करने में सक्षम होने के लिए, आपको एल्गोरिथ्म तक पहुंचने की आवश्यकता है।

प्रतियोगी नहीं, बल्कि सहायक है

इस विषय पर लगभग सभी प्रकाशन भविष्य में पत्रकारों की मांग की समस्या को बढ़ाते हैं। यह सवाल, मुझे लगता है, पूरी तरह से सही नहीं है: किसी को बदल दिया जाएगा, किसी को नहीं, लेकिन यह स्पष्ट है कि सभी पत्रकारिता को मशीनों से नहीं बदला जा सकता है। एक व्यक्ति उन्हें केवल कुछ बुनियादी, भोज, सरल प्रकाशनों के लिए उपज देगा। समस्या अलग है: चूंकि बुनियादी प्रकाशन स्वचालित रूप से बनाए जा सकते हैं और आसानी से किए जा सकते हैं, इसलिए बहुत जल्द तैयार की गई सामग्री का प्रतिशत लोगों द्वारा लिखे गए लेखों की तुलना में बहुत अधिक होगा। जैसा कि हम पहले ही पता लगा चुके हैं, जेनरेट की गई सामग्री विश्वसनीयता के लिहाज से बेहतर मानी जाती है - और यह आपको चेतना और धारणा में हेरफेर करने के लिए एक शक्तिशाली उपकरण बनाने की अनुमति देती है। यह शायद सबसे खराब और सबसे महत्वपूर्ण बात है।



मशीन लर्निंग का उपयोग करके सामग्री बनाने के लिए, मानव-मशीन इंटरैक्शन प्रक्रिया का उपयोग किया जाता है - अलग-अलग नहीं, बल्कि एक जोड़ी में। सबसे पहले, मशीन सूचनात्मक मुद्दों की खोज करती है, उन्हें वर्गीकृत करती है, महत्व की भविष्यवाणी करती है, सामग्री उत्पन्न करती है ... यह मामले के लिए एक मामला है जब हमारे पास विभिन्न प्रकार की जानकारी का एक बड़ा प्रवाह होता है, और हम जल्दी से इसका जवाब देना चाहते हैं। यदि आपके पास सोचने के लिए समय है और यह एक अलग परिदृश्य है। मशीन द्वारा तैयार की गई सामग्री एक पत्रकार या संपादक के पास जाती है जो देखता है, मूल्यांकन करता है, जोड़ता है। इसके अलावा, पाठ प्रकाशन के लिए या फिर से रोबोट पर जा सकता है - ताकि विभिन्न लक्ष्य दर्शकों के लिए प्रकाशन के विभिन्न संस्करणों का निर्माण हो सके। उसके बाद, कार निजीकरण में लगी हुई है, प्रत्येक व्यक्ति के लिए चुनती है कि उसे क्या दिखाना है। बेशक, हर जगह यह सब एक साथ लागू नहीं होता है, लेकिन सामान्य वर्कफ़्लो कुछ इस तरह दिखता है।

एक व्यक्ति को सामग्री तैयार करने की प्रक्रिया से बाहर नहीं किया जाता है। रोबोट अतिरिक्त उपकरणों से ज्यादा कुछ नहीं हैं जो प्रक्रिया को गति देते हैं और सरल बनाते हैं, हमसे नियमित कार्य हटाते हैं।

---

वीडियो प्रारूप में "सामग्री" से रिपोर्ट यहां ऑर्डर की जा सकती हैं । Habr उपयोगकर्ताओं के लिए habr_online_promo प्रोमो कोड पर छूट।

प्रायोजकों को धन्यवाद:

• मेगा- प्रायोजक RuVDS
• जल भागीदार बोर्जोमी
• पत्र मेट्टर स्मारिका साथी
• ओलेग बुनिन के सम्मेलन
• FU2RE वीडियो पार्टनर
• Adindex, Pressfeed और Media Partners2

---

दोस्तों, एक और 10 दिनों के लिए हम "राज्य और आईटी" विषय पर तकनीकी-तकनीकी प्रतियोगिता के लिए आवेदन स्वीकार करते हैं और भाग लेने के लिए सभी तकनीकी लेखकों को आमंत्रित करते हैं। आप प्रौद्योगिकी, विकास, सेवाओं के शोधन, विभिन्न प्रणालियों और अनुप्रयोगों के उपकरण, एक विशेषज्ञ के साथ साक्षात्कार, जीवन हैक का चयन, एक समीक्षा और विषय पर अन्य सामग्रियों के बारे में बता सकते हैं - मुख्य बात यह है कि वे रोबे पर प्रकाशित होते हैं। प्रतियोगिता पृष्ठ पर विस्तृत जानकारी।