2018 में एआई और एमएल समाधान का अवलोकन और 2019 के लिए पूर्वानुमान: भाग 1 - एनएलपी, कंप्यूटर विजन

सभी को नमस्कार! मैं आपके सामने 2018 और 2019 के रुझानों में एआई / एमएल घटनाओं के अवलोकन के साथ एनालिटिक्स विधा लेख का अनुवाद प्रस्तुत करता हूं। सामग्री काफी बड़ी है, इसलिए इसे 2 भागों में विभाजित किया गया है। मुझे उम्मीद है कि लेख न केवल विशेष विशेषज्ञों, बल्कि एआई के विषय में रुचि रखने वालों को भी रुचि देगा। अच्छा पढ़ लो!

अनुच्छेद नेविगेशन

भाग 1
- प्राकृतिक भाषा प्रसंस्करण (एनएलपी)
- 2019 के लिए एनएलपी ट्रेंड
- कंप्यूटर मेमोरी
- 2019 के लिए मशीन विजन में रुझान

भाग २
- उपकरण और पुस्तकालय
- 2019 के लिए ऑटोएमएल ट्रेंड
- सुदृढीकरण सीखना
- 2019 के लिए सुदृढीकरण सीखना रुझान
- अच्छे लड़कों के लिए AI - "नैतिक" AI की ओर आंदोलन
- 2019 के लिए AI में नैतिक रुझान

परिचय

एआई के उत्साही और मशीन सीखने वाले पेशेवरों के लिए पिछले कुछ वर्षों में एक सपने का पीछा किया गया है। ये प्रौद्योगिकियां आला होना बंद हो गई हैं, मुख्यधारा बन गई हैं और पहले से ही लाखों लोगों के जीवन को प्रभावित कर रही हैं। एआई मंत्रालयों को विभिन्न देशों में बनाया गया था [ यहाँ अधिक विवरण - लगभग। प्रति] और बजट को इस दौड़ के साथ बनाए रखने के लिए आवंटित किया जाता है।

डेटा विज्ञान पेशेवरों के लिए भी यही सच है। कुछ साल पहले, आप कुछ उपकरणों और ट्रिक्स को जानकर सहज महसूस कर सकते थे, लेकिन यह समय बीत चुका है। डेटा विज्ञान में हाल की घटनाओं की संख्या और इस क्षेत्र में समय के साथ बनाए रखने के लिए आवश्यक ज्ञान की मात्रा अद्भुत है।

मैंने डेटा विज्ञान विशेषज्ञों के दृष्टिकोण से कृत्रिम बुद्धिमत्ता के क्षेत्र में कुछ प्रमुख क्षेत्रों के विकास पर एक कदम पीछे खींचने का निर्णय लिया। क्या ब्रेकआउट हुआ है? 2018 में क्या हुआ और 2019 में क्या होने की उम्मीद है? जवाब के लिए यह लेख पढ़ें!

PS किसी भी पूर्वानुमान के अनुसार, नीचे मेरे व्यक्तिगत निष्कर्ष हैं जो पूरी तस्वीर में व्यक्तिगत अंशों को संयोजित करने के प्रयासों पर आधारित हैं। यदि आपका दृष्टिकोण मेरा अलग है, तो मुझे 2019 में डेटा विज्ञान में और क्या बदलाव हो सकते हैं, इस पर आपकी राय जानकर खुशी होगी।

इस लेख में हम जिन क्षेत्रों को कवर करेंगे वे हैं:

- प्राकृतिक भाषा प्रक्रिया (एनएलपी)
- कंप्यूटर मेमोरी
- उपकरण और पुस्तकालय
- सुदृढीकरण सीखना
- AI में नैतिकता के मुद्दे

प्राकृतिक भाषा प्रसंस्करण (एनएलपी)

शब्दों और वाक्यों को पार्स करने के लिए मजबूर मशीनें हमेशा एक पाइप सपने की तरह लगती थीं। भाषाओं में बहुत सारी बारीकियां और विशेषताएं हैं जो कभी-कभी लोगों के लिए भी समझना मुश्किल होता है, लेकिन 2018 एनएलपी के लिए एक वास्तविक मोड़ था।

हमने एक के बाद एक भयानक सफलता देखी: ULMFiT, ELMO, OpenAl Transformer, Google BERT, और यह पूरी सूची नहीं है। ट्रांसफर लर्निंग (डेटा के लिए पूर्व-प्रशिक्षित मॉडल लागू करने की कला) के सफल अनुप्रयोग ने विभिन्न कार्यों में एनएलपी के द्वार खोल दिए हैं।

ट्रांसफर लर्निंग - आपको अपेक्षाकृत कम मात्रा में डेटा का उपयोग करके एक पूर्व-प्रशिक्षित मॉडल / प्रणाली को अपने विशिष्ट कार्य के लिए अनुकूल बनाने की अनुमति देता है।

आइए इनमें से कुछ प्रमुख घटनाक्रमों को अधिक विस्तार से देखें।

ULMFiT

सेबस्टियन रुडर और जेरेमी हावर्ड (fast.ai) द्वारा विकसित, ULMFiT इस साल ट्रांसफर लर्निंग प्राप्त करने वाला पहला फ्रेमवर्क था। Uninitiated के लिए, संक्षिप्त ULMFiT "यूनिवर्सल भाषा मॉडल फाइन-ट्यूनिंग" के लिए है। जेरेमी और सेबस्टियन ने ULMFiT में "सार्वभौमिक" शब्द को सही जोड़ा - यह रूपरेखा लगभग किसी भी एनएलपी कार्य पर लागू की जा सकती है!

ULMFiT के बारे में सबसे अच्छी बात यह है कि आपको मॉडल को खरोंच से प्रशिक्षित करने की आवश्यकता नहीं है! शोधकर्ताओं ने पहले से ही आपके लिए सबसे कठिन काम किया है - अपनी परियोजनाओं में ले लो और लागू करो। ULMFiT ने छह पाठ वर्गीकरण कार्यों में अन्य विधियों को बेहतर बनाया।

आप Pratek Joshi [Pateek Joshi - लगभग - द्वारा ट्यूटोरियल पढ़ सकते हैं । ट्रांस।] पाठ वर्गीकरण के किसी भी कार्य के लिए ULMFiT का उपयोग कैसे शुरू करें।

एल्मो

अनुमान लगाएं कि संक्षिप्त नाम एलमो का क्या मतलब है? भाषा मॉडल से एंबेडिंग के लिए एक्रोनिम [भाषा मॉडल से अनुलग्नक - लगभग। ट्रांस।]। और एलमो ने रिहाई के ठीक बाद एमएल समुदाय का ध्यान आकर्षित किया।

एलमू प्रत्येक शब्द के लिए अटैचमेंट प्राप्त करने के लिए भाषा मॉडल का उपयोग करता है, और उस संदर्भ को भी ध्यान में रखता है जिसमें यह शब्द किसी वाक्य या पैराग्राफ में फिट बैठता है। संदर्भ एनएलपी का एक महत्वपूर्ण पहलू है, जिसमें अधिकांश डेवलपर्स पहले विफल हो चुके हैं। ELMo अटैचमेंट बनाने के लिए द्विदिश LSTM का उपयोग करता है।

लंबी अवधि की स्मृति (LSTM) 1997 में सेप होचराइटर और जुरगेन श्मिधुबर द्वारा प्रस्तावित आवर्तक तंत्रिका नेटवर्क की एक प्रकार की वास्तुकला है। अधिकांश आवर्तक तंत्रिका नेटवर्क की तरह, एक LSTM नेटवर्क इस अर्थ में सार्वभौमिक है कि, पर्याप्त संख्या में नेटवर्क तत्वों के साथ, यह कोई भी गणना कर सकता है कि एक नियमित कंप्यूटर सक्षम है, जिसके लिए एक उपयुक्त वजन मैट्रिक्स की आवश्यकता होती है जिसे प्रोग्राम के रूप में माना जा सकता है। पारंपरिक आवर्तक तंत्रिका नेटवर्क के विपरीत, एलएसटीएम नेटवर्क उन मामलों में समय श्रृंखला को वर्गीकृत करने, प्रसंस्करण और समय की श्रृंखला की समस्याओं पर प्रशिक्षण के लिए उपयुक्त है, जहां महत्वपूर्ण घटनाएं अनिश्चित अवधि और सीमाओं के साथ समय अंतराल से अलग हो जाती हैं।

- स्रोत विकिपीडिया

ULMFiT की तरह, एलएलओएम एनएलपी कार्यों की एक बड़ी संख्या को हल करने में उत्पादकता में काफी सुधार करता है, जैसे कि पाठ के मूड का विश्लेषण करना या सवालों के जवाब देना।

Google से BERT

बहुत सारे विशेषज्ञों ने ध्यान दिया कि बीईआरटी की रिहाई ने एनएलपी में एक नए युग की शुरुआत को चिह्नित किया। ULMFiT और ELMo के बाद, BERT ने उच्च प्रदर्शन का प्रदर्शन करते हुए बढ़त ली। जैसा कि मूल घोषणा में कहा गया है: "BERT वैचारिक रूप से सरल और अनुभवजन्य रूप से शक्तिशाली है।"

BERT ने 11 एनएलपी कार्यों में उत्कृष्ट परिणाम दिखाए हैं! SQuAD परीक्षणों में परिणाम देखें:



यह कोशिश करना चाहते हैं? आप Google से PyTorch, या TensorFlow कोड पर पुन: कार्यान्वयन का उपयोग कर सकते हैं और अपनी मशीन पर परिणाम दोहराने की कोशिश कर सकते हैं।

फेसबुक PyText

फेसबुक इस दौड़ से कैसे दूर रह सकता है? कंपनी अपना खुद का ओपन-सोर्स एनएलपी फ्रेमवर्क प्रदान करती है जिसे PyText कहा जाता है। फेसबुक द्वारा प्रकाशित एक अध्ययन के अनुसार, PyText ने संवादी मॉडल की सटीकता में 10% की वृद्धि की और प्रशिक्षण समय कम कर दिया।

PyText वास्तव में मैसेंजर जैसे कई फेसबुक उत्पादों के पीछे है। तो उसके साथ काम करना आपके पोर्टफोलियो और अमूल्य ज्ञान के लिए एक अच्छा बिंदु जोड़ देगा जो आपको निस्संदेह लाभ देगा।

आप इसे स्वयं आज़मा सकते हैं, GitHub से कोड डाउनलोड कर सकते हैं।

गूगल डुप्लेक्स

यह विश्वास करना कठिन है कि आपने Google डुप्लेक्स के बारे में नहीं सुना है। यहाँ एक डेमो है जो लंबे समय तक सुर्खियों में रहा।


चूंकि यह एक Google उत्पाद है, इसलिए बहुत कम संभावना है कि जल्दी या बाद में सभी के लिए कोड प्रकाशित किया जाएगा। बेशक, यह प्रदर्शन कई सवाल उठाता है: नैतिक से लेकर गोपनीयता के मुद्दों पर, लेकिन हम इस बारे में बाद में बात करेंगे। अभी के लिए, हाल के वर्षों में हम एमएल के साथ कितनी दूर तक आए हैं, इसका आनंद लें।

2019 एनएलपी रुझान

सेबास्टियन रुडर से बेहतर कौन खुद अंदाजा लगा सकता है कि 2019 में एनएलपी कहां जा रहा है? यहाँ उनके निष्कर्ष हैं:

1. पूर्व-प्रशिक्षित भाषा निवेश मॉडल का उपयोग व्यापक हो जाएगा; समर्थन के बिना उन्नत मॉडल बहुत दुर्लभ होंगे।
2. पूर्व-प्रशिक्षित विचार दिखाई देंगे जो भाषा मॉडल संलग्नक को पूरक करने वाली विशेष जानकारी को सांकेतिक कर सकते हैं। हम कार्य की आवश्यकताओं के आधार पर विभिन्न प्रकार के पूर्व-प्रशिक्षित प्रस्तुतियों को समूहीकृत करने में सक्षम होंगे।
3. बहुभाषी अनुप्रयोगों और बहुभाषी मॉडल के क्षेत्र में अधिक काम दिखाई देगा। विशेष रूप से, शब्दों के अंतःसंबंध एम्बेडिंग पर निर्भर करते हुए, हम गहन पूर्व प्रशिक्षित इंटरलेंजेज अभ्यावेदन का उद्भव देखेंगे।

कंप्यूटर दृष्टि

आज, कंप्यूटर विज़न गहरी शिक्षा के क्षेत्र में सबसे लोकप्रिय क्षेत्र है। ऐसा लगता है कि प्रौद्योगिकी का पहला फल पहले ही प्राप्त हो चुका है और हम सक्रिय विकास के स्तर पर हैं। इस छवि या वीडियो के बावजूद, हम कई चौखटे और पुस्तकालयों के उद्भव को देखते हैं जो आसानी से कंप्यूटर दृष्टि की समस्याओं को हल करते हैं।

यहाँ मेरी सबसे अच्छे समाधानों की सूची है जो इस वर्ष देखी जा सकती है।

बिगगन आउट

इयान गुडफेलो ने 2014 में GANs को डिजाइन किया, और अवधारणा ने कई प्रकार के अनुप्रयोगों को जन्म दिया। साल दर साल, हमने देखा कि वास्तविक मामलों में उपयोग के लिए मूल अवधारणा को कैसे अंतिम रूप दिया गया था। लेकिन इस वर्ष तक एक चीज अपरिवर्तित रही - कंप्यूटर द्वारा बनाई गई छवियां बहुत आसानी से अलग थीं। एक निश्चित असंगतता हमेशा फ्रेम में दिखाई दी, जिसने अंतर को बहुत स्पष्ट कर दिया।

हाल के महीनों में, इस दिशा में बदलाव दिखाई दिए हैं, और बिगगन के निर्माण के साथ, ऐसी समस्याओं को एक बार और सभी के लिए हल किया जा सकता है। इस विधि से उत्पन्न चित्रों को देखें:



माइक्रोस्कोप के बिना, यह कहना मुश्किल है कि इन चित्रों में क्या गलत है। बेशक, हर कोई खुद के लिए फैसला करेगा, लेकिन इसमें कोई संदेह नहीं है कि जीएएन डिजिटल छवियों (और वीडियो) को देखने के तरीके को बदलता है।

संदर्भ के लिए: इन मॉडलों को पहले ImageNet डेटासेट पर प्रशिक्षित किया गया था, और फिर JFT-300M पर यह प्रदर्शित करने के लिए कि इन मॉडलों को एक डाटासेट से दूसरे में अच्छी तरह से स्थानांतरित किया गया है। यहाँ GAN मेलिंग सूची के एक पृष्ठ का लिंक है जिसमें समझाया गया है कि GAN की कल्पना और समझ कैसे करें।

मॉडल Fast.ai 18 मिनट में ImageNet पर प्रशिक्षित

यह वास्तव में अच्छा कार्यान्वयन है। एक व्यापक विश्वास है कि, गहन शिक्षण कार्यों को करने के लिए, आपको डेटा और बड़े कंप्यूटिंग संसाधनों की टेराबाइट्स की आवश्यकता होगी। छविनेट डेटा पर खरोंच से मॉडल के प्रशिक्षण के लिए भी यही सच है। हम में से अधिकांश लोग उपवास पर कुछ लोगों से पहले उसी तरह से सोचते थे। हम सभी के विपरीत साबित करने में असमर्थ थे।

उनके मॉडल ने प्रभावशाली 18 मिनट के साथ 93% सटीकता दी। उनके ब्लॉग पर विस्तार से वर्णित हार्डवेयर का उपयोग किया गया था, जिसमें 16 सार्वजनिक एडब्ल्यूएस क्लाउड इंस्टेंस शामिल थे, प्रत्येक में 8 NVIDIA V100 जीपीयू थे। उन्होंने fast.ai और PyTorch पुस्तकालयों का उपयोग करके एक एल्गोरिथ्म का निर्माण किया।

विधानसभा की कुल लागत केवल $ 40 थी! जेरेमी ने यहां अपने दृष्टिकोण और तरीकों का अधिक विस्तार से वर्णन किया । यह एक आम जीत है!

NVIDIA से vid2vid

पिछले 5 वर्षों में, इमेज प्रोसेसिंग ने काफी प्रगति की है, लेकिन वीडियो का क्या? एक स्थिर फ्रेम से डायनामिक में बदलने की विधियाँ अपेक्षा से कुछ अधिक जटिल थीं। क्या आप किसी वीडियो से फ़्रेम का क्रम ले सकते हैं और भविष्यवाणी कर सकते हैं कि अगले फ्रेम में क्या होगा? इस तरह के अध्ययन पहले भी किए गए हैं, लेकिन प्रकाशन सबसे अच्छे थे।



एनवीआईडीआईए ने अपना फैसला इस साल की शुरुआत में सार्वजनिक रूप से उपलब्ध कराने का निर्णय लिया [2018 - लगभग। प्रति।], जिसका समाज द्वारा सकारात्मक मूल्यांकन किया गया था। Vid2vid का उद्देश्य किसी दिए गए इनपुट वीडियो से एक प्रदर्शन फ़ंक्शन प्राप्त करना है ताकि एक आउटपुट वीडियो बनाया जा सके जो अविश्वसनीय सटीकता के साथ इनपुट वीडियो की सामग्री को प्रसारित करता है।


आप PyTorch पर उनके कार्यान्वयन की कोशिश कर सकते हैं, इसे GitHub में ले जा सकते हैं ।

2019 के लिए मशीन विजन ट्रेंड्स

जैसा कि मैंने पहले उल्लेख किया है, 2019 में हमें नई सफलताओं के बजाय 2018 के रुझानों के विकास को देखने की अधिक संभावना है: स्व-ड्राइविंग कारें, चेहरा पहचान एल्गोरिदम, आभासी वास्तविकता और बहुत कुछ। यदि आपके पास कोई अलग दृष्टिकोण या परिवर्धन है, तो आप मुझसे असहमत हो सकते हैं, इसे हमारे साथ साझा कर सकते हैं, 2019 में हम और क्या उम्मीद कर सकते हैं?

ड्रोन का मुद्दा, राजनेताओं और सरकार की मंजूरी के लंबित होने के कारण, अंततः संयुक्त राज्य अमेरिका में भारत को हरी झंडी मिल सकती है (भारत इस मामले में बहुत पीछे है)। व्यक्तिगत रूप से, मैं वास्तविक दुनिया के परिदृश्यों में किए जाने वाले अधिक शोध को पसंद करूंगा। सीवीपीआर और आईसीएमएल जैसे सम्मेलन इस क्षेत्र में नवीनतम उपलब्धियों का एक अच्छा कवरेज देते हैं, लेकिन परियोजनाएं वास्तविकता के कितने करीब हैं यह बहुत स्पष्ट नहीं है।

"विजुअल क्वेश्चन आंसरिंग" और "विजुअल डायलॉग सिस्टम" आखिरकार एक लंबे समय से प्रतीक्षित शुरुआत के साथ सामने आ सकते हैं। इन प्रणालियों में सामान्यीकरण की क्षमता का अभाव है, लेकिन यह उम्मीद है कि हम जल्द ही एक एकीकृत मल्टीमॉडल दृष्टिकोण देखेंगे।



इस साल सेल्फ ट्रेनिंग आई। मुझे यकीन है कि अगले साल यह बहुत अधिक संख्या में अध्ययन में आवेदन करेगा। यह वास्तव में एक शांत दिशा है: संकेतों को इनपुट डेटा से सीधे निर्धारित किया जाता है, छवियों को मैन्युअल रूप से चिह्नित करने के लिए समय बर्बाद करने के बजाय। चलो हमारी उंगलियों को पार करते रहो!

और पढ़ें: भाग 2 - उपकरण और पुस्तकालय, ऑटोएमएल, सुदृढीकरण सीखना, एआई में नैतिकता