मैंने अन्य नामों पर प्रतिक्रिया न देने के लिए ऐलिस की मदद कैसे की। यैंडेक्स इंटर्नशिप

हाय, हैब्र। मेरा नाम अलेक्सी राक है, मैं यैंडेक्स के मिन्स्क कार्यालय में आवाज सहायक ऐलिस का डेवलपर हूं। मैंने पिछले साल तीन महीने की इंटर्नशिप के लिए एक ही टीम में यहां जाकर यह पद हासिल किया था। मैं आपको उसके बारे में बताने जा रहा हूं। यदि आप इसे स्वयं आज़माना चाहते हैं, तो यहां 2019 इंटर्नशिप की एक कड़ी है ।

मैं कैसे व्यवस्थित हो गया

मैं बीएसयू में 4 साल का छात्र हूं, 2018 में मैंने स्कूल ऑफ डेटा एनालिसिस से स्नातक किया, मैं मिन्स्क में रहता हूं और रहता हूं।

सबसे पहले, मैंने, अन्य एसएचएडी स्नातकों की तरह, 2018 में एक इंटर्नशिप के लिए एक लिंक प्राप्त किया। प्रश्नावली भेजने के एक सप्ताह के भीतर, ऑनलाइन प्रतियोगिता को पूरा करने के लिए समय, पंक्ति में 6 घंटे आवंटित करना आवश्यक था। इसमें प्रायिकता सिद्धांत, कोड करने की क्षमता, एल्गोरिदम के साथ आने के बारे में कार्य शामिल थे। उस भाषा में कोड लिखना संभव था जिसमें आप जानते हैं कि कैसे। मैंने C ++ में कई कार्य लिखे, पायथन में कई, मैंने किसी विशेष कार्य के लिए उपयोग में आसानी के आधार पर भाषा को चुना।

जब आप कोई निर्णय प्रस्तुत करते हैं, तो तुरंत उस पर एक निर्णय आ जाता है, जिसके बाद अधिक सही उत्तर पाने के लिए कार्य को फिर से हल किया जा सकता है। सभी कार्यों को पूरा करने में मुझे कुछ घंटे लगे। मैंने पहले प्रयास में कुछ समस्याओं का समाधान नहीं किया।

कुछ दिनों बाद, रिक्रूटरों ने मुझसे संपर्क किया और मिंस्क कार्यालय में पहले आमने-सामने साक्षात्कार के लिए बुलाया। यह अलेक्सी कॉल्सोव के साथ था - ध्वनिक मॉडल और बायोमेट्रिक्स की टीम का प्रमुख, जहां मुझे काम करना था। साक्षात्कार में कागज के एक टुकड़े पर या एक ब्लैकबोर्ड पर समस्याओं को हल करने और संभाव्यता सिद्धांत, एल्गोरिदम और मशीन सीखने पर सवालों के जवाब देने शामिल थे। मुझे लगता है कि ओलंपियाड प्रोग्रामिंग की पृष्ठभूमि मुझे ऑनलाइन प्रतियोगिता का सामना करने की अनुमति देगी, भले ही मैंने शिअद में अध्ययन नहीं किया हो, लेकिन साक्षात्कार में, शाद अनुभव वास्तव में मेरे लिए उपयोगी था।

कुछ दिनों बाद, दूसरी बैठक हुई, जहाँ मुझे एल्गोरिदम के ज्ञान पर दो और कार्य करने को कहा गया: वार्म-अप और बेसिक। प्रत्येक कार्य के साथ यह इस तरह था: मैंने एक समाधान प्रस्तावित किया, इस समाधान पर कई सवालों के जवाब दिए, और फिर कागज के एक टुकड़े पर कोड लिखा।

कुछ दिनों बाद मुझे बताया गया कि मुझे इंटर्नशिप के लिए स्वीकार कर लिया गया है। वह पूरे तीन महीने तक रहने वाली थी (नतीजतन, ऐसा हुआ)। उन्होंने एक स्थायी स्थिति पर स्विच करने का वादा नहीं किया, लेकिन कहा कि ऐसा विकल्प संभव है।

शुरुआत हो रही है

पहले दिन, संगठनात्मक मुद्दों को हल करने और एक लैपटॉप मिला, मैं अपने सहयोगियों के साथ दोपहर का भोजन करने गया। हमने बात की, फिर मैंने एक टीम रिपॉजिटरी को एक साथ रखा और पहला कार्य किया - एक साधारण पायथन स्क्रिप्ट को संकलित करना, जिसमें कई थ्रेड्स में पहले से ही तैयार प्रोग्राम को चलाना शुरू किया गया और जिससे इसके निष्पादन में तेजी आई। स्क्रिप्ट बनाने की प्रक्रिया में, मैं कोड समीक्षा प्रणाली से परिचित हो गया - जब टीम के अन्य लोग आपके कोड को सत्यापित करते हैं। यह जानकर कि आपके सबसे करीबी सहयोगी पहले उसके साथ व्यवहार करेंगे, और भविष्य में अन्य डेवलपर्स में, आप और अधिक स्पष्ट रूप से लिखने की कोशिश करेंगे। ओलंपियाड प्रोग्रामिंग में, सब कुछ कुछ अलग है: जिस गति के साथ आप कार्यक्रम करते हैं वह महत्वपूर्ण है, और सबसे अधिक संभावना है कि आपने जो भी लिखा है उसे देखने की आवश्यकता नहीं होगी। दूसरी ओर, जब मुझे यैंडेक्स के सामने एक स्थिति का सामना करना पड़ा कि मुझे अभी भी कोड पढ़ना है, तो मैंने इसे कम या ज्यादा स्पष्ट करने की कोशिश की।

इंटर्नशिप के दौरान, मैंने कई बार इस स्क्रिप्ट के समान समस्याओं को हल किया, लेकिन मेरा मुख्य समय बहुत बड़ी परियोजना पर खर्च किया गया था - स्पॉट ऐलिस के लिए एक नया डिकोडर।

यांडेक्स उपकरणों और अनुप्रयोगों के लिए जहां सहायक को आवाज से बुलाया जा सकता है, उपयोगकर्ता की अपेक्षा के अनुसार सब कुछ काम करता है, आपको एक उच्च-गुणवत्ता वाले स्पॉटर की आवश्यकता है - एक आवाज सक्रियण तंत्र। सबसे अधिक बार, सक्रियण वाक्यांश (जिसे आपको एलिस को लॉन्च करने के लिए उच्चारण करने की आवश्यकता होती है) में "एलिस" शब्द ही होता है।

स्पॉट्टर में सुविधाओं की तैयारी (मशीन सीखने की विशेषताएं), एक तंत्रिका नेटवर्क और एक डिकोडर शामिल हैं।

पिछला डिकोडर

डिकोडर के पिछले संस्करण ने प्रोबेबिलिटी वैक्टर को संसाधित करके काम किया। एक ध्वनिक मॉडल है - एक तंत्रिका नेटवर्क, जो प्रत्येक फ्रेम के लिए (10–20 मिलीसेकंड की अवधि के साथ भाषण का एक टुकड़ा) इस संभावना को वापस करता है कि अब इसका उच्चारण किया गया है। तख्ता पलट कर सकते हैं। डिकोडर में डिवाइस द्वारा पिछले 100 फ्रेम "सुना" के लिए संभावितताओं के साथ एक मैट्रिक्स था। प्रत्येक अक्षर की ध्वनि संभावनाओं के एक निश्चित वेक्टर से मेल खाती है। अक्षर A के लिए वेक्टर में, एल्गोरिथ्म में उच्चतम संभावना वाला तत्व पाया गया, जिसके बाद इस तत्व के सापेक्ष मैट्रिक्स का केवल सही हिस्सा माना गया। तब ऑपरेशन एल, आई, सी और ए के लिए दोहराया गया था - प्रत्येक बार मैट्रिक्स को पाया गया तत्व द्वारा "कट ऑफ" किया गया था। शब्द के आरंभ और अंत में A की ध्वनियाँ वास्तव में भिन्न होती हैं - उनमें से दूसरे को आमतौर पर Shva कहा जाता है, यह एक ही समय में A, E और O की तरह दिखता है।

यदि अंतिम संभावना थ्रेशोल्ड मान से अधिक हो गई है, तो एल्गोरिथ्म ने माना कि यह शब्द वास्तव में उपयोगकर्ता के लिए ऐलिस और सक्रिय था।



इस योजना ने इस तथ्य को जन्म दिया कि सहायक कभी-कभी अनायास ही चालू हो जाता है जब लोग "ऐलिस" कहते हैं, लेकिन यह भी जब उन्होंने अन्य शब्दों को सुना, उदाहरण के लिए, "अलेक्जेंडर"। इस शब्द के पहले भाग में ध्वनियाँ ("एलेक्स") उसी क्रम में चलती हैं और मूल रूप से "ऐलिस" शब्द में ध्वनियों के साथ मेल खाती हैं। अंतर केवल ई और के अक्षरों में है, लेकिन इसकी ध्वनि में ई मेरे बहुत करीब है, और एल्गोरिथ्म ने अक्षर के की उपस्थिति को ध्यान में नहीं रखा।



सिद्धांत रूप में, आप दिए गए भाषण में न केवल "ऐलिस" शब्द खोज सकते हैं, बल्कि समान शब्द भी कह सकते हैं। उनमें से बहुत सारे नहीं हैं: "अलेक्जेंडर", "एलेक्सा", "गिरफ्तार", "सीढ़ियाँ", "अरस्तू"। यदि एल्गोरिथ्म का मानना ​​था कि उच्च संभावना वाले उपयोगकर्ता ने उनमें से एक कहा, तो मुख्य डिकोडर के परिणाम की परवाह किए बिना, सक्रियण को रोकना संभव होगा।

हालांकि, इंटरनेट के बिना भी वॉयस एक्टिवेशन काम करना चाहिए। इसलिए, डिकोडर एक स्थानीय तंत्र है। यह एक तंत्रिका नेटवर्क के लिए धन्यवाद काम करता है, जो हर बार उपयोगकर्ता के डिवाइस पर सीधे चलता है (उदाहरण के लिए, फोन पर), यैंडेक्स सर्वर के साथ संचार किए बिना। और चूंकि सब कुछ स्थानीय रूप से होता है, प्रदर्शन (पूरे डेटा सेंटर की तुलना में एक ही फोन का) वांछित होने के लिए बहुत कुछ छोड़ देता है। न केवल शब्द "ऐलिस" को पहचानने का मतलब होगा कि यह छोटे तंत्रिका नेटवर्क के काम को जटिल करेगा और प्रदर्शन की सीमा को पार करेगा। सक्रियण अधिक धीरे-धीरे काम करना शुरू कर देगा, सहायक एक लंबी देरी के साथ जवाब देगा।

एक मूल रूप से अलग डिकोडर की जरूरत थी। सहकर्मियों ने सुझाव दिया कि मैं छिपे हुए मार्कोव मॉडल, एचएमएम के विचार को लागू करता हूं: अपनी इंटर्नशिप की शुरुआत में, यह पहले से ही समुदाय द्वारा अच्छी तरह से वर्णित किया गया था, और अमेज़ॅन के एलेक्सा सहायक में भी आवेदन मिला।

नई एचएमएम डिकोडर

HMM डिकोडर 6 वर्टिकल का एक ग्राफ बनाता है: "ऐलिस" शब्द में प्रत्येक ध्वनि के लिए एक, अन्य सभी ध्वनियों के लिए एक और - एक अन्य भाषण या शोर। वर्टिकल के बीच संक्रमण की संभावनाओं का अनुमान रिकॉर्ड और एनोटेट भाषण के नमूने पर लगाया जाता है। सुनी जाने वाली प्रत्येक ध्वनि के लिए, 6 संभावनाओं पर विचार किया जाता है: पाँच अक्षरों में से प्रत्येक के साथ मेल खाना और छठे शीर्ष तक (अर्थात "ऐलिस" शब्द में पाए गए किसी भी ध्वनि के अलावा)। यदि उपयोगकर्ता "अलेक्जेंडर" कहता है, तो डिकोडर कश्मीर में गिर जाएगा: संभावना है कि बोली जाने वाली ध्वनि सक्रियण वाक्यांश का हिस्सा नहीं है, बहुत बड़ी होगी, और सहायक काम नहीं करेगा।



निकट भविष्य में, ये परिवर्तन ऐलिस और स्पीचकिट लाइब्रेरी के सभी उपयोगकर्ताओं के लिए उपलब्ध होंगे।

इंटर्नशिप का समापन और स्थायी नौकरी के लिए संक्रमण

इंटर्नशिप के तीन महीनों में, मुझे HMM डिकोडर लिखने में डेढ़ साल का समय लगा। इन डेढ़ महीनों के अंत में, प्रबंधक ने मुझे बताया कि स्थायी स्थिति और स्थायी अनुबंध में परिवर्तन संभव होगा (हालाँकि गारंटी नहीं है) अगर मैं उत्पादक के रूप में काम करना जारी रखूँ। लगभग उसी समय, मैंने ओलंपियाड प्रोग्रामिंग शिविर में जाने के लिए दो सप्ताह की छुट्टी ली। वापस आने के बाद, मैंने एक नया कार्य शुरू किया - विभिन्न उपकरणों के लिए प्रशिक्षण स्पॉटर: Yandex.Phone, ऑन-बोर्ड कंप्यूटर के साथ Yandex.Auto और अन्य।

कुछ हफ़्ते के बाद, इंटर्नशिप समाप्त होने के एक महीने पहले, मेरा पहला साक्षात्कार एक स्थायी स्थिति के बारे में आयोजित किया गया था, और कुछ दिनों बाद - दूसरा, अंतिम एक। मैंने संबंधित टीमों के नेताओं के साथ बात की। इंटरव्यू में सबसे पहले मुझसे सैद्धांतिक सवाल पूछे गए: मशीन लर्निंग, न्यूरल नेटवर्क, लॉजिस्टिक रिग्रेशन, ऑप्टिमाइज़ेशन के तरीके। इसके अलावा, उन्होंने नियमितीकरण के बारे में पूछा, अर्थात्, किसी दिए गए एल्गोरिदम की पुनर्प्राप्ति की डिग्री को कम करने के बारे में और उन एल्गोरिदम के बारे में जो नियमित करने के तरीकों पर लागू होते हैं। दूसरा साक्षात्कार व्यावहारिक था: हमने मॉस्को के एक सहयोगी के साथ स्काइप पर बात की, और इस प्रक्रिया में मैंने एक सरल ऑनलाइन संपादक में कोड टाइप किया।

अपनी पहल पर, मुझे पूर्णकालिक नौकरी नहीं मिली, लेकिन the - तथ्य यह है कि बीएसयू में मेरी पढ़ाई अभी तक समाप्त नहीं हुई है। एक स्थिर स्थिति में, मैं थ्रेशोल्ड मूल्यों और अन्य हाइपरपरमेटर्स के स्वत: चयन में भी संलग्न हूं। समय पर हर पल, सिस्टम इस संभावना को प्राप्त करता है कि कीवर्ड "ऐलिस" बोला गया था। अंतिम क्लासिफायरियर इस संभावना की तुलना थ्रेशोल्ड मान से करता है और, यदि थ्रेसहोल्ड दूर हो जाता है, तो ऐलिस को सक्रिय करता है। पहले, थ्रेशोल्ड को डेवलपर्स द्वारा चुना गया था, वर्तमान कार्य यह सीखना है कि यह स्वचालित रूप से कैसे किया जाए।

इसलिए मैं यैंडेक्स से मिला, एलिस की टीम में अपनी जगह बरकरार रखी।