मानव भाषण के लिए "फोटोशॉप"

3 नवंबर, 2016 को एडोब मैक्स टेक्नोलॉजी कॉन्फ्रेंस में, एडोब ने एक बहुत ही रोचक वैज्ञानिक और तकनीकी विकास प्रस्तुत किया , जो भविष्य में एक लोकप्रिय सॉफ्टवेयर एप्लिकेशन में बदल सकता है। संक्षेप में, आविष्कार मानव भाषण के शब्दार्थ संपादन के लिए एक कार्यक्रम है। इस मामले में, न केवल एकत्र किए गए फोनमेस (संकलन संश्लेषण) से संश्लेषण की मानक विधि का उपयोग किया जाता है, बल्कि यथार्थवाद को बढ़ाने वाले सहायक तरीके भी हैं। यह ट्राइफोन्स का एक बुद्धिमान विकल्प है और नमूना आवाज की विशिष्ट विशेषताओं का उपयोग है।

नतीजतन, उपयोगकर्ता मनमाना पाठ लिखता है - और कार्यक्रम इसे उस आवाज़ के साथ आवाज़ देता है जिस पर इसे प्रशिक्षित किया गया था। आप भाषण में किसी भी शब्द को जल्दी से जोड़ सकते हैं या अनावश्यक लोगों को काट सकते हैं।

व्यवहार में, VoCo परियोजना के भाग के रूप में प्रस्तुत कार्यक्रम निम्नानुसार काम करता है। सबसे पहले, किसी विशेष भाषा में किसी विशेष व्यक्ति की आवाज के लिए फोनम आधार को इकट्ठा किया जाता है। यथार्थवादी परिणामों के लिए, कार्यक्रम में न्यूनतम 20 मिनट के मानव भाषण की आवश्यकता होती है। अधिक, बेहतर। एकत्र किए गए फोनेम्स (ट्राइफोन्स) के आधार पर, कार्यक्रम फिर लगभग किसी भी नए शब्द को इकट्ठा कर सकता है जैसे कि ईंटों से।

मैक्स सम्मेलन में VoCo प्रस्तुति का विभाजन

एक अर्थ में, VoCo फ़ोटोशॉप में एक संदर्भ ब्रश के काम की तरह काम करता है। वह तस्वीर के विभिन्न स्थानों से टुकड़े भी लेती है - और इन टुकड़ों से एक नई छवि एकत्र करती है। एक जंगल की तस्वीर से एक लकड़ी का टुकड़ा, दूसरी तस्वीर से घास का टुकड़ा और तीसरी तस्वीर से एक लड़की - और हमें एक पूरी तरह से नया फोटोरिअलिस्टिक काम मिलता है जिसमें एक जंगल, घास और अग्रभूमि में एक लड़की है। यदि काम पेशेवर रूप से किया जाता है, तो स्थापना को निर्धारित करना बहुत मुश्किल है। इसलिए सोवियत काल में , जो लोग अचानक लोगों के दुश्मन बन गए थे , वे इतिहास से मिट गए थे। तस्वीर में एक व्यक्ति था - और अब एक शून्य या कोई अन्य व्यक्ति है।

तो VoCo प्रौद्योगिकी आपको मनमाने शब्दों और वाक्यांशों के साथ मानव भाषण को पूरक करने की अनुमति देती है।

मैक्स सम्मेलन में, डेवलपर्स में से एक, ज़ेयू जिन ने एक प्रस्तुति दी। पहले प्रकाशित वैज्ञानिक पत्र में, उन्हें प्रिंसटन विश्वविद्यालय के एक कर्मचारी के रूप में सूचीबद्ध किया गया है, साथ ही साथ सहयोगी एडम फिंकेलस्टीन के साथ भी। प्रौद्योगिकी को एडोब रिसर्च ने प्रिंसटन यूनिवर्सिटी के सहयोग से विकसित किया था।

जैसा कि एडोब द्वारा कल्पना की गई है, तकनीक सामग्री रचनाकारों को ऑडियो ट्रैक को अधिक आसानी से संपादित करने में मदद करेगी: एक गलती को जल्दी से ठीक करने या कहानी में बदलाव करने के लिए संवाद और वॉयसओवर पाठ।

एडोब जोर देता है कि इस मामले में शास्त्रीय आवाज संश्लेषण की तुलना में "आवाज रूपांतरण" के बारे में बात करना अधिक उपयुक्त है। आवाज रूपांतरण का उद्देश्य मूल आवाज को बदलना है ताकि श्रोता के लिए यह बाद की आवाज के मॉडल के बाद किसी अन्य व्यक्ति की आवाज प्रतीत हो।

आवाज रूपांतरण की तकनीकी नींव को उपरोक्त वैज्ञानिक कार्यों में अधिक विस्तार से वर्णित किया गया है ।प्रिंसटन विश्वविद्यालय के साथ संयुक्त रूप से तैयार। इसके लेखक बताते हैं कि विकसित CUTE तकनीक आवाज रूपांतरण के अन्य तरीकों से गुणात्मक रूप से बेहतर है। वैकल्पिक रूपांतरण विधियां आमतौर पर स्रोत और लक्ष्य के समान वाक्यांशों के समानांतर विश्लेषण पर आधारित होती हैं, इसके बाद किसी भी पता स्थान में कुछ परिवर्तन वैक्टर की गणना होती है। उसके बाद, प्राप्त किए गए वैक्टर का उपयोग करके मूल आवाज के किसी भी मनमाने टुकड़े को रूपांतरित किया जा सकता है। लेकिन ये विधियां अप्रिय दुष्प्रभावों से ग्रस्त हैं - इस तरह से संश्लेषित भाषण बहरा, पतला है।

Adobe शोधकर्ता हाइब्रिड CUTE पद्धति का उपयोग करके अन्य तकनीकों की कमियों को दूर करने में सक्षम थे। शीर्षक इस तकनीक के चार मुख्य घटकों को सम्मिलित करता है: संकलन संश्लेषण (कॉन्टैनेटिव सिंथेसिस); इकाई चयन; ट्रायफोन्स का प्रारंभिक चयन, अर्थात्, तीन फोनेम्स की इकाइयाँ (ट्रायफ़ोन पूर्व-चयन); नमूना गुणों का उपयोग करना (उदाहरण-आधारित विशेषताएं)।

संकलन संश्लेषण को पूर्व-रिकॉर्ड किए गए वाक्यांशों से संदेश भेजने के लिए कम किया जाता है। यह भाषण सिंथेसाइज़र के साथ काम करने का मुख्य तरीका है, जो विभिन्न उपकरणों से लैस हैं: सैन्य विमानों से घरेलू उपकरणों तक, मोबाइल ऑपरेटरों की मदद सेवाओं में, आदि।

जैसा कि नाम से पता चलता है, विकसित हाइब्रिड तकनीक भाषण संश्लेषण और आवाज रूपांतरण के कई तरीकों को जोड़ती है।

वैज्ञानिक कार्य आवाज रूपांतरण के अन्य तरीकों के साथ तुलनात्मक परीक्षणों के परिणाम प्रस्तुत करते हैं, जिसमें CUTE प्रतियोगियों से काफी बेहतर है। इसी समय, उनकी कुछ कमियों का उल्लेख किया गया है: वह, अन्य सभी की तरह, नए शब्दों को संश्लेषित करते समय डेटाबेस में एक अपर्याप्त संख्या से पीड़ित होते हैं, जो ध्वनिगत रूप से सही उत्पन्न करता है, लेकिन बहुत यथार्थवादी परिणाम नहीं है। इसके अलावा, यह सही ध्वन्यात्मक विभाजन के लिए वाक् पहचान इंजन के संचालन पर निर्भर करता है।

यह अभी भी अज्ञात है कि क्या Adobe एक वास्तविक वाणिज्यिक उत्पाद के रूप में इस होनहार विकास को लागू करने जा रहा है। लेकिन अब हम यह कह सकते हैं कि इस तरह का कार्यक्रम बहुत लोकप्रिय हो जाएगा, बशर्ते कि ध्वनि से ध्वनि का संश्लेषण यथार्थवादी हो। उदाहरण के लिए, पॉडकास्टर्स इसका उपयोग टेक्स्ट से पॉडकास्ट उत्पन्न करने के लिए कर सकते हैं। यह एक मनमाना व्यक्ति (उदाहरण के लिए, अपनी लड़की) की आवाज का उपयोग करके ऑडियो पुस्तकों को आवाज देने के लिए भी इस्तेमाल किया जा सकता है। इस तरह की तकनीक हॉलीवुड में एक अभिनेता की अनुपस्थिति में आवाज अभिनय के लिए आवेदन खोजने की संभावना है। उदाहरण के लिए, यदि कोई अनुबंध उसके साथ टूट गया था या फिल्मांकन के बीच में उसकी मृत्यु हो गई थी।

Source: https://habr.com/ru/post/hi398865/