🎵 👊🏽 👋🏾 बैरीमोर, वोक्सिमप्लांट के आसपास क्या है? लागू वेब सॉकेट, सर 🚣🏽 😇 ➖

WebSocket वास्तविक समय में एक ग्राहक और एक तृतीय-पक्ष सेवा के बीच पूर्ण-द्वैध (दो-तरफा) संचार के लिए एक प्रगतिशील मानक है। वेब सॉकेट का उपयोग अतिरिक्त HTTP अनुरोधों के बिना निरंतर डेटा विनिमय को व्यवस्थित करने के लिए किया जाता है।

और हम आपको यह बताते हुए प्रसन्न हो रहे हैं कि यह सब नए VoxEngine मॉड्यूल के लिए Voximplant धन्यवाद के लिए संभव हो गया है, जिसे कहा जाता है - आश्चर्य - WebSocket । अब से, आप वेब सॉकेट्स का पूरा फायदा उठाते हुए टेक्स्ट और ऑडियो ट्रांसफर कर पाएंगे। सीधे शब्दों में कहें, आपके पास अपने एप्लिकेशन को अपग्रेड करने के लिए एक और टूल है।

इस लेख में, आप सीखेंगे कि एक निवर्तमान WebSocket कनेक्शन कैसे बनाया जाए, इसके माध्यम से एक ऑडियो स्ट्रीम स्थानांतरित करें और Google क्लाउड स्पीच-टू-टेक्स्ट API का उपयोग करके इसे टेक्स्ट में परिवर्तित करें।

कृपया ध्यान दें कि वाक्सिमप्लेन में वाक्-रूपांतरण को वास्तविक समय में एएसआर मॉड्यूल के नियंत्रण में पाठ में परिवर्तित करने के लिए अंतर्निहित कार्यक्षमता है। यह मॉड्यूल Google, Yandex और Tinkoff के कार्यों का उपयोग करता है, यहां विवरण देखें।

वर्तमान लेख उस मामले का वर्णन करता है जब आप भाषण को पाठ में परिवर्तित करने और / या उसके खाते से पैसा खर्च करने के लिए तीसरे पक्ष की सेवा का उपयोग करना चाहते हैं, न कि वोक्सिमप्लांट खाते से।

हमारा मॉड्यूल काम के दो प्रारूप प्रदान करता है:

एक आउटगोइंग कनेक्शन बनाना;
एक आने वाला कनेक्शन प्राप्त करना और इसके लिए एक वेब सॉकेट बनाना।

आउटबाउंड

आउटबाउंड कनेक्शन बनाते समय पहली चीज जो आपको करने की आवश्यकता है वह है वोक्सगाइन स्क्रिप्ट को चलाना। इसके बाद VoxEngine.createWebSocket विधि को कॉल करें, जो WebSocket ऑब्जेक्ट बनाएगी। यह विधि 2 पैरामीटर लेती है: URL में 'wss: // + domain + path' और प्रोटोकॉल (वैकल्पिक)। यहां बताया गया है कि यह कोड में कैसा दिखेगा:

VoxEngine.addEventListener(AppEvents.CallAlerting, function(e) { const webSocket = VoxEngine.createWebSocket( /*url*/ "wss://your_link/"); //       });

यदि सब कुछ काम करता है, तो call.sendMediaTo विधि ऑडियो स्ट्रीम को सॉकेट में भेज देगी, और WebSocket.send , बदले में इसके माध्यम से JSON प्रारूप में डिकोड किए गए ऑडियो स्ट्रीम को भेज देगा। परिणामस्वरूप, आपको अनुरोध संसाधित करने वाली सेवा से संदेश प्राप्त होंगे।

कनेक्शन को बंद करने के लिए WebSocket.close विधि की आवश्यकता है। कृपया ध्यान दें कि कनेक्शन क्लाइंट साइड और सर्वर साइड दोनों पर बंद किया जा सकता है।

भेजे

आने वाले कनेक्शनों की अनुमति देने के लिए, आपको इसके बारे में VoxEngine.allowWebSocketConnections के माध्यम से सूचित करना होगा, और AppEvents.WebSocket इवेंट की सदस्यता भी लेनी चाहिए। फिर आने वाले कनेक्शन को स्वीकार करना और WebSocket: event.WebSocket ऑब्जेक्ट प्राप्त करना संभव होगा। नीचे दिए गए कोड को देखें:

 VoxEngine.allowWebSocketConnections(); VoxEngine.addEventListener(AppEvents.WebSocket, function(e) { //       });

एक आने वाले वेब सॉकेट बनाने के लिए, आपको AccessSecureURL नियंत्रण की आवश्यकता होती है। यह AppEvents.Started घटना या सत्र शुरू करने वाले HTTP अनुरोध की प्रतिक्रिया से लिया जा सकता है। ध्यान दें कि URL में "https" को 'wss' में बदलना चाहिए।

शेष चरण आउटगोइंग कनेक्शन योजना में प्रस्तुत किए गए समान हैं।

आपको आवश्यकता होगी

अपने आवेदन में WebSocket प्रौद्योगिकी और वाक् पहचान को लागू करने के लिए, आपको निम्नलिखित की आवश्यकता होगी:

Voximplant खाता। यदि आपके पास यह नहीं है, तो यहां पंजीकरण करने के लिए स्वतंत्र महसूस करें;
Voximplant आवेदन, साथ ही एक स्क्रिप्ट, एक नियम और एक उपयोगकर्ता। यह सब इस ट्यूटोरियल में बनाया जाएगा;
साधारण बैकएंड (हम नोड.जेएस पर सर्वर शुरू करेंगे) स्पीच-टू-टेक्स्ट एपीआई के लिए क्लाउड क्लाइंट लाइब्रेरी से जुड़े;
एक कॉल करने के लिए वेब क्लाइंट (हम phone.voximplant.com पर वेब फोन का उपयोग करेंगे)।

1. VOXIMPLANT सेटिंग्स

आरंभ करने के लिए, manage.voximplant.com/auth पर अपने खाते में लॉग इन करें। बाईं ओर मेनू में, "एप्लिकेशन" पर क्लिक करें, एक नया बनाएं और इसे वेबस्कैट नाम दें। अपने एप्लिकेशन में जाएं, स्क्रिप्ट टैब पर जाएं, एक स्क्रिप्ट बनाएं और उसमें निम्न कोड पेस्ट करें:

 require(Modules.WebSocket); VoxEngine.addEventListener(AppEvents.CallAlerting, function(e) { call = e.call; call.answer(); const webSocket = VoxEngine.createWebSocket( /*url*/ "wss://your_ngrok_link/"); webSocket.addEventListener(WebSocketEvents.ERROR, function(e) { Logger.write("LOG OUTGOING: WebSocketEvents.ERROR"); call.sendMessage("LOG OUTGOING: WebSocketEvents.ERROR"); }); webSocket.addEventListener(WebSocketEvents.CLOSE, function(e) { Logger.write("LOG OUTGOING: WebSocketEvents.CLOSE: " + e.reason); call.sendMessage("LOG OUTGOING: WebSocketEvents.CLOSE: " + e.reason); }); webSocket.addEventListener(WebSocketEvents.OPEN, function(e) { Logger.write("LOG OUTGOING: WebSocketEvents.OPEN"); Logger.write(JSON.stringify(e)) call.sendMessage("LOG OUTGOING: WebSocketEvents.OPEN"); }); webSocket.addEventListener(WebSocketEvents.MESSAGE, function(e) { Logger.write("LOG OUTGOING: WebSocketEvents.MESSAGE: " + e.text); call.sendMessage("LOG OUTGOING: WebSocketEvents.MESSAGE: " + e.text); if (e.text == "Hi there, I am a WebSocket server") { call.sendMediaTo(webSocket, { encoding: WebSocketAudioEncoding.ULAW, "tag": "MyAudioStream", "customParameters": { "param1": "12345" } }); } }); call.addEventListener(CallEvents.Disconnected, function(e) { Logger.write("LOG OUTGOING: terminating in 1 sec"); webSocket.close(); setTimeout(VoxEngine.terminate, 1000); }); });

यह VoxEngine स्क्रिप्ट WebSocket को एक ऑडियो स्ट्रीम भेजता है, और इसके ईवेंट (ERROR, CLOSE, OPEN, MESSAGE) को भी ट्रैक करता है। हम थोड़ी देर बाद स्क्रिप्ट के विवरण में तल्लीन कर सकते हैं।

अब, "रूटिंग" टैब पर जाएं, "न्यू रूल" पर क्लिक करें और इसे सॉकेटरूल कहें। अब यह केवल आपकी स्क्रिप्ट का चयन करने के लिए बना हुआ है, और डिफ़ॉल्ट रूप से (*।) मास्क को छोड़ दें।

अंतिम चरण आपको इस स्तर पर करने की आवश्यकता है कि एक उपयोगकर्ता बनाएं। "उपयोगकर्ता" टैब पर स्विच करें, "उपयोगकर्ता बनाएं" पर क्लिक करें, एक नाम निर्दिष्ट करें (उदाहरण के लिए, सॉकेटयूज़र) और पासवर्ड, फिर "बनाएं" पर क्लिक करें। हमें अंतिम चरण में वेब क्लाइंट में प्रमाणीकरण के लिए इस उपयोगकर्ता नाम / पासवर्ड जोड़ी की आवश्यकता होगी।

कॉन्फ़िगरेशन पूर्ण है, लेकिन इससे पहले कि हम सर्वर बनाना शुरू करें, आइए देखें कि हमारे परिदृश्य में WebSocket मॉड्यूल कैसे काम करता है।

2. स्क्रिप्ट का विवरण

WebSocket मॉड्यूल डेवलपर्स को एक स्थिर कनेक्शन खोलने और इसके माध्यम से डेटा भेजने की अनुमति देता है। इस मॉड्यूल का उपयोग करने के लिए, हमें इसे स्क्रिप्ट की शुरुआत में कनेक्ट करना होगा:

 require(Modules.WebSocket);

CreateWebSocket विधि के माध्यम से, हम URL और प्रोटोकॉल (वैकल्पिक) निर्धारित करते हैं। आप सीख सकते हैं कि अगले अनुभाग से WebSocket के लिए URL कैसे प्राप्त करें।

 const webSocket = VoxEngine.createWebSocket( /*url*/ "wss://your_ngrok_link/");

WebSocket ऑब्जेक्ट बनाने के बाद, हम हैंडलर के अंदर कॉल को प्रबंधित करना जारी रखते हैं। अर्थात्, हम call.sendMediaTo पद्धति का उपयोग करके मीडिया को WebSocket ऑब्जेक्ट पर भेजते हैं।

यहां आप पसंदीदा एन्कोडिंग प्रारूप, टैग और कुछ कस्टम पैरामीटर सेट कर सकते हैं। यदि आप एन्कोडिंग सेट नहीं करते हैं, तो PCM8 डिफ़ॉल्ट रूप से उपयोग किया जाएगा।

सफल कनेक्शन संदेश प्राप्त होने पर इस विधि को कहा जाता है। हमारे परिदृश्य में, कॉल कोड इस तरह दिखता है:

 call.sendMediaTo(webSocket, { encoding: WebSocketAudioEncoding.ULAW, "tag": "MyAudioStream", "customParameters": { "param1": "12345" } });

अन्य सभी WebSocket ईवेंट जो आप कोड में देखते हैं डिबगिंग के लिए हैं, वे वोक्सिमप्लेन सत्र के लॉग में जानकारी भेजते हैं। आप चाहें तो उन्हें निकाल सकते हैं।

अंत में, हम सही डेटा ट्रांसफर पूरा करने वाले हैंडलर को जोड़ते हैं। हमारे मामले में, वॉक्सिमप्लांट सत्र स्थापित कॉल के अंत के बाद अपना काम 1 सेकंड समाप्त कर देगा (असम्बद्ध):

 call.addEventListener(CallEvents.Disconnected, function(e) { Logger.write("LOG OUTGOING: terminating in 1 sec"); webSocket.close(); setTimeout(VoxEngine.terminate, 1000); });

अब जब स्क्रिप्ट का तर्क स्पष्ट है, यह हमारे उदाहरण के अगले, बहुत महत्वपूर्ण भाग पर आगे बढ़ने का समय है।

3. बैकएंड

सबसे पहले, सुनिश्चित करें कि आपके कंप्यूटर पर Node.js. स्थापित है। आप इसे Node.js मुख्य साइट से डाउनलोड कर सकते हैं। फिर, काम करने के माहौल को स्थापित करने के लिए, टर्मिनल विंडो में एक के बाद एक, निम्न कमांड्स चलाएं:

 npm install express npm install ws npm install @google-cloud/speech

और जब यह किया जाता है, तो एक खाली जेएस फाइल बनाएं और निम्नलिखित कोड को वहां रखें (कोड की बारीकियों को नीचे हाइलाइट किया जाएगा):

 const app = require('express')(); const http = require('http').createServer(app); const WebSocket = require('ws'); const fs = require('fs'); const wss = new WebSocket.Server({ server: http }); //     Google Cloud const speech = require('@google-cloud/speech'); //    const client = new speech.SpeechClient(); const config = { encoding: 'MULAW', sampleRateHertz: 8000, languageCode: 'ru-RU', }; const request = { config, interimResults: true, }; let audioInput = []; let recognizeStream = null; process.env["NODE_TLS_REJECT_UNAUTHORIZED"] = 0; app.get('/', function(req, res) { res.send('<h1>Hello world</h1>'); }); wss.on('connection', (ws) => { //  ,       var wstream = fs.createWriteStream('myBinaryFile'); //   audioInput audioInput = []; //    recognizeStream = client .streamingRecognize(request) .on('error', err => { ws.close(); }) .on('data', data => { ws.send(data.results[0].alternatives[0].transcript) process.stdout.write( data.results[0] && data.results[0].alternatives[0] ? `Transcription: ${data.results[0].alternatives[0].transcript}\n` : `\n\nError occurred, press Ctrl+C\n` ) }); ws.on('close', (message) => { console.log('The time limit for speech recognition has been reached. Please disconnect and call again.'); wstream.end(); }) //  ,     message ws.on('message', (message) => { //     base64  recognizeStream try { let data = JSON.parse(message) if (data.event == "media") { let b64data = data.media.payload; let buff = new Buffer.from(b64data, 'base64'); recognizeStream.write(buff); wstream.write(buff); } } catch (err) { console.log(message) } }); //      ws.send('Hi there, I am a WebSocket server'); }); http.listen(3000, function() { console.log('listening on *:3000'); });

अब जब सर्वर कॉन्फ़िगर किया गया है, तो यह हमें भाषण पहचान करने में मदद करेगा। लोकलहोस्ट 3000 पर एनरोल का उपयोग करके एक सुरंग बनाकर स्थानीय रूप से अपने समाधान का परीक्षण करें।

ऐसा करने के लिए, इन चरणों का पालन करें:

अपनी वेबसाइट पर दिए गए निर्देशों का पालन करके एनरोक स्थापित करें ।
ग्राहक को इस खाते में बाँधने के लिए ngrok के लिए अपना ओकटोकेन निर्दिष्ट करें।
अपने सर्वर को लोकलहोस्ट पर शुरू करने के लिए node your_file_name.js चलाएँ: 3000।
अपने कंप्यूटर पर ngrok फ़ोल्डर में जाएं और चल रहे स्थानीय सर्वर और सार्वजनिक URL के बीच एक सुरंग बनाने के लिए ./ngrok http 3000 कमांड चलाएँ।

जनरेट किए गए सार्वजनिक URL पर ध्यान दें, हम इसका उपयोग स्क्रिप्ट में उपसर्ग 'wss' के साथ WebSocket URL के रूप में करते हैं:

4. वाक् पहचान

आपने शायद देखा होगा कि हमारे बैकएंड कोड में Google क्लाउड से संबंधित लाइनें हैं।

पुस्तकालय स्वयं इस प्रकार आयात किया जाता है:

 const speech = require('@google-cloud/speech');

अब आपको यह निर्दिष्ट करने की आवश्यकता है कि भाषण मान्यता अनुरोध को कैसे संसाधित किया जाए। ऐसा करने के लिए, जनरेट किए गए कॉन्फ़िगरेशन में एन्कोडिंग, sampleRateHertz और languageCode का चयन करें:

 const config = { encoding: 'MULAW', sampleRateHertz: 8000, languageCode: 'en-US', };

अगला, एक लिखित स्ट्रीम बनाएं जो आपको फ़ाइल में स्थानांतरित डेटा सहेजने की अनुमति देता है:

 var wstream = fs.createWriteStream('myBinaryFile');

जब सब कुछ सेट हो जाता है, तो आपको संदेश को पार्स करने की जरूरत होती है और ऑडियो डेटा को आधार 64 प्रारूप में पहचान के आधार पर रखा जाना चाहिए:

 let data = JSON.parse(message) if (data.event == "media") { b64data = data.media.payload; let buff = new Buffer.from(b64data, 'base64'); recognizeStream.write(buff); wstream.write(buff); }

इसके तुरंत बाद, एक मान्यता अनुरोध शुरू किया जाएगा और इस अनुरोध का प्रसंस्करण शुरू हो जाएगा:

 recognizeStream = client .streamingRecognize(request) .on('data', data => { ws.send(data.results[0].alternatives[0].transcript) });

अंत में, Google लाइब्रेरी को इसके बैकएंड से जोड़ने के लिए अपने सेवा खाते की साख प्रदान करें। ऐसा करने के लिए, Google प्रमाणीकरण पृष्ठ पर जाएं और वहां सूचीबद्ध सभी चरणों का पालन करें। फिर निर्यात कमांड को उसी कार्यक्षेत्र में (उसी "टर्मिनल" टैब में) node your_file_name.js: रूप में node your_file_name.js:

 export GOOGLE_APPLICATION_CREDENTIALS="/home/user/Downloads/[FILE_NAME].json"

सॉकेट लॉन्च करें

Phone.voximplant.com खोलें, फ़ॉर्म भरें और साइन इन करें पर क्लिक करें। उपयोगकर्ता नाम और पासवर्ड चरण 1 में बनाए गए उपयोगकर्ता को संदर्भित करता है:

सफल प्राधिकरण के बाद, कॉल पर क्लिक करें और बात करना शुरू करें। स्पीच-टू-टेक्स्ट क्लाउड आपके भाषण को वास्तविक समय में टेक्स्ट में बदल देगा, और आप इस विंडो को टर्मिनल विंडो में देख सकते हैं।

आपने इसे किया, बधाई! हमें उम्मीद है कि आपको लेख पसंद आया होगा और आप अधिक एकीकरण और नई चुनौतियों की कामना करेंगे।

बैरीमोर, वोक्सिमप्लांट के आसपास क्या है? लागू वेब सॉकेट, सर