STM32F7- डिस्कवरी पर एसआईपी फोन

सभी को नमस्कार।

कुछ समय पहले, हमने Embox पर आधारित 1 MB ROM और 192 KB RAM) के साथ STM32F4-Discovery पर एक SIP फोन लॉन्च करने में कैसे कामयाब रहे, इसके बारे में लिखा । यहाँ यह कहा जाना चाहिए कि वह संस्करण न्यूनतम था और बिना सर्वर के सीधे दो फोन और केवल एक दिशा में ध्वनि संचरण के साथ जुड़ा था। इसलिए, हमने सर्वर के माध्यम से एक कॉल के साथ अधिक पूर्ण फोन लॉन्च करने का फैसला किया, दोनों दिशाओं में ध्वनि संचरण, लेकिन एक ही समय में सबसे छोटे संभव स्मृति आकार के भीतर रखें।


फोन के लिए, PJSIP लाइब्रेरी के हिस्से के रूप में simple_pjsua एप्लिकेशन को चुनने का निर्णय लिया गया। यह एक न्यूनतम अनुप्रयोग है जो सर्वर पर रजिस्टर, कॉल और उत्तर प्राप्त कर सकता है। नीचे मैं तुरंत STM32F7-Discovery पर इसे चलाने का तरीका बताऊंगा।

कैसे चलाना है?

1. Embox को कॉन्फ़िगर करना

   make confload-platform/pjsip/stm32f7cube 

2. Conf / mods.config फ़ाइल में, वांछित SIP खाता सेट करें।
   
   

    include platform.pjsip.cmd.simple_pjsua_imported( sip_domain="server", sip_user="username", sip_passwd="password") 

   
   जहां सर्वर SIP सर्वर है (उदाहरण के लिए, sip.linphone.org), उपयोगकर्ता नाम और पासवर्ड खाते का उपयोगकर्ता नाम और पासवर्ड है।
   
3. Make कमांड से Embox बनाएं। विकी और लेख में हमारे पास बोर्ड के फर्मवेयर के बारे में।
   
4. कमांड "simple_pjsua_imported" को Embox कंसोल में चलाएँ
   
   

    00:00:12.870 pjsua_acc.c ....SIP outbound status for acc 0 is not active 00:00:12.884 pjsua_acc.c ....sip:alexk2222@sip.linphone.org: registration success, status=200 (Registration succes 00:00:12.911 pjsua_acc.c ....Keep-alive timer started for acc 0, destination:91.121.209.194:5060, interval:15s 

   
   
5. अंत में, यह ऑडियो आउटपुट में स्पीकर या हेडफ़ोन सम्मिलित करने के लिए रहता है, और डिस्प्ले के पास दो छोटे MEMS माइक्रोफोन में बात करता है। हम simple_pjsua, pjsua एप्लिकेशन के माध्यम से लिनक्स से कॉल करते हैं। ठीक है, या आप किसी अन्य प्रकार के लिनफोन कर सकते हैं।
   

यह सब हमारी विकि पर वर्णित है।

हम इसके लिए कैसे आए?

इसलिए, शुरू में एक हार्डवेयर प्लेटफ़ॉर्म चुनने के बारे में सवाल उठाया गया था। चूंकि यह स्पष्ट था कि एसटीएम 32 एफ 4-डिस्कवरी स्मृति में फिट नहीं होगी, इसलिए एसटीएम 32 एफ 7-डिस्कवरी को चुना गया। उसके पास 1 एमबी फ्लैश ड्राइव और 256 केबी रैम (+ 64 विशेष तेज मेमोरी है, जो हम भी उपयोग करेंगे)। सर्वर के माध्यम से कॉल के लिए बहुत कुछ नहीं है, लेकिन अंदर जाने की कोशिश करने का फैसला किया।

परंपरागत रूप से, कार्य को कई चरणों में विभाजित किया गया था:

• QJU पर PJSIP चल रहा है। यह डिबगिंग के लिए सुविधाजनक था, इसके अलावा हमारे पास पहले से ही AC97 कोडेक सपोर्ट था।
• QEMU और STM32 पर वॉयस रिकॉर्डिंग और प्लेबैक।
• PJSIP के भीतर से एक simple_pjsua एप्लिकेशन पोर्ट करना। यह आपको SIP सर्वर पर पंजीकरण करने और कॉल करने की अनुमति देता है।
• अपने स्वयं के तारांकित-आधारित सर्वर को तैनात करें और उस पर परीक्षण करें, फिर बाहरी लोगों जैसे कि sip.linphone.org को आज़माएं

Embox में साउंड पोर्टैडियो के माध्यम से काम करता है, जिसका उपयोग PISIP में भी किया जाता है। पहली समस्याएं QEMU पर दिखाई दीं - WAV ने 44100 हर्ट्ज में अच्छा खेला, लेकिन कुछ स्पष्ट रूप से 8000 पर गलत हो गया। यह पता चला कि यह आवृत्ति सेट करने का मामला था - डिफ़ॉल्ट रूप से यह उपकरण में 44100 था, और यह हमारे लिए प्रोग्रामेटिक रूप से नहीं बदला।

यहाँ, यह शायद यह समझाने के लायक है कि ध्वनि सामान्य रूप से कैसे बजाई जाती है। साउंड कार्ड कुछ पॉइंटर को मेमोरी के एक टुकड़े पर सेट कर सकता है जिसमें से आप एक पूर्व निर्धारित आवृत्ति पर खेलना या रिकॉर्ड करना चाहते हैं। बफर समाप्त होने के बाद, एक व्यवधान उत्पन्न होता है, और अगले बफर से निष्पादन जारी रहता है। तथ्य यह है कि इन बफ़र्स को पिछले एक के खेलने से पहले अग्रिम रूप से भरना होगा। यह समस्या हम आगे STM32F7 पर सामना करेंगे।

अगला, हमने एक सर्वर किराए पर लिया और उस पर तारांकन चिह्न तैनात किया। चूंकि यह बहुत डिबग करने के लिए आवश्यक था, लेकिन माइक्रोफोन में बहुत कुछ नहीं बोलना चाहता था, इसलिए स्वचालित प्लेबैक और रिकॉर्डिंग करना आवश्यक था। ऐसा करने के लिए, हमने simple_pjsua को पैच किया ताकि ऑडियो डिवाइस के स्थान पर फ़ाइलों को पर्ची करना संभव हो सके। PJSIP में, यह काफी सरलता से किया जाता है, क्योंकि उनके पास एक पोर्ट की अवधारणा है, जो या तो एक डिवाइस या एक फ़ाइल हो सकती है। और इन बंदरगाहों को अन्य बंदरगाहों से लचीले ढंग से जोड़ा जा सकता है। आप कोड को हमारे pjsip रिपॉजिटरी में देख सकते हैं। परिणामस्वरूप, योजना इस प्रकार थी। मैंने Asterisk सर्वर पर दो अकाउंट बनाए - Linux के लिए और Embox के लिए। इसके बाद, simple_pjsua_imported कमांड को Embox पर निष्पादित किया जाता है, Embox सर्वर पर पंजीकृत होता है, जिसके बाद हम लिनक्स से Embox कहते हैं। कनेक्शन के समय, हम Asterisk सर्वर पर जांचते हैं कि पूरा कनेक्शन स्थापित है, और कुछ समय बाद उन्हें लिनक्स में लिनक्स से ध्वनि सुनाई देनी चाहिए, और लिनक्स में हम उस फ़ाइल को सहेजते हैं जिसे Embox से खेला जाता है।

इसके बाद QEMU पर काम करने के बाद, हमने STM32F7-Discovery की पोर्टिंग की। पहली समस्या - वे छवि आकार के संदर्भ में "-ओस" संकलक के शामिल अनुकूलन के बिना 1 एमबी रोम में नहीं आए। इसलिए "-O" शामिल हैं। इसके अलावा, पैच C ++ समर्थन को अक्षम कर देता है, इसलिए इसे केवल पजेसु के लिए आवश्यक है, और हम simple_pjsua का उपयोग करते हैं।

Simple_pjsua फिट करने के बाद, हमने तय किया कि अब इसे लॉन्च करने की संभावना है। लेकिन पहले, आपको वॉयस रिकॉर्डिंग और प्लेबैक से निपटना था। सवाल - कहां लिखें? हमने एक बाहरी मेमोरी चुनी - एसडीआरएएम (128 एमबी)। आप इसे स्वयं आजमा सकते हैं:

16000 हर्ट्ज की आवृत्ति और 10 सेकंड की अवधि के साथ स्टीरियो WAV बनाता है:

 record -r 16000 -c 2 -d 10000 -m C0000000 

हम हार गए:

 play -m C0000000 

दो समस्याएं थीं। एक कोडेक के साथ पहला WM8994 है, और इसमें एक स्लॉट के रूप में ऐसी अवधारणा है, और ये स्लॉट 4 हैं। इसलिए, डिफ़ॉल्ट रूप से, यदि यह कॉन्फ़िगर नहीं किया गया है, तो ऑडियो खेलते समय, प्लेबैक सभी चार स्लॉट में होता है। इसलिए, 16000 हर्ट्ज की आवृत्ति पर, हमें 8000 हर्ट्ज प्राप्त हुआ, लेकिन 8000 हर्ट्ज के लिए प्लेबैक बस काम नहीं करता था। जब केवल स्लॉट 0 और 2 का चयन किया गया था, तो इसे उसी तरह काम करना चाहिए जैसा कि करना चाहिए। एक अन्य समस्या STM32Cube में ऑडियो इंटरफ़ेस थी, जिसमें ऑडियो आउटपुट SAI (सीरियल ऑडियो इंटरफ़ेस) के माध्यम से ऑडियो इनपुट के साथ काम करता है (विवरण समझ में नहीं आया, लेकिन यह पता चला है कि वे एक आम घड़ी साझा करते हैं और ऑडियो आउटपुट को प्रारंभ करते समय किसी तरह ऑडियो संलग्न होता है। इनपुट)। यही है, उन्हें अलग से लॉन्च नहीं किया जा सकता है, इसलिए उन्होंने निम्नलिखित किया - ऑडियो इनपुट और ऑडियो आउटपुट हमेशा काम करते हैं (इंटरप्ट सहित) उत्पन्न होते हैं। लेकिन जब सिस्टम में कुछ भी नहीं खोता है, तो हम बस ऑडियो आउटपुट में एक खाली बफर को पर्ची करते हैं, और जब प्लेबैक शुरू होता है, तो हम ईमानदारी से इसे भरना शुरू करते हैं।

इसके अलावा, उन्होंने इस तथ्य का सामना किया कि आवाज रिकॉर्ड करते समय आवाज बहुत शांत थी। यह इस तथ्य के कारण है कि एसटीएम 32 एफ 7-डिस्कवरी पर एमईएमएस माइक्रोफोन किसी भी तरह 16000 हर्ट्ज से कम आवृत्तियों पर अच्छा काम नहीं करते हैं। इसलिए, हम 16000 हर्ट्ज सेट करते हैं, भले ही 8000 हर्ट्ज आता हो। ऐसा करने के लिए, सच्चाई को एक आवृत्ति के सॉफ़्टवेयर रूपांतरण को दूसरे में जोड़ना था।

अगला, मुझे ढेर का आकार बढ़ाना पड़ा, जो रैम में स्थित है। हमारे अनुमानों के अनुसार, pjsip को लगभग 190 Kb की आवश्यकता थी, और हमारे पास केवल लगभग 100 Kb थे। यहाँ मुझे बाहरी मेमोरी - SDRAM (लगभग 128 Kb) का उपयोग करना पड़ा।

इन सभी संपादन के बाद, मैंने लिनक्स और एमबॉक्स के बीच पहला पैकेज देखा, और मुझे एक आवाज़ सुनाई दी! लेकिन ध्वनि भयानक थी, क्यूईएमयू की तरह बिल्कुल भी नहीं, कुछ भी नहीं बनाया जा सकता था। फिर हमने सोचा कि क्या बात हो सकती है। डिबगिंग ने दिखाया कि Embox में ऑडियो बफ़र्स को भरने / उतारने का समय नहीं है। जबकि pjsip एक फ्रेम को प्रोसेस कर रहा है, बफर प्रोसेसिंग के पूरा होने से पहले 2 रुकावटें आई हैं, जो बहुत अधिक है। गति बढ़ाने के लिए पहले सोचा गया था कि यह कंपाइलर का अनुकूलन कर रहा है, लेकिन यह PJSIP में पहले से ही शामिल था। दूसरा एक हार्डवेयर फ्लोटिंग पॉइंट है, हमने लेख में इसके बारे में बात की है। लेकिन जैसा कि अभ्यास से पता चला है, एफपीयू ने गति में उल्लेखनीय वृद्धि नहीं दी है। अगला कदम थ्रेड्स को प्राथमिकता देना था। Embox की अलग-अलग समय-निर्धारण रणनीतियाँ हैं, और मैंने एक को शामिल किया है जो प्राथमिकताओं का समर्थन करता है और ऑडियो स्ट्रीम को सर्वोच्च प्राथमिकता पर सेट करता है। इसने या तो मदद नहीं की।

अगला यह विचार था कि हम बाहरी मेमोरी के साथ काम कर रहे हैं और वहां संरचनाओं को स्थानांतरित करना अच्छा होगा, जो कि बहुत बार एक्सेस किए जाते हैं। मैंने कब और किस simple_pjsua के तहत स्मृति का आवंटन किया, इसका प्रारंभिक विश्लेषण किया। यह पता चला कि 190 Kb में से PJSIP की आंतरिक जरूरतों के लिए पहले 90 Kb आवंटित किए गए हैं और वे बहुत बार एक्सेस नहीं किए जाते हैं। फिर, एक इनकमिंग कॉल के दौरान, pjsua_call_answer फ़ंक्शन को कहा जाता है, जिसमें बफ़र्स को इनकमिंग और आउटगोइंग फ़्रेम के साथ काम करने के लिए आवंटित किया जाता है। यह लगभग 100 kb था। और यहाँ हमने निम्न प्रकार से कार्य किया। कॉल से पहले, डेटा को बाहरी मेमोरी में रखा जाता है। जैसे ही कॉल - तुरंत ढेर को दूसरे के साथ बदलें - रैम में। इस प्रकार, सभी "हॉट" डेटा को तेज और अधिक पूर्वानुमानित मेमोरी में स्थानांतरित किया गया था।

नतीजतन, यह सब एक साथ simple_pjsua शुरू करने और अपने सर्वर के माध्यम से कॉल करने की अनुमति देता है। और फिर अन्य सर्वर जैसे sip.linphone.org के माध्यम से।

निष्कर्ष

नतीजतन, यह सर्वर के माध्यम से दोनों दिशाओं में आवाज संचरण के साथ simple_pjsua चलाने के लिए निकला। अतिरिक्त रूप से खर्च किए गए 128 Kb SDRAM के साथ थोड़ी अधिक शक्तिशाली Cortex-M7 (उदाहरण के लिए, STM32F769NI 512 Kb RAM के साथ) का उपयोग करके समस्या को हल किया जा सकता है, लेकिन साथ ही हमें अभी भी 256 Kb में फिट होने की कोई उम्मीद नहीं है :) हमें खुशी होगी अगर कोई दिलचस्पी रखता है , और इससे भी बेहतर - कोशिश करो। सभी स्रोत, हमेशा की तरह, हमारे भंडार में हैं ।