संकेत भाषा दुभाषिया के निर्माण की कहानी

प्रागितिहास

इस स्कूल वर्ष (17-18) की शुरुआत में, हमारी प्यारी गीतिका के प्रशासन ने हमें बताया: “वर्ष के अंत में, आप में से प्रत्येक को एक व्यक्तिगत परियोजना की रक्षा करनी चाहिए। जो लोग परियोजना की रक्षा नहीं करते हैं उनके पास एक शिक्षाविद होगा। ऋण और गोसी (जीआईए -9) उन्हें अनुमति नहीं दी जाएगी। ” यह एक थीसिस की तरह कुछ (9 वीं कक्षा में, बस सुपर) निकलता है। लगभग सितंबर से दिसंबर तक, मेरे दोस्त किरिल ( किकर्रा ) और मैंने तय किया कि हम किस तरह का प्रोजेक्ट करेंगे: मैं चाहता था कि इसे निष्पादित करना बहुत मुश्किल नहीं था, लेकिन साथ ही साथ कुछ शानदार और मौलिक भी। अंत में, हमने फैसला किया: हमने एक मानव हाथ का एक मॉडल बनाने का फैसला किया, और यहां तक ​​कि यह एक एंड्रॉइड डिवाइस चला रहा था (इस साल, सिरिल और मैंने गलती से हमारे लिसेयुम के आधार पर सैमसंग आईटी-स्कूल में प्रवेश किया था, इसलिए हम परियोजना में अर्जित ज्ञान का उपयोग करना चाहते थे) उसने सांकेतिक भाषा में दर्ज पाठ का अनुवाद किया।

सॉफ्टवेयर हिस्सा है

एंड्रॉइड ऐप

समय सीमा से लगभग एक महीने पहले, हमने परियोजना पर काम शुरू किया। काम का पहला चरण एक Android एप्लिकेशन का विकास था।

सच कहूं तो, एप्लिकेशन का लेआउट मेरे लिए सबसे कठिन था और बना हुआ है: मुझे इन लेआउट और उनके प्रकार (मैं अभी भी नौ-ग्रेडर हूं, और यहां तक ​​कि भौतिकी और गणित से भी) समस्या है। एप्लिकेशन को सभी उपकरणों पर समान रूप से सुंदर बनाना भी काफी कठिन है।

मार्कअप के अलावा, एक और मुश्किल काम था, ब्लूटूथ को एप्लिकेशन में स्क्रू करना (हमने एंड्रॉइड डिवाइस और मॉडल के बीच कनेक्शन को ब्लूटूथ के माध्यम से लागू करने का फैसला किया): हमें सैमसंग स्कूल के पाठ्यक्रमों में यह नहीं सिखाया गया था, लेकिन इंटरनेट पर इसके बारे में अधिक जानकारी नहीं है ( मेरा मतलब है कि एंड्रॉइड डिवाइस और आर्डिनो के बीच कनेक्शन के कार्यान्वयन के बारे में जानकारी, जिसे मॉडल द्वारा नियंत्रित किया गया था)।

अब कोड खुद के बारे में थोड़ा (लेख के बहुत अंत में, GitHub से लिंक)। कार्यक्रम में चार गतिविधियाँ शामिल हैं: स्टार्ट स्क्रीन और प्रत्येक नियंत्रण मोड के लिए एक गतिविधि।

• पहला कंट्रोल मोड टेक्स्ट इनपुट मोड है, जब उपयोगकर्ता टेक्स्ट को मैन्युअल रूप से दर्ज करता है
  
• दूसरा - आवाज की मदद से, एप्लिकेशन उपयोगकर्ता के भाषण को पहचानता है।
  
• तीसरा मैनुअल मोड है। उपयोगकर्ता प्रोग्राम द्वारा प्रदान नहीं किए गए इशारों को चित्रित करने के लिए उंगलियों की स्थिति को मैन्युअल रूप से बदल सकता है।
  

सच कहूं, तो मुझे अपने कोड पर बहुत शर्म आती है: यह अधूरा लगता है। तथ्य यह है कि मैं अलग-अलग वर्ग में ब्लूटूथ कनेक्शन को अलग कर सकता हूं, कनेक्शन विधि बना सकता हूं, डेटा भेज सकता हूं, डिस्कनेक्ट कर सकता हूं, आदि, लेकिन इसके बजाय, प्रत्येक गतिविधि में, मैंने उपरोक्त सभी को फिर से पंजीकृत किया, क्योंकि इनकैप्सुलेशन ने कुछ को प्रेरित किया (बहुत बड़ी नहीं) समस्याएं। फिर भी, उन्हें हल करने के लिए, ब्लूटूथ के काम का अध्ययन करने के लिए कुछ समय बिताना आवश्यक था, और मैं, जैसे, कोड लिखने की जल्दी में था ताकि हार्डवेयर विकसित करने और कार्यान्वित करने का समय हो।

Arduino प्रोग्रामिंग

सॉफ्टवेयर भाग को लागू करने की प्रक्रिया में, Arduino माइक्रोकंट्रोलर को प्रोग्राम करना आवश्यक था, जिसने एक स्मार्टफोन से डेटा प्राप्त किया और मैनिपुलेटर को नियंत्रित किया। एक पुस्तकालय में लिखा गया था कि अरडिनो (जो संपर्कों को सर्वो से जोड़ने के लिए) और साइन लैंग्वेज में टेक्स्ट ट्रांसलेट करने के तरीकों पर डेटा को कनेक्ट करता है। लाइब्रेरी का मुख्य भाग एक मैट्रिक्स है, जिसमें प्रत्येक उंगली की स्थिति, रूसी वर्णमाला के संबंधित अक्षर और कोड को सरल बनाने के लिए विभिन्न तरीकों के बारे में जानकारी शामिल है। मैट्रिक्स नीचे दिया गया है।

const int navigate [Hand::n][Hand::m]= { {224, 180, 180, 180, 180, 180},// {225, 90, 0, 180, 180, 180},// {226, 0, 0, 0, 0, 0},// {227, 0, 90, 180, 180, 180},// {228, 180, 0, 0,180, 180},// {229, 90, 180, 180, 90, 90},// {230, 90, 180, 180, 90, 90},// {231, 180, 0, 180, 180, 180},// {232, 180, 180, 180, 0, 0},// {233, 180, 180, 180, 0, 0},// {234, 180, 0, 0,180, 180},// {235, 180, 90, 90, 180, 180},// {236, 180, 90, 90, 90, 180},// {237, 180, 0, 0, 180, 0},// {238, 90, 180, 0, 0, 0},// {239, 180, 90, 90, 180, 180},// {240, 180, 0, 180, 0, 0},// {241, 90, 90, 90, 90, 90},// {242, 180, 90, 90, 90, 180},// {243, 0, 180, 180, 180, 0},// {244, 0, 90, 90, 90, 90},// {245, 0, 0, 180, 180, 180},// {246, 180, 0, 0, 180, 180},// {247, 0, 90, 180, 180, 180},// {248, 180, 0, 0, 0, 180},// {249, 180, 0, 0, 0, 180},// {250, 0, 0, 180, 180, 180},// {251, 0, 90, 180, 180, 90},// {252, 0, 0, 180, 180, 180},// {253, 90, 90, 180, 180, 180},// {254, 0, 90, 90, 90, 0},// {255, 90, 90, 90, 180, 180}};// 

"हाथ" एक पुस्तकालय हैडर फ़ाइल है (विस्तार ".h") जिसमें फ़ंक्शंस और स्थिरांक के प्रोटोटाइप हैं।

अब अनुवाद के तरीकों के बारे में कुछ शब्द। वर्ण अनुवाद विधि इनपुट पर पत्र एन्कोडिंग प्राप्त करता है, वांछित लाइन (मैट्रिक्स की प्रत्येक पंक्ति का पहला तत्व प्रतीक कोड है) की खोज करता है, और लाइन में इंगित रोटेशन की डिग्री के अनुसार सर्वो सेट करता है (प्रतीक कोड तालिका में रखे जाते हैं ताकि एन्कोडिंग को बदल दिया जा सके यदि वांछित हो तालिका, पूरे कोड को बदले बिना) फिर कुछ सेकंड इंतजार करती है ताकि इशारों को पढ़ा जा सके और वे एक के बाद एक का पालन न करें। वाक्य अनुवाद विधि वाक्य को वर्णों में विभाजित करती है और चरित्र अनुवाद विधि का उपयोग करती है।

वर्णों के अनुवाद की विधि:

 void Hand :: SymbolTranslate(unsigned char a){ //    int str=-1; int i; for(i=0; i<n; i++){ if(navigate[i][0]==(int)(a)){ str=i; break; } } if(str==-1){ return; } else{ First.write(navigate[str][1]); //     Second.write(navigate[str][2]); Third.write(navigate[str][3]); Fourth.write(navigate[str][4]); Fifth.write(navigate[str][5]); delay(200); Serial.println(str); Serial.println("Succsessfull"); } } 

प्रस्ताव अनुवाद विधि:

 void Hand :: SentenceTranslate(char* s){ //    unsigned char a; for(int i=0; i< strlen(s); i++){ a=s[i]; SymbolTranslate(a); delay(2000); } } 

विधियाँ स्वीकृत पाठ और अनुवाद के परिणाम के साथ संदेश भी देती हैं (मुद्रित "सक्सेसफुल"), जिसने हमें एक निष्क्रिय आर्दीनो कोड डीबग करते समय बहुत मदद की।

हार्डवेयर हिस्सा

परियोजना के इस चरण का क्रियान्वयन पूर्वोक्त किर्करा द्वारा किया गया था। काम शुरू करने से पहले, ऐसा लगता था कि मैनिपुलेटर के चित्र विकसित करना और इकट्ठा करना एक बहुत ही सरल कार्य होगा, लेकिन यह बिल्कुल भी नहीं है।

प्रारंभ में, हम एक 3 डी प्रिंटर पर मैनिपुलेटर के विवरण को प्रिंट करना चाहते थे, हमने एक खुले फ्रेंच प्रोजेक्ट बैंक से ब्लूप्रिंट लिया (हमने अपना भी ड्रॉ किया, लेकिन बाद में फैसला किया कि इसे ओपन-सोर्स से प्राप्त करना बेहतर था), लेकिन प्रिंटिंग के लिए ब्लूप्रिंट भेजना, हमने सीखा कि मुद्रण के लिए हमारे भागों में कई सप्ताह लगेंगे, जो उस समय हमारे पास नहीं थे। तब हमने तात्कालिक सामग्री से एक जोड़तोड़ को इकट्ठा करने का फैसला किया: धातु की प्लेटों से एक अग्रभाग, प्लाईवुड से उंगलियां। Arduino microcontroller के नियंत्रण में सर्वो के कारण उंगलियां झुकती हैं। एक नमूना ड्राइंग नीचे प्रस्तुत किया गया है।

• लाल रंग - उंगलियों के रोटेशन की धुरी, यदि आप लोगों की उंगलियों को देखते हैं - ये जोड़ हैं
  
• ग्रीन - छोटे लोचदार बैंड जो उंगलियों को उनकी मूल स्थिति में लौटाते हैं (यानी, कण्डरा)
  

निष्कर्ष

संक्षेप में देना। हमने एक सांकेतिक भाषा दुभाषिया को इकट्ठा और क्रमादेशित किया है (हम इसे संक्षेप में "उपस्थिति के लिए स्टंप" कहते हैं)। हमारी परियोजना उन लोगों को अनुमति देती है जो रूसी साइन अल्फाबेट का उपयोग करके श्रवण दोष वाले लोगों के साथ संवाद करने के लिए साइन लैंग्वेज नहीं जानते हैं। सॉफ़्टवेयर का कार्यान्वयन आपको कोड को जल्दी से बदलने की अनुमति देता है और, कुछ भी तोड़ने के बिना, अन्य सांकेतिक भाषाओं को इसमें जोड़ें (उदाहरण के लिए, अंग्रेजी)।
भविष्य में, हम एक 3D प्रिंटर पर पहले से चयनित मॉडल को प्रिंट करने और इसे इकट्ठा करने की योजना बनाते हैं (हम ऐसा तब करने जा रहे हैं जब हम परीक्षा और अन्य बकवास से छुट्टी लेते हैं)।

सामान्य तौर पर, यह बहुत अच्छा निकला, यद्यपि फर्मवेयर और उपस्थिति के मामले में यह बहुत सुंदर नहीं है, लेकिन मुख्य बात एक कामकाजी मसौदा है। हमने इस परियोजना पर काम करते समय बहुत कुछ सीखा (उदाहरण के लिए, यह तथ्य कि हमें पूरे साल के लिए तैयार किए गए एक प्रोजेक्ट पर काम करना शुरू करना है, साल की शुरुआत में, और डिलीवरी के कुछ हफ़्ते पहले नहीं) और इसके लिए हम उन शिक्षकों के बहुत आभारी हैं जिन्होंने हमारी और विशेष रूप से दामीर की मदद की। मुराटोविच, हमारे वैज्ञानिक वैज्ञानिक, जिन्होंने हमें परियोजना से जुड़ी अधिकांश समस्याओं को हल करने में मदद की।

अंत तक पढ़ने के लिए धन्यवाद!

यदि यह आपके लिए दिलचस्प हो गया है, तो सभी परियोजना सामग्री (कार्य, प्रस्तुतियों आदि के पाठ सहित) यहां सार्वजनिक उपयोग के लिए उपलब्ध हैं ।

आपके ध्यान के लिए फिर से धन्यवाद!