एंड्रॉइड, आरएक्स और कोटलिन या लेगो पंजा को कैसे सिकोड़ें। भाग 1

हाय, हेब्रा प्रेमियों! एक भाग्यशाली संयोग से, अगस्त 2018 में, मैं अपने कॉमरेड ( kirillskiy ) के साथ एक ऐसी परियोजना पर काम करना शुरू करने के लिए भाग्यशाली था जो अपने हित में अद्भुत थी। और इसलिए, दिन के दौरान हम साधारण प्रोग्रामर थे, और रात में हम फिर से प्रोग्रामर थे जो अपने अंगों की सीमित कार्यक्षमता वाले लोगों के लिए आंदोलनों को पहचानने के मुद्दों से जूझ रहे थे, स्वाभाविक रूप से स्वस्थ लोग भी विभिन्न तरीकों से इसी तरह की तकनीक का उपयोग कर सकते थे।

इस लेख में , सिरिल सामान्य रूप से परियोजना के बारे में बात करते हैं, लेकिन मैं इसे और अधिक विस्तार से बताऊंगा और इसमें एंड्रॉइड के विषय पर स्पर्श करूंगा।
सबसे पहले, मैं आपको पूरी परियोजना के बारे में बताऊंगा कि हम क्या लेकर आए हैं और हम इसे कैसे लागू करना चाहते हैं:

1) EMG (इलेक्ट्रोमोग्राफी - मांसपेशियों की विद्युत गतिविधि को रिकॉर्ड करना) डेटा प्राप्त करने के तरीके के रूप में चुना गया था (ओह, हाँ, बहुत डेटा होगा)। पहली बार यह विधि 1907 में लागू की गई थी, इसलिए हम पीटा ट्रैक के साथ चले।

2) हमें एक 8-चैनल ईएमजी सेंसर मिला जो ब्लूटूथ पर काम करता है (यहां तक ​​कि इसकी अपनी एपीआई भी है, जो अंत में बिल्कुल बेकार हो गई, क्योंकि मुझे खुद को बीटी डिवाइस के रूप में कनेक्ट करना पड़ा। धन्यवाद कम से कम हमने एक विनिर्देश लिखा था।

3) हमने तय किया कि सब कुछ इस तरह काम करेगा:

• प्रशिक्षण मोड। हम प्रकोष्ठ पर सेंसर पहनते हैं, उस प्रकार के आंदोलन का चयन करेंगे जिसे हम प्रशिक्षित करेंगे। उदाहरण के लिए ... "ब्रश को झुकना।" और प्रशिक्षण शुरू करें (आंदोलन को 12 बार दोहराएं)। हम इस समय प्राप्त डेटा को सहेजेंगे और फिर इसे सर्वर पर भेजेंगे, जहां हम तंत्रिका नेटवर्क को प्रशिक्षित करेंगे (शांति से, मैं आपको इसके बारे में भी बताऊंगा)
• डायरेक्ट मोशन रिकॉग्निशन मोड। आंदोलन के दौरान लिए गए डेटा की तुलना तंत्रिका नेटवर्क के प्रशिक्षण के परिणामस्वरूप प्राप्त मॉडल से की जाती है। परिणामों के आधार पर, हम पहले से ही एक "BENDING BRUSH" प्राप्त करेंगे, उदाहरण के लिए।
• ड्राइविंग मोड। एक निश्चित प्रकार के आंदोलन के अनुसार, कुछ को स्थानांतरित करने के लिए बनाया जाना चाहिए। उदाहरण के लिए, एक प्रसिद्ध डेनिश निर्माता के डिजाइनर (पीपीसी, कितना महंगा) से रसोई में इकट्ठे हुए एक जोड़तोड़।

4) Android आइटम। मैं एक Android डेवलपर हूं - और इसका उपयोग न करना एक पाप था। Android यहाँ हमारे साथ है:

• सभी उपलब्ध बीटी डिवाइस पाता है
• सेंसर से जुड़ता है
• सेंसर (8 चैनलों, आवृत्ति 200 हर्ट्ज) से लिए गए डेटा के आधार पर एक ग्राफ खींचता है। 8 सुंदर, रंगीन घटता।
• औजार प्रशिक्षण मोड (प्रशिक्षित आंदोलन के प्रकार, प्रशिक्षण प्रारंभ बटन, डेटा भेजें बटन का चयन)
• क्लाइंट-सर्वर इंटरैक्शन को लागू करता है। सर्वर को डेटा भेजना आवश्यक है ताकि तंत्रिका नेटवर्क को प्रशिक्षित किया जाए
• रास्पबेरी पीआई 3 बी के साथ कनेक्शन और बातचीत को लागू करता है, जिससे मोटर्स को टांका लगाया जाता है, जो गति में जोड़तोड़ को स्थानांतरित करते हैं।

5) रास्पबेरी पीआई 3 बी। यह रास्पबेरी था जिसे हमने एंड्रॉइड थिंग्स पर रखा था, और फिर हमने उस पर बीटी सर्वर उठाया, जो एक एंड्रॉइड डिवाइस से संदेश प्राप्त करता है और संबंधित मोटर्स को स्थानांतरित करता है, जो लेगो से एक सुपर-पंजा गति में सेट होता है।

6) सर्वर। यह डॉकटर द्वारा स्थानीय रूप से कंप्यूटर पर तैनात किया जाता है। यह आपके डिवाइस द्वारा भेजा गया डेटा प्राप्त करता है, एक न्यूरल नेटवर्क सिखाता है, और एक मॉडल लौटाता है।

भाग संख्या 1. Android। इस बार हम एंड्रॉइड के बारे में प्रोजेक्ट के हुड पर विचार करेंगे जब तक कि डेटा सर्वर पर नहीं भेजा जाता है।

इसे NUKLEOS (https://github.com/cyber-punk-me/nukleos) कहा जाता है
ढेर:

- कोटलिन
- एमवीपी
- डैगर 2
- रेट्रोफिट 2
- RxKotlin, RxAndroid

रास्पबेरी के लिए:

-एंड्रॉयड थिंग्स

काम के दौरान, उन्होंने मुझे वास्तुकला के साथ खेलने नहीं दिया, लेकिन आखिरकार मुझे एक पुराने खिलौने के साथ खेलने का मौका मिला जिसे एमवीपी कहा जाता है।

आवेदन गतिविधि के एक तल नेविगेशन शैली और 4 टुकड़े होते हैं:
पहला "सभी उपलब्ध बीटी उपकरणों की सूची" है

हमने 8-चैनल बीटी सेंसर चुना, जिसमें बीटी के साथ काम करने के लिए अपना एपीआई था। दुर्भाग्य से, एपी बिल्कुल बेकार हो गया, क्योंकि इसने तुरंत 6 (जैसे) प्रकार के आंदोलन में से एक को परिभाषित करने का सुझाव दिया था, लेकिन मान्यता सटीकता 80% थी - और यह अच्छा नहीं था। खैर, हमें वास्तविक डेटा की आवश्यकता थी। बायोइलेक्ट्रिक क्षमता में परिवर्तन के मूल्य जो एक मांसपेशी फाइबर के उत्तेजना पर मानव मांसपेशियों में होते हैं। और इसके लिए सीधे इस सेंसर के साथ काम करना आवश्यक था। रचनाकारों ने इसके साथ काम करने के लिए प्रोटोकॉल का विवरण छोड़ दिया, इसलिए उन्हें इतने लंबे समय तक खोदना पड़ा। मैं एक अलग लेख में नंगे बीटी उपकरणों के साथ काम करने के एक उदाहरण का वर्णन कर सकता हूं, अगर यह दिलचस्प है, लेकिन संक्षेप में यह इस तरह दिखता है:

class BluetoothConnector(val context: Context) { private val mBTLowEnergyScanner by lazy { (context.getSystemService(Activity.BLUETOOTH_SERVICE) as BluetoothManager) .adapter.bluetoothLeScanner } private var mBluetoothScanCallback: BluetoothScanCallback? = null // scan. fun startBluetoothScan(serviceUUID: UUID?) = Flowable.create<BluetoothDevice>({ mBluetoothScanCallback = BluetoothScanCallback(it) if (serviceUUID == null) { mBTLowEnergyScanner.startScan(mBluetoothScanCallback) } else { mBTLowEnergyScanner.startScan( arrayListOf(ScanFilter.Builder().setServiceUuid(ParcelUuid(serviceUUID)).build()), ScanSettings.Builder().setScanMode(ScanSettings.SCAN_MODE_LOW_LATENCY).build(), mBluetoothScanCallback) } }, BackpressureStrategy.BUFFER).apply { doOnCancel { mBTLowEnergyScanner.stopScan(mBluetoothScanCallback) } } // scan with timeout fun startBluetoothScan(interval: Long, timeUnit: TimeUnit, serviceUUID: UUID? = null) = startBluetoothScan(serviceUUID).takeUntil(Flowable.timer(interval, timeUnit)) inner class BluetoothScanCallback(private val emitter: FlowableEmitter<BluetoothDevice>) : ScanCallback() { override fun onScanResult(callbackType: Int, result: ScanResult?) { super.onScanResult(callbackType, result) result?.let { it.device.apply { emitter.onNext(this) } } } override fun onScanFailed(errorCode: Int) { super.onScanFailed(errorCode) emitter.onError(RuntimeException()) } } } 

आरएक्स में मानक बीटी सेवा को सावधानीपूर्वक लपेटें और कम दर्द प्राप्त करें।

अगला, स्कैन को चलाएं, और सदस्यता पर आरएक्स के लिए धन्यवाद, हम सभी उपकरणों की एक सूची बनाते हैं उन्हें रीसायकलर व्यू में भरकर:

 mFindSubscription = mFindFlowable ?.subscribeOn(Schedulers.io()) ?.observeOn(AndroidSchedulers.mainThread()) ?.subscribe({ if (it !in mBluetoothStuffManager.foundBTDevicesList) { addSensorToList(SensorStuff(it.name, it.address)) mBluetoothStuffManager.foundBTDevicesList.add(it) } }, { hideFindLoader() showFindError() if (mBluetoothStuffManager.foundBTDevicesList.isEmpty()) { showEmptyListText() } }, { hideFindLoader() showFindSuccess() if (mBluetoothStuffManager.foundBTDevicesList.isEmpty()) { showEmptyListText() } }) 

किसी एक उपकरण का चयन करना, उसका चयन करना और अगली स्क्रीन पर जाना:
"सेंसर सेटिंग्स"

हम इसे कनेक्ट करते हैं और उन कमांड का उपयोग करके सेंसर डेटा को स्ट्रीम करना शुरू करते हैं जो हमने पहले से तैयार किए हैं। सौभाग्य से, सेंसर निर्माता द्वारा इस उपकरण के साथ काम करने के लिए प्रोटोकॉल का वर्णन किया गया है:

 object CommandList { //Stop the streaming fun stopStreaming(): Command { val command_data = 0x01.toByte() val payload_data = 3.toByte() val emg_mode = 0x00.toByte() val imu_mode = 0x00.toByte() val class_mode = 0x00.toByte() return byteArrayOf(command_data, payload_data, emg_mode, imu_mode, class_mode) } // Start streaming (with filter) fun emgFilteredOnly(): Command { val command_data = 0x01.toByte() val payload_data = 3.toByte() val emg_mode = 0x02.toByte() val imu_mode = 0x00.toByte() val class_mode = 0x00.toByte() return byteArrayOf(command_data, payload_data, emg_mode, imu_mode, class_mode) } ..... 

दर्द के बिना काम करने के लिए डिवाइस के साथ काम करना भी आरएक्स में सावधानीपूर्वक लपेटा जाता है।

सेंसर ने बाइट एरे को स्वाभाविक रूप से वापस कर दिया, और कनवर्टर को काटने के लिए आवश्यक था, सेंसर की आवृत्ति 200 हर्ट्ज थी ... अगर यह दिलचस्प है, तो मैं इसे विस्तार से वर्णन कर सकता हूं (अच्छी तरह से, या कोड को देखो), लेकिन अंत में हम इस तरह से पर्याप्त मात्रा में डेटा के साथ काम करते हैं:

1 - हमें प्रत्येक सेंसर के घटता को खींचने की आवश्यकता है। बेशक, सभी डेटा को ABSOLUTELY प्रदान करने में कोई समझदारी नहीं है, क्योंकि मोबाइल डिवाइस पर प्रत्येक सेंसर पर प्रति सेकंड 200 परिवर्तनों की जांच करना आंख के लिए कोई मतलब नहीं है। इसलिए, हम सब कुछ नहीं लेंगे।

2 - हमें डेटा की पूरी मात्रा के साथ काम करने की आवश्यकता है, अगर यह एक सीखने या मान्यता प्रक्रिया है।

इन जरूरतों के लिए, RX आदर्श रूप से अपने सभी फिल्टर के साथ अनुकूल है।

चार्ट बनाने पड़ते थे। कौन परवाह करता है - व्यू फ़ोल्डर में PowerfullChartsView को देखें।

और अब कुछ वीडियो:


वीडियो में आप देखेंगे कि सिरिल पूरे सिस्टम के साथ कैसे काम करता है। वीडियो मॉडल के साथ काम कर रहा है। लेकिन मॉडल सर्वर पर है। भविष्य में, यह निश्चित रूप से डिवाइस पर होगा, जो प्रतिक्रिया को काफी तेज करेगा)

कौन से पहलू दिलचस्प हैं, कौन से अधिक विस्तार से बताएं। स्वाभाविक रूप से, हम एक परियोजना पर काम कर रहे हैं और आपके सुझावों के लिए खुले हैं।

संपूर्ण गितुब परियोजना यहां है