मैं Embox ऑपरेटिंग सिस्टम के डेवलपर्स में से एक हूं , और इस लेख में मैं बात करूंगा कि मैं कैसे STM32746G बोर्ड पर OpenCV चलाने में कामयाब रहा।

यदि आप "STM32 बोर्ड पर OpenCV" जैसे किसी खोज इंजन में ड्राइव करते हैं, तो आप काफी कुछ पा सकते हैं जो STM32 बोर्ड या अन्य माइक्रोकंट्रोलर पर इस लाइब्रेरी का उपयोग करने में रुचि रखते हैं।
कई वीडियो हैं जो नाम से देखते हैं, उन्हें प्रदर्शित करना चाहिए कि क्या आवश्यक है, लेकिन आमतौर पर (एसटीएम 32 बोर्ड पर सभी वीडियो जो मैंने देखा था), केवल छवि कैमरे से प्राप्त की गई थी और परिणाम स्क्रीन पर प्रदर्शित किया गया था, और छवि प्रसंस्करण या तो किया गया था एक नियमित कंप्यूटर पर, या अधिक शक्तिशाली बोर्डों पर (उदाहरण के लिए, रास्पबेरी पाई)।

क्यों मुश्किल है?

खोज प्रश्नों की लोकप्रियता को इस तथ्य से समझाया गया है कि OpenCV सबसे लोकप्रिय कंप्यूटर विज़न लाइब्रेरी है, जिसका अर्थ है कि अधिक डेवलपर्स इससे परिचित हैं, और माइक्रोकंट्रोलर पर डेस्कटॉप के लिए तैयार कोड चलाने की क्षमता विकास प्रक्रिया को बहुत सरल बनाती है। लेकिन इस समस्या के समाधान के लिए अभी भी कोई लोकप्रिय तैयार व्यंजन क्यों नहीं हैं?

छोटे बोर्डों पर OpenCV के उपयोग की समस्या दो विशेषताओं से जुड़ी है:

यदि आप मॉड्यूल के न्यूनतम सेट के साथ भी पुस्तकालय को संकलित करते हैं, तो यह बहुत बड़ी कोड (निर्देशों के कई मेगाबाइट) के कारण समान एसटीएम 32 एफ 7 डिस्कोवरी (ओएस को ध्यान में रखे बिना) की फ्लैश मेमोरी में फिट नहीं होता है।
पुस्तकालय स्वयं C ++ में लिखा गया है, जिसका अर्थ है
- सकारात्मक रनटाइम (अपवाद, आदि) के लिए समर्थन की आवश्यकता है
- LibC / Posix के लिए बहुत कम समर्थन है, जो आमतौर पर एम्बेडेड सिस्टम के लिए OS में पाया जाता है - आपको प्लसस की एक मानक लाइब्रेरी और STL टेम्प्लेट (वेक्टर, आदि) के एक मानक पुस्तकालय की आवश्यकता होती है

Embox में पोर्ट कर रहा है

हमेशा की तरह, किसी भी प्रोग्राम को ऑपरेटिंग सिस्टम में पोर्ट करने से पहले, यह एक अच्छा विचार है कि इसे उस रूप में इकट्ठा करने की कोशिश करें, जिसमें डेवलपर्स ने इसका इरादा किया था। हमारे मामले में, इसके साथ कोई समस्या नहीं है - स्रोत जीथुब पर पाया जा सकता है, पुस्तकालय सामान्य cmake के साथ GNU / Linux के तहत बनाया गया है।

अच्छी खबर से - बॉक्स से बाहर OpenCV को एक स्थिर पुस्तकालय के रूप में इकट्ठा किया जा सकता है, जो पोर्टिंग को आसान बनाता है। हम पुस्तकालय को मानक विन्यास के साथ इकट्ठा करते हैं और देखते हैं कि वे कितना स्थान लेते हैं। प्रत्येक मॉड्यूल को एक अलग पुस्तकालय में इकट्ठा किया जाता है।

> size lib/*so --totals text data bss dec hex filename 1945822 15431 960 1962213 1df0e5 lib/libopencv_calib3d.so 17081885 170312 25640 17277837 107a38d lib/libopencv_core.so 10928229 137640 20192 11086061 a928ed lib/libopencv_dnn.so 842311 25680 1968 869959 d4647 lib/libopencv_features2d.so 423660 8552 184 432396 6990c lib/libopencv_flann.so 8034733 54872 1416 8091021 7b758d lib/libopencv_gapi.so 90741 3452 304 94497 17121 lib/libopencv_highgui.so 6338414 53152 968 6392534 618ad6 lib/libopencv_imgcodecs.so 21323564 155912 652056 22131532 151b34c lib/libopencv_imgproc.so 724323 12176 376 736875 b3e6b lib/libopencv_ml.so 429036 6864 464 436364 6a88c lib/libopencv_objdetect.so 6866973 50176 1064 6918213 699045 lib/libopencv_photo.so 698531 13640 160 712331 ade8b lib/libopencv_stitching.so 466295 6688 168 473151 7383f lib/libopencv_video.so 315858 6972 11576 334406 51a46 lib/libopencv_videoio.so 76510375 721519 717496 77949390 4a569ce (TOTALS)

जैसा कि आप अंतिम पंक्ति, .bs और .data से देख सकते हैं, लेकिन इसमें ज्यादा जगह नहीं है, लेकिन कोड 70 MiB से अधिक है। यह स्पष्ट है कि यदि यह एक विशिष्ट अनुप्रयोग के साथ सांख्यिकीय रूप से जुड़ा हुआ है, तो कोड छोटा हो जाएगा।

आइए अधिक से अधिक मॉड्यूल को बाहर फेंकने की कोशिश करें ताकि एक न्यूनतम उदाहरण का निर्माण हो (जो, उदाहरण के लिए, बस cmake .. -LA के संस्करण को प्रदर्शित करता है), इसलिए cmake .. -LA को देखें cmake .. -LA और विकल्पों में अक्षम सब कुछ अक्षम करें।

  -DBUILD_opencv_java_bindings_generator=OFF \ -DBUILD_opencv_stitching=OFF \ -DWITH_PROTOBUF=OFF \ -DWITH_PTHREADS_PF=OFF \ -DWITH_QUIRC=OFF \ -DWITH_TIFF=OFF \ -DWITH_V4L=OFF \ -DWITH_VTK=OFF \ -DWITH_WEBP=OFF \ <...>

 > size lib/libopencv_core.a --totals text data bss dec hex filename 3317069 36425 17987 3371481 3371d9 (TOTALS)

एक ओर, यह केवल एक पुस्तकालय मॉड्यूल है, दूसरी ओर, यह कोड आकार ( -Os ) के संदर्भ में संकलक द्वारा अनुकूलन के बिना है। ~ 3 कोड का MiB अभी भी काफी है, लेकिन यह पहले से ही सफलता की उम्मीद करता है।

एमुलेटर में चलाएं

एमुलेटर पर डिबगिंग बहुत आसान है, इसलिए पहले सुनिश्चित करें कि लाइब्रेरी क्यूमू पर चलती है। अनुकरणीय मंच के रूप में, मैंने इंटीग्रेटर / सीपी को चुना, क्योंकि सबसे पहले, यह एआरएम भी है, और दूसरी बात, एमबॉक्स इस प्लेटफॉर्म के लिए ग्राफिक्स आउटपुट का समर्थन करता है।

Embox में बाहरी पुस्तकालयों के निर्माण के लिए एक तंत्र है, इसका उपयोग करके हम OpenCV को एक मॉड्यूल के रूप में जोड़ते हैं (स्थैतिक पुस्तकालयों के रूप में "न्यूनतम" बिल्ड के लिए सभी समान विकल्पों को पास करते हुए), उसके बाद मैं इस तरह दिखने वाला सबसे सरल अनुप्रयोग जोड़ता हूं:

 version.cpp: #include <stdio.h> #include <opencv2/core/utility.hpp> int main() { printf("OpenCV: %s", cv::getBuildInformation().c_str()); return 0; }

हम सिस्टम को इकट्ठा करते हैं, इसे चलाते हैं - हमें अपेक्षित निष्कर्ष मिलता है।

 root@embox:/#opencv_version OpenCV: General configuration for OpenCV 4.0.1 ===================================== Version control: bd6927bdf-dirty Platform: Timestamp: 2019-06-21T10:02:18Z Host: Linux 5.1.7-arch1-1-ARCH x86_64 Target: Generic arm-unknown-none CMake: 3.14.5 CMake generator: Unix Makefiles CMake build tool: /usr/bin/make Configuration: Debug CPU/HW features: Baseline: requested: DETECT disabled: VFPV3 NEON C/C++: Built as dynamic libs?: NO <      --    ,   OpenCV     ..>

अगला कदम कुछ उदाहरणों को चलाना है, जो उन सभी मानकों के सर्वोत्तम हैं जो डेवलपर्स खुद अपनी वेबसाइट पर पेश करते हैं। मैंने कैनी का बॉर्डर डिटेक्टर चुना।

फ्रेम बफर में सीधे परिणाम के साथ छवि को प्रदर्शित करने के लिए उदाहरण को थोड़ा फिर से लिखना पड़ा। मुझे ऐसा करना पड़ा क्योंकि imshow() फ़ंक्शन क्यूटी, जीटीके और विंडोज इंटरफेस के माध्यम से छवियों को खींचने में सक्षम है, जो निश्चित रूप से, एसटीएम 32 कॉन्फ़िगरेशन में निश्चित रूप से नहीं होगा। वास्तव में, क्यूटी को STM32F7Discovery पर भी चलाया जा सकता है, लेकिन इस पर एक अन्य लेख में चर्चा की जाएगी :)

एक छोटे से स्पष्टीकरण के बाद कि किस प्रारूप में सीमा डिटेक्टर का परिणाम संग्रहीत किया जाता है, हमें एक छवि मिलती है।

मूल चित्र

परिणाम

STM32F7Discovery पर चल रहा है

32F746GDISCOVERY पर कई हार्डवेयर विभाजन हैं जिनका हम वैसे भी उपयोग कर सकते हैं

320KiB RAM
छवि के लिए 1MiB फ़्लैश
8MiB SDRAM
16MiB QSPI नंद फ्लैश ड्राइव
माइक्रोएसडी कार्ड स्लॉट

छवियों को संग्रहीत करने के लिए एक एसडी कार्ड का उपयोग किया जा सकता है, लेकिन न्यूनतम उदाहरण चलाने के संदर्भ में, यह बहुत उपयोगी नहीं है।
डिस्प्ले में 480x272 का रिज़ॉल्यूशन है, जिसका मतलब है कि फ्रेमबफ़र के लिए मेमोरी 32 बिट्स की गहराई पर 522,240 बाइट्स होगी, अर्थात। यह RAM के आकार से अधिक है, इसलिए हम SDRAM में फ्रेमबफ़र और एक गुच्छा (जो कि OpenCV को छवियों और सहायक संरचनाओं के लिए डेटा संग्रहीत करने के लिए आवश्यक होंगे), सब कुछ (ढेर और अन्य सिस्टम आवश्यकताओं के लिए मेमोरी) रैम में जाएंगे। ।

यदि हम STM32F7Discovery के लिए न्यूनतम कॉन्फिगरेशन लेते हैं (संपूर्ण नेटवर्क को फेंक देते हैं, सभी कमांड्स, स्टैक को जितना संभव हो उतना छोटा कर सकते हैं, आदि) और ओपनसीवी को वहां के उदाहरणों के साथ जोड़ सकते हैं, आवश्यक मेमोरी के साथ, निम्नलिखित होंगे:

  text data bss dec hex filename 2876890 459208 312736 3648834 37ad42 build/base/bin/embox

उन लोगों के लिए जो खंडों से बहुत परिचित नहीं हैं, मैं समझाता हूं: निर्देश और स्थिरांक (मोटे तौर पर, आसानी से डेटा) .rodata और .rodata , डेटा में .bss और "शून्य" .bss हालाँकि, चर को एक स्थान की आवश्यकता होती है (यह खंड रैम में "जाएगा")।

अच्छी खबर यह है कि .bss / .bss फिट होना चाहिए, लेकिन इसके साथ .text परेशानी यह है कि छवि के लिए केवल 1MiB मेमोरी है। आप उदाहरण के लिए .text से चित्र .text सकते हैं और उदाहरण के लिए, इसे पढ़ सकते हैं, SD कार्ड से स्टार्टअप में मेमोरी में, लेकिन फल .png का वजन लगभग 330KiB है, इसलिए यह समस्या को हल नहीं करेगा: अधिकांश .text में OpenCV कोड शामिल होगा।

द्वारा और बड़े, केवल एक ही चीज़ बची है - क्यूएसपीआई फ्लैश ड्राइव पर कोड का हिस्सा लोड करना (इसमें सिस्टम बस में मेमोरी मैप करने के लिए एक विशेष ऑपरेटिंग मोड है, ताकि प्रोसेसर सीधे इस डेटा तक पहुंच सके)। इस स्थिति में, एक समस्या उत्पन्न होती है: सबसे पहले, डिवाइस को रिबूट करने के तुरंत बाद एक क्यूएसपीआई फ्लैश ड्राइव की मेमोरी उपलब्ध नहीं है (आपको मेमोरी-मैप्ड मोड को अलग करने की आवश्यकता है), और दूसरी बात, आप सामान्य बूटलोडर के साथ इस मेमोरी को फ्लैश नहीं कर सकते।

नतीजतन, QSPI में सभी कोड को जोड़ने का फैसला किया गया था, और इसे एक बूटलोडर के साथ फ्लैश किया गया था, जो TFTP के माध्यम से आवश्यक बाइनरी प्राप्त करेगा।

परिणाम

इस लाइब्रेरी को Embox में पोर्ट करने का विचार लगभग एक साल पहले आया था, लेकिन बार-बार विभिन्न कारणों से इसमें देरी हुई। उनमें से एक libstdc ++ और standart टेम्पलेट लाइब्रेरी के लिए समर्थन है। Embox में C ++ को सपोर्ट करने की समस्या इस लेख के दायरे से बाहर है, इसलिए यहाँ मैं सिर्फ इतना कहूँगा कि हम इस लाइब्रेरी के लिए सही मात्रा में इस समर्थन को प्राप्त करने में कामयाब रहे :)

अंत में, इन समस्याओं को दूर किया गया (कम से कम काम करने के लिए ओपनसीवी उदाहरण के लिए), और उदाहरण शुरू हुआ। कैनी फिल्टर द्वारा सीमाओं की खोज करने के लिए 40 लंबे सेकंड बोर्ड लेता है। यह, ज़ाहिर है, बहुत लंबा है (इस मामले को कैसे अनुकूलित किया जाए इस पर विचार हैं, अगर यह सफल हुआ तो इसके बारे में एक अलग लेख लिखना संभव होगा)।

फिर भी, मध्यवर्ती लक्ष्य एक प्रोटोटाइप बनाना था जो क्रमशः STM32 पर OpenCV को चलाने की मौलिक संभावना दिखाएगा, यह लक्ष्य हासिल किया गया था, चीयर्स!

tl; dr: स्टेप बाय स्टेप निर्देश

0: उदाहरण के लिए, Embox के स्रोत डाउनलोड करें:

  git clone https://github.com/embox/embox && cd ./embox

1: चलिए एक बूटलोडर का निर्माण शुरू करते हैं जो QSPI फ्लैश ड्राइव को "फ्लैश" करेगा।

  make confload-arm/stm32f7cube

अब आपको नेटवर्क को कॉन्फ़िगर करने की आवश्यकता है, क्योंकि हम टीएफटीपी के माध्यम से छवि अपलोड करेंगे। बोर्ड और होस्ट के आईपी पते सेट करने के लिए, आपको conf / rootfs / नेटवर्क फ़ाइल को संशोधित करने की आवश्यकता है।

कॉन्फ़िगरेशन उदाहरण:

 iface eth0 inet static address 192.168.2.2 netmask 255.255.255.0 gateway 192.168.2.1 hwaddress aa:bb:cc:dd:ee:02

gateway होस्ट एड्रेस है जहां से इमेज लोड की जाएगी, address बोर्ड का एड्रेस है।

उसके बाद, बूटलोडर इकट्ठा करें:

  make

2: बोर्ड पर सामान्य बूटलोडर लोडिंग (दंड के लिए खेद है) - यहां कुछ भी विशिष्ट नहीं है, आपको STM32F7Discovery के लिए किसी अन्य एप्लिकेशन के लिए ऐसा करने की आवश्यकता है। यदि आप नहीं जानते कि यह कैसे करना है, तो आप इसके बारे में यहां पढ़ सकते हैं।
3: OpenCV के लिए विन्यास के साथ छवि संकलित करना।

  make confload-platform/opencv/stm32f7discovery make

4: क्यूएसपीआई को क्यूएसपीआई में लिखे जाने वाले ईएलएफ अनुभागों से निकालना, qspi.bin में

  arm-none-eabi-objcopy -O binary build/base/bin/embox build/base/bin/qspi.bin \ --only-section=.text --only-section=.rodata \ --only-section='.ARM.ex*' \ --only-section=.data

संगम निर्देशिका में एक स्क्रिप्ट होती है जो ऐसा करती है, जिससे आप इसे चला सकते हैं

  ./conf/qspi_objcopy.sh #   -- build/base/bin/qspi.bin

5: tftp का उपयोग करते हुए, QspI फ्लैश ड्राइव पर qspi.bin.bin लोड करें। होस्ट पर, आपको qspi.bin को tftp सर्वर के रूट फ़ोल्डर में कॉपी करने की आवश्यकता है (आमतौर पर / srv / tftp / या / var / lib / tftpboot /; संबंधित सर्वर के लिए पैकेज सबसे लोकप्रिय संस्करण में होते हैं, जिसे आमतौर पर tftpd या tftp-hpa कहा जाता है; कभी-कभी आपको systemctl start tftpd.service को शुरू करने की आवश्यकता होती है)।

  #   tftpd sudo cp build/base/bin/qspi.bin /srv/tftp #   tftp-hpa sudo cp build/base/bin/qspi.bin /var/lib/tftpboot

Embox पर (यानी, बूटलोडर में), आपको निम्न कमांड को चलाने की आवश्यकता है (हम मानते हैं कि सर्वर का पता 192.168.2.1 है):

  embox> qspi_loader qspi.bin 192.168.2.1

6: goto कमांड का उपयोग करके, आपको QSPI मेमोरी में "जंप" करने की आवश्यकता है। विशिष्ट स्थान इस आधार पर अलग-अलग होगा कि छवि कैसे जुड़ी हुई है, आप इस पते को mem 0x90000000 साथ देख सकते हैं (शुरुआत का पता दूसरे 32-बिट छवि शब्द में फिट बैठता है); आपको -s ध्वज के साथ स्टैक सेट करने की आवश्यकता है, स्टैक पता 0x90000000 पर है, उदाहरण के लिए:

  embox>mem 0x90000000 0x90000000: 0x20023200 0x9000c27f 0x9000c275 0x9000c275 ↑ ↑        embox>goto -i 0x9000c27f -s 0x20023200 #  -i         <      ,    OpenCV >

7: भागो

  embox> edges 20

और 40 सेकंड की सीमा खोज का आनंद लें :)

अगर कुछ गलत होता है - हमारी रिपॉजिटरी में , या मेलिंग सूची में embox-devel@googlegroups.com, या यहाँ टिप्पणियों में लिखें।

STM32F7-डिस्कवरी पर OpenCV