रास्पबेरी पाई 3 पर मछली की आंख का उपयोग आरओएस के साथ - भाग 1

शुभ दोपहर के प्रिय पाठक हैं। कुछ साल पहले मैंने रास के साथ संयोजन में रास्पबेरी पाई पर रास्पबेरी पाई कैमरा बोर्ड का उपयोग करने के बारे में लिखा था । इस और अगले लेख में, मैं एक चौड़े-कोण कैमरे का उपयोग करने के बारे में बात करना चाहूंगा जैसे कि रास्पबेरी पाई 3 पर मछली की आंखें उबंटू 16.04 स्थापित। यह किसके लिए दिलचस्प है मैं कैट के तहत पूछता हूं।

शुरुआत के लिए, क्यों मछली आँख कैमरा? मैंने दृश्य ओडोमेट्री और एसएलएएम के लिए चौड़े-कोण कैमरों का उपयोग करने के बारे में कई लेख देखे हैं। मछली की आंख के बड़े देखने के कोण के लिए धन्यवाद, कैमरा दृश्य ओडोमेट्री की सटीकता में सुधार करता है। इसलिए मैं आरओएस समर्थन के साथ रास्पबेरी पाई के साथ इस तरह के एक कैमरे की कोशिश करना चाहता था। मैंने $ 28 के लिए dx.com पर 160 डिग्री के कोण के साथ एक कैमरा खरीदा। कैमरा किट में नाइट विज़न के लिए दो IR लैंप शामिल हैं:



पहले लेख में मैं आरओएस में रास्पबेरी पाई कैमरा बोर्ड का समर्थन करने के लिए आवश्यक ड्राइवर, ओपनसीवी 3 और पैकेज स्थापित करने के बारे में बात करूंगा।

रास्पबेरी पाई 3 पर मछली आंख कैमरा ड्राइवर स्थापित करना

तो चलिए शुरू करते हैं। SSH के माध्यम से RPi 3 से कनेक्ट करें:

ssh -Y <user>@<ip> 

-यह पैरामीटर कुछ GUI एप्लिकेशन (OpenCV प्रोग्राम से छवि के साथ Qt, विंडो) शुरू करते समय "डिस्प्ले को कनेक्ट नहीं कर सका" होने की समस्या को हल करता है। यहाँ और जानें।

सबसे पहले, हमें रास्पबेरी पाई रास्पी-कॉन्फिग सेटिंग्स में कैमरा ड्राइवर समर्थन को सक्षम करने की आवश्यकता है। रास्पियन में, यह सेवा पहले से ही सक्षम है, उबंटू में आपको इसे स्थापित करने की आवश्यकता है:

 sudo apt-get install raspi-config 

रास्पि-विन्यास चलाएँ:

 sudo raspi-config 

इंटरफेसिंग विकल्प चुनें, फिर पाई कैमरा और हां पर क्लिक करें। और अंत में समाप्त करें।
जाँच लें कि कैमरा समर्थन रास्पिस्टिल उपयोगिता का उपयोग करने में सक्षम है:

 raspistill -o mypicture.jpg 

यदि आपको त्रुटि मिलती है "कैमरा का पता नहीं लगाया गया है। कृपया ध्यान से देखें कि कैमरा मॉड्यूल सही ढंग से स्थापित किया गया है ”यदि आपने कैमरा को रास्पबेरी पाई से सही तरीके से कनेक्ट किया है। आप सिस्टम को रिबूट भी कर सकते हैं (इससे मुझे मदद मिली)।

आइए वीडियो रिकॉर्ड करने का प्रयास करें:

 raspivid -o myvideo.h264 

मुझे रास्पबेरी पाई से जुड़े मॉनिटर पर एक छवि मिली। Ssh के माध्यम से कनेक्ट होने पर मैं अपने कंप्यूटर पर पॉपअप प्राप्त करने में सक्षम नहीं था।

एक रास्पबेरी पाई पर एक मछली आँख कैमरे के साथ OpenCV 3 का उपयोग करना

पिकामेरा [सरणी] लाइब्रेरी स्थापित करें:

 pip install "picamera[array]" 

OpenCV के लिए आवश्यक निर्भरताएं स्थापित करें। सबसे पहले, apt पैकेज मैनेजर को अपडेट करें और पहले से इंस्टॉल किए गए पैकेजों को अपग्रेड करें:

 sudo apt-get update sudo apt-get upgrade 

कुछ लाइब्रेरी स्थापित करें:

 sudo apt-get install build-essential cmake pkg-config sudo apt-get install libjpeg8-dev libtiff5-dev libjasper-dev libpng12-dev sudo apt-get install libavcodec-dev libavformat-dev libswscale-dev libv4l-dev sudo apt-get install libxvidcore-dev libx264-dev sudo apt-get install libgtk-3-dev sudo apt-get install libatlas-base-dev gfortran sudo apt-get install python2.7-dev python3.5-dev 

हम स्रोत से ओपनसीवी 3 स्थापित करेंगे।

 cd ~ wget -O opencv.zip https://github.com/Itseez/opencv/archive/3.1.0.zip unzip opencv.zip 

हमें opencv_contrib रिपॉजिटरी डाउनलोड करने की भी आवश्यकता है:

 wget -O opencv_contrib.zip https://github.com/Itseez/opencv_contrib/archive/3.1.0.zip unzip opencv_contrib.zip 

तथ्य यह है कि OpenCV 3 में फीचर डिस्क्रिप्टर (जैसे SIFT और SURF) के साथ पैकेज एक अलग कंट्रीब्यूट रिपॉजिटरी में ले जाया गया। अब, टैग डिस्क्रिप्टर का उपयोग करने के लिए, हमें कंट्राब रिपॉजिटरी को अलग से डाउनलोड करना होगा।

अब हम अंततः OpenCV स्थापित करने के लिए तैयार हैं। हम आवश्यक मापदंडों के साथ OpenCV संकलित करने के लिए cmake निष्पादित कर सकते हैं:

 cd ~/opencv-3.1.0/ mkdir build cd build cmake -D CMAKE_BUILD_TYPE=RELEASE \ -D CMAKE_INSTALL_PREFIX=/usr/local \ -D INSTALL_PYTHON_EXAMPLES=ON \ -D INSTALL_C_EXAMPLES=OFF \ -D OPENCV_EXTRA_MODULES_PATH=~/opencv_contrib-3.1.0/modules \ -D PYTHON_EXECUTABLE=~/.virtualenvs/cv/bin/python \ -D BUILD_EXAMPLES=ON .. 

यदि सीमेक त्रुटियों के बिना सफल हुआ, तो निष्पादित करें:

 make -j4 

संकलन करते समय, मुझे "विभाजन दोष" मिला। यदि आपको एक ही त्रुटि मिलती है, तो संकलन परिणाम निकालने के लिए सफाई करें और एक कर्नेल के साथ करें:

 make clean make 

मुझे संकलन करने में 3 घंटे लगे। अंत में, OpenCV 3 स्थापित करें:

 sudo make install sudo ldconfig 

ROS काइनेटिक से संबंधित एक दिलचस्प बारीकियों है। यदि आप Rin काइनेटिक स्थापित करते हैं, तो ROS स्रोत / पथ /ros /kinetic/setup.bash कमांड को चलाते समय सिस्टम पथ में पायथन लाइब्रेरीज़ (/opt/ros/kinetic/lib/python2.7/dist-packages) के लिए पथ जोड़ता है। यह स्रोत से OpenCV की बाद की स्थापना के दौरान कुछ समस्याओं की ओर जाता है (इसके बारे में अधिक यहां लिखा गया है )। समस्या को हल करने के लिए, .bashrc फ़ाइल से 'source /opt/ros/kinetic/setup.bash' लाइन हटा दें। चलाने के लिए मत भूलना:

 source ~/.bashrc 

आइए सत्यापित करें कि OpenCV अब पायथन से सही ढंग से लिंक करता है।
प्रोजेक्ट के लिए एक फ़ोल्डर बनाएँ और एक साधारण परीक्षण स्क्रिप्ट:

 mkdir PiCamera && cd PiCamera vim test_cam.py 

फ़ाइल में निम्न कोड जोड़ें:

 from picamera.array import PiRGBArray from picamera import PiCamera import time import cv2 # initialize the camera and reference the raw camera capture camera = PiCamera() rawCapture = PiRGBArray(camera) # allow camera to warmup time.sleep(0.1) # grab an image camera.capture(rawCapture, format="bgr") image = rawCapture.array cv2.imshow("Capture", image) cv2.waitKey(0) 

स्क्रिप्ट चलाएँ:

 python test_cam.py 

सफल होने पर हमें कुछ ऐसा मिलता है:



आइए अब कैमरे से वीडियो रिकॉर्ड करने का प्रयास करें।

 vim test_videom.py 

फ़ाइल में निम्न कोड जोड़ें:

 # import the necessary packages from picamera.array import PiRGBArray from picamera import PiCamera import time import cv2 # initialize the camera and grab a reference to the raw camera capture camera = PiCamera() camera.resolution = (640, 480) camera.framerate = 32 rawCapture = PiRGBArray(camera, size=(640, 480)) # allow the camera to warmup time.sleep(0.1) # capture frames from the camera for frame in camera.capture_continuous(rawCapture, format="bgr", use_video_port=True): # grab the raw NumPy array representing the image, then initialize the timestamp # and occupied/unoccupied text image = frame.array # show the frame cv2.imshow("Frame", image) key = cv2.waitKey(1) & 0xFF # clear the stream in preparation for the next frame rawCapture.truncate(0) # if the `q` key was pressed, break from the loop if key == ord("q"): break 

आइए कुछ और दिलचस्प बनाने की कोशिश करें, उदाहरण के लिए, किनारे का पता लगाएं। मैं यहां केनी के डिटेक्टर का उपयोग कर रहा हूं ( यहां से लिया गया कोड):

 from picamera.array import PiRGBArray from picamera import PiCamera import time import cv2 import numpy as np # initialize the camera and grab a reference to the raw camera capture camera = PiCamera() camera.resolution = (640, 480) camera.framerate = 32 rawCapture = PiRGBArray(camera, size=(640, 480)) # allow the camera to warmup time.sleep(0.1) # capture frames from the camera for frame in camera.capture_continuous(rawCapture, format="bgr", use_video_port=True): # grab the raw NumPy array representing the image, then initialize the timestamp # and occupied/unoccupied text image = frame.array hsv = cv2.cvtColor(image, cv2.COLOR_BGR2HSV) lower_red = np.array([30,150,50]) upper_red = np.array([255,255,180]) mask = cv2.inRange(hsv, lower_red, upper_red) res = cv2.bitwise_and(image,image, mask= mask) edges = cv2.Canny(res,100,200) # show the frame cv2.imshow("Frame", image) cv2.imshow("Edges", edges) key = cv2.waitKey(1) & 0xFF # clear the stream in preparation for the next frame rawCapture.truncate(0) # if the `q` key was pressed, break from the loop if key == ord("q"): break 

यहाँ कार्यक्रम चलाने का परिणाम है:

ROS के लिए रास्पबेरी पाई कैमरा समर्थन जोड़ना

अब आरओएस से रास्पबेरी पाई के लिए मछली की आंखों के कैमरे के साथ काम करने की क्षमता जोड़ें। सबसे पहले, रास्पबेरी पाई कैमरा के लिए आवश्यक V4L2 ड्राइवर स्थापित करें (आप यहां और अधिक पढ़ सकते हैं)। कमांड चलाएँ:

 sudo rpi-update 

और सिस्टम को रिबूट करें। अब ड्राइवर जोड़ें:

 sudo modprobe bcm2835-v4l2 

सत्यापित करें कि उपकरण / dev / video0 उपलब्ध है:

 ll /dev/video0 

आउटपुट इस तरह होगा:

 crw-rw----+ 1 root video 81, 0 Mar 17 15:47 /dev/video0 

डाउनलोड usb_cam पैकेज:

 sudo apt-get install ros-kinetic-usb-cam source /opt/ros/kinetic/setup.bash 

ROS मास्टर चलाएँ और rqt_image_view:

 roscore roslaunch usb_cam usb_cam-test.launch rosrun rqt_image_view rqt_image_view 

विषय / usb_cam / image_raw चुनें। हम निम्नलिखित चित्र प्राप्त करते हैं:



अब मछली की आंखों के कैमरे का उपयोग आरओएस में किसी भी कंप्यूटर विजन पैकेज के साथ किया जा सकता है। अगली बार हम वस्तुओं का पता लगाने की कोशिश करेंगे। प्रयोगों में सभी को शुभकामनाएँ और जल्द ही मिलते हैं!