हार्डवेयर एक Logitech C920 कैमरा पर एक वीडियो स्ट्रीम एन्कोडिंग और 0.2 सेकंड से कम की देरी के साथ वाईफ़ाई के माध्यम से इसे भेजने के लिए

इस निर्देश में, हम एक Logitech C920 कैमरा-एन्कोडेड h264 वीडियो स्ट्रीम को बीगलबोन ब्लू से एक वाईफाई नेटवर्क के माध्यम से एक लैपटॉप पर भेजेंगे, फिर हम इसे ROS gscam नोड में ले जाएंगे और एडुमिप रोबोट के मार्ग के साथ टैरो कार्ड और केचप बोतल की छवियों को खोज और पहचान लेंगे।

यह मेरे लेखों की एक श्रृंखला का एक सिलसिला है, आखिरी में हमने इस तथ्य पर ध्यान केंद्रित किया कि gstreamer के माध्यम से हमने वीडियो को लैपटॉप पर भेजा ।

ROS के पास एक पैकेज है जो gstreamer से वीडियो प्राप्त कर सकता है, जिसे gscam कहा जाता है, यहाँ इसके लिए प्रलेखन और स्रोत कोड है ।

हमें gstreamer-1.0 समर्थन के साथ gscam के नवीनतम संस्करण की आवश्यकता है, इसलिए हम स्रोत कोड के नवीनतम संस्करण से इंस्टॉल करेंगे।

cd catkin_ws/src git clone https://github.com/ros-drivers/gscam cd .. catkin_make -DGSTREAMER_VERSION_1_x=On 

अब हमें एक लॉन्च फ़ाइल बनाने और वहां gstreamer कमांड दर्ज करने की आवश्यकता है जो वीडियो को ffmpegcolorspace पर भेजेगा।

 -v udpsrc port=6666 ! application/x-rtp, encoding-name=H264 ! rtph264depay ! h264parse ! avdec_h264 ! videoconvert ! ffmpegcolorspace 

परिणामी फ़ाइल ~ / catkin_ws / src / gscam / उदाहरण / streamc920.launch इस तरह दिखेगा:

 <launch> <!-- Set this to your camera's name --> <arg name="cam_name" value="creative_cam" /> <!-- Start the GSCAM node --> <env name="GSCAM_CONFIG" value="-v udpsrc port=6666 ! application/x-rtp, encoding-name=H264 ! rtph264depay ! h264parse ! avdec_h264 ! videoconvert ! ffmpegcolorspace" /> <node pkg="gscam" type="gscam" name="$(arg cam_name)"> <param name="camera_name" value="$(arg cam_name)" /> <param name="camera_info_url" value="package://localcam/calibrations/${NAME}.yaml" /> <remap from="camera/image_raw" to="$(arg cam_name)/image_raw" /> </node> <!-- Provide rectification --> <node pkg="image_proc" type="image_proc" name="creative_image_proc" ns="$(arg cam_name)" /> <!-- View the raw and rectified output --> <node pkg="image_view" type="image_view" name="creative_view" > <remap from="image" to="/$(arg cam_name)/image_raw" /> </node> </launch> 

अब अगर हम इसे चलाते हैं:

 roslaunch gscam streamc920.launch 

यह कैमरे से एक वीडियो स्ट्रीम प्राप्त करेगा, अब ROS में हमारे पास यह वीडियो क्रिएटिव_कैम / इमेज_राव के रूप में है।

पिछले पाठों में से, हम विषय को बदलकर मानचित्र छवियों की खोज और मान्यता शुरू करेंगे :

 rosrun find_object_2d find_object_2d image:=/creative_cam/image_raw 

आप लेख की शुरुआत में वीडियो में एक तात्कालिक ट्रैक पर एडुमिप रोबोट का परीक्षण करने का परिणाम देख सकते हैं। रोबोट के संतुलन के कारण झटकों के बावजूद, छवि को अभी भी पहचाना जा सकता है, लेकिन तीन-पहिया या चार-पहिया रोबोट पर, मुझे लगता है कि सब कुछ बहुत बेहतर होगा।

मैंने लैपटॉप को वाईफाई ट्विस्टेड-पेयर राउटर से भी जोड़ा और बिटरेट को 1 एमबीपीएस तक घटा दिया, जिसमें एक सेकंड में एक बार मुख्य फ्रेम होता है, जिससे वीडियो ट्रांसमिशन में 0.2 सेकंड की देरी हुई।

 gst-launch-1.0 uvch264src initial-bitrate=1000000 average-bitrate=1000000 iframe-period=1000 name=src auto-start=true src.vidsrc ! video/x-h264,width=160,height=120,framerate=30/1 ! h264parse ! rtph264pay ! udpsink host=192.168.1.196 port=6666 

जो लोग रोबोट को लाइव देखना चाहते हैं, उनके लिए 7 जुलाई को मॉस्को के DIYorDIE मीटअप में EduMIP प्रोजेक्ट के साथ बात करूंगा।