🤜🏽 😰 🧖🏻 लिनक्स उपकरणों पर USB कैमरों से वीडियो कैप्चर करना 💍 🎷 🤶🏿

पृष्ठभूमि

कुछ समय पहले, मुझे "टैंक युद्ध" के प्रसिद्ध सेट से एक टैंक को "सुधार" करने के लिए लुभाया गया था, खेलने की क्षमता को जोड़ते हुए मानो मैं एक टैंक चालक था। Habré (उदाहरण के लिए, यहाँ: geektimes.ru/post/257528 पर कई लेख पढ़ने के बाद यह विचार सामने आया), उनमें मैंने पाया कि यह कैसे एक छोटे से वाईफाई राउटर और एक यूएसबी कैमरा के साथ किया जा सकता है। समाधान बेहद सरलता से दिखता है: राउटर को विशेष फर्मवेयर के साथ फ्लैश किया जाता है, कैमरा इससे जुड़ा होता है, टैंक को देशी रिमोट कंट्रोल द्वारा नियंत्रित किया जाता है, और वीडियो ब्राउज़र में देखा जाता है। प्रोटोटाइप को जल्दी से इकट्ठा करने के बाद, मैंने पाया कि वीडियो घृणित गुणवत्ता में कैप्चर किया गया था। यह या तो 320x440x30 या 640x480x30 था। जब 1280x720 मोड को चालू किया गया था, तो सबसे अच्छा कलाकृतियों के साथ एक फटा हुआ वीडियो था, सबसे खराब रूप से यह बिल्कुल भी नहीं था। 1920x1080 मोड सिद्धांत रूप में काम नहीं किया। इसने मुझे बहुत परेशान किया, क्योंकि एक पीसी पर कैमरे ने 1920x1080x30 तक मोड का समर्थन किया था और इसमें हार्डवेयर एमजेपीजी कंप्रेशन था। मेरे अंतर्ज्ञान ने सुझाव दिया कि कार्यान्वयन एकदम सही है।

लक्ष्य

फुलएचडी (1920X1080) या एचडी (1280x720) रिज़ॉल्यूशन और सामान्य फ्रेम दर (ताकि आप खेल सकें) में वीडियो।
मैंने बच्चों को खिलौना देने की योजना बनाई, इसलिए मुझे कैमरे को जोड़ने / डिस्कनेक्ट करने के लिए एक ऑटो स्टार्ट और समर्थन की आवश्यकता थी।

सामान्य तौर पर, मैं इस तरह से कुछ चाहता था:

सीमाएं

मैं एक ऐसे समाधान की तलाश में नहीं था जो हमेशा और हर जगह काम करता हो। निम्नलिखित प्रतिबंध मुझे पूरी तरह से अनुकूल करते हैं:

अच्छा वाईफाई सिग्नल।
केवल एक ग्राहक होने पर सीमित संख्या में कनेक्शन को प्राथमिकता दी गई थी।
कैमरा MJPG मोड को सपोर्ट करता है।

HW और SW

Logitech B910 HD कैमकॉर्डर ( http://www.logitech.com/en-us/product/b910-hd-webcam )।
राउटर टीपी-लिंक टीएल-एमआर 3020। इस बच्चे के निम्नलिखित हार्डवेयर हैं: CPU MIPS 24K 400MHz, RAM 32 MiB, फ्लैश 4 MiB, ईथरनेट 100 Mbit, USB 2.0 ( http://wiki.openwrt.org/en/toh/tp-link/tl-mr3020 )।
. OR-WRT (http://roboforum.ru/wiki/OR-WRT), OpenWRT (http://openwrt.org/, 12.07 15.05).
. , .
“ ”.

सामान्य तौर पर, यह वास्तव में कमजोर विन्यास है, खासकर अगर आपको याद है कि 1920x1080 आकार के YUV420 प्रारूप में एक फ्रेम 4 MiB (प्रति पिक्सेल 2 बाइट्स) लेता है। मुझे प्रोत्साहित किया गया कि कैमरा हार्डवेयर MJPG संपीड़न का समर्थन करता है। प्रयोगों से पता चला है कि एक संकुचित FullHD फ्रेम आमतौर पर <500 KiB है। इसलिए मैंने शोध जारी रखने का फैसला किया। यह पता चला कि वीडियो पर कब्जा करने और इसे HTTP के माध्यम से स्ट्रीम करने के लिए, mjpg-streamer (http://sourceforge.net/projects/mjpg-streamer/) का उपयोग किया जाता है। उनके कोड के विश्लेषण से पता चला कि वह वीडियो को कैप्चर करने के लिए 1 स्ट्रीम का उपयोग करता है + प्रत्येक क्लाइंट के लिए एक अलग स्ट्रीम। यह सिंगल-कोर सिस्टम के लिए सबसे अच्छा समाधान नहीं है, क्योंकि इसमें प्रत्येक धागे के लिए स्टैक के लिए थ्रेड सिंक्रोनाइज़ेशन और मेमोरी की आवश्यकता होती है। उन्होंने कैप्चर किए गए फ़्रेमों को भी कॉपी किया। सामान्य तौर पर, mjpg-streamer # 1 संदिग्ध हो गया।

दिलचस्प खोज

Mjpg-streamer का अध्ययन करते हुए, मुझे पता चला कि लिनक्स पर वीडियो कैप्चर v4l2 लाइब्रेरी का उपयोग करके किया गया है और इसे पकड़ने के लिए बफर कतार का उपयोग किया जाता है। Mjpg-streamer में इन बफ़र्स के इनिशियलाइज़ेशन को डीबग करते हुए, मैंने पाया कि MJPG मोड के लिए भी उनका आकार बहुत बड़ा है और अप्रत्याशित रूप से असम्पीडित फ्रेम के आकार के साथ मेल खाता है। इसलिए मुझे संदेह होने लगा कि मुझे UVC ड्राइवर कोड में प्रवेश करना होगा, जो कैमरों के समर्थन के लिए जिम्मेदार है।

ड्राइवर कोड विश्लेषण और पहली सफलता

कोड का अध्ययन करते हुए, मैं इस निष्कर्ष पर पहुंचा कि कैमरे से बफर का आकार पूछा जाता है और मेरे कैमरे ने असम्पीडित फ्रेम का आकार वापस कर दिया। कैमरा डेवलपर्स के दृष्टिकोण से यह शायद सबसे सुरक्षित समाधान है। लेकिन यह भी इष्टतम नहीं है। मैंने तय किया कि मेरे मामले के लिए, आप प्रयोगात्मक न्यूनतम संपीड़न अनुपात का उपयोग करके आवश्यक बफर आकार को समायोजित कर सकते हैं। मैंने k = 5 चुना। इस मान के साथ, मेरे पास लगभग 20% का मार्जिन था।

एक छोटा सा विषयांतर।

, JPG. . , .

UVC ड्राइवर कोड "विशेष" समाधानों को जोड़ने के लिए तैयार था, और मुझे आसानी से बफर आकार (फ़ंक्शन uvc_fixup_video_ctrl ()) को समायोजित करने के लिए एक जगह मिली। इसके अलावा, ड्राइवर आपको quVC के सेट का समर्थन करता है जो आपको UVC मानक से विभिन्न विचलन वाले कैमरों का समर्थन करने की अनुमति देता है। सामान्य तौर पर, चालक के डेवलपर्स ने सबसे अच्छा काम किया है जो चिड़ियाघर कैमरों का समर्थन करना संभव है।

बफ़र आकार सुधार को जोड़कर, मुझे 1280x720 मोड में और यहां तक कि 1920x1080 मोड में भी स्थिर संचालन मिला। हुर्रे! आधी समस्या हल हो गई!

नए कारनामों की तलाश में

पहली सफलता से थोड़ा खुश, मुझे याद आया कि mjpg-streamer एकदम सही है। निश्चित रूप से आप कुछ सरल कर सकते हैं, mjpg-streamer के रूप में सार्वभौमिक नहीं, लेकिन मेरी स्थितियों के लिए अधिक उपयुक्त। इसलिए मैंने uvc2http बनाने का फैसला किया।

Mjpg-streamer में, मुझे कई धाराओं का उपयोग करना और बफ़र्स को कॉपी करना पसंद नहीं था। इसने समाधान वास्तुकला को निर्धारित किया: 1 धारा और कोई प्रतिलिपि नहीं। गैर-अवरुद्ध IO का उपयोग करना, यह काफी सरलता से किया जाता है: फ्रेम को कैप्चर करें और इसे कॉपी किए बिना क्लाइंट को भेजें। एक छोटी सी समस्या है: जब हम बफर से डेटा भेज रहे हैं, हम बफर को कतार में वापस नहीं ला सकते हैं। और जब बफर कतार में नहीं होता है, तो ड्राइवर इसमें नया फ्रेम नहीं डाल सकता है। लेकिन अगर कतार का आकार> 1 है, तो यह संभव हो जाता है। बफ़र्स की संख्या अधिकतम कनेक्शन निर्धारित करती है जिसे सेवा की गारंटी दी जा सकती है। यही है, अगर मुझे 1 ग्राहक की गारंटी का समर्थन करना है, तो 3 बफ़र्स पर्याप्त हैं (ड्राइवर एक बफर को लिखता है, डेटा दूसरे से भेजा जाता है, तीसरा स्टॉक में है ताकि बफर के लिए ड्राइवर के साथ प्रतिस्पर्धा से बचने के लिए जब एक नया फ्रेम प्राप्त करने की कोशिश की जा सके)।

Uvc2http

Uvc2http में दो घटक होते हैं: UvcGrabber और HttpStreamer। पहले कतार से बफर (फ्रेम) प्राप्त करने और उन्हें वापस कतार में वापस लाने के लिए जिम्मेदार है। दूसरा HTTP पर ग्राहकों की सेवा के लिए जिम्मेदार है। इन घटकों को जोड़ने वाला कुछ और कोड है। विवरण स्रोत में पाया जा सकता है।

अप्रत्याशित समस्या

सब कुछ अद्भुत था: आवेदन ने काम किया और 1280x720 के संकल्प में 20+ फ्रेम / सेकंड का उत्पादन किया। मैंने कोड में कॉस्मेटिक बदलाव किए। परिवर्तनों के एक और बैच के बाद, मैंने फ्रेम दर को मापा। परिणाम निराशाजनक था - 15 से कम फ्रेम। मैं यह देखने के लिए दौड़ पड़ा कि किस वजह से गिरावट हुई। मैंने संभवतः 2 घंटे बिताए जिसके दौरान आवृत्ति प्रत्येक माप के साथ 7 फ्रेम / सेकंड के मूल्य तक कम हो गई। राउटर के लंबे काम के कारण, इसके अधिक गर्म होने के कारण गिरावट के बारे में मेरे विचार अलग-अलग हैं। यह कुछ समझ से बाहर था। कुछ बिंदु पर, मैंने स्ट्रीमिंग बंद कर दी और देखा कि सिर्फ एक कैप्चर (बिना स्ट्रीमिंग) ने समान 7 फ़्रेम दिए। मैं भी कैमरे के साथ समस्याओं पर शक करने लगा। सामान्य तौर पर, कुछ बकवास। यह शाम में था और कैमरा, खिड़की से बाहर निकला, कुछ ग्रे दिखा। उदास छवि को बदलने के लिए, मैंने कमरे के अंदर कैमरा चालू किया। और लो!फ्रेम दर बढ़कर 15 हो गई और मैं सब कुछ समझ गया। कैमरे ने स्वतः एक्सपोज़र समय को समायोजित किया और किसी समय यह समय किसी दिए गए आवृत्ति पर फ्रेम की अवधि से अधिक लंबा हो गया। इन दो घंटों के दौरान, निम्नलिखित हुआ: पहले यह धीरे-धीरे अंधेरा हो रहा था (शाम हो गई थी), और फिर मैंने लाइट रूम के अंदर कैमरा चालू किया। झूमर पर कैमरे की ओर इशारा करते हुए, मुझे 20+ फ़्रेम / सेकंड मिला। हुर्रे।

. 1-1.5 .
. , , qv4l2, . : - . .
. USB , ( ) ( ). USB ( ).
राउटर में बहुत कम मेमोरी और डिस्क स्थान होता है। इस कारण से, मैंने OR-WRT से इंकार कर दिया और अपनी OpenWRT छवि को संकलित किया, जिससे सब कुछ अधकचरा हो गया।

परिणाम

नीचे mjpg-streamer और uvc2http की तुलना के परिणामों के साथ एक प्लेट है। संक्षेप में, मेमोरी की खपत में महत्वपूर्ण लाभ और फ्रेम दर और सीपीयू उपयोग में एक छोटा लाभ है।

	1280x720						1920x1080
	वीएसजेड, केबी, 1 क्लाइंट	वीएसजेड, केबी, 2 क्लाइंट	सीपीयू,%, 1 ग्राहक	सीपीयू,%, 2 ग्राहक	एफपीएस, एफ / एस, 1 ग्राहक	एफपीएस, एफ / एस, 2 क्लाइंट	वीएसजेड, केबी, 1 क्लाइंट	वीएसजेड, केबी, 2 क्लाइंट	सीपीयू,%, 1 ग्राहक	सीपीयू,%, 2 ग्राहक	एफपीएस, एफ / एस, 1 ग्राहक	एफपीएस, एफ / एस, 2 क्लाइंट
MJPG-स्ट्रीमर	16,860	19040	26	43	17.6	पंद्रह	25,456	25812	28	पचास	13.8	10
uvc2http	3960	3960	26	43	22	19.6	7576	7576	28	43	15.5	12.2

और निश्चित रूप से वीडियो जो मैंने बच्चों के साथ बनाया है:

परिणामी टैंक की फोटो (यह जिप्सी गाड़ी की तरह निकला):

का उपयोग करते हुए

सूत्रों का कहना है कर रहे हैं यहाँ । पीसी लिनक्स पर उपयोग के लिए, आपको बस संकलन करने की आवश्यकता है (बशर्ते कि आप UVC चालक को पैच नहीं करना चाहते हैं)। उपयोगिता मानक तरीके से CMake का उपयोग करके बनाई गई है। यदि आपको इसे OpenWRT में उपयोग करने की आवश्यकता है, तो आपको अतिरिक्त कदम उठाने की आवश्यकता है:

OpenWrt-15.05 निर्देशिका की सामग्री को OpenWRT रिपॉजिटरी की जड़ में कॉपी करें। ये फाइलें केवल OpenWRT 15.05 के लिए हैं। वे OpenWRT के लिए एक नया पैकेज और UVC ड्राइवर के लिए एक पैच का वर्णन करते हैं।

, quirk UVC_QUIRK_COMPRESSION_RATE uvc_driver.c. UVC. , wiki.openwrt.org/doc/devel/patches. uvc_ids. :

/* Logitech B910 HD Webcam */
	{ .match_flags		= USB_DEVICE_ID_MATCH_DEVICE
				| USB_DEVICE_ID_MATCH_INT_INFO,
	  .idVendor		= 0x046d,
	  .idProduct		= 0x0823,
	  .bInterfaceClass	= USB_CLASS_VIDEO,
	  .bInterfaceSubClass	= 1,
	  .bInterfaceProtocol	= 0,
	  .driver_info		= UVC_QUIRK_RESTORE_CTRLS_ON_INIT
				| UVC_QUIRK_COMPRESSION_RATE }, // Enable buffer correction for compressed modes

OpenWRT (http://wiki.openwrt.org/doc/howto/build). uvc2http Multimedia.
uvc2http ( ) . , .
डिवाइस पर पैकेज स्थापित करें / सिस्टम को अपडेट करें

आगे क्या होगा

समाधान में दो भाग होते हैं: एक चालक पैच और दूसरा स्ट्रीमिंग एल्गोरिदम। ड्राइवर पैच को लिनक्स कर्नेल के नए संस्करण में शामिल किया जा सकता है, लेकिन यह एक विवादास्पद निर्णय है, क्योंकि यह न्यूनतम संपीड़न अनुपात की धारणा पर आधारित है। उपयोगिता, मेरी राय में, कमजोर सिस्टम (खिलौने, होम वीडियो निगरानी प्रणाली) पर उपयोग के लिए अच्छी तरह से अनुकूल है, और मापदंडों के माध्यम से कैमरा सेटिंग्स को निर्दिष्ट करने की क्षमता को जोड़कर इसे थोड़ा सुधार किया जा सकता है।

स्ट्रीमिंग एल्गोरिथ्म में सुधार किया जा सकता है क्योंकि सीपीयू लोडिंग और चैनल चौड़ाई पर एक मार्जिन है (मैं आसानी से 50+ एमबीट से प्राप्त हुआ था जो दस क्लाइंट को जोड़ता है)। आप साउंड सपोर्ट भी जोड़ सकते हैं।

लिनक्स उपकरणों पर USB कैमरों से वीडियो कैप्चर करना