मैं OpenCV से कैसे मिला या ColorChecker की खोज में

मैं दूसरे वर्ष नोवोसिबिर्स्क में सीएस केंद्र में अध्ययन कर रहा हूं। प्रवेश करने से पहले, मेरे पास पहले से ही आईटी में एक नौकरी थी - मैंने यैंडेक्स में एक विश्लेषक के रूप में काम किया था, लेकिन मैं आगे विकास करना चाहता था, वर्तमान कार्यों से परे कुछ पता लगाना और, एक सहयोगी की सलाह पर, मैंने सीएस सेंटर में प्रवेश किया। इस लेख में मैं उस अभ्यास के बारे में बात करना चाहता हूं जो मैंने अध्ययन करते समय किया था।

पहले सेमेस्टर की शुरुआत में, हमें कई परियोजनाओं की पेशकश की गई थी। मेरा ध्यान तुरंत तस्वीरों से अनाज के रंग का आकलन करने के लिए एक विधि नामक एक परियोजना पर झुका हुआ था। इस विषय को एसबी आरएएस के इंस्टीट्यूट ऑफ साइटोलॉजी एंड जेनेटिक्स के विशेषज्ञों द्वारा सुझाया गया था, लेकिन यह परियोजना स्वयं जीव विज्ञान की तुलना में छवि विश्लेषण और प्रसंस्करण से अधिक संबंधित थी। मैंने इसे चुना क्योंकि मुझे मशीन लर्निंग और पैटर्न पहचान में दिलचस्पी थी और मैं इन क्षेत्रों में अभ्यास करना चाहता था।

परियोजना का सार

गिनती और विश्लेषण के उबाऊ और नियमित काम से कृषिविदों को मुक्त करने के लिए एक तस्वीर से गेहूं के दाने के आकार को गिनने और मापने के लिए डिज़ाइन किया गया एक सीडीक्यूअर एप्लिकेशन है। मुझे एक तस्वीर से अनाज के रंग का निर्धारण करने और आवेदन में इसे लागू करने की संभावना का अध्ययन करने की आवश्यकता थी ताकि अनाज को सार्थक वर्गों में विभाजित किया जा सके। प्राप्त कक्षाएं, उदाहरण के लिए, मनुष्यों के लिए उपयोगी पदार्थों की सामग्री के अनुरूप हो सकती हैं।

अंशांकन से पहले और बाद का उदाहरण फोटो:



ऐसा लगता है कि एक तस्वीर से अनाज के रंग को लेना और समझना एक सरल कार्य है, खासकर अगर अनाज पहले से ही खुद को खोजने के लिए एक एल्गोरिथ्म है। हालांकि, प्राप्त रंग प्रकाश पर बहुत निर्भर है और कैमरा अपनी विकृति का परिचय देता है। नतीजतन, प्राप्त रंग का स्वयं अनाज के गुणों से बहुत कम संबंध है। इसलिए, मुख्य लक्ष्य कैलिब्रेटेड अनाज रंगों को प्राप्त करना था, अर्थात। जैसे कि वे आदर्श शूटिंग परिस्थितियों में होंगे।

रंगों को समायोजित करने के लिए, हमने ColorChecker नामक एक संदर्भ पैलेट का उपयोग किया। ColorChecker अनाज के समान फ्रेम पर स्थित है, इसके रंगों को पहले से जाना जाता है। एप्लिकेशन को एक छवि रूपांतरण चुनना होगा जैसे कि ColorChecker पर रंग ज्ञात संदर्भ रंगों के जितना करीब हो सके।

अर्थात्, कार्य को तीन उप-प्रकारों में विभाजित किया गया था:

• छवि में ColorChecker ढूंढना,
• रंग रूपांतरण की गणना और इसे छवि पर लागू करना,
• प्राप्त रंगों के अनुसार अनाज का पृथक्करण।

कार्य की प्रगति

सबसे पहले, हमने पहले से लागू किए गए ColorChecker खोज एल्गोरिदम को खोजा - यह मुफ्त मैकडफ पैकेज में पाया गया था। मैंने इसे परीक्षण छवियों पर आज़माया, यह बुरी तरह से बदल गया: यहां तक ​​कि ColorChecker के एक छोटे से मोड़ के साथ भी पैलेट के कुछ वर्गों को मान्यता दी गई थी। उसके बाद मैंने अन्य खोज विधियों की तलाश शुरू की, जहां अभिविन्यास महत्वपूर्ण नहीं है। यह पता चला कि एक मनमाना वस्तु खोजने के अधिक सामान्य कार्य के लिए एक विधि का उपयोग किया जाता है - यह छवि में विशेषता बिंदुओं के चयन और टेम्पलेट के साथ उनकी तुलना पर आधारित है। सभी आवश्यक घटक पहले से ही ओपनसीवी में हैं, इसलिए इसे लागू करना मुश्किल नहीं था।

OpenCV में विशेषता बिंदुओं को उजागर करने के लिए, हमने कई एल्गोरिदम का उपयोग किया: दोनों पेटेंट (SIFT / SURF) और मुफ्त (ORB / FAST)। प्रारंभ में, विधि ने पेटेंट विकल्पों के साथ काफी अच्छा काम किया, लेकिन यह बहुत धीमा था, जो कि मोबाइल डिवाइस पर उपयोग किए जाने पर महत्वपूर्ण है। वे लाइब्रेरी के मानक संस्करण में भी अनुपस्थित थे, जो एंड्रॉइड पर पोर्ट करते समय कठिनाइयों का कारण बन सकता था। तेज विकल्पों का उपयोग करते समय, मान्यता की गुणवत्ता गिर गई।

मान्यता की गुणवत्ता बढ़ाने के लिए, मैंने उन उदाहरणों को देखा, जहां एल्गोरिदम गलत था। ज्यादातर मामलों में, एल्गोरिथ्म ने ColorChecker का अनुमानित स्थान पाया, लेकिन इसके क्षेत्र का सटीक निर्धारण नहीं किया। उस बिंदु के क्षेत्र के गलत निर्धारण के कारण जहां से अंशांकन के लिए रंगों को लिया गया था, वे क्रमशः पैलेट के सही वर्गों में नहीं गिरते थे, रंगों को गलत तरीके से बहाल किया गया था। इसे ठीक करने के लिए, मैंने एल्गोरिथ्म को फिर से चलाने की कोशिश की, एक प्रारंभिक प्रारंभिक अनुमान प्राप्त किया, और वांछित वर्गों की दिशा में, अंशांकन के लिए उपयोग किए जाने वाले बिंदुओं को आनुभविक रूप से स्थानांतरित कर दिया। उसके बाद, विधि की गुणवत्ता बढ़ी और स्वीकार्य हो गई, यहां तक ​​कि शुरू में कमजोर, लेकिन तेजी से एल्गोरिदम के लिए:

एल्गोरिथ्म	शुद्धता	काम का समय
सर्फ	75%	2.8s
	83% (+ 8%)	14s
झारना	88%	3.4s
	96% (+ 8%)	15s
तेज	65%	0.5s
	93% (+ 28%)	1.5s
ओर्ब	56%	0.4s
	79% (+ 23%)	1s

अंशांकन के लिए, मैं सरलतम वर्ग प्रतिगमन का उपयोग करता हूं: रंग में रैखिक और उच्च क्रम में। तदनुसार, सवाल खड़ा हुआ: कई मॉडल से सर्वश्रेष्ठ कैसे चुनें। मानक से रंग की निकटता के आधार पर मेट्रिक्स ने मिश्रित परिणाम दिए: औपचारिक मानदंडों के अनुसार एक अच्छी तरह से कैलिब्रेटेड छवि मानव दृष्टिकोण से अप्राकृतिक लग सकती है। नीचे दी गई छवि ऐसे प्रभाव का एक उदाहरण दिखाती है। उदाहरण के लिए, अनाज के बजाय, मैंने आलू के कंद का एक टुकड़ा लिया, क्योंकि यह बड़ा है, और हम बेहतर रंग विकृतियों को देख सकते हैं। हमने मेट्रिक्स को बदलने की कोशिश की, लेकिन अंत में हमने फैसला किया कि अंतिम कार्य - अनाज पृथक्करण के परिणाम पर इसके प्रभाव से अंशांकन के लिए मॉडल का मूल्यांकन करना बेहतर था।

आलू कंद टुकड़ा, बाएं से दाएं: अंशांकन से पहले, पहले, दूसरे और तीसरे क्रम के प्रतिगमन द्वारा अंशांकन के बाद।



अगला, यह एक डाटासेट को इकट्ठा करने के लिए आवश्यक था जिस पर ColorChecker खोज और अंशांकन की गुणवत्ता की जांच करें, और रंग द्वारा अनाज को अलग करने की समस्या को भी हल करें। ऐसा करने के लिए, हमने विभिन्न किस्मों के अनाज के नमूने लिए और विभिन्न उपकरणों पर फोटो खींचे, विभिन्न प्रकाश स्रोतों से: कृत्रिम और दिन के उजाले में दोनों। उसके बाद, मैंने सभी छवियों को अंशांकन एल्गोरिथ्म के माध्यम से चलाया और अनाज के रंगों को एकत्र किया, अनाज को पहचानने के लिए एल्गोरिथ्म मुझे तैयार करने के लिए दिया गया था। मुझे इस प्रक्रिया के एक से अधिक पुनरावृत्तियों को करना था: खराब गुणवत्ता वाली छवियों पर मान्यता हमेशा अच्छी तरह से काम नहीं करती थी, मुझे कचरे को बाहर निकालने के लिए अतिरिक्त उत्तराधिकार का चयन करना था।

अंत में, यह एक डेटासेट इकट्ठा करने के लिए निकला, जिसकी गुणवत्ता से मैं प्रसन्न था। मैंने अनाज पृथक्करण की समस्या को इस प्रकार औपचारिक रूप दिया: नौ ग्रेड अनाज को तीन वर्गों (सफेद, लाल और बैंगनी) में विभाजित किया गया था, प्रत्येक व्यक्तिगत अनाज को तीन वर्गों में से एक में रंग द्वारा वर्गीकृत किया जाना था। मैंने केएनएन और लीनियर क्लासिफायरफ़ायर जैसे सरल वर्गीकरण तरीकों की कोशिश की, लेकिन अच्छी सटीकता प्राप्त करने में विफल रहे। हालांकि, जब भी आंख से देखा गया, तो यह स्पष्ट था कि कक्षाएं दृढ़ता से एक दूसरे के साथ मिलती हैं और उनके बीच कोई स्पष्ट विभाजन सतह नहीं है।

परिणाम

काम का मुख्य परिणाम ColorChecker खोज एल्गोरिथ्म है, जो जल्दी और अच्छी गुणवत्ता के साथ काम करता है, और इसके द्वारा रंग अंशांकन। यह न केवल अनाज के लिए उपयोगी हो सकता है। उदाहरण के लिए, गेहूं के कानों के विश्लेषण के कार्य में इसे लागू करना संभव था।

मैंने रंग द्वारा अनाज की ग्रेडिंग की संभावना की भी जांच की - मुझे यहां उच्च सटीकता नहीं मिली, यहां तक ​​कि अंशांकन की मदद से भी।

लेकिन सबसे महत्वपूर्ण परिणाम यह है कि मैंने एक समस्या को हल करने में अनुभव प्राप्त किया, जिसके लिए अलमारियों पर कोई तैयार एल्गोरिथ्म नहीं है, और खुद के लिए कंप्यूटर विज़न के एक रोमांचक क्षेत्र की खोज की, जो मुझे आशा है, मैं भविष्य में मुठभेड़ करूंगा।