फोटोस्कैन: बिना चकाचौंध के फोटो कैसे लें

19 अप्रैल, 2017 को, हमने फोटोस्कैन के लिए एक अपडेट जारी किया, जो कि आईओएस और एंड्रॉइड के लिए हमारा मोबाइल एप्लिकेशन है, जो आपको सिर्फ स्मार्टफोन के साथ पेपर फोटो को डिजिटल करने की अनुमति देता है। फोटोस्कैन की प्रमुख विशेषताओं में से एक है तस्वीरों से चकाचौंध को दूर करने की क्षमता (वे अक्सर चमकदार, अत्यधिक चिंतनशील कागज पर मुद्रित होती हैं), साथ ही साथ प्लास्टिक एल्बमों या कांच के नीचे की तस्वीरों के पन्नों से भी। ऐसा करने के लिए, हमने कंप्यूटर विज़न और इमेज प्रोसेसिंग तकनीक का एक अनूठा संयोजन विकसित किया है जो फ़ोटो के कई अलग-अलग चित्रों को सटीक रूप से संयोजित और संयोजित कर सकता है और फ़ोटो में हाइलाइट को छवि से अलग कर सकता है।



एक तस्वीर से स्वचालित रूप से यह निर्धारित करना बहुत मुश्किल है कि छवि के कौन से हिस्से मूल फोटो हैं और कौन से हाइलाइट हैं। इसके अलावा, चकाचौंध फोटो के क्षेत्रों को रोशन कर सकती है, क्योंकि इसकी वजह से उस हिस्से को फिर से स्थापित करना असंभव होगा जो चमक के नीचे छिपा हुआ है। लेकिन अगर आप कैमरा को हिलाकर फोटो के कई शॉट लेते हैं, तो लेंस भड़क जाता है - यह फोटो के विभिन्न हिस्सों से होकर गुजरता है। ज्यादातर मामलों में, प्रत्येक व्यक्तिगत पिक्सेल कम से कम एक चित्र में नहीं होगा। यद्यपि कोई भी चित्र चकाचौंध से रहित नहीं होगा, हम अलग-अलग कोणों पर खींची गई मुद्रित तस्वीर के कई चित्रों को जोड़ सकते हैं, और इस तरह चकाचौंध को दूर कर सकते हैं। कठिनाई यह है कि छवियों को बहुत सटीक रूप से संरेखित किया जाना चाहिए ताकि वे सही ढंग से संयोजित हो जाएं, और लगभग तुरंत परिणाम के प्रभाव को प्राप्त करने के लिए यह प्रसंस्करण स्मार्टफोन पर जल्दी से किया जाना चाहिए।



हमारी तकनीक SIGGRAPH 2015 में प्रकाशित हमारे पिछले काम से प्रेरित थी, जिसे हमने " बाधा-मुक्त फोटोग्राफी " कहा था। यह देखने के क्षेत्र से विभिन्न हस्तक्षेप को हटाने के लिए समान सिद्धांतों का उपयोग करता है। लेकिन मूल एल्गोरिथ्म एक जेनेरिक मॉडल पर आधारित था जिसमें मुख्य दृश्य की गति और उपस्थिति और हस्तक्षेप का मूल्यांकन किया गया था। इस मॉडल की क्षमताएं बहुत अच्छी हैं, और यह विभिन्न प्रकार के व्यवधानों को दूर करने में सक्षम है - लेकिन यह स्मार्टफोन पर उपयोग किए जाने के लिए बहुत अधिक महंगा है। इसलिए, हमने एक सरलीकृत मॉडल विकसित किया है जो भड़क को एक प्रकार की विसंगति के रूप में संदर्भित करता है और इसके नीचे की छवि को पहचानने की कोशिश करता है। हालांकि मॉडल को सरल बनाया गया है, यह अभी भी एक बहुत मुश्किल काम है - मान्यता सटीक और विश्वसनीय होनी चाहिए।

यह कैसे काम करता है

हम कैमरा द्वारा स्थानांतरित किए गए उपयोगकर्ता द्वारा लिए गए फोटोग्राफ के स्नैपशॉट के साथ शुरू करते हैं। पहला स्नैपशॉट - "संदर्भ फ़्रेम" - स्नैपशॉट का वांछित अंतिम रूप निर्धारित करता है। उपयोगकर्ता को तब चार अतिरिक्त चित्र लेने की सलाह दी जाती है। प्रत्येक फ्रेम में, हम मुख्य बिंदुओं का निर्धारण करते हैं (हम हैरिस एल्गोरिथ्म का उपयोग करके निर्धारित कोणों पर ओआरबी के गुणों की गणना करते हैं ) और उनका उपयोग होमोग्राफ निर्धारित करने के लिए करते हैं जो प्रत्येक बाद के फ्रेम को संदर्भ एक में मैप करते हैं।



तकनीक सीधी लगती है, लेकिन इसमें एक पकड़ है - होमोग्राफ केवल सपाट छवियों की तुलना कर सकते हैं। लेकिन कागज की तस्वीरें अक्सर सपाट नहीं होती हैं (जैसा कि ऊपर दिए गए उदाहरण में है)। हम ऑप्टिकल प्रवाह का उपयोग करते हैं - कंप्यूटर दृष्टि में गति का एक मौलिक प्रतिनिधित्व, दो छवियों के बीच पिक्सेल-बाय-पिक्सेल पत्राचार की स्थापना, विमान से विचलन को सही करना। हम होमोग्राफी का उपयोग करके संरेखित फ़्रेम के साथ शुरू करते हैं और छवियों को सीधा करने और आगे समायोजित करने के लिए "प्रवाह क्षेत्रों" की गणना करते हैं। कृपया ध्यान दें कि नीचे दिए गए उदाहरण में, बाईं तस्वीर के कोनों को केवल होमोग्राफी का उपयोग करके फ़्रेम को परिभाषित करने के बाद थोड़ा "हिलना" है। दाईं ओर आप देख सकते हैं कि ऑप्टिकल प्रवाह को लागू करने के बाद फोटो को बेहतर तरीके से कैसे संरेखित किया गया है।



अंतर बहुत हड़ताली नहीं है, लेकिन अंतिम परिणाम को महत्वपूर्ण रूप से प्रभावित करता है। छोटी विसंगतियों को डुप्लिकेट छवि के टुकड़ों के रूप में कैसे प्रकट किया जाए, और इन खामियों को अतिरिक्त शोधन द्वारा कैसे समाप्त किया जाता है, इस पर ध्यान दें।



और इस मामले में, कठिनाई शुरू में धीरे-धीरे काम करने वाले ऑप्टिकल प्रवाह एल्गोरिदम को स्मार्टफोन पर तेजी से काम करने में थी। प्रत्येक पिक्सेल के लिए प्रवाह की पारंपरिक गणना के बजाय (वैक्टर की संख्या पिक्सेल की संख्या के बराबर है), हम कम संख्या में नियंत्रण बिंदुओं का उपयोग करके प्रवाह क्षेत्र का निर्माण करते हैं, और नियंत्रण बिंदुओं के आंदोलन के कार्य के रूप में छवि में प्रत्येक पिक्सेल के आंदोलन को रिकॉर्ड करते हैं। अर्थात्, हम प्रत्येक छवि को असंतुष्ट कोशिकाओं में विभाजित करते हैं जो एक मोटे दाने वाली जाली का निर्माण करती हैं, और एक अलग सेल में पिक्सेल स्ट्रीम को स्ट्रीम के बिलिनियर संयोजन और सेल के चार कोनों के रूप में दर्शाती हैं।





फिर यह एक सरल समस्या को हल करने के लिए बनी हुई है, क्योंकि प्रवाह वैक्टर की संख्या अब जाली बिंदुओं की संख्या के बराबर है, जो आमतौर पर पिक्सल की तुलना में बहुत छोटी होती है। यह प्रक्रिया इमेज प्रोसेसिंग को विभाजित करने के समान है। इस एल्गोरिथ्म के साथ, हम पिक्सेल फोन पर ऑप्टिकल फ्लक्स गणना समय को लगभग 40 गुना कम करने में सक्षम थे!



अंत में, चकाचौंध के बिना अंतिम छवि बनाने के लिए, फ्रेम के प्रत्येक भाग के लिए हम पिक्सेल मान लेते हैं और विकल्पों में से सबसे गहरे खोजने के लिए "नरम न्यूनतम" की गणना करते हैं। विशेष रूप से, हम उपलब्ध फ़्रेमों से अपेक्षित न्यूनतम चमक की गणना करते हैं, और उन पिक्सल को छोटे वजन प्रदान करते हैं जो छवियों के घुमावदार किनारों के करीब हैं। हम इस पद्धति का उपयोग इस तथ्य के कारण न्यूनतम गणना के बजाय सीधे करते हैं कि विभिन्न फ़्रेमों में समान पिक्सेल में एक अलग चमक हो सकती है। ओवरलैपिंग छवियों की सीमाओं पर तीव्रता में तेज बदलाव के कारण पिक्सेल-बाय-पिक्सेल न्यूनतम दृश्यमान जोड़ों की उपस्थिति का कारण बन सकता है।



एल्गोरिथ्म विभिन्न स्कैनिंग स्थितियों में काम करने में सक्षम है - मैट और चमकदार तस्वीरें, एल्बमों में फोटो और उनके बिना, पत्रिका कवर।



अंतिम परिणाम की गणना करने के लिए, हमारी टीम ने एक ऐसी विधि विकसित की है जो स्वचालित रूप से छवि की सीमाओं को निर्धारित करती है और इसे एक आयताकार दृश्य की ओर ले जाती है। परिप्रेक्ष्य विरूपण के कारण, एक स्कैन किया गया आयताकार फोटो आमतौर पर एक गैर-आयताकार चतुर्भुज में बदल जाता है। विधि छवि संकेतों, रंग, किनारों का विश्लेषण करती है ताकि पता लगाया जा सके कि मूल तस्वीर की सटीक सीमाएं कहां जाती हैं, और फिर छवि को सीधा करने के लिए ज्यामितीय परिवर्तनों को लागू करता है। परिणाम चकाचौंध के बिना कागज फोटोग्राफी का एक उच्च गुणवत्ता वाला डिजिटल संस्करण है।



सामान्य तौर पर, बहुत सारी चीजें हुड के नीचे हो रही हैं, और यह सब आपके फोन पर लगभग तुरंत काम करता है! आप Android या iOS के लिए एप्लिकेशन के संस्करण को डाउनलोड करके PhotoScan की कोशिश कर सकते हैं।