फ़ोन पर Google की रात दृष्टि कैसे काम करती है और यह अच्छी तरह से क्यों काम करती है

आपको इस तथ्य के लिए क्षमा किया जा सकता है कि Google, नाइट साइट से रात की फोटोग्राफी की नई सुविधा के बारे में सभी प्रशंसनीय टिप्पणियों को पढ़ने के बाद, आप तय करते हैं कि कंपनी ने सिर्फ एक रंगीन फिल्म का आविष्कार किया है। कल रात शूटिंग मोड दिखाई नहीं दिए, और कई प्रौद्योगिकियां जिस पर वे आधारित हैं, कई वर्षों से हैं। लेकिन Google ने पहले जो देखा उससे परे संभावनाओं की सीमाओं को धक्का देने के लिए अभूतपूर्व मशीन सीखने की क्षमताओं के साथ कंप्यूटिंग फोटोग्राफी कौशल के संयोजन का एक अद्भुत काम किया है। आइए एक पंक्ति में लिए गए कुछ शॉट्स के साथ लो-लाइट फोटोग्राफी तकनीक के इतिहास को देखें, सोचें कि इसका उपयोग Google द्वारा कैसे किया जाता है, और मान लीजिए कि AI इसमें कैसे योगदान देता है।

कम प्रकाश फोटोग्राफी में कठिनाई

सभी कैमरे कम रोशनी में फोटो लेने के लिए संघर्ष कर रहे हैं। छवि में प्रति पिक्सेल पर्याप्त फोटॉन के बिना, शोर आसानी से हावी हो सकता है। अधिक प्रकाश इकट्ठा करने और एक उपयोगी तस्वीर प्राप्त करने के लिए शटर को लंबे समय तक खुला छोड़ने से शोर की मात्रा भी बढ़ जाएगी। इससे भी बदतर, एक स्थिर तिपाई के बिना एक स्पष्ट चित्र प्राप्त करना बहुत कठिन है। लाभ (आईएसओ) बढ़ने से तस्वीर उज्जवल हो जाएगी, लेकिन इसमें शोर की मात्रा भी बढ़ जाएगी।

पारंपरिक रणनीति बड़े सेंसर को बड़े सेंसर का उपयोग करने के लिए किया गया है। दुर्भाग्य से, फोन के कैमरों में, सेंसर, और, इसलिए, पिक्सेल छोटे हैं - वे अच्छी रोशनी में अच्छी तरह से काम करते हैं, लेकिन प्रकाश स्तर कम होने पर जल्दी विफल हो जाते हैं।

नतीजतन, कम रोशनी में प्राप्त छवियों को बेहतर बनाने के लिए टेलीफोन कैमरों के डेवलपर्स के पास दो विकल्प हैं। शोर कम करने के साथ, उन्हें एक में संयोजित करने के लिए कई छवियों का उपयोग करना है। मोबाइल डिवाइस में इस तरह की रणनीति का प्रारंभिक कार्यान्वयन iPhone के लिए DxO ONE ऐड-ऑन में SRAW मोड था। उन्होंने चार रॉ छवियों को एक बढ़ाया में मिला दिया। दूसरा विकल्प शोर को कम करने और तस्वीर को बेहतर बनाने के लिए सरल पोस्ट-प्रोसेसिंग (नवीनतम संस्करण अक्सर मशीन सीखने से लैस होते हैं) का उपयोग करना है। Google नाइट साइट दोनों दृष्टिकोणों का उपयोग करता है।

एक शॉट में कई चित्र

फिलहाल, हम पहले से ही आदी हैं कि फोन और कैमरे कई छवियों को एक में कैसे जोड़ते हैं, मुख्य रूप से गतिशील रेंज को बेहतर बनाने के लिए। चाहे वह ब्रैकेटिंग के साथ छवियों का एक समूह हो, जैसा कि ज्यादातर कंपनियां करती हैं, या Google से HDR +, जो एक संक्षिप्त एक्सपोज़र के साथ कई छवियों का उपयोग करता है, आप एक उत्कृष्ट चित्र प्राप्त कर सकते हैं - अगर चलती वस्तुओं की कई छवियों के विलय से उत्पन्न कलाकृतियों को कम से कम किया जा सकता है। आमतौर पर, इसके लिए एक बेस फ्रेम का चयन किया जाता है जो उस दृश्य का सबसे अच्छा वर्णन करता है जिस पर अन्य फ़्रेमों के उपयोगी हिस्से सुपरिंपोज होते हैं। Huawei, Google और अन्य लोगों ने भी बढ़ाया टेलीफोटो तस्वीरें बनाने के लिए इस दृष्टिकोण का उपयोग किया है। हाल ही में, हमने सही आधार फ्रेम चुनने के महत्व को देखा जब ऐप्पल ने बताया कि ब्यूटीगेट के साथ उनका गड़बड़ बग के कारण था जिसमें फोटो प्रसंस्करण के दौरान गलत आधार फ्रेम चुना गया था।

यह स्पष्ट है कि Google ने कम रोशनी में बेहतर फ़ोटो प्राप्त करने के लिए कई छवियों का उपयोग करने के इन तरीकों को संयोजित करने का निर्णय क्यों लिया। इसी समय, कंपनी छवि प्रसंस्करण के क्षेत्र में कई सरल नवाचारों का परिचय देती है। सबसे अधिक संभावना है, मार्क लिवॉय, SeeInTheDark , और उनके 2015 के काम से एंड्रॉइड एप्लिकेशन में इस झूठ की जड़ें हैं, "सेल फोन का उपयोग करके चरम छवियां प्राप्त करना।" लिवॉय स्टैनफोर्ड से कम्प्यूटेशनल फोटोग्राफी के अग्रणी थे, और अब उन्होंने Google में कैमरा तकनीक पर काम करते हुए मानद इंजीनियर का खिताब अर्जित किया है। SeeInTheDark (अपने पहले के काम की निरंतरता, iOS के लिए सिंथेटिक्स एप्लिकेशन) ने फ्रेम को संचय करने, प्रत्येक फ्रेम को बदलने के लिए एक मानक फोन का उपयोग किया, ताकि यह टाइप की गई छवि से मेल खाए, और फिर शोर को कम करने के लिए और छवि को बेहतर बनाने के लिए विभिन्न तकनीकों को लागू करें, कम से कम आश्चर्यजनक रूप से उच्च-गुणवत्ता वाली छवियां प्राप्त करने के लिए। प्रकाश। 2017 में, एक Google प्रोग्रामर, फ्लोरियन कांतज़ ने इन अवधारणाओं में से कुछ का उपयोग करके दिखाया कि कैसे फोन का उपयोग व्यावसायिक-गुणवत्ता की छवियों को बहुत कम रोशनी में भी कैप्चर करने के लिए किया जा सकता है।

कई कम रोशनी वाली छवियों को ओवरले करना एक प्रसिद्ध तकनीक है।

डिजिटल फोटोग्राफी के आगमन के बाद से फोटोग्राफर ने कम रोशनी में ली गई छवियों की गुणवत्ता में सुधार करने के लिए कई चित्र बनाए हैं (मुझे संदेह है कि किसी ने फिल्म के साथ ऐसा किया है)। मेरे लिए, मैंने इसे मैन्युअल रूप से करने और फिर ट्रिकी इमेज स्टेकर सॉफ्टवेयर टूल का उपयोग करके शुरू किया। चूंकि बहुत पहले डिजिटल एसएलआर उच्च आईएसओ पर बेकार थे, इसलिए एक सामान्य नाइट शॉट प्राप्त करने का एकमात्र तरीका कुछ फ्रेम लेना और उन्हें ओवरले करना था। कुछ क्लासिक शॉट्स, जैसे स्टार ट्रेल्स, मूल रूप से इस तरह से लिए गए थे। आज यह अक्सर डिजिटल एसएलआर और मिररलेस कैमरों का उपयोग करते समय ऐसा नहीं किया जाता है, क्योंकि आधुनिक मॉडल में उच्च आईएसओ का समर्थन करने और लंबे समय तक प्रदर्शन से शोर को कम करने के लिए अंतर्निहित उत्कृष्ट उपकरण हैं। मेरे Nikon D850 पर, आप शटर को 10-20 मिनट के लिए खुला छोड़ सकते हैं, और अभी भी काफी उपयुक्त तस्वीरें प्राप्त कर सकते हैं।

इसलिए, यह समझदारी है कि फोन निर्माताओं को ऐसा ही करना चाहिए। हालांकि, तिपाई का उपयोग करके स्टार ट्रेल्स लेने वाले रोगी फोटोग्राफरों के विपरीत, औसत फोन उपयोगकर्ता को तत्काल संतुष्टि की आवश्यकता होती है, और वे लगभग कभी भी तिपाई का उपयोग नहीं करेंगे। इसलिए, फोन में कम रोशनी में छवियों को जल्दी से प्राप्त करने और कैमरा शेक से धुंधला को कम करने की आवश्यकता से जुड़ी अतिरिक्त कठिनाइयां हैं - और आदर्श रूप से, विषय के आंदोलन से। यहां तक ​​कि कई शीर्ष मॉडल पर उपलब्ध ऑप्टिकल स्थिरीकरण की अपनी सीमाएं हैं।

मुझे यकीन नहीं है कि कौन सी फोन निर्माता कम रोशनी वाली छवियों को पकड़ने के लिए कई शॉट्स का उपयोग करने वाले पहले व्यक्ति थे, लेकिन मैं पहली बार हुआवेई मी 10 प्रो का उपयोग करने वाला था। नाइट शॉट मोड में, वह 4-5 सेकंड में कई फ्रेम लेता है, और फिर उन्हें एक फोटो में मर्ज कर देता है। चूंकि हुआवेई का वास्तविक समय पूर्वावलोकन जारी है, आप देख सकते हैं कि कैसे यह कई अलग-अलग एक्सपोज़र विकल्पों का उपयोग करता है, अनिवार्य रूप से ब्रैकेटिंग के साथ कुछ फ्रेम बना रहा है।

पहले एचडीआर + का वर्णन करने वाले काम में, लिवॉय का दावा है कि अलग-अलग एक्सपोज़र के साथ फ्रेम को संरेखित करना अधिक कठिन है (एचडीआर + एक ही एक्सपोज़र के साथ कई फ़्रेमों का उपयोग क्यों करता है), इसलिए, सबसे अधिक संभावना है, Google की नाइट साइट, जैसेकिइनइंडार्क भी, एक ही एक्सपोज़र के साथ कई फ़्रेमों का उपयोग करता है । हालांकि, Google (कम से कम एप्लिकेशन के पूर्व-रिलीज़ संस्करण में) स्क्रीन पर वास्तविक समय में चित्र प्रदर्शित नहीं करता है, इसलिए मैं केवल अनुमान लगा सकता हूं। गैलेक्सी एस 9 और एस 9+ में सैमसंग ने मुख्य दोहरी एपर्चर लेंस के साथ एक अलग रणनीति का इस्तेमाल किया। यह तस्वीर की गुणवत्ता में सुधार करने के लिए कम रोशनी की स्थिति में प्रभावशाली f / 1.5 पर स्विच कर सकता है।

कम रोशनी में Huawei और Google के बीच तुलना

मेरे पास अभी तक एक पिक्सेल 3 या मेट 20 नहीं है, लेकिन मेरे पास नाइट शॉट के साथ मेट 10 प्रो और नाइट साइट के प्री-रिलीज़ संस्करण के साथ पिक्सेल 2 तक पहुंच है। इसलिए मैंने उनकी तुलना खुद से करने का फैसला किया। परीक्षणों में, Google ने स्पष्ट रूप से कम शोर और एक स्पष्ट तस्वीर दिखाते हुए हुआवेई को पीछे छोड़ दिया। यहाँ परीक्षण अनुक्रमों में से एक है:


दोपहर में हुआवेई मेट 10 प्रो


दोपहर में Google Pixel 2


यहाँ आप मेट 10 प्रो पर नाइट शॉट मोड के बिना लगभग पूर्ण अंधेरे में एक ही दृश्य के फोटो खींचकर प्राप्त कर सकते हैं। शटर 6 सेकंड के लिए खुला है, इसलिए धुंधला दिखाई दे रहा है


हुआवेई मेट 10 प्रो पर नाइट शॉट के साथ लगभग पूर्ण अंधेरे में एक शॉट। EXIF डेटा ISO3200 और कुल प्रदर्शन के 3 सेकंड दिखाता है।


Pixel 2 पर नाइट साइट के पूर्व-रिलीज़ संस्करण के साथ एक ही दृश्य। रंग अधिक सटीक हैं, छवि तेज है। EXIF ISO5962 और 1/4 s (शायद कई फ्रेमों में से प्रत्येक के लिए) से पता चलता है।

क्या मशीन नाइट साइट के गुप्त घटक को सीख रही है?

यह देखते हुए कि कितने समय से कई छवियों का ओवरलैपिंग हो रहा है, और कैमरा और फोन निर्माताओं द्वारा इस तकनीक के कितने संस्करणों का उपयोग किया गया है, यह दिलचस्प हो जाता है कि Google की नाइट साइट दूसरों की तुलना में इतनी बेहतर क्यों लगती है। सबसे पहले, यहां तक ​​कि लिवॉय के मूल काम में तकनीक बहुत जटिल है, इसलिए Google को जो वर्षों में इसे सुधारना था, उसे कंपनी को अच्छी शुरुआत देनी चाहिए थी। लेकिन कंपनी ने यह भी घोषणा की कि नाइट साइट फ्रेम में क्या है के आधार पर छवि में सही रंगों का चयन करने के लिए मशीन लर्निंग का उपयोग करता है।

शांत लगता है लेकिन धूमिल। यह स्पष्ट नहीं है कि प्रौद्योगिकी व्यक्तिगत वस्तुओं को अलग करती है, यह जानते हुए कि उनका रंग मोनोफोनिक होना चाहिए, या तदनुसार प्रसिद्ध वस्तुओं को पेंट करना चाहिए, या सामान्य प्रकार के दृश्य को पहचानना चाहिए, जैसा कि स्मार्ट स्वचालित एक्सपोजर एल्गोरिदम करते हैं, और यह तय करते हैं कि इस तरह का दृश्य कैसा होना चाहिए (हरा पत्ते, सफेद बर्फ, नीला आकाश)। मुझे यकीन है कि अंतिम संस्करण के जारी होने के बाद, फोटोग्राफर इस सुविधा के साथ काम करने का अधिक अनुभव प्राप्त करेंगे, और हम इस बात का पता लगाने में सक्षम होंगे कि तकनीक एमओ का उपयोग कैसे करती है।

एक अन्य स्थान जहां एमओ काम आ सकता है, वह एक्सपोज़र की प्रारंभिक गणना है। अंतर्निहित नाइट साइट HDR + तकनीक, जैसा कि Google के SIGGRAPH द्वारा वर्णित है, सही प्रदर्शन चुनने में मदद करने के लिए हजारों तस्वीरों के एक हाथ से लेबल वाले सेट पर निर्भर करती है। इस क्षेत्र में, एमओ कुछ सुधार ला सकता है, खासकर जब कम रोशनी की स्थिति में एक्सपोज़र कैलकुलेशन करते हैं, जहां दृश्य वस्तुओं को शोर करना और भेद करना मुश्किल होता है। Google ने फोन पर फ़ोटो की गुणवत्ता में सुधार करने के लिए तंत्रिका नेटवर्क का उपयोग करने के साथ भी प्रयोग किया, इसलिए यह आश्चर्य की बात नहीं होगी जब इनमें से कुछ तकनीकों को लागू करना शुरू हो जाएगा।

Google इन तकनीकों का जो भी संयोजन करता है, उसका परिणाम निश्चित रूप से सभी कैमरों में सबसे अच्छा होता है जो आज कम रोशनी में शूट कर सकते हैं। मुझे आश्चर्य है कि क्या हुआवेई पी 20 परिवार अपनी नाइट शॉट तकनीक को गुणवत्ता के करीब लाने के लिए कुछ भी करने में सक्षम होगा जो उन्होंने Google में किया था।