पिक्सेल 3 तस्वीरों में गहराई का निर्धारण करना सीखता है

पिक्सेल स्मार्टफोन्स पर पोर्ट्रेट मोड आपको पेशेवर दिखने वाली तस्वीरें लेने की अनुमति देता है जो पृष्ठभूमि को धुंधला करने के साथ विषय पर ध्यान आकर्षित करते हैं। पिछले साल, हमने बताया कि कैसे हम एक एकल कैमरा और चरण डिटेक्शन ऑटोफोकस (फेज-डिटेक्शन ऑटोफोकस, पीडीएएफ) का उपयोग करके गहराई की गणना करते हैं, जिसे दोहरे पिक्सेल ऑटोफोकस के रूप में भी जाना जाता है। इस प्रक्रिया में प्रशिक्षण के बिना एक पारंपरिक स्टीरियो एल्गोरिथ्म का उपयोग किया गया था। इस वर्ष पिक्सेल 3 में, हमने मशीन मूल्यांकन को अपनाया ताकि गहराई से मूल्यांकन में सुधार हो सके और पोर्ट्रेट मोड में और भी बेहतर परिणाम मिल सके।


बायाँ: मूल चित्र HDR + में कैप्चर किया गया। दाईं ओर पारंपरिक स्टीरियो और मशीन लर्निंग से गहराई का उपयोग करके पोर्ट्रेट मोड में शूटिंग के परिणामों की तुलना है। सीखने के परिणाम कम त्रुटियों का उत्पादन करते हैं। पारंपरिक स्टीरियो परिणाम में, आदमी के पीछे कई क्षैतिज रेखाओं की गहराई को गलत तरीके से खुद आदमी की गहराई के बराबर अनुमानित किया जाता है, जिसके परिणामस्वरूप वे तेज रहते हैं।

पिछले सामग्री में एक संक्षिप्त भ्रमण

पिछले साल, हमने वर्णन किया कि पोर्ट्रेट मोड लोगों की छवियों और पृष्ठभूमि की छवि से संबंधित पिक्सेल को अलग करने के लिए एक तंत्रिका नेटवर्क का उपयोग करता है, और पीडीएएफ पिक्सल से प्राप्त गहन जानकारी के साथ इस दो-स्तरीय मास्क को पूरक करता है। यह सब धब्बा प्राप्त करने के लिए किया गया था, गहराई के आधार पर, जो एक पेशेवर कैमरा दे सकता है।

काम करने के लिए, PDAF दृश्य के दो अलग-अलग शॉट्स लेता है। छवियों के बीच स्विच करना, आप देख सकते हैं कि व्यक्ति हिल नहीं रहा है, और पृष्ठभूमि क्षैतिज रूप से आगे बढ़ रही है - इस आशय को लंबन कहा जाता है। चूंकि लंबन कैमरे से एक बिंदु की दूरी और देखने के दो बिंदुओं के बीच की दूरी का एक कार्य है, इसलिए हम एक छवि में प्रत्येक बिंदु की तुलना दूसरे में इसके बिंदु के साथ गहराई का निर्धारण कर सकते हैं।


बाईं ओर और बीच में पीडीएएफ की छवियां समान दिखती हैं, लेकिन लंबन को दाहिनी ओर बढ़े हुए टुकड़े में देखा जा सकता है। आवर्धन के केंद्र में गोल संरचना द्वारा नोटिस करना सबसे आसान है।

हालांकि, पीडीएएफ छवियों (इस पद्धति को स्टीरियो डेप्थ कहा जाता है) में ऐसे पत्राचार का पता लगाना एक अत्यंत कठिन कार्य है, क्योंकि तस्वीरों के बीच के बिंदु बहुत कमजोर रूप से चलते हैं। इसके अलावा, सभी स्टीरियो तकनीक एपर्चर समस्याओं से ग्रस्त हैं। यदि आप एक छोटे एपर्चर के माध्यम से दृश्य को देखते हैं, तो स्टीरियो बेसलाइन के समानांतर रेखाओं के लिए पत्राचार का पता लगाना संभव नहीं होगा, अर्थात दो कैमरों को जोड़ने वाली रेखा। दूसरे शब्दों में, प्रस्तुत तस्वीर में क्षैतिज रेखाओं का अध्ययन करते समय (या चित्र अभिविन्यास के साथ चित्रों में खड़ी रेखाएं), एक छवि में सभी बदलाव दूसरी के लगभग समान दिखते हैं। पिछले साल के पोर्ट्रेट मोड में, ये सभी कारक गहराई और अप्रिय कलाकृतियों की उपस्थिति का निर्धारण करने में त्रुटियों का कारण बन सकते हैं।

गहराई मूल्यांकन में सुधार

पिक्सेल 3 के पोर्ट्रेट मोड के साथ, हम इन त्रुटियों को इस तथ्य का उपयोग करके ठीक करते हैं कि स्टीरियो फ़ोटो से लंबन छवियों में कई सुरागों में से एक है। उदाहरण के लिए, ऐसे बिंदु जो फ़ोकस प्लेन से बहुत दूर हैं, कम तीखे लगते हैं, और यह डिफोकस की गई गहराई से एक संकेत होगा। इसके अलावा, यहां तक ​​कि एक फ्लैट स्क्रीन पर एक छवि को देखते हुए, हम आसानी से वस्तुओं की दूरी का अनुमान लगा सकते हैं, क्योंकि हम रोजमर्रा की वस्तुओं के अनुमानित आकार को जानते हैं (अर्थात, आप अनुमान लगा सकते हैं कि यह कितनी दूर स्थित है, इसका अनुमान लगाने के लिए किसी व्यक्ति के चेहरे का चित्रण किया जा सकता है)। यह सिमेंटिक क्लू होगा।

मैन्युअल रूप से एक एल्गोरिथ्म विकसित करना जो इन युक्तियों को जोड़ती है, अत्यंत कठिन है, लेकिन एमओ का उपयोग करते हुए, हम पीडीएएफ पैराफैक्स युक्तियों के प्रदर्शन में सुधार करते हुए ऐसा कर सकते हैं। विशेष रूप से, हम TensorFlow में लिखे गए एक सजातीय तंत्रिका नेटवर्क को प्रशिक्षित कर रहे हैं, इनपुट के रूप में PDAF पिक्सेल प्राप्त कर रहे हैं, और गहराई की भविष्यवाणी करने के लिए सीख रहे हैं। एमओ पर आधारित गहराई का आकलन करने के लिए यह नई, बेहतर विधि पिक्सेल 3 पोर्ट्रेट मोड में उपयोग की जाती है।


हमारा दृढ़ तंत्रिका नेटवर्क पीडीएएफ छवियां प्राप्त करता है और एक गहरा मानचित्र प्रदान करता है। नेटवर्क अतिरिक्त स्किप कनेक्शन और अवशिष्ट ब्लॉकों के साथ एक एनकोडर-डिकोडर शैली वास्तुकला का उपयोग करता है।

तंत्रिका नेटवर्क प्रशिक्षण

नेटवर्क को प्रशिक्षित करने के लिए, हमें पीडीएएफ चित्रों और इसी उच्च-गुणवत्ता वाले गहराई मानचित्रों की बहुत आवश्यकता है। और चूंकि हमें पोर्ट्रेट मोड में उपयोगी होने के लिए गहराई की भविष्यवाणियों की आवश्यकता है, इसलिए हमें उपयोगकर्ताओं के स्मार्टफोन के साथ फ़ोटो लेने के लिए प्रशिक्षण डेटा की आवश्यकता है।

ऐसा करने के लिए, हमने एक विशेष फ्रेंकेनफोन डिवाइस तैयार किया, जिसमें हमने पांच पिक्सेल 3 फोन को संयोजित किया और उनके बीच एक वाईफाई कनेक्शन स्थापित किया, जिसने हमें एक साथ सभी फोन (2 एमएस से अधिक नहीं के अंतर के साथ) फोटो लेने की अनुमति दी। इस उपकरण के साथ, हमने तस्वीरों के आधार पर कई कोणों से गति और स्टीरियो दोनों का उपयोग करते हुए, उच्च गुणवत्ता वाले गहराई के नक्शे की गणना की।


वाम: प्रशिक्षण डेटा एकत्र करने के लिए एक उपकरण। बीच में: पांच तस्वीरों के बीच स्विच करने का एक उदाहरण। कैमरा सिंक्रनाइज़ेशन गतिशील दृश्यों में गहराई की गणना करने की क्षमता सुनिश्चित करता है। सही: कुल गहराई। कम आत्मविश्वास के साथ अंक, जहां अलग-अलग तस्वीरों में पिक्सल की तुलना बनावट की कमजोरी के कारण अनिश्चित थी, काले रंग से पेंट किए जाते हैं, और प्रशिक्षण में उपयोग नहीं किए जाते हैं।

इस उपकरण का उपयोग करके प्राप्त डेटा निम्नलिखित कारणों से नेटवर्क के प्रशिक्षण के लिए आदर्श था:

• दृश्य के पांच बिंदु कई दिशाओं में लंबन की उपस्थिति की गारंटी देते हैं, जो हमें एपर्चर की समस्या से बचाता है।
• कैमरों का स्थान यह सुनिश्चित करता है कि छवि में किसी भी बिंदु को कम से कम दो तस्वीरों में दोहराया गया है, जो उन बिंदुओं की संख्या को कम कर देता है जो मेल नहीं खा सकते हैं।
• आधार रेखा, यानी कैमरों के बीच की दूरी पीडीएएफ से अधिक है, जो गहराई के अधिक सटीक अनुमान की गारंटी देता है।
• कैमरा सिंक्रनाइज़ेशन गतिशील दृश्यों में गहराई की गणना करने की क्षमता सुनिश्चित करता है।
• डिवाइस की पोर्टेबिलिटी प्रकृति में फ़ोटो लेने की संभावना की गारंटी देती है, फोटो का अनुकरण करती है जो उपयोगकर्ता स्मार्टफोन का उपयोग करते हैं।

हालांकि, इस उपकरण का उपयोग करके प्राप्त आंकड़ों की आदर्शता के बावजूद, दृश्य वस्तुओं की पूर्ण गहराई की भविष्यवाणी करना अभी भी बेहद मुश्किल है - किसी भी दिए गए पीडीएएफ जोड़ी विभिन्न गहराई के नक्शे के अनुरूप हो सकती है (यह सभी लेंस, फोकल लंबाई, आदि की विशेषताओं पर निर्भर करता है)। यह सब ध्यान में रखने के लिए, हम दृश्य वस्तुओं की सापेक्ष गहराई का अनुमान लगाते हैं, जो पोर्ट्रेट मोड में संतोषजनक परिणाम प्राप्त करने के लिए पर्याप्त है।

हम यह सब गठबंधन करते हैं

Pixel 3 पर MOs का उपयोग करते हुए गहराई का अनुमान लगाना चाहिए ताकि उपयोगकर्ताओं को पोर्ट्रेट परिणामों के लिए बहुत लंबा इंतजार न करना पड़े। हालांकि, छोटे डिफोकस और लंबन का उपयोग करके अच्छी गहराई का अनुमान लगाने के लिए, आपको पूर्ण रिज़ॉल्यूशन में फोटो के तंत्रिका नेटवर्क को खिलाना होगा। तेज परिणामों की गारंटी के लिए, हम मोबाइल और एम्बेडेड उपकरणों पर एमओ मॉडल लॉन्च करने के लिए एक क्रॉस-प्लेटफॉर्म समाधान, टेंसोरफ्लो लाइट का उपयोग करते हैं, साथ ही साथ एक शक्तिशाली पिक्सेल 3 जीपीयू भी है, जो आपको असामान्य रूप से बड़े इनपुट डेटा पर गहराई से गणना करने की अनुमति देता है। फिर हम अपने तंत्रिका नेटवर्क से मास्क के साथ प्राप्त गहराई के अनुमानों को जोड़ते हैं, जो लोगों को अलग करता है, चित्र मोड में शूटिंग के सबसे सुंदर परिणाम प्राप्त करने के लिए।

इसे स्वयं आज़माएं

Google कैमरा ऐप संस्करण 6.1 और उच्चतर में, हमारे गहराई के नक्शे पोर्ट्रेट मोड छवियों में एम्बेडेड हैं। इसका मतलब है कि हम तस्वीर लेने के बाद धब्बा की डिग्री और फ़ोकस पॉइंट को बदलने के लिए Google फ़ोटो गहराई संपादक का उपयोग कर सकते हैं। आप jpeg से गहराई के नक्शे निकालने के लिए तीसरे पक्ष के कार्यक्रमों का भी उपयोग कर सकते हैं, और स्वयं उनका अध्ययन कर सकते हैं। आप पारंपरिक स्टीरियो और MO दृष्टिकोण की तुलना करने के लिए, पोर्ट्रेट मोड में संबंधित गहराई के नक्शे और संबंधित छवियों को दिखाते हुए लिंक से एक एल्बम भी ले सकते हैं।