اليسار: iPhone XS ( صورة كاملة الدقة ). على اليمين: Pixel 3 Night Sight ( صورة بدقة كاملة ).Night Sight هي ميزة جديدة في تطبيق Pixel Camera تسمح لك بالتقاط صور واضحة ونظيفة في الإضاءة المنخفضة للغاية ، حتى عندما يكون هناك القليل من الضوء بحيث لا ترى عينيك سوى القليل. يعمل على الكاميرا الرئيسية والأمامية لجميع الأجيال الثلاثة من هواتف Pixel ، ولا يتطلب وجود حامل ثلاثي أو فلاش. في هذه المقالة ، سنتحدث عن سبب صعوبة التقاط الصور في الإضاءة الخافتة ، ومناقشة تقنيات التصوير الحاسوبي وتعلم الآلة المتراكبة على تنسيق HDR + والسماح للرؤية الليلية بالعمل.
لماذا يصعب التقاط الصور في الإضاءة الخافتة؟
كل من قام بالتقاط صور في مكان سيء الإضاءة يكون على دراية بالضوضاء في الصورة ، والتي تبدو وكأنها تغير سطوع عشوائي من بكسل إلى بكسل. بالنسبة لكاميرات الهواتف الذكية ذات العدسات الصغيرة والمصفوفات الضوئية ، فإن المصدر الرئيسي للضوضاء هو التذبذب الطبيعي في عدد الفوتونات التي تدخل العدسة ، والمعروفة باسم
ضوضاء اللقطة . أي كاميرا تعاني منها ، وستكون موجودة دائمًا ، حتى مع جودة المصفوفة المثالية. ومع ذلك ، فإن المصفوفات ليست مثالية ، لذلك ، عند تحويل شحنة كهربائية ناشئة عن دخول الضوء إلى وحدات البكسل ، ينشأ مصدر ضوضاء ثانٍ - ضجيج القراءة. تساهم مصادر أخرى أيضًا في نسبة الإشارة إلى التشويش (SNR) ، مما يوضح مقدار الصورة التي تظل خالية من التشويش. لحسن الحظ ، ينمو SNR بما يتناسب مع الجذر التربيعي لوقت التعرض (أو أسرع) ، وبالتالي ، كلما زاد التعرض ، كلما كانت الصورة أكثر نظافة. ولكن في الإضاءة الخافتة ، من الصعب جدًا الحفاظ على السكون لفترة كافية لالتقاط صورة جيدة ، وقد لا يقف ما تصوره أيضًا.
في عام 2014 ، قدمنا تقنية التصوير الفوتوغرافي الحاسوبي HDR + التي تعمل على تحسين هذا الوضع من خلال التقاط العديد من اللقطات في وقت واحد ، والتي يتم بعد ذلك محاذاة البرامج ودمجها معًا. الهدف الرئيسي من HDR + هو تحسين النطاق الديناميكي ، أي القدرة على التقاط الصور في مجموعة واسعة من ظروف الإضاءة (على سبيل المثال ، عند غروب الشمس أو في حالة الصور الشخصية مع الإضاءة الخلفية). تستخدم جميع أجيال هواتف Pixel HDR +. اتضح أن دمج صور متعددة يقلل أيضًا من تأثيرات ضجيج اللقطة وقراءة الضوضاء ، لذلك يحسن SNR في الضوء الخافت. للحفاظ على وضوح الصور في ظروف اهتزاز اليد وحركة الهدف ، نستخدم سرعة غالق قصيرة. نتخلص أيضًا من أجزاء الصورة التي لم يتم العثور على طرق محاذاة جيدة لها. وهذا يسمح لـ HDR + بإنتاج صور واضحة وجمع المزيد من الضوء.
كيف سيكون الظلام "الظلام"؟
ولكن إذا كان التقاط ودمج إطارات متعددة يعطي صورًا أكثر وضوحًا في الإضاءة المنخفضة ، فلماذا لا تستخدم HDR + للحصول على بضع عشرات من الصور حتى نتمكن في الواقع من الرؤية في الظلام؟ لنبدأ بتعريف "الظلام". غالبًا ما يقوم المصورون ، الذين يناقشون إضاءة المشهد ، بقياسه في
الأجنحة . لوكس هو مقدار حادثة الضوء على وحدة سطح ، تقاس باللومن لكل متر مربع. بحيث يمكنك تخيل مستويات الضوء تقريبًا ، إليك جدولاً مناسبًا لك:
- 30000 - رصيف مضاء بالشمس.
- 10000 - رصيف في يوم صاف في الظل.
- 1000 - رصيف في يوم كئيب.
- 300 - إنارة في المكتب.
- 150 - إضاءة طاولة في المنزل.
- 50 - النور في المطعم.
- 20 - مطعم بإضاءة جوية.
- 10 - الحد الأدنى من الإضاءة المطلوبة للعثور على زوج مطابق من الجوارب.
- 3 - الرصيف في ضوء الفوانيس.
- 1- الحد الأدنى من الضوء لقراءة الجريدة.
- 0.6 - رصيف تحت البدر.
- 0.3 - لا يمكن العثور على مفاتيح على الأرض.
- 0،1 - من المستحيل التنقل في أرجاء المنزل بدون مصباح يدوي.
تبدأ كاميرات الهواتف الذكية التي تلتقط صورة واحدة في مواجهة صعوبات عند مستوى إضاءة 30 لوكس. يمكن للهواتف التي تأخذ عدة إطارات وتدمجها أن تستمر حتى 3 لوكس ، ولكن في الظروف المظلمة لا يمكنهم التعامل مع الفلاش والاعتماد عليه. مع تقنية Night Sight ، سعينا إلى تحسين جودة الصور في النطاق من 3 إلى 0.3 لوكس باستخدام هاتف ذكي ، بضغطة واحدة على تحرير الغالق وبدون فلاش. لكي ينجح هذا ، هناك حاجة إلى عدة عناصر رئيسية ، أهمها الحصول على المزيد من الإطارات.
نحصل على البيانات
تؤدي زيادة وقت التعرض للإطار إلى زيادة نسبة الإشارة إلى الضوضاء (SNR) وتسمح لك بالحصول على صور أنظف ، ولكنها تؤدي إلى مشكلتين. أولاً ، يستخدم وضع التصوير الافتراضي على هواتف Pixel بروتوكول Zero
Delay Protocol (ZSL) ، الذي يحد من وقت التعرض. يبدأ تطبيق الكاميرا في التصوير بمجرد بدء تشغيله ، ويقوم بتخزين الصور في المخزن المؤقت الحلقي ، والذي يمسح الإطارات القديمة باستمرار ، مما يوفر مساحة لإطارات جديدة. عندما تضغط على تحرير الغالق ، ترسل الكاميرا آخر 9-15 إطارًا لمعالجة برنامج
HDR + أو
Super Res Zoom . هذا يسمح لك بالتقاط اللحظة التي تحتاجها بالضبط - ومن ثم "الهبوط بدون تأخير". ومع ذلك ، نظرًا لأننا نساعدك على التصويب ، فإننا نعرض هذه الصور على الشاشة ، ويحد HDR + من سرعة الغالق القصوى إلى 66 مللي ثانية ، بغض النظر عن مستوى الإضاءة ، مما يسمح لمحدد المنظر بالحفاظ على تردد لا يقل عن 15 إطارًا / ثانية. بالنسبة للمشاهد الخافتة التي تتطلب سرعة غالق أبطأ ، يستخدم Night Sight تقنية تأخير الإصدار الإيجابي (PSL) وينتظر الضغط على زر قبل التقاط الصور. لاستخدام PSL ، تحتاج إلى تعليق الهاتف لفترة من الوقت بعد الضغط على الزر ، ولكن هذا الوضع يسمح لك بزيادة سرعة الغالق ، وتحسين SNR في ظروف الإضاءة السيئة.
المشكلة الثانية لزيادة سرعة الغالق لكل إطار هي عدم وضوح بسبب اهتزاز اليد أو حركة كائنات المشهد. يقلل التثبيت البصري للصور (AIS) ، المتوفر على Pixel 2 و 3 ، من تأثير الاهتزاز لسرعات الغالق المتوسطة (حتى 1/8 ثانية) ، ولكنه لا يساعد في سرعات الغالق البطيئة أو الأجسام المتحركة. لمكافحة التمويه غير الخاضع لـ AXIS ، يشتمل Pixel 3 على وضع "قياس الحركة" افتراضيًا ، والذي يستخدم
تيارًا بصريًا لقياس حركات المشهد الأخيرة وتحديد سرعة الغالق التي تقلل الضبابية. لا يستخدم Pixel 1 و 2 هذا الوضع افتراضيًا ، ومع ذلك ، تستخدم جميع الهواتف الثلاثة هذه التقنية في وضع Night Sight ، مما يزيد من سرعة الغالق لكل إطار حتى 333 مللي ثانية في غياب الحركة. في Pixel 1 ، التي لا تحتوي على OSI ، لا نزيد من سرعة الغالق كثيرًا (وبالنسبة لكاميرات السيلفي التي لا تحتوي على OSI ، ستكون الزيادة أكثر تواضعاً). إذا تم تثبيت الكاميرا (انحنى على الحائط ، وضع على حامل ثلاثي الأرجل) ، يمكن زيادة سرعة الغالق لكل إطار حتى ثانية. بالإضافة إلى تغيير التعرض لكل إطار على حدة ، فإننا نغير أيضًا عدد الإطارات ، من 6 إذا كان الهاتف على حامل ثلاثي الأرجل إلى 15 إذا كان التصوير باليد. تمنع قيود الإطار هذه إجهاد المستخدم (والحاجة إلى زر إلغاء). لذلك ، اعتمادًا على أي من هواتف Pixel لديك ، واختيار الكاميرا ، والمصافحة ، وحركة وسطوع المشهد ، يأخذ وضع Night Sight من 15 إطارًا بسرعة غالق 1/15 ثانية أو أقل ، وما يصل إلى 6 إطارات بسرعة غالق تصل إلى 1 ثانية
مثال محدد لاستخدام سرعة غالق قصيرة عند اكتشاف الحركة:
على اليسار: 15 إطارًا تم تصويرها على التوالي بواسطة أحد جهازي Pixel 3 المتجاورين. في المنتصف: لقطة Night Sight مع إيقاف تشغيل قياس الحركة ، مما يجبر الهاتف على استخدام سرعة غالق تبلغ 73 مللي ثانية. رأس الكلب غير واضح. اليمين: Night Sight مع تشغيل قياس الحركة ؛ يتم استخدام سرعة الغالق التي تبلغ 48 مللي ثانية. التمويه أقل بشكل ملحوظ.مثال على استخدام التعرض الطويل عندما يكون الهاتف على حامل ثلاثي الأرجل:
يسار: جزء من لقطة سماء الليل تم التقاطها بأيدي Night Sight ( صورة كاملة ). ارتجفت العقارب قليلاً ، لذلك اختار Night Sight 333 مللي ثانية × 15 إطارًا = 5.0 ثانية. على اليمين: صورة من حامل ثلاثي الأرجل ( الصورة كاملة ). لم يتم تسجيل أي تشويش ، لذلك استخدم Night Sight إطارات 1.0 s × 6 = 6.0 s. تُرى السماء أكثر وضوحًا ، وأقل ضوضاء ، والمزيد من النجوم مرئية.المحاذاة والدمج
إن فكرة حساب متوسط الإطارات للحد من الضوضاء قديمة قدم تقنية الصورة الرقمية نفسها. في التصوير الفلكي ، يسمى هذا
رص التعرض . على الرغم من أن التكنولوجيا نفسها بسيطة ، إلا أن الجزء الأصعب هو محاذاة الصورة بشكل صحيح عند التصوير باليد. بدأنا العمل على هذا الموضوع في عام 2010 باستخدام تطبيق
Synthcam . لقد التقطت صورًا بشكل مستمر ، وعاودت دمجها في الوقت الفعلي بدقة منخفضة ، وأظهرت النتيجة النهائية ، والتي
أصبحت أكثر وضوحًا كلما شاهدتها لفترة أطول.
يستخدم Night Sight مبدأ مشابهًا ، ولكن بدقة مصفوفة كاملة وليس في الوقت الفعلي. في هواتف Pixel 1 و 2 ، نستخدم
خوارزمية دمج HDR + ، معدلة ومضبوطة لتحسين القدرة على اكتشاف ورفض أجزاء محاذاة بشكل غير صحيح حتى في المشاهد الصاخبة جدًا. في Pixel 3 ، نستخدم
Super Res Zoom ، والذي يتم ضبطه بناءً على ما إذا قمت بتكبير الصورة أم لا. وعلى الرغم من أن هذا الأخير تم تصميمه لدقة عالية ، إلا أنه قادر أيضًا على تقليل الضوضاء ، لأنه يعطي متوسط عدة صور مكدسة معًا. يوفر Super Res Zoom نتائج أفضل لبعض المشاهد الليلية من HDR + ، ولكنه يحتاج إلى معالج أسرع على هاتف Pixel 3.
بالمناسبة ، كل هذا يحدث على الهاتف في بضع ثوان. إذا قمت بالتبديل بسرعة كافية إلى قائمة الصور (في انتظار انتهاء التصوير!) ، يمكنك أن ترى كيف "تظهر" الصورة بينما ينهي HDR + أو Super Res Zoom عملهم.
صعوبات أخرى
على الرغم من أن الأفكار الأساسية الموصوفة تبدو بسيطة ، إلا أنه في غياب الإضاءة الكافية ، تبين أن بعض حيل تطوير Night Sight صعبة للغاية:
1. توازن اللون الأبيض الأوتوماتيكي (ABB) لا يعمل بشكل صحيح في الإضاءة المنخفضة
يدرك الناس ألوان الأشياء جيدًا حتى في ظل الإضاءة الملونة (أو في النظارات الشمسية) ، مما يدل على
ثبات اللون . ومع ذلك ، غالبًا ما تفشل هذه العملية عندما نلتقط صورة في ضوء واحد ونأخذها في الاعتبار في أخرى ؛ تبدو الصورة ملونة بالنسبة لنا. لتصحيح هذا التأثير ، تغير تصورات الكاميرا لون الصور لتأخذ في الاعتبار جزئيًا أو كليًا اللون الرئيسي للضوء الخلفي (والذي يطلق عليه أحيانًا
درجة حرارة اللون ) ، مما يؤدي إلى تغيير لون الصورة بشكل أساسي بحيث يظهر المشهد باللون الأبيض المحايد. تسمى هذه العملية
توازن اللون الأبيض التلقائي.
المشكلة هي أن هذه المشكلة تشير إلى تلك التي يسميها علماء الرياضيات
بشكل غير صحيح . هل تم التقاط الثلج بالكاميرا باللون الأزرق حقًا؟ أم هو ثلج أبيض مضاء بالسماء الزرقاء؟ يبدو أن الخيار الأخير. هذا الغموض يعقد البحث عن توازن اللون الأبيض. تعمل خوارزمية ABB المستخدمة في أوضاع بخلاف Night Sight بشكل جيد ، ولكن في الإضاءة الضعيفة أو الملونة (مثل
مصابيح تفريغ الصوديوم ) ، يصعب تحديد لون الإضاءة الخلفية.
لحل هذه المشاكل ، قمنا بتطوير
خوارزمية ABB على أساس التدريب ، المدربين لتمييز صورة متوازنة بشكل جيد عن صورة متوازنة بشكل سيئ. عندما تكون الصورة متوازنة بشكل سيئ ، قد توفر الخوارزمية خيارات تغيير اللون لجعل الإضاءة تبدو أكثر حيادية. لتدريب الخوارزمية ، كان من الضروري التقاط صورة للعديد من المشاهد المختلفة باستخدام أجهزة Pixel ، وضبط توازنها يدويًا ، والنظر إلى الصورة على الشاشة بألوان جيدة المعايرة. يمكنك رؤية تشغيل الخوارزمية من خلال مقارنة المشهد نفسه بالإضاءة الضعيفة ، والتي تم التقاط صورها باستخدام طرق مختلفة باستخدام Pixel 3:
اليسار: الموازن في الكاميرا بشكل افتراضي لا يعرف كيف كانت إضاءة هذا الكوخ صفراء على ساحل فانكوفر ( صورة كاملة ). حق: خوارزمية التعلم لدينا أفضل ( صورة كاملة ).2. تعليم الظلال على المشاهد المظلمة للغاية
الغرض من Night Sight هو التقاط صور لمشاهد مظلمة للغاية بحيث يصعب التمييز بالعين المجردة - لتطوير شيء مثل القوة العظمى! ترتبط هذه المشكلة بحقيقة أنه في ظروف الإضاءة السيئة يتوقف الناس عن تمييز الألوان لأن
المخاريط في شبكية العين تتوقف عن العمل ، تاركة كل شيء
للعصي غير قادرة على تمييز أطوال موجات الضوء. في الليل ، لا يفقد المشهد ألوانه ، نتوقف فقط عن تمييزها. نريد أن تكون الصور في Night Sight ملونة - هذا جزء من القوة العظمى وسبب محتمل لصراع آخر. أخيرًا ، تتمتع قضباننا بوحدة مكانية محدودة ، لذا تظهر الأشياء ضبابية في الليل. نريد أن تكون الصور في Night Sight واضحة ولديها تفاصيل أكثر مما يمكنك تمييزه.
على سبيل المثال ، إذا قمت بوضع كاميرا DSLR على حامل ثلاثي الأرجل وقمت بتعيين سرعة غالق عالية جدًا - بضع دقائق ، أو فرضت بعض الصور بسرعة غالق أقصر - فستبدو الصورة الليلية وكأنها يوم واحد. ستكون التفاصيل مميزة في الظل ، وسيكون المشهد ملونًا وواضحًا. انظر إلى الصورة أدناه ، التي التقطتها DSLR ؛ النجوم مرئية ، لذا يجب أن يكون الليل ، لكن العشب أخضر ، والسماء زرقاء ، والقمر يلقي ظلال الأشجار التي تبدو مشمسة. التأثير لطيف ، لكنه ليس ضروريًا دائمًا - وإذا شاركت مثل هذه الصورة مع صديق ، فسيكون في حيرة بشأن كيفية إنشائها.
وادي يوسمايت في الليل. Canon DSLR ، عدسة 28 مم f / 4 ، سرعة غالق 3 دقائق ، ISO 100 ( صورة كاملة )على مدى مئات السنين ، عرف الفنانون كيفية جعل الصورة تبدو وكأنها ليلة واحدة:
"فيلسوف يشرح نموذج النظام الشمسي" ، جوزيف رايت ، 1766. يستخدم الفنان مجموعة متنوعة من الألوان ، من الأبيض إلى الأسود ، ولكن المشهد المرسوم غامق بشكل واضح. كيف حقق ذلك؟ زيادة التباين ، أحاط المشهد بالظلام ، والظلال الداكنة التي لا تظهر فيها تفاصيل.في Night Sight ، نستخدم حيلًا مماثلة ، على وجه الخصوص ، باستخدام منحنى على شكل حرف S لوضع علامات على الظلال. ومع ذلك ، من الصعب جدًا إيجاد توازن بين "القوة الخارقة السحرية" وتذكير بوقت التقاط الصورة. فيما يلي صورة نجحت جزئياً:
Pixel 3 ، 6 ثوانٍ مع Night Sight ، على حامل ثلاثي الأرجل ( صورة كاملة )كيف يمكن أن يكون الظلام مع التصوير باستخدام Night Sight؟
عندما تكون الإضاءة أسوأ من 0.3 لوكس ، يبدأ التركيز التلقائي في الفشل. إذا لم تتمكن من رؤية مفاتيح السيارة ملقاة على الأرض ، فلن يتمكن هاتفك الذكي أيضًا من التركيز. للقيام بذلك ، أضفنا زري تركيز بؤري يدوي إلى وضع Night Sight على هاتف Pixel 3: يركز "إغلاق" على مسافة تزيد قليلاً عن متر ، "بعيد" - على 4 أمتار. هذا الأخير هو المسافة البؤرية للعدسة ، أي أن كل شيء على مسافة نصف (2 م) إلى ما لا نهاية يجب أن يقع في التركيز. نحن نعمل أيضًا على تحسين قدرة التركيز البؤري الليلي في الإضاءة المنخفضة. لا يزال بإمكانك التقاط صور جميلة مع إضاءة أقل من 0.3 لوكس وحتى التصوير الفلكي ، كما هو موضح في
هذه المقالة ، ولكن لهذا ستحتاج إلى حامل ثلاثي ، وتركيز يدوي وتطبيق خاص يستخدم Android Camera2 API.
إلى أي مدى يمكن أن نذهب؟ في النهاية ، عند مستوى معين من الإضاءة ، تطغى ضوضاء القراءة على الفوتونات التي يجمعها المستشعر. هناك مصادر أخرى للضوضاء ، بما في ذلك
التيار الغامق ، الذي يزداد بما يتناسب مع سرعة الغالق ويعتمد على درجة الحرارة. لتجنب مثل هذه الآثار ، يقوم علماء الأحياء بتبريد كاميراتهم إلى درجات حرارة أقل من -20 درجة مئوية لالتقاط صور الحيوانات الفلورية - لكننا لا نوصي بذلك مع هواتف Pixel! من الصعب أيضًا محاذاة الصور الصاخبة جدًا. حتى لو حللنا كل هذه المشاكل ، فإن الرياح تهب ، والأشجار تتأرجح ، والنجوم والغيوم تتحرك. من الصعب أخذ سرعات غالق بطيئة جدًا.
كيفية تحقيق أقصى استفادة من Night Sight
لا يقوم Night Sight فقط بالتقاط صور رائعة في الإضاءة المنخفضة: إنه مجرد استخدام ممتع ، لأنه يلتقط الصور حتى عندما لا ترى أي شيء تقريبًا. نحن نعرض صورة الشريحة عندما يكون المشهد مظلمًا جدًا بحيث عند استخدام Night Sight ستظهر الصورة بشكل أفضل - ولكن لا تقتصر على هذه الحالات فقط. مباشرة بعد غروب الشمس ، في حفل موسيقي في محيط حضري ، يلتقط Night Sight صورًا نظيفة منخفضة الضوضاء ويجعلها أكثر إشراقًا من الواقع. فيما يلي بعض
عينات الصور التي تم التقاطها باستخدام
مقارنات Night Sight و
A / B. إليك بعض النصائح لاستخدام Night Sight:
- Night Sight لا يعمل في الظلام الدامس ، لذا اختر المشاهد ذات مستوى الإضاءة المنخفض.
- الإضاءة الناعمة أفضل من الحادة ، مما يخلق ظلال داكنة.
- لتجنب الوهج ، حاول إبقاء مصادر الضوء الساطع بعيدًا عن الأنظار.
- لزيادة سرعة الغالق ، انقر على صور الكائنات ، ثم حرك منزلق سرعة الغالق . انقر مرة أخرى للإلغاء.
- لتقليل التعرض للضوء ، التقط صورة وأغمقها في محرر الصور ؛ الضجيج سيكون أقل.
- إذا كان المشهد مظلمًا للغاية لدرجة أن التركيز لا يعمل ، فانقر فوق الحد المتناقض أو على حد مصدر الضوء.
- إذا لم يفلح ذلك ، استخدم زري "إغلاق" و "أقصى".
- لزيادة الوضوح ، قم بإمالة الهاتف على الحائط أو الشجرة ، ضعه على طاولة أو حجر.
- يعمل Night Sight أيضًا مع صور السيلفي في ألبوم A / B ، مع القدرة على الإضاءة الخلفية للشاشة.
أزرار التركيز اليدوي (بكسل 3 فقط).يعمل Night Sight بشكل أفضل على Pixel 3. لقد قمنا بذلك لكل من Pixel 2 و Pixel الأصلية ، على الرغم من أن هذا الأخير يستخدم سرعات غالق أسرع بسبب نقص التثبيت البصري. أيضًا ، يتم تدريب الموازن الأبيض التلقائي على Pixel 3 ، لذلك سيعمل بشكل أقل دقة على الهواتف القديمة.
بالمناسبة ، نحن نجعل عدسة الكاميرا في وضع Night Sight أكثر سطوعًا بحيث يسهل عليك التصويب ، ولكنها تعمل بسرعة غالق 1/15 ثانية ، لذا ستكون صاخبة ولن تعطي فكرة عن جودة الصورة النهائية. لذا أعطه فرصة - خذ الهدف واضغط على الزناد. في كثير من الأحيان سوف يفاجأ سارة!