يمكنك أن تغفر لحقيقة أنه بعد قراءة جميع التعليقات الثناءة حول الميزة الجديدة للتصوير الليلي من Google ، Night Sight ، فإنك تقرر أن الشركة قد اخترعت للتو فيلمًا ملونًا. لم تظهر أوضاع التصوير الليلي بالأمس ، والعديد من التقنيات التي تعتمد عليها موجودة منذ سنوات عديدة. ولكن قامت Google بعمل رائع في الجمع بين مهارات التصوير الفوتوغرافي الحوسبة وقدرات التعلم الآلي غير المسبوقة لدفع حدود الإمكانيات إلى أبعد من ما رأيناه من قبل. دعونا نلقي نظرة على تاريخ تقنية التصوير الفوتوغرافي في الإضاءة المنخفضة مع بعض اللقطات التي تم التقاطها على التوالي ، والتفكير في كيفية استخدامها من قبل Google ، ونفترض كيف تساهم AI في ذلك.
صعوبة في التصوير في الإضاءة المنخفضة
تكافح جميع الكاميرات لالتقاط الصور في الإضاءة المنخفضة. بدون عدد كاف من الفوتونات لكل بكسل في الصورة ، يمكن أن تسيطر الضوضاء بسهولة. سيؤدي ترك الغالق مفتوحًا لفترة أطول لجمع المزيد من الضوء والحصول على صورة مفيدة أيضًا إلى زيادة مقدار الضوضاء. الأسوأ من ذلك ، أنه من الصعب جدًا الحصول على صورة واضحة بدون حامل ثابت. ستؤدي زيادة الكسب (ISO) إلى جعل الصورة أكثر سطوعًا ، ولكن أيضًا زيادة مقدار الضوضاء فيها.
كانت الاستراتيجية التقليدية هي استخدام وحدات بكسل أكبر في أجهزة استشعار أكبر. لسوء الحظ ، في كاميرات الهواتف وأجهزة الاستشعار ، وبالتالي ، فإن وحدات البكسل صغيرة - تعمل بشكل جيد في ضوء جيد ، ولكنها تفشل بسرعة عندما ينخفض مستوى الضوء.
ونتيجة لذلك ، يمتلك مطورو كاميرات الهاتف خيارين لتحسين الصور التي يتم الحصول عليها في الإضاءة المنخفضة. الأول هو استخدام عدة صور لدمجها في صورة واحدة ، مع تقليل الضوضاء. كان التنفيذ المبكر لهذه الاستراتيجية في جهاز محمول هو وضع SRAW في إضافة DxO ONE لأجهزة iPhone. قام بدمج أربع صور RAW في صورة واحدة محسنة. الخيار الثاني هو استخدام المعالجة اللاحقة المبدعة (غالبًا ما تكون أحدث الإصدارات مزودة بتعلم الآلة) لتقليل الضوضاء وتحسين الصورة. يستخدم Google Night Sight كلا النهجين.
صور متعددة في لقطة واحدة
في الوقت الحالي ، نحن معتادون بالفعل على كيفية دمج الهواتف والكاميرات بين عدة صور في صورة واحدة ، وذلك بشكل أساسي لتحسين النطاق الديناميكي. سواء كانت مجموعة صور ذات
أقواس ، كما تفعل معظم الشركات ، أو HDR + من Google ، والتي تستخدم العديد من الصور ذات التعرض القصير ، يمكنك الحصول على صورة ممتازة - إذا كان من الممكن تقليل الآثار الناتجة عن دمج عدة صور للأجسام المتحركة. عادة ، يتم تحديد إطار أساسي لهذا يصف بشكل أفضل المشهد الذي يتم فيه فرض الأجزاء المفيدة من الإطارات الأخرى. كما استخدمت Huawei و Google وغيرها هذا النهج لإنشاء صور
مقربة محسنة. رأينا مؤخرًا أهمية اختيار الإطار الأساسي الصحيح عندما أوضحت Apple أن
فوضىهم مع
BeautyGate كانت بسبب خطأ تم فيه تحديد الإطار الأساسي الخاطئ أثناء معالجة الصور.
من الواضح لماذا قررت Google الجمع بين هذه الأساليب لاستخدام صور متعددة للحصول على صور محسنة في الإضاءة المنخفضة. في الوقت نفسه ، تقدم الشركة العديد من الابتكارات البارعة في مجال معالجة الصور. على الأرجح ، تكمن جذور هذا في تطبيق Android من Mark Livoy و
SeeInTheDark وعمله لعام 2015 ، "الحصول على صور متطرفة باستخدام الهواتف المحمولة". كانت ليفوي رائدة التصوير الفوتوغرافي الحسابي من ستانفورد ، وقد حصلت الآن على لقب المهندس الفخري أثناء العمل على تكنولوجيا الكاميرا في Google. SeeInTheDark (استمرارًا لعمله السابق ، تطبيق SynthCam لنظام iOS) استخدم هاتفًا قياسيًا لتجميع الإطارات ، وتغيير كل إطار بحيث يتطابق مع الصورة المكتوبة ، ثم تطبيق تقنيات مختلفة لتقليل الضوضاء وتحسين الصورة للحصول على صور عالية الجودة بشكل مذهل عند انخفاض إضاءة. في عام 2017 ، استخدم مبرمج Google ، فلوريان كانتز ، بعض هذه المفاهيم لتوضيح كيف يمكن استخدام الهاتف لالتقاط صور بجودة احترافية حتى في الإضاءة المنخفضة جدًا.
يعد تراكب العديد من الصور منخفضة الإضاءة تقنية معروفة جيدًا.
قام المصورون بتركيب عدة صور لتحسين جودة الصور التي تم التقاطها في الإضاءة المنخفضة ، منذ ظهور التصوير الرقمي (أعتقد أن شخصًا ما فعل ذلك مع الفيلم). بالنسبة لي ، لقد بدأت بالقيام بذلك يدويًا ثم باستخدام أداة برنامج Image Stacker الصعبة. نظرًا لأن أول كاميرات SLR رقمية كانت عديمة الفائدة في مستويات ISO العالية ، كانت الطريقة الوحيدة للحصول على لقطة ليلية عادية هي التقاط بعض الإطارات وتراكبها. تم التقاط بعض اللقطات الكلاسيكية ، مثل مسارات النجوم ، في الأصل بهذه الطريقة. اليوم لا يتم استخدامه كثيرًا عند استخدام كاميرات SLR الرقمية والكاميرات الخالية من المرايا ، نظرًا لأن النماذج الحديثة تحتوي على أدوات ممتازة مدمجة لدعم ISO العالي وتقليل الضوضاء من التعرض الطويل. على نيكون D850 ، يمكنك ترك الغالق مفتوحًا لمدة 10-20 دقيقة ، ولا يزال بإمكانك الحصول على صور مناسبة تمامًا.
لذلك ، من الحكمة أن يفعل مصنعو الهواتف الشيء نفسه. ومع ذلك ، على عكس المصورين الفوتوغرافيين الذين يأخذون مسارات النجوم باستخدام حامل ثلاثي الأرجل ، يحتاج مستخدم الهاتف العادي إلى رضا فوري ، ولن يستخدم أبدًا حامل ثلاثي الأرجل. لذلك ، يواجه الهاتف صعوبات إضافية مرتبطة بالحاجة إلى الحصول على الصور بسرعة في الإضاءة المنخفضة وتقليل التشويش من اهتزاز الكاميرا - وبشكل مثالي ، من حركة الهدف. حتى التثبيت البصري المتوفر في العديد من الطرازات الأعلى له قيوده الخاصة.
لست متأكدًا من صانع الهواتف الذي كان أول من استخدم لقطات متعددة لالتقاط صور الإضاءة المنخفضة ، لكني كنت أول من استخدم Huawei Mate 10 Pro. في وضع اللقطة الليلية ، يأخذ عدة إطارات في 4-5 ثوانٍ ، ثم يدمجها في صورة واحدة. نظرًا لأن معاينة Huawei في الوقت الفعلي لا تزال قيد التشغيل ، يمكنك أن ترى كيف تستخدم العديد من خيارات التعرض المختلفة ، مما يؤدي في الأساس إلى إنشاء بعض الإطارات مع تصحيح.
في العمل الذي يصف أول HDR + ، تدعي ليفوي أن الإطارات ذات التعرضات المختلفة أكثر صعوبة في المحاذاة (لماذا يستخدم HDR + عدة إطارات مع نفس التعرض) ، وبالتالي ، على الأرجح ، يستخدم Night Sight من Google ، مثل SeeInTheDark ، العديد من الإطارات بنفس التعرض . ومع ذلك ، فإن Google (على الأقل في الإصدار التجريبي من التطبيق) لا تعرض الصورة في الوقت الفعلي على الشاشة ، لذا يمكنني التكهن فقط. استخدمت Samsung في Galaxy S9 و S9 + تكتيكًا مختلفًا مع العدسة الرئيسية ذات الفتحة المزدوجة. يمكنها التبديل إلى f / 1.5 الرائعة في ظروف الإضاءة المنخفضة لتحسين جودة الصورة.
مقارنة بين Huawei و Google في الإضاءة المنخفضة
ليس لدي Pixel 3 أو Mate 20 حتى الآن ، ولكن يمكنني الوصول إلى Mate 10 Pro مع Night Shot و Pixel 2 مع الإصدار التجريبي من Night Sight. لذلك قررت أن أقارنها بنفسي. في التجارب ، تجاوزت Google Huawei على ما يبدو من خلال إظهار ضوضاء أقل وصورة أوضح. فيما يلي أحد تسلسلات الاختبار:
Huawei Mate 10 Pro في فترة ما بعد الظهر
جوجل بكسل 2 بعد الظهر
إليك ما يمكنك الحصول عليه عن طريق تصوير نفس المشهد في الظلام الدامس تقريبًا بدون وضع Night Shot على Mate 10 Pro. يكون الغالق مفتوحًا لمدة 6 ثوانٍ ، وبذلك يكون التمويه مرئيًا
لقطة في الظلام الدامس تقريبًا مع Night Shot على Huawei Mate 10 Pro. تظهر بيانات EXIF ISO3200 و 3 ثوان من التعرض في المجموع.
المشهد نفسه مع الإصدار التجريبي من Night Sight على Pixel 2. الألوان أكثر دقة ، والصورة أكثر وضوحًا. يظهر EXIF ISO5962 والتعرض في 1/4 ثانية (ربما لكل إطار من الإطارات المتعددة).هل التعلم الآلي هو المكون السري للرؤية الليلية؟
بالنظر إلى طول تداخل العديد من الصور ، وعدد إصدارات هذه التقنية التي استخدمتها شركات تصنيع الكاميرات والهواتف ، يصبح من المثير للاهتمام لماذا تبدو ميزة Night Sight في Google أفضل بكثير من غيرها. أولاً ، حتى التكنولوجيا في عمل ليفوي الأصلي معقدة للغاية ، لذا كان ينبغي للسنوات التي كان على Google تحسينها أن تمنح الشركة بداية جيدة. ولكن أعلنت الشركة أيضًا أن Night Sight تستخدم التعلم الآلي لتحديد الألوان المناسبة في الصورة بناءً على ما يوجد في الإطار.
تبدو باردة لكنها ضبابية. من غير الواضح ما إذا كانت التكنولوجيا تميز الأشياء الفردية ، مع العلم أن لونها يجب أن يكون أحادي اللون ، أو يرسم كائنات معروفة جيدًا وفقًا لذلك ، أو يتعرف على النوع العام للمشهد ، كما تفعل خوارزميات التعرض التلقائي الذكية ، ويقرر كيف يجب أن يبدو هذا المشهد (أوراق الشجر الخضراء ، البيضاء الثلج والسماء الزرقاء). أنا متأكد من أنه بعد إصدار الإصدار النهائي ، سيكتسب المصورون المزيد من الخبرة في العمل مع هذه الميزة ، وسنكون قادرين على معرفة تفاصيل كيفية استخدام التكنولوجيا MO.
مكان آخر يمكن أن يكون فيه MO مفيدًا هو الحساب الأولي للتعرض. تعتمد تقنية Night Sight HDR + الأساسية ، كما هو موضح في SIGGRAPH من Google ، على مجموعة من الآلاف من الصور المصنفة يدويًا لمساعدتها في اختيار التعرض الصحيح. في هذا المجال ، يمكن أن يجلب MO بعض التحسينات ، خاصة عند إجراء حسابات التعرض في ظروف الإضاءة المنخفضة ، حيث تكون عناصر المشهد صاخبة ويصعب تمييزها.
جربت Google أيضًا استخدام الشبكات العصبية لتحسين جودة الصور على الهواتف ، لذلك لن يكون مفاجئًا عندما يبدأ تنفيذ بعض هذه التقنيات.
بغض النظر عن مزيج من هذه التقنيات التي تستخدمها Google ، فإن النتيجة هي بالتأكيد أفضل الكاميرات التي يمكنها التصوير في الإضاءة المنخفضة اليوم. أتساءل عما إذا كانت عائلة Huawei P20 ستكون قادرة على تقديم أي شيء من أجل تقريب تقنية Night Shot من الجودة إلى ما فعلته في Google.