منذ بعض الوقت ، أتيحت للمؤلف فرصة لإلقاء محاضرة في VGIK ، وكان هناك الكثير من الأشخاص من منزل الكاميرا في الجمهور. سُئل الجمهور: "مع أي دقة قصوى قمت بتصويرها؟" ، واتضح أن حوالي طلقة ثالثة 4K أو 8 ميغا بكسل ، والباقي - ما لا يزيد عن 2K أو 2 ميغا بكسل. لقد كان تحديا! كان علي أن أخبر عن الكاميرا بدقة 755 ميجابكسل (دقة أولية ، بدقة ، نظرًا لأن لديها 4K أخيرًا) وما هي الإمكانيات الساحرة التي يوفرها هذا التصوير الفوتوغرافي الاحترافي.

تبدو الكاميرا نفسها هكذا (نوع من الفيل الصغير):



علاوة على ذلك ، سأفتح سرًا رهيبًا ، من أجل التقاط هذه الصورة كنا نبحث عن زاوية أفضل وشخص أكبر. لقد شعرت أن الكاميرا حية ، سأقول إنها تبدو أكبر من ذلك بكثير . الصورة أدناه مع يون Karafin ، الذي نحن معه تقريبا نفس الارتفاع ، تعكس بدقة أكبر حجم الكارثة:



من يهتم مبدئياً بقدرات الفيديو المحسوب الذي نادراً ما يكتبون عنه - الحقيقة كاملة هي في طور الإعداد! )

تذكرني المناقشات حول إمكانيات plenoptics بالمناقشات المتعلقة بالطائرة الأولى:

---

ما قاله الناس:
- إنها مكلفة للغاية ...
- نعم!
- إنه غير عملي تماما والآن لا تؤتي ثمارها ...
- نعم!
- من الخطر استخدام ...
- اللعنة ، نعم!
- يبدو البائسة!
- اللعنة ، نعم ، لكنها تطير ، كما ترى ، LE-TA-ET !!!

---

بعد 50 عامًا ، أسفرت هذه التجارب عن طريقة جديدة جذرية ومريحة وآمنة إلى حد ما للتنقل عبر المحيطات (وليس فقط).

الوضع هو نفسه هنا. تماما نفس الشيء! الآن يتطلب تكاليف غير معقولة ، لعنة غير مريح للاستخدام ويبدو البائسة ، لكنها في الحقيقة تحلق! ولكي تكون مدركًا للمبادئ والآفاق الناشئة - فهي ببساطة تفوق إلهامك (على الأقل خادمك المتواضع)!

يذكرنا الوحش الموجود في الصورة أعلاه إلى حدٍ ما بالكاميرات الأولى ، التي كانت أيضًا كبيرة الحجم ، ذات عدسة ضخمة ، ويتم تدويرها على إطار خاص:


المصدر: تصوير تلفزيوني للأولمبياد في عام 1936 في فجر التلفاز

هنا يبدو كثيرًا ، أيضًا عدسة ضخمة (نظرًا لعدم وجود ضوء كافٍ أيضًا) ، وكاميرا ثقيلة مع تعليق خاص ، وأحجام ضخمة:


المصدر: Lytro تستعد إلى الأبد تغيير صناعة الأفلام

من المثير للاهتمام: "الحقيبة" أدناه هي نظام تبريد سائل ، في حالة عجز الكاميرا عن التقاط صور له.

ليس المستطيل الكبير الموجود تحت العدسة (الذي يظهر بوضوح في الصورة الأولى أعلاه) هو الإضاءة الخلفية ، بل هو الغطاء - وهو مكتشف نطاق ليزر يوفر مشهدًا ثلاثي الأبعاد أمام الكاميرا.

تمثل عاصبة سوداء كثيفة في أسفل اليسار في الخلفية مجموعة من كابلات الألياف البصرية يبلغ قطرها حوالي 4 سنتيمترات ، والتي من خلالها ترسل الكاميرا دفقًا هائلًا من المعلومات إلى وحدة تخزين خاصة.

تلك الموجودة في الموضوع قد تعرفت بالفعل على Lytro Cinema ، والتي تم إنشاء 3 قطع منها. الأول ، والذي يظهر عادةً في جميع الصور ، يسهل التعرف عليه بواسطة غطاء واحد تحت العدسة. بعد 1.5 سنة ، تم إنشاء غرفة ثانية بمشاكل هيكلية مصححة في اللارين الأول والثاني (للأسف ، لم يكتب أحد عنها تقريبًا). علاوة على ذلك ، كان التقدم المحرز في تطوير ، على سبيل المثال ، ليدرات في 1.5 سنة كبيرة للغاية بحيث أعطى ليداران من الغرفة الثانية 10 أضعاف نقاط أكثر من ليدار واحد من الأول. كان من المفترض أن تحتوي الكاميرا الثالثة على نفس خصائص الدقة تقريبًا (لتلبية متطلبات صانعي الأفلام) ، ولكن يكون حجمها نصف (وهو أمر بالغ الأهمية للاستخدام العملي). ولكن ... ولكن المزيد عن ذلك في وقت لاحق.

على أي حال ، بكل طريقة تعترف بالدور المتميز الذي لعبته Lytro في الترويج لتكنولوجيا الرماية بالأشعة فوق البنفسجية ، أود أن أشير إلى أن الضوء لم يتقارب فيها. تم إنتاج كاميرا مماثلة في معهد فراونهوفر ، رايتريكس ، وهو منتج للكاميرات plenoptic ، بأمان ، ومرة ​​أخرى لم يُسمح لي بالتقاط صور لـ Lytro Cinema ، لأنني كنت خائفًا جدًا من العديد من الشركات الصينية التي كانت تعمل بنشاط في هذا الاتجاه (لم يتم العثور على معلومات جديدة عنها).

لذلك ، فلنكتب النقاط جميع المزايا التي يوفرها plenoptics ، والتي لا يكتبون عنها تقريبًا. ولكن على وجه التحديد بسبب الذي هو مضمون لتحقيق النجاح.

بدلا من تقديم

فقط على Habré و Lytro فقط مذكور في حوالي 300 صفحة ، لذلك سنكون مختصرة.

إن المفهوم الرئيسي لإطلاق النار على الوريد البصري هو حقل الضوء ، أي أننا لا نصلح لون البكسل في كل نقطة ، ولكن مصفوفة ثنائية الأبعاد من البيكسل ، ونحول إطارًا ثنائي البؤس تعيسًا إلى إطار رباعي الأبعاد عادي (عادة مع دقة ضئيلة جدًا في t و s حتى الآن):



في ويكيبيديا الإنجليزية ، ثم باللغة الروسية في مقالات حول حقل الضوء ، قيل إن "حقل الضوء" استخدمه أ. غيرشون في ... 1936. " في الإنصاف ، نلاحظ أن هذا لم يكن عن طريق الصدفة "عبارة مستعملة" ، ولكن اسم كتاب صغير من 178 صفحة ، والذي كان يسمى "الحقل الخفيف":



وحتى في ذلك الوقت ، تم تطبيق هذه الأعمال بطبيعتها تمامًا ، وحصل المؤلف بعد 6 سنوات في أوج الحرب في عام 1942 على جائزة ستالين من الدرجة الثانية عن طريقة التعتيم.

في الممارسة العملية ، فإن إطلاق إطار رباعي الأبعاد لحقل الضوء يوفر مجموعة من العدسات الدقيقة الموجودة أمام مستشعر الكاميرا:


المصدر: plenoptic.inf (يمكنك النقر والرؤية بدقة كاملة)

في الواقع ، إنه بالضبط لأن لدينا مجموعة من العدسات الدقيقة بمسافة صغيرة بينها والتي مكنت من إنشاء Lytro Cinema ، التي تم تجميعها من مجموعة من أجهزة الاستشعار التي تقع حدودها على حدود العدسات. كان التبريد السائل مطلوبًا لتبريد كتلة ساخنة جدًا.


المصدر: استخدام كاميرات Plenoptic المركزة لالتقاط الصور الغنية

نتيجةً لذلك ، حصلنا على الإمكانية الأكثر شهرة لكاميرات plenoptic ، التي لم يكتب عنها الكسل فقط - لتغيير مسافة التركيز بعد التقاط الصورة (هذه الطيور اللطيفة لن تنتظر التركيز):


المصدر: Lytro

ولم يتم كتابة سوى القليل حول كيفية ظهور الصور المتحركة بدقة وضوح مناسبة للفيلم (يفتح عن طريق النقر):


المصدر: شاهد فيلم Lytro Change Cinematography للأبد

أفتح سرًا آخر: التركيز المحسوب هو قمة جبل الجليد لل plenoptics. و 90 ٪ من الفرص المتبقية دون مستوى اهتمام الصحفيين في رأيي هي أكثر إثارة للاهتمام. العديد منهم يستحقون مقالات منفصلة ، ولكن دعنا على الأقل نصحح الظلم ونستدعوه على الأقل. دعنا نذهب!

شكل الفتحة المحسوبة

بما أننا نتحدث عن defocus ، تجدر الإشارة إلى ما يسمى تأثير خوخه ، حيث الوهج ليست مستديرة بالضرورة



بالنسبة للمصورين ، يتم إصدار ما يسمى بـ Bokeh Kit ، مما يسمح لك بالتعرف على أشكال مختلفة:



يسمح لك هذا بالحصول على صور جميلة ، وتظهر الصورة أدناه بوضوح أن البريق في شكل قلوب لها حتى الحجارة في المقدمة ، فقط القلوب أصغر. ومن الواضح أن محاولة التمويه بشكل طبيعي بطريقة مماثلة في Photoshop أمر صعب للغاية ، على الأقل من المستحسن استخدام خريطة عميقة:



في الوقت نفسه ، بالنسبة لل plenoptics "لحساب" فتحة مختلفة هي مهمة سهلة نسبيا:



اذا حسبنا مسافة التركيز ، وحساب شكل الفتحة ، ذهب أبعد من ذلك ، هو أكثر إثارة للاهتمام هناك!

ستيريو محسوب

هناك ميزة مفيدة للغاية لمستشعر plenoptic ، والتي لا يذكرها أي شخص تقريبًا ، ولكنها تعطيها بالفعل فترة حياة ثانية ، وهي القدرة على حساب صورة من نقاط مختلفة. يتم تحديد موقع النقطة بالفعل من خلال حجم العدسة. إذا كانت العدسة صغيرة ، فقد يتحول الإطار إلى اليسار واليمين قليلاً ، كما هو موضح في هذا المثال (أن هذه الصورة المجسمة مرئية إذا نظرت إلى صندوق أقرب طائر):


المصدر: Lytro

إذا كانت العدسة كبيرة ، مثل Lytro Cinema ، على سبيل المثال ، يمكن إزاحة نقطة التصوير بمقدار 10 سم. اسمحوا لي أن أذكرك أنه بين أعيننا لدينا حوالي 6.5 سم ، أي بمسافة 10 سم كحد أقصى ، يمكنك تصوير الخطة العامة (وستكون "ثلاثية الأبعاد" مما لو نظرت بعينيك) وعن قرب (مع أي نوع من المنظر دون إزعاج). في الواقع ، هذا يعني أنه يمكننا تصوير فيديو استريو كامل بعدسة واحدة. علاوة على ذلك ، لن يكون هذا الجهاز ستيريوًا فحسب ، بل سيكون ستيريوًا بجودة مثالية ويبدو رائعًا اليوم - بمسافة متباينة بين المحاور البصرية للكاميرات الافتراضية بعد التصوير. كل من هذا ، وآخر - الفرص التي لا يمكن تصوره على الإطلاق والتي يمكن أن تغير بشكل أساسي من موقف مع اطلاق النار ستيريو في المستقبل.

نظرًا لأن المستقبل يقع بطريقة أو بأخرى في إطلاق النار ثلاثي الأبعاد ، فلنتعمق في هاتين النقطتين بمزيد من التفصيل. ليس سراً أن معظم الأفلام ثلاثية الأبعاد ، وخاصة الأفلام المحظورة ، لا تتم إزالتها ، بل يتم تحويلها إلى ثلاثي الأبعاد. يتم ذلك لأنه عند التصوير ، تظهر قائمة طويلة من المشكلات (أدناه جزء من القائمة):

• يمكن تدوير الإطارات أو إزاحتها رأسياً أو تكبيرها مقارنةً بالآخر (لا تقل أن ذلك ثابت بسهولة ، انظر إلى عدد مرات سقوط هذه الإطارات في إصدارات الأفلام - هذا رعب هادئ ... وصداع). لذا - استريو الستينوبتيك محاذاة تمامًا ، حتى لو قرر المشغل تكبير الخطة (نظرًا للميكانيكا في الكاميرتين ، من الصعب للغاية جعل التقريب متزامن تمامًا).
  
• قد تختلف الإطارات في اللون ، خاصة إذا تطلب التصوير مسافة صغيرة بين المحاور البصرية للكاميرات وعليك استخدام مقسم الحزمة (كان هناك منشور مفصل حول هذا). اتضح أنه في موقف حيث عند تصوير أي جسم مضيئة (السيارة في الخلفية في يوم مشمس) ، فإننا محكوم علينا بالترفيه في مرحلة ما بعد الإنتاج مع الغالبية العظمى من الكاميرات ، مع plenoptic سيكون لدينا صورة مثالية مع أي وهج. هذه عطلة!
  
• يمكن أن تختلف الإطارات في الحدة - مرة أخرى ، وهي مشكلة ملحوظة في شق الحزم ، وهي غائبة تمامًا في عمليات التصويب. مع ما هو مطلوب الحدة ، مع هذا سنحسب ، تماما الكمال من الزوايا.
  
• إطارات يمكن أن تطفو في الوقت المناسب . تحدث الزملاء الذين عملوا مع مادة ستالينجراد عن التناقض بين الطوابع الزمنية للمسارات بنسبة 4 إطارات ، وهذا هو السبب في أن المفرقع لا يزال ذا صلة. وجدنا أكثر من 500 مشاهد مع اختلافات الوقت في 105 فيلما. لسوء الحظ ، يصعب اكتشاف فارق التوقيت ، خاصة في المشاهد ذات الحركة البطيئة ، وفي الوقت نفسه هو أكثر القطع الأثرية إيلامًا وفقًا لقياساتنا. في حالة plenoptics ، سيكون لدينا تزامن وقت مثالي.
  
• الصداع الآخر عند التصوير ثلاثي الأبعاد هو منظار كبير جدًا يسبب عدم الراحة عند المشاهدة على شاشة كبيرة ، أو عندما تنحرف عينيك إلى الجوانب لكائنات "تتجاوز اللانهاية" ، أو تتلاقى أيضًا مع بعض الكائنات الأمامية. يعد حساب المنظر الصحيح موضوعًا صعبًا منفصلاً يجب على المشغلين أن يتمتعوا به بشكل جيد ، ويمكن للكائن الذي يدخل في الإطار عن طريق الخطأ أن يفسد عملية الالتقاط ، مما يجعله غير مريح. مع plenoptics ، نختار أنفسنا إطلاق النار المنظر ، وبالتالي يمكن حساب أي مشهد باستخدام المنظر PERFECT ، علاوة على ذلك ، يمكن حساب نفس المشهد الذي تم تصويره بالفعل بسهولة للشاشات الكبيرة والشاشات الصغيرة. هذا هو ما يسمى تغيير المنظر ، والذي عادة ما يكون صعبًا للغاية ومكلفًا للغاية دون فقدان الجودة ، خاصة إذا كان لديك أشياء أو حدود شفافة في المقدمة.
  

بشكل عام ، تعد القدرة على حساب الاستريو المثالي هي الأساس الحقيقي للموجة التالية من الشعبية ثلاثية الأبعاد ، حيث تم تمييز هذه الموجات على مدار المائة عام الماضية. واستنادا إلى التقدم المحرز في مجال الإسقاط بالليزر و plenoptic ، بحد أقصى 10 سنوات (عندما تنتهي براءات الاختراع Lytro الرئيسية أو في وقت مبكر قليلا في الصين) ينتظرنا الحديد الجديد ومستوى جديد من الأفلام ثلاثية الأبعاد عالية الجودة.

اذا لقد حصلوا على ستيريو محسوب من عدسة واحدة (شيء مستحيل بالنسبة إلى معظمهم ، بالمناسبة). ولم يحصلوا على ذلك فحسب ، ولكن أيضًا تم سرد المنظر بعد الحقيقة ، حتى إذا كان الكائن خارج التركيز في المقدمة. دعنا نذهب أعمق!

نقطة اطلاق النار المحسوبة

تغيير نقطة اطلاق النار لديه تطبيق في الفيديو 2D العادي.

إذا كنت على المجموعة أو شاهدت صورًا على الأقل ، فمن المحتمل أنك قد اهتمت بالسكك الحديدية التي تسافر عليها الكاميرا. غالبًا ما تحتاج إلى مشهد واحد لوضعها في عدة اتجاهات ، والتي تستغرق وقتًا ملحوظًا. القضبان ضمان التشغيل السلس للكاميرا. نعم ، بالطبع ، يوجد ثابت ، لكن في كثير من الحالات ، لا يوجد بديل للسكك الحديدية.

تم استخدام القدرة على تغيير نقطة إطلاق النار في Lytro لإثبات وجود عجلات كافية. في الواقع ، عندما تتحرك الكاميرا ، نقوم بتكوين "أنبوب" افتراضي يبلغ قطره 10 سم في الفضاء ، يمكننا من خلاله تغيير نقطة التصوير. وهذا الأنبوب يسمح لك بالتعويض عن التقلبات الصغيرة. هذا يظهر بشكل جيد في هذا الفيديو:


علاوة على ذلك ، في بعض الأحيان تحتاج إلى حل المشكلة العكسية ، أي إضافة التذبذبات أثناء الحركة. على سبيل المثال ، لم يكن هناك ما يكفي من الديناميات وقرر المخرج إجراء انفجار. لم يمض وقت طويل على تطبيق الصوت ، لكن من المستحسن أن تهتز الكاميرا بشكل متزامن ، ومن الأفضل ليس فقط تحريك الصورة مسطحة ، بل ستكون مرئية ، ولكن للتخلص منها "بأمانة". مع plenoptics ، يمكن أن تهتز نقطة التصوير بالكامل "بأمانة" - مع تغيير في نقطة التصوير ، الزاوية ، طمس الحركة ، إلخ. سيكون هناك وهم كامل بأن الكاميرا اهتزت بعنف ، والتي ركبت برفق وأمان على العجلات. توافق - فرصة مذهلة! سوف يظهر الجيل القادم من المثبتات المعجزات.

بالطبع ، لكي يصبح هذا حقيقة واقعة ، تحتاج إلى الانتظار حتى يتم تقليل حجم الكاميرا plenoptic إلى معقول. ولكن بالنظر إلى مقدار الأموال التي يتم استثمارها في التصغير وزيادة دقة أجهزة الاستشعار للهواتف الذكية والأجهزة اللوحية ، يبدو أن الانتظار لم يمض وقت طويل. وسيكون من الممكن إنشاء كاميرا plenoptic جديدة! كل عام يصبح أسهل وأسهل.

اذا تم حساب نقطة إطلاق النار ، وإذا لزم الأمر ، فقد تم نقل الكاميرا أو تثبيتها أو زعزعة استقرارها. دعنا نذهب أبعد من ذلك!

الإضاءة المحسوبة

لأننا نتحدث عن انفجار قريب ...

في بعض الأحيان يصبح من الضروري تغيير إضاءة الموضوع ، على سبيل المثال ، إضافة فلاش بشكل واقعي. تعرف استوديوهات ما بعد الإنتاج جيدًا المشكلة الصعبة ، حتى لو كانت ملابس شخصياتنا بسيطة نسبيًا.

فيما يلي مثال على مقطع فيديو يحتوي على تراكب فلاش ، مع مراعاة الملابس والظلال وما إلى ذلك (يفتح بالنقر فوق):


المصدر: مقابلة مع يون كارافين

تحت الغطاء ، يبدو وكأنه مكون إضافي لـ Nuke ، والذي يعمل مع نموذج ثلاثي الأبعاد كامل للممثل ويضع ضوءًا جديدًا عليه ، مع مراعاة الخريطة والمواد العادية وطمس الحركة وما إلى ذلك:




المصدر: مواد Lytro

اذا تم حساب الإضاءة الجديدة للكائن الذي تم التقاطه بالفعل. دعنا نذهب أبعد من ذلك!

قرار محسوب

أولئك الذين جربوا تجربة Lytro الأولى لاحظوا كثيرًا - نعم ، اللعبة رائعة ، لكن الدقة غير كافية تمامًا للتصوير الفوتوغرافي العادي.

في مقالتنا الأخيرة حول هبر ، تم وصف كيف يمكن للتحولات الصغيرة في نقطة الرماية أن تساعد في زيادة الدقة بدرجة كبيرة. السؤال: هل هذه الخوارزميات قابلة للتطبيق على plenoptics؟ الجواب: نعم! علاوة على ذلك - تعد خوارزميات الدقة الفائقة أسهل في العمل على الصور متعددة الطبقات ، نظرًا لوجود خريطة عمق ، يتم التقاط جميع وحدات البكسل في وقت واحد ، كما أن التحولات معروفة تمامًا. وهذا يعني أن حالة plenoptics هي ببساطة سحرية مقارنة بالظروف التي تعمل في ظلها خوارزميات الدقة الفائقة في الأبعاد الثنائية العادية. والنتيجة هي المقابلة:


المصدر: استعادة إطار بلينوبتيك ساذج وذكي وعالي الدقة من تقرير Adobe الفني "Superresolution with Plenoptic Camera 2.0"

المشكلة الرئيسية الوحيدة (كبيرة حقًا!) هي مقدار البيانات ومقدار الحساب المطلوب. ومع ذلك ، أصبح من الواقعي اليوم تحميل مزرعة للحوسبة في الليل والحصول على ضعف هذا العدد غدًا عند الحاجة.

لذلك - برزت القرار المحسوب! دعنا نذهب أبعد من ذلك!

البيئة المحسوبة

تتمثل المهمة المنفصلة التي تنشأ في مرحلة ما بعد الإنتاج ، خاصةً إذا كان نوعًا من مشروع رائع أو خيالي ، في لصق الكائنات التي تم التقاطها بعناية في مشهد ثلاثي الأبعاد. لا توجد مشكلة كبيرة على مستوى العالم. اليوم ، يتمثل المعيار في المسح ثلاثي الأبعاد لمنطقة التصوير ، وكل ما يتبقى هو الجمع بعناية بين نموذج اللقطة والمشهد ثلاثي الأبعاد بحيث لا توجد كلاسيكيات من هذا النوع عندما تسقط أرجل الممثلين بشكل طفيف في الأرضية غير المستوية المطلية (هذه العضادة غير مرئية للغاية على الشاشة الصغيرة ، ولكن يمكن رؤية هذه العضادة بوضوح في السينما ، وخاصة في مكان ما في IMAX).

ليس من دون فكاهة ، على سبيل المثال لتشغيل الكاميرا ، تم استخدام مشهد إطلاق النار على القمر ("الظلال ثلاثية الأبعاد" مرئية بوضوح في الأماكن التي لا ترى فيها الكاميرا):


المصدر: القمر | Lytro | VR مسرح | لايتفيلد بعد الإنتاج

نظرًا لتصوير فيديو متعدد الزوايا في كاميرا plenoptic بحكم التعريف ، فإن بناء خريطة العمق ليس مشكلة كبيرة. وإذا تم دمج الكاميرا مع الغطاء - فنقوم على الفور بتصوير مشهد ثلاثي الأبعاد ، مما يبسط بشكل قاطع توليفة التصوير الحقيقي والرسومات في المرحلة التالية.

لذلك ، قمنا بحساب المشهد ثلاثي الأبعاد حوله (الجمع بين بيانات اللد وبيانات plenoptics). الآن ، هل تفكر في ذلك ، فإن تقديم المسح القمري سيكون أفضل! المضي قدما.

مفتاح Chroma المحسوب

لكن هذا ليس كل شيء!

إن التكنولوجيا المعتادة لمجموعة الأفلام الحديثة هي شاشات خضراء ، في الأماكن التي يُفترض فيها وضع خلفية للكمبيوتر على دروع الخشب الرقائقي الأخضر أو ​​الشعارات الخضراء. يتم ذلك بحيث لا توجد مشاكل على الحدود الشفافة عندما تتغير الخلفية.ونظرًا لأنه في 4K عندما تصبح الأجسام المتحركة ، تصبح معظم حدودنا شفافة - أهمية الشاشات الخضراء (أو الزرقاء ، اعتمادًا على لون ملابس الممثلين) عالية للغاية.

هذا أمر غير مألوف للغاية بالنسبة لصانعي الأفلام ، ولكن نظرًا لأننا نحن قادرون على تغيير حدة الأشياء ، فلدينا الفرصة لمعالجة الإطارات بعمق مختلف من المجال ، ونتيجة لذلك ، اقرأ خريطة شفافية الحدود واللون الدقيق للكائن الذي تم التقاطه. يسمح لك هذا بالتقاط الصور دون استخدام الشاشات الخضراء ، بما في ذلك الصورة المعقدة إلى حد ما ، ثم استعادة خريطة الشفافية:


المصدر: مقابلة مع Yon Karafin

Lytro ، قمت بتصوير فيديو خاص به يتم وضع الدرج في الخلفية (حيث يجب عليكهناك شيء لا يتلاءم مع الإطار - هذا هو قانون التصوير الثابت الذي لا يتزعزع!) ، وتندرج الحلويات الضبابية في المقدمة (والتي تحول على الفور تنظيف الرجال مع السلالم إلى تحدٍ غير مناسب للأطفال) ، ولكن في هذه الإطار ، يتم قطع هذه الأجسام البعيدة نسبيًا ولا يزال لدينا أنيق المقدمة ، بما في ذلك مع خريطة للحدود الشفافة (تم اختيار خلفية يسهل عليها تقييم جودة الحلويات التي لا تحجبها):



سوف يسأل القارئ المختص ، ماذا عن الحركة أو نفس الشعر؟ وسوف يكون على حق تماما. الصعوبات التي يواجهونها ، بالطبع ، لا تزال قائمة (والكثير). شيء آخر هو أن معرفة الخلفية بدقة والقدرة على تحريك الكائن قليلاً أمام الخلفية ، لدينا فرص جديدة تمامًا لإنشاء خريطة شفافية بشكل تلقائي وأفضل .

في الواقع ، بفضل النقاط الثلاث الأخيرة ، من الممكن التنبؤ بالنجاح المستقبلي لكاميرات plenoptic في سلسلة الرماية مثل "Games of the Throne" ، عندما يمكن وضع عدد كبير من المؤثرات الخاصة على البث المباشر. وهو ما يعني انخفاض كبير في تكلفتها. ليس الأمر بهذه البساطة ، لكن إمكانيات حساب خرائط الشفافية بسبب إعادة التركيز والقدرة على تغيير نقطة التصوير أعلى من تلك الموجودة في الكاميرات التقليدية ثنائية الأبعاد. والأدوات سوف تشديد.

لذلك ، اكتشفنا خريطة الشفافية المحسوبة دون استخدام الخضر والمضي قدمًا!

التعرض المحسوب

الموضوع المهم المنفصل هو التعرض المحسوب أو المصراع المحسوب. لا يرتبط هذا الموضوع ارتباطًا مباشرًا بالتكثيف المفاجئ ، ولكن في الظروف الحديثة ، عندما ينمو كلًا من الدقة القطرية والتباين ودقة الشاشة مع نموها بسرعة ، يصبح هذا الأمر أكثر أهمية. تكمن المشكلة في التأثير القوي ، والذي يعتبر نموذجيًا للحركة السريعة للأشياء في الإطار أثناء التصوير "العادي".

لتقليل هذا التأثير بشكل كبير عن طريق جعل الحركة "ناعمة" وحساب مصراع "مثالي" ، يمكنك تصوير فيديو بمعدل إطارات أعلى ثم إعادة ترقيمه بتردد أقل باستخدام وظائف تحويل متنوعة ، بما في ذلك ليس فقط تجميع الإطارات ، ولكن أيضًا طرح (كان لدى Lytro Cinema 300 إطار في الثانية لتوضيح كيفية تفسير هذه الرسوم البيانية):



هذا يجعل من الممكن "تصوير" مقطع فيديو مصراعًا بالغ الصعوبة جسديًا ، إن لم يكن من المستحيل إنشاؤه ، ولكنه يوفر "نعومة" و "سعادة" فائقة للأشياء المتحركة في المشهد دون التأثير القوي من الفروع والعجلات والأشياء الأخرى سريعة الحركة ( انتبه بشكل خاص إلى أقراص العجلة ، وكم أصبحت السيارة أكثر وضوحًا خلف العوائق):


المصدر: https://vimeo.com/114743605

أو هنا صورتان أخريان ، حركة الكاميرا التي ستكون أكثر متعة في إدراكها بالعين ، خاصة على الشاشة الكبيرة:


المصدر: https: / /vimeo.com/114743605 Phew

، حسبنا التعرض. دعنا ننتقل!

كاميرا Plenoptic في الهاتف الذكي اليوم

عادة ، عندما يتعلق الأمر بلينوبتيكس اليوم ، هناك محادثات نموذجية في أسلوب "الرئيس قد انتهى كل شيء: تمت إزالة الجص ، العميل يغادر!" اشترت Lytro Google بسعر رخيص العام الماضي ، ولم تدخل تجارب Pelican Imaging في الإنتاج الضخم ، وبصفة عامة ظل كل شيء مجرد نظرية جميلة ...


المصدر: بجع التصوير: وحدات الكاميرا Plenoptic الهاتف الذكي لمدة 20 دولار

إذن هناك تذهب! الشائعات حول وفاة plenoptics مبالغ فيها إلى حد كبير. قوي جدا!

على العكس من ذلك ، يتم الآن إنتاج أجهزة استشعار التنسج واستخدامها على نطاق لم يسبق له مثيل في التاريخ.

أصدرت شركة Google سيئة السمعة بدون ضجة كبيرة Google Pixel 2 و Google Pixel 3 بأجهزة استشعار تجمعية. إذا نظرت إلى الهاتف ، يمكنك أن ترى بوضوح أن الكاميرا بها كاميرا واحدة:



ومع ذلك ، في نفس الوقت ، يقوم الهاتف بتمويه جيد جدًا للخلفية ، بشكل عام ، ليس أسوأ من زملائه "ذو العينين" و "ثلاثية العينين" و "ذات العينين" (وافق على الصورة التالية بشكل خاص تستفيد من هذا التأثير):


المصدر: مدونة Google AI (يمكنك النقر فوق حجم أكبر ومشاهدته ، على حدود الكائن الأمامي)

كيف يفعلون ذلك؟

مصدر المعجزات السحرية ، التي لا مفر منها في الآونة الأخيرة ، يستخدم - السحر غير الطفولي للشبكات العصبية؟

تُستخدم الشبكات العصبية ، وخاصة في Pixel 3 ، أيضًا بشكل نشط في هذه المهمة ، لكن المزيد في هذا المجال لاحقًا. والسر بالنسبة لجودة التأثير هو أن مستشعر الهاتف الذكي غير ظاهر ، على الرغم من أن العدسة لا تغطي سوى بكسلين ، كما هو موضح في الصورة:


المصدر: مدونة جوجل

نتيجةً لذلك ، نحصل على صورة مجهرية صغيرة ، وهنا يكون هناك تحول طفيف جدًا في الحركة (الصورة الصحيحة متحركة وتتحرك لأعلى ولأسفل ، لأن الهاتف كان مثل هذا عند التصوير):



ولكن حتى هذا التحول الصغير للغاية يكفي لإنشاء خريطة عمق للصورة التي يتم التقاطها (كان استخدام تحويلات البكسل الفرعي في مقال سابق ):



في الوقت نفسه ، من خلال استخدام التعلم الآلي ، يمكن تحسين النتائج بشكل كبير ويتم تنفيذها بالفعل في Pixel 3. في المثال أدناه ، يعني Learned صوت Stereo + Learned ، ونأمل أن يكون هناك المزيد حول هذا الموضوع ، ونأمل أن يكون هناك منشور منفصل:







بالنسبة لأولئك الذين يحبون النظر إلى العمق بدقة كاملة ، هناك المزيد من الأمثلة في معرض خاص .

من الواضح أنه ليس كل شيء مثاليًا ، ولدينا قطع أثرية نموذجية نموذجية لبناء خريطة عمق من الاستريو (والتي ، بالمناسبة ، متوفرة أيضًا في زملاء Pixel ذو العينين) ، ويؤثر المنظر القليل. لكن من الواضح بالفعل أن جودة العمق كافية تمامًا لتقسيم الصورة حسب العمق وفرض المزيد من التأثيرات المختلفة ، وإضافة كائنات بثقة أكبر إلى المشهد ، وما إلى ذلك. نتائج عمق قياس هي ترتيب من حيث الحجم أفضل من النتائج استنادا إلى افتراضات مختلفة (الشبكات العصبية بشكل تعسفي).

لذا مبروك لكل من قرأ هذه النقطة! أنت تعيش أثناء إصدار كاميرات plenoptic في منتج ناجح في السوق الشامل ، حتى لو كنت لا تعرف ذلك!

القصة لا تنتهي عند هذا الحد ، بالطبع:

• أولاً ، من المثير للاهتمام أن plenoptics كانت "خالية تقريبًا" ، لأنه في كاميرات الهواتف الذكية الحديثة مع تصغير المجس وزيادة الدقة ، هناك نقص كارثي في ​​التدفق الضوئي ، لذلك يتم تغطية كل بكسل مع microlens. أي أن هذا المستشعر لا يكلف أكثر (هذا مهم للغاية!) ، على الرغم من أننا نضحي إلى حد ما بقرار قمنا بزيادةه بسبب تقنية أخرى . نتيجة لتطبيق تقنيتين ، تصبح النتيجة أفضل في الأبعاد ثنائية الأبعاد (ضوضاء أقل ، دقة أعلى ، HDR) وفي نفس الوقت يتم استكمالها بالعمق المقاس ، أي تصبح ثلاثية الأبعاد. يمثل سعر المشكلة زيادة هائلة في عدد العمليات الحسابية لكل إطار. لكن بالنسبة للصور ، هذا ممكن بالفعل اليوم ويعمل بالفعل في هواتف ذكية حقيقية.
  
• ثانياً ، في أحد المؤتمرات ، قال أحد موظفي Google إنهم كانوا يفكرون في تغطية 4 بكسل بعدسة ، وبعد ذلك ستكون جودة خريطة العمق أعلى بشكل كبير ، حيث سيكون هناك زوجان استريو مع قاعدة استريو أكبر بمقدار 1.4 مرة (قطريان) ، مما سيؤدي إلى تحسين جودة خريطة العمق بشكل كبير ، بما في ذلك العديد من القطع الأثرية ستيريو على الحدود. لا يمكن للمنافسين تحقيق هذه الجودة إلا من خلال وضع 3 كاميرات على الأقل في صف واحد. مثل هذه الزيادة في الجودة مهمة ل AR.
  
• ثالثًا ، لم تعد Google وحدها ، إليك مثال على وصف لتقنية مشابهة في Vivo V11 Pro ، كما ترى ، لقد رأيت للتو صورة مماثلة:
  

المصدر: ما هي تقنية ثنائي بكسل؟

• أخيرًا ، في السنوات الأخيرة ، زاد عدد المنشورات المتعلقة باستيفاء البيانات الميدانية الخفيفة ببساطة إلى انهيار جليدي. وهذا شيء رائع ، لأنه من أجل تقليل التعقيد الحسابي بشكل كبير ، ستكون هناك حاجة إلى الرياضيات من غير الأطفال.

يستخدم Plenoptics أيضًا في الضبط التلقائي للكاميرات الاحترافية ، على سبيل المثال ، مع Canon (google DPAF - Dual Pixel Auto Focus). من كان يظن أن النكتة النظرية قبل 30 عامًا - القدرة على إطلاق النار على الاستريو بعدسة واحدة - ستكون أول تطبيق جماعي للعوامل المفصلية ...

بشكل عام - ذهب الموضوع إلى المنتجات!

إنها تطير بالفعل! ترى ، LE-TA-ET!

---

لتلخيص

فيلم سينمائي في السينما

أعلاه ، درسنا حالتين من استخدام plenoptics - في إنتاج الأفلام والهواتف الذكية. هذه ليست قائمة كاملة ، على سبيل المثال ، تعتبر plenoptics وثيقة الصلة بالمجهر - يمكنك عمل صورة مجهرية مجسمة محسوبة بعمق كبير "صادق" من المجال ؛ تعتبر plenoptics مناسبة للكاميرات الصناعية ، خاصة إذا كنت بحاجة لالتقاط صور لكائنات متعددة المستويات شفافة وما إلى ذلك. ولكن حول هذا الموضوع بطريقة أو بأخرى وقت آخر.

---

تذكر أنه للاستخدام في إنتاج الأفلام ذات صلة:

1. التركيز محسوبة المسافة
   
2. خوخه محسوب
   
3. قرار محسوب
   
4. ستيريو الكمال حساب
   
5. نقطة اطلاق النار المحسوبة
   
6. الإضاءة المحسوبة
   
7. البيئة المحسوبة
   
8. يحسب Greenscreen
   
9. مصراع محسوب
   

---

في السنوات المقبلة ، مع التصغير المصغر وزيادة دقة أجهزة الاستشعار ، يمكن تطوير التكنولوجيا لإنشاء كاميرا فيلم جديدة وجوهرية تسمح لك بإزالة المواد اللازمة لتطبيق المؤثرات الخاصة بشكل أسرع (بدون شاشة خضراء) وبأقل عدد من النقاط (من السهل إصلاح عدد أكبر من النقاط). الميزات الجديدة مثيرة للاهتمام لدرجة أنه بحلول الوقت الذي يمكن فيه جعل مستشعر plenoptic مع دقة فيلم مناسبة المدمجة ، مثل هذه الكاميرات محكوم عليها بالنجاح.

متى يمكن أن تظهر هذه الكاميرا؟

الجواب الحذر هو في السنوات ال 10 المقبلة.

على ماذا يعتمد المصطلح؟

من العديد من العوامل. سؤال جيد: ماذا سيكون الموقف مع القدرة على ترخيص براءات Lytro التي تمتلكها Google الآن؟ هذا يمكن أن يكون حاسما. لحسن الحظ ، ستنتهي العناصر الرئيسية في غضون 10 سنوات (هنا لا نتذكر بأدب زملاء Lytro الصينيين الذين يمكنهم تسريع العملية). أيضًا ، يجب تبسيط العمل الذي يحتوي على كميات هائلة من البيانات التي تم إنشاؤها بواسطة الكاميرا plenoptic: مع السحب الحديثة ، أصبح هذا أسهل وأكثر بساطة. من الأخبار الجيدة - في وقت واحد بفضل Lytro ، في برنامج تأليف شهير للغاية ، والذي يستخدم في عدد كبير من الاستوديوهات لمعالجة الاستريو ، تم دعم تنسيق البيانات plenoptic. كما يقولون ، توفي Lytro ، ولكن الفرصة لكتابة المكونات الإضافية ل Nuke مع دعم الفيديو plenoptic ظلت معنا. يعمل ذلك على تبسيط "الدخول" إلى هذا السوق بمنتج احترافي ، لأنه من المهم أن تعمل الاستوديوهات فورًا على شكل كاميرات جديدة فورًا دون تدريب الموظفين وفي نفس البرامج.

Plenoptika في الهواتف الذكية

إذا تحدثنا عن الهواتف الذكية ، فإن كل شيء يبدو أفضل. الأكثر أهمية بالنسبة لهذه الصناعة هو قدرة الكاميرا plenoptic على قياس العمق باستخدام مستشعر واحد (يحتمل أن يكون سريعًا) وستكون هذه الميزة ذات الطلب الكبير قريبًا.

متى يمكن أن تظهر هذه الكاميرا؟

موجود بالفعل. وغدا ، سيتم تكرار التكنولوجيا من قبل الشركات المصنعة الأخرى. علاوة على ذلك ، سيكون المحرك الأساسي للمرحلة القادمة هو زيادة الواقع على الهواتف الذكية والأجهزة اللوحية ، التي تفتقر اليوم إلى الدقة والقدرة على "رؤية" مشهد ثلاثي الأبعاد.

على ماذا يعتمد المصطلح؟

من المحتمل أن تظهر قريبًا القدرة على قياس المسافة باستخدام المستشعر الرئيسي في الوقت الفعلي مع Google Pixel ، نظرًا لأن Google ظلت تتطور في هذا الاتجاه لفترة طويلة (انظر Project Tango ، الذي تم إغلاقه ، لكن أعماله مستمرة). و ARCore تبدو واعدة للغاية ، وكذلك ARKit المتنافسة. والانجاز ، كما تعتقد الآن ، ليس لديه وقت طويل للانتظار ، حيث تنخفض قيمة بكسل المستشعر أضعافا مضاعفة ، يطلقون على متوسط ​​السرعة 10 مرات في 10 سنوات ، ونحن بحاجة إلى انخفاض مرتين. ثم عد لنفسك. ليس غدا ، ولكن ليس لفترة طويلة.

بدلا من الاستنتاج

تذكر ، في البداية كنا نتحدث عن محاضرة في VGIK؟ يجب أن أقول أنني لم أتوقع أن يكون رد الفعل عليها في النهاية. لوضعها في كلمة واحدة ، كان الحداد. إذا بكلمتين ، ثم الحداد العالمي. وفي البداية لم أفهم ما كان الأمر. المشغل الذي جاء بعد المحاضرة أوضح لي الوضع جيدًا. لم يكن حتى أن فن الكاميرا يتناقص. على الرغم من أن هناك مثالًا رائعًا: جزء من الفيلم لمدة 6 ثوانٍ تقريبًا ، عندما يقترب شخص من باب الشقة ، يقرع ، يفتح شخص آخر الباب ، يستقبل ويتحرك بعيدًا ، بينما تركز الكاميرا على الممر ، ثم على إطار الباب ، ثم تركز على الفور على الشخص الذي اكتشفها ، ثم إلى الغرفة. ويحتاج المشغل إلى إتقان الكاميرا بشكل مثالي ، بحيث مع عمق الحقل الضحل الذي يشبه السينما ، قم بتشغيل الزوم ببراعة ، وتذكر الإضاءة الخلفية ، وتكوين الإطار ، ومرض الحركة عند التصوير بأيدي و 1000 أشياء صغيرة أخرى مهمة. لذلك هنا. ليس حتى أن هذا أصبح أسهل. هذا جيد حتى. سيتم إفساد عدد أقل من الطلبات بسبب حقيقة أن المشغل في مكان ما لم يكن لديه وقت أو ضاع. أخبرني كيف قام مؤخرًا بتصوير مسلسل في قناة 4K للقناة. وتبين أن دقة القرار كانت كبيرة. نتيجة لذلك ، قام المدير بقص الإطارات في مرحلة ما بعد الإنتاج ، وفي بعض الأماكن تم استخدام شظايا من الإطار فقط للمقاطعات. كنتيجة لذلك ، كانت التركيبة فظيعة وأراد المشغل إزالة اسمه من الاعتمادات.

تعني الميزات الموضحة أعلاه لكاميرات صانعي الأفلام نقل العديد من التأثيرات من مرحلة التصوير إلى مرحلة ما بعد الإنتاج. وسيكون هناك حزن كبير إذا كان أولئك الذين يعالجون مشاهد اللقاح أميين في مسائل التكوين والتحكم عن بعد في التركيز وما إلى ذلك. إذا كانوا يعرفون القراءة والكتابة ، فهذه فرص رائعة جديدة.

لذلك ، نتمنى جميعنا مزيدًا من الكفاءة ، وهو أمر ليس سهلاً دائمًا في هذا العالم سريع التغير!

و Carthage سوف ... كل الفيديو سيكون ثلاثي الأبعاد بحلول نهاية القرن!

شكر وتقدير

أود أن أشكر بحرارة:

• مختبر رسومات الحاسوب جامعة موسكو الحكومية MV Lomonosov لمساهمته في تطوير رسومات الحاسوب في روسيا وليس فقط
  
• زملائنا من مجموعة الفيديو ، شكرًا لك على هذا المقال ،
  
• شخصيا كونستانتين كوزميياكوف ، الذي فعل الكثير لجعل هذا المقال أفضل وأكثر بصرية ،
  
• جون كارافين عندما كان رئيسًا لـ Light Field Video في Lytro ، وبفضل ذلك بدأنا العمل على تحسين منتجاتهم (ولم نبدأ لأسباب خارجة عن إرادتنا أو عننا) ،
  
• Lytro لمساهمتها في تعميم الحقول الخفيفة وقدراتها ، جوجل ، التي اشتعلت علم السقوط ، وغيرها من الشركات التي تصنع منتجات تعتمد على هذه التكنولوجيا المثيرة للاهتمام ،
  
• وأخيراً ، شكراً جزيلاً لسيرجي لافروشكين ورومان كازانتسيف وإيفان مولوديتسكي وإيفغيني كوبتسوف ويغور سكلياروف وإفغيني ليابوستن ودنيس كوندرانين على عدد كبير من التعليقات والتصحيحات المعقولة التي جعلت هذا النص أفضل بكثير!