علم جديد للنظر حول الزاوية

اكتشف باحثو رؤية الكمبيوتر العالم الخفي للإشارات المرئية تحت تصرفنا ، حيث توجد حركات غير محسوسة تعطي ما قيل ، وصور ضبابية لما هو قاب قوسين أو أدنى.

لاحظ أخصائي الرؤية الحاسوبية أنطونيو تورالبا ، الذي كان يستريح على ساحل إسبانيا في عام 2012 ، ظلالًا عشوائية على جدار غرفته في الفندق لا يبدو أن أي شيء يلقي بها. في النهاية ، أدرك تورالبا أن البقع التي تغير لونها على الحائط لم تكن ظلًا ، بل صورًا باهتة ومقلوبة للفناء في الخارج. عملت النافذة مثل الثقب - أبسط نوع من الكاميرا التي تمر بها أشعة الضوء عبر فتحة صغيرة وتشكل صورة معكوسة على الجانب الآخر. بالكاد يمكن تمييز هذه الصورة على الحائط المضاء بنور الشمس. لكن تورالبا أدرك أن عالمنا مليء بالمعلومات المرئية التي لا تدركها أعيننا.

قال: "هذه الصور مخفية عنا ، لكنها تحيط بنا باستمرار."

سمحت له الخبرة المكتسبة وزميله بيل فريمان ، وهو أيضًا أستاذ من معهد ماساتشوستس للتكنولوجيا ، بإدراك أن العالم مليء بـ "الكاميرات العشوائية" ، كما يطلقون عليها: النوافذ والزوايا والنباتات المنزلية وغيرها من الأشياء العادية التي تنشئ صورًا خفية لمحيطهم. هذه الصور أقل 1000 مرة من أي شيء آخر ، وعادة ما تكون غير مرئية للعين المجردة. وأوضح فريمان: "توصلنا إلى طرق لعزل هذه الصور وجعلها مرئية".

لقد تعلموا مقدار المعلومات المرئية المخفية أمام الجميع. في العمل الأول ، أظهروا أنه عند التصوير باستخدام iPhone عادي ، والتغييرات في الضوء على جدار الغرفة ، من الفيديو المستلم ، يمكنك إعادة إنشاء المشهد خارج النافذة. في الخريف الماضي ، أفادوا هم وزملاؤهم أنه يمكنك العثور على شخص يتحرك بالقرب من الزاوية عن طريق تصوير الأرض بالقرب من الزاوية على الكاميرا. في هذا الصيف ، أظهروا أنه يمكنهم تسجيل نباتات منزلية بالفيديو ، ثم إعادة إنشاء صورة ثلاثية الأبعاد للغرفة بأكملها بناءً على الظلال التي ألقتها أوراق النبات. أو يمكنهم تحويل الأوراق إلى " ميكروفون بصري " ، مما يزيد من اهتزازاتهم ويتعرف على الكلام.


1) الفناء خارج غرفة الفندق حيث لاحظ أنطونيو تورالبا أن النافذة تعمل مثل الثقب. 2) صورة غير واضحة للفناء على الحائط ؛ 3) يمكن شحذه عن طريق تغطية معظم النافذة بالكرتون لتقليل حجم الثقب. 4) إذا قلبته رأسا على عقب ، يمكنك رؤية المشهد من الخارج.

يقول الرجل المسجل على التسجيل الصوتي: "لقد كانت مريم لدينا بها كبش" ، أعيد إنشاؤها من حركات كيس فارغ من الرقائق أطلقها العلماء من خلال نافذة عازلة للصوت في عام 2014 (هذه هي الكلمات الأولى التي كتبها توماس إديسون في عام 1877 على الفونوغراف).

بدأ البحث في النظر حول الزوايا والافتراضات حول الأشياء غير المرئية بشكل مباشر ، أو "بناء صور ليست في خط الرؤية المباشر" ، في عام 2012 مع عمل Torralba و Freeman على كاميرا عشوائية ، ومع عمل حاسم آخر قامت به مجموعة منفصلة من العلماء من معهد ماساتشوستس للتكنولوجيا بقيادة راميش راسكار . في عام 2016 ، على وجه الخصوص ، وبفضل نتائجها ، أطلقت وكالة مشاريع البحوث المتقدمة التابعة لوزارة الدفاع الأمريكية (DARPA) برنامج REVEAL بقيمة 27 مليون دولار (التحسين الثوري للرؤية من خلال استغلال الحقول الضوئية النشطة - تحسن ثوري في الرؤية باستخدام حقول الضوء النشطة). يمول البرنامج المختبرات الناشئة على الصعيد الوطني. منذ ذلك الحين ، فإن تدفق الأفكار الجديدة والحيل الرياضية يجعل التصوير غير المرئي أكثر قوة وعملية.



بالإضافة إلى الاستخدام الواضح للأغراض العسكرية والاستطلاعية ، يدرس الباحثون تطبيق التكنولوجيا في السيارات الآلية والرؤية الآلية والتصوير الطبي والفلك واستكشاف الفضاء ومهام الإنقاذ.

قال تورالبا إنه وفريمان في بداية العمل لم يكن لديهما أفكار حول التطبيق العملي للتكنولوجيا. لقد اكتشفوا للتو أساسيات تكوين الصورة وما هي الكاميرا ، والتي من خلالها تم تطوير دراسة أكثر اكتمالاً لسلوك الضوء وتفاعله مع الأشياء والسطوح بشكل طبيعي. بدأوا في رؤية أشياء لا يمكن لأي شخص التفكير فيها. أظهر البحث النفسي ، وفقًا لتورالب ، أن "الناس فقراء بشكل رهيب في تفسير الظلال. ربما يكون أحد أسباب ذلك هو أن العديد من الأشياء التي نراها ليست ظلًا. وفي النهاية ، ألقت عيني محاولات لفهمها ".

كاميرات عشوائية

تسقط أشعة الضوء التي تحمل صورة العالم خارج مجال رؤيتنا باستمرار على الجدران والأسطح الأخرى ، وبعد ذلك تنعكس وتسقط في أعيننا. ولكن لماذا هذه البقايا البصرية ضعيفة للغاية؟ إن الأمر يقتصر على أن الكثير من الأشعة تسير في اتجاهات كثيرة جدًا ، وتصبح الصور ضبابية.

لتكوين صورة ، من الضروري الحد بشكل خطير من حادثة الأشعة على السطح ورؤية مجموعة معينة منها فقط. هذا ما تفعله الكاميرا ذات الثقب. كانت الفكرة الأصلية لـ Torralba و Freeman في عام 2012 هي أنه في بيئتنا هناك عدد قليل جدًا من الأشياء وخصائص مختلفة تحد بشكل طبيعي من أشعة الضوء وتشكل صورًا ضعيفة يمكن للكمبيوتر التعرف عليها.

كلما كانت فتحة الثقب أصغر ، كلما كانت الصورة أكثر وضوحًا ، نظرًا لأن كل نقطة من الكائن قيد الدراسة ستصدر شعاع ضوئي واحد فقط في الزاوية اليمنى ، والتي ستكون قادرة على المرور عبر الثقب. كانت النافذة في فندق Torralba كبيرة جدًا بحيث لا تكون الصورة حادة ، وأدرك هو وفريمان أن كاميرات الثقب العشوائية المفيدة بشكل عام نادرة جدًا. ومع ذلك ، فقد أدركوا أن مضادات الثقوب (الكاميرات "ذات النقطة الدقيقة") ، التي تتكون من أي جسم صغير يحجب الضوء ، تشكل صورًا وفيرة.


بيل فريمان


أنطونيو تورالبا

تخيل أنك تزيل الجدار الداخلي للغرفة من خلال فجوة في الستائر. لن ترى الكثير. فجأة ظهرت يد في مجال رؤيتك. مقارنة شدة الضوء على الحائط في وجود وغياب اليد يعطي معلومات مفيدة عن المشهد. يتم حظر مجموعة من أشعة الضوء التي تقع على الحائط في الإطار الأول مؤقتًا بواسطة اليد في الإطار التالي. بطرح بيانات الإطار الثاني من بيانات الإطار الأول ، كما يقول فريمان ، "يمكنك حساب ما حجبته اليد" - مجموعة من أشعة الضوء تمثل صورة جزء من الغرفة. قال: "إذا كنت تدرس ما يمنع الضوء ، وما الذي يسمح للضوء بالمرور ، يمكنك توسيع نطاق الأماكن حيث يمكنك العثور على كاميرات صغيرة."

جنبا إلى جنب مع دراسة الكاميرات العشوائية التي تدرك التغيرات الصغيرة في الشدة ، طور فريمان وزملاؤه خوارزميات تحدد وتعزز التغيرات اللونية الصغيرة - مثل تغيير لون وجه الشخص عندما يندفع الدم أو ينحسر ، والحركات الصغيرة - وهذا هو السبب يمكنك تسجيل محادثة بأخذ كيس من رقائق البطاطس. الآن يمكنهم بسهولة ملاحظة حركة جزء من مائة بكسل ، والتي في الظروف العادية ستغرق ببساطة في الضوضاء. تقوم طريقتهم بتحويل الصور رياضياً في تكوين موجة جيبية. في الفضاء الناتج ، لا يسيطر الضجيج على الإشارة ، لأن الجيوب الأنفية تمثل متوسط ​​القيم المأخوذة على العديد من وحدات البكسل ، لذلك يتم توزيع الضوضاء فوقها. بفضل هذا ، يمكن للباحثين تحديد تحولات الجيوب الأنفية من إطار الفيديو إلى إطار آخر ، وتضخيم هذه التحولات ، ثم تحويل البيانات مرة أخرى.

الآن بدأوا في دمج كل هذه الحيل لاستخراج المعلومات المرئية المخفية. أظهرت دراسة وصفتها في أكتوبر الماضي كاتي بومان (التي كانت آنذاك طالبة بقيادة فريمان وعالم الآن من مركز هارفارد سميثسونيان للفيزياء الفلكية) أن بناء الزوايا يعمل مثل الكاميرات ، مما يخلق صورة تقريبية لما هو قاب قوسين أو أدنى.


مع أخذ الظليل على الأرض بالقرب من الزاوية (1) ، يمكنك الحصول على معلومات حول الأشياء الموجودة بالقرب من الزاوية (2). عندما تبدأ الأجسام غير المرئية في التحرك ، يتحرك الضوء والظلال منها في زوايا مختلفة فيما يتعلق بالجدار. لا يمكن عادةً تمييز التغييرات الصغيرة في الشدة واللون بالعين المجردة (3) ، ولكن يمكن تحسينها باستخدام الخوارزميات. تعطي مقاطع الفيديو البدائية التي يسير الضوء من زوايا مختلفة إلى الظليل وجود شخص متحرك (4) واثنان (5) قاب قوسين أو أدنى.

وتعيق الأوجه والأركان ، مثل الثقوب ذات الكاميرات النقطية ، مرور أشعة الشمس. باستخدام الكاميرات العادية ، قام iPhone نفسه ، في وضح النهار ، بتصوير ظل جزئي على زاوية المبنى - وهي منطقة بها ظلال مضاءة بمجموعة فرعية من أشعة الضوء القادمة من منطقة مخفية حول الزاوية. على سبيل المثال ، إذا مر رجل يرتدي قميصًا أحمر هناك ، سيرسل هذا القميص كمية صغيرة من الضوء الأحمر إلى الظليل ، وسيتحرك هذا الضوء على طول الظليل أثناء المشي ، وهو غير مرئي للعين العادية ، ولكن يتم اكتشافه بعد المعالجة.

في ورقة ثورية نشرت في يونيو ، أعاد فريمان وزملاؤه إنشاء "مجال الضوء" في الغرفة - صورة لشدة واتجاه أشعة الضوء في الغرفة - من الظلال التي يلقيها نبات متساقط بجوار الجدار. عملت الأوراق ككاميرات نقطية ، كل منها حجب مجموعتها الخاصة من أشعة الضوء. أنتجت مقارنة ظل كل ورقة مع بقية الظلال هذه المجموعة المفقودة من الأشعة ، وجعلت من الممكن الحصول على صورة لجزء من المشهد المخفي. بالنظر إلى اختلاف المنظر ، تمكن الباحثون بعد ذلك من جمع كل هذه الصور معًا.

يوفر هذا النهج صورًا أكثر وضوحًا من العمل السابق مع الكاميرات العشوائية ، لأن الخوارزمية تمتلك معرفة مسبقة بالعالم. من خلال معرفة شكل النبات ، بافتراض أن الصور الطبيعية يجب أن تكون سلسة ، ومع مراعاة العديد من الافتراضات الأخرى ، تمكن الباحثون من استخلاص بعض الاستنتاجات فيما يتعلق بالإشارات التي تحتوي على ضوضاء ، مما ساعد على جعل الصورة النهائية أكثر حدة. قال تورالبا إن تقنية العمل مع مجال ضوئي "تتطلب معرفة العالم المحيط لخلق إعادة بناء ، ولكنها تمنحك أيضًا الكثير من المعلومات".

ضوء مبعثر

في هذه الأثناء ، يكشف فريمان وتورالبا ورفيقهم عن صور تم إخفاؤها ، في موقع آخر في حرم معهد ماساتشوستس للتكنولوجيا ، راميش راسكار ، أخصائي رؤية الكمبيوتر الذي تحدث في TED ، ينوي "تغيير العالم" واختيار نهج يسمى "التصوير النشط". تستخدم أنظمة كاميرا ليزر متخصصة ومكلفة لإنشاء صور عالية الدقة تعرض ما هو قريب.


راميش راسكار

في عام 2012 ، كجزء من تنفيذ فكرة زارته قبل خمس سنوات ، ابتكر راسكار وفريقه لأول مرة تقنية يلزم فيها إطلاق نبضات الليزر في الجدار. سيتمكن جزء صغير من الضوء المتناثر من الالتفاف على العائق. وبعد وقت قصير من كل نبضة ، يستخدمون "كاميرا فلاش" تسجل الفوتونات الفردية بمعدل بلايين الإطارات في الثانية للكشف عن الفوتونات التي ترتد من الجدار. من خلال قياس الوقت الذي تقضيه الفوتونات في العودة ، يمكن للباحثين معرفة المسافة التي سارت بها بعيدًا ، وبتفصيل إعادة إنشاء الهندسة ثلاثية الأبعاد للأجسام المخفية خلف العائق ، والتي تشتت عليها الفوتونات. إحدى الصعوبات هي أنه من أجل تكوين صورة ثلاثية الأبعاد ، من الضروري إجراء مسح نقطي للجدار بالليزر. دعنا نقول أن الشخص يختبئ بالقرب. قال راسكار: "ثم ينعكس الضوء من نقطة معينة على الرأس ، ومن نقطة معينة على الكتف ، ومن نقطة معينة على الركبة يمكن أن يصل إلى الكاميرا في نفس الوقت". ولكن إذا قمت بتألق الليزر قليلاً إلى مكان آخر ، فلن يعود الضوء من هذه النقاط الثلاث إلى الكاميرا في نفس الوقت. " من الضروري الجمع بين جميع الإشارات وحل "المشكلة العكسية" لإعادة إنشاء الهندسة ثلاثية الأبعاد المخفية.

تتطلب خوارزمية Raskar الأصلية لحل المشكلة العكسية الكثير من موارد الحوسبة ، ويكلف الجهاز نفسه نصف مليون دولار. ولكن تم عمل جاد لتبسيط الرياضيات وخفض التكاليف. في شهر مارس ، نشرت مجلة Nature عملًا وضع معيارًا جديدًا للبناء الفعال والاقتصادي لصور ثلاثية الأبعاد لشيء ما - تم إعادة إنشاء شكل أرنب في الزاوية. طور المؤلفون ، ماثيو أوتول وديفيد ليندل وجوردون ويتشتاين من جامعة ستانفورد ، خوارزمية قوية جديدة لحل المشكلة العكسية واستخدموا كاميرات SPAD غير المكلفة نسبيًا - أجهزة أشباه الموصلات التي يكون معدل إطاراتها أقل من معدل الكاميرات المحمولة. وصف راسكار ، الذي عمل سابقًا كمنسق لمؤلفين للعمل ، بأنه "عبقري جدًا" و "واحد من المفضلين لدي".





كانت الخوارزميات السابقة تغرق بالتفصيل: حاول الباحثون عادةً اكتشاف الفوتونات العائدة التي لم تنعكس من النقطة على الحائط حيث كان الليزر يلمع ، حتى تتمكن الكاميرا من تجنب جمع ضوء الليزر المتناثر. لكن بتوجيه الليزر والكاميرا إلى نفس النقطة تقريبًا ، تمكن الباحثون من رسم فوتونات صادرة واردة من " مخروط ضوئي " واحد. يشكل الضوء المنتشر من السطح مجالًا موسعًا للفوتونات ، والذي يشكل مخروطًا ينتشر في الزمكان. قام أوتول (الذي غيّر وظيفته منذ ذلك الحين من جامعة ستانفورد إلى جامعة كارنيجي ميلون) بترجمة فيزياء المخاريط الضوئية - التي طورها معلم ألبرت أينشتاين جيرمان مينكوفسكي في بداية القرن العشرين - إلى تعبير مقتضب يربط وقت رحلة الفوتون بموقع الأسطح المتناثرة. ووصف ترجمته "تحويل مخروط الضوء".

تستخدم Robomobiles بالفعل أنظمة LIDAR لبناء صور مباشرة ، ويمكن للمرء أن يتخيل أنه في يوم من الأيام سيحصلون على SPAD للنظر في الزاوية. ويتنبأ أندرياس ويلتن ، المؤلف الأول للعمل الأولي لـ Raskar منذ عام 2012 ، والذي يقود الآن الفريق المشارك في بناء صور نشطة في جامعة ويسكونسن: "في المستقبل القريب ، ستكون هذه المستشعرات متاحة أيضًا بتنسيق محمول". وقال فيلتن إن التحدي الآن هو "معالجة مشاهد أكثر تعقيدًا" وسيناريوهات واقعية ، وليس فقط إنشاء مشهد بعناية مع كائن أبيض وخلفية سوداء. نحتاج إلى تكنولوجيا لتوجيه الجهاز والضغط على الزر ".

أين الأشياء

بدأ الباحثون من مجموعة فريمان في الجمع بين النهجين السلبي والنشط. أظهر العمل ، الذي تم بتوجيه من الباحث كريستوس ترامبوليديس ، أنه عند بناء الصور باستخدام الليزر ، يمكن استخدام كاميرا على شكل نقطة ذات شكل معروف تقع حول زاوية لإعادة إنشاء مشهد مخفي دون استخدام معلومات حول وقت رحلة الفوتون. قال Trampulidis: "وينبغي أن يعمل هذا بالنسبة لنا بمساعدة مصفوفة CCD التقليدية".

سيساعد التصوير بعيدًا عن الأنظار يومًا ما فرق الإنقاذ والروبوتات المستقلة. يتعاون فيلتن مع مختبر الدفع النفاث التابع لوكالة ناسا ، ويعمل على مشروع يهدف إلى بناء صور عن بُعد لأجسام داخل كهوف القمر. لكن Raskar والشركة يستخدمان نهجهما لقراءة الصفحات القليلة الأولى من كتاب مغلق ، وللرؤية في الضباب.

بالإضافة إلى عمليات إعادة البناء الصوتية ، يمكن لخوارزمية تحسين حركة Freeman أن تساعد في إنشاء الأجهزة الطبية وأنظمة الأمان ، بالإضافة إلى أجهزة كشف الحركة الفلكية الصغيرة. قال ديفيد هوج ، عالم الفلك وعالم البيانات في جامعة نيويورك ومعهد فلاتيرون ، إن هذه الخوارزمية "فكرة جيدة جدًا". "اعتقدت - علينا فقط استخدامه في علم الفلك."

فيما يتعلق بقضايا الخصوصية التي أثارتها الاكتشافات الأخيرة ، يتحول فريمان إلى تجربته. يقول: "لقد فكرت كثيرًا في هذه المشكلة طوال حياتي المهنية". قال فريمان ، وهو رجل يرتدي نظارات ، وهو متحمس للكاميرا شارك في التصوير الفوتوغرافي طوال حياته ، إنه في بداية حياته المهنية لم يكن يرغب في العمل على أي شيء يمكن أن يكون له نوع من العسكرية أو إمكانات التجسس. ولكن بمرور الوقت ، بدأ يفكر في أن "التكنولوجيا هي أداة يمكن استخدامها بطرق مختلفة. إذا حاولت تجنب كل شيء قد يكون له استخدام عسكري على الأقل ، فلا يمكنك التفكير في أي شيء مفيد ". ويقول إنه حتى في حالة الجيش ، "هناك مجموعة واسعة جدًا من الاحتمالات لاستخدام الأشياء. يمكنك مساعدة شخص على البقاء. ومن حيث المبدأ ، معرفة أين تكون الأشياء مفيدة ".

لكنه كان مسرورًا للغاية ليس بالقدرات التكنولوجية ، ولكن ببساطة باكتشاف ظاهرة كانت مخبأة في مرأى من الجميع. وقال "يبدو لي أن العالم مليء بكل ما تبقى لاكتشافه".