تحليلات الفيديو: التعرف على الوجوه ، كاشف الطابور ، البحث عن كائنات على الفيديو

تستخدم الشركة التايوانية 42Ark والشركة المصنعة للولايات المتحدة لمغذيات CatFi Box "الذكية" كاميرات CCTV للتعرف على وجوه القطط

في عام 1941 ، قام المهندس الكهربائي الألماني Walter Bruch بتثبيت نظام CCTV (تلفزيون الدائرة المغلقة - نظام تلفزيون الدائرة المغلقة) في موقع الاختبار حيث تم اختبار صواريخ V-2. هذه هي الحالة الأولى في تاريخ استخدام المراقبة بالفيديو في الممارسة العملية. كان على المشغل الجلوس أمام الشاشة طوال الوقت. استمر هذا حتى عام 1951 ، حتى ظهرت أول أجهزة VTR (مسجل الفيديو) التي سجلت الصور على الشريط المغناطيسي.

التسجيل في وسائل الإعلام لم ينقذ عامل الهاتف من الحاجة للمشاركة في العملية. التعرف على الوجوه ، وموقع الأشياء ، وحتى الكشف عن الحركة - تم تنفيذ جميع هذه الوظائف بواسطة شخص يجلس أمام الشاشة في الوقت الفعلي أو يدرس أرشيف الفيديو بعد الواقعة.

تدور عجلة التقدم. تلقت المراقبة بالفيديو تحليلات الفيديو التي غيرت بالكامل عملية العمل مع النظام. تذكر قصة القطة والشبكة العصبية للتعلم العميق؟ نعم ، هذا أيضًا جزء من تحليلات الفيديو ، ولكنه صغير. سنتحدث اليوم عن التقنيات التي تغير جذريًا عالم أنظمة الدوائر التلفزيونية المغلقة.

كشف قائمة الانتظار واختبار بيتا

أول كاميرا IP في العالم Neteye 200 ، تم إنشاؤها في عام 1996 بواسطة Axis

ولدت المراقبة بالفيديو كنظام أمني مغلق ، تم تصميمه فقط لمعالجة القضايا الأمنية. لم تسمح قيود المراقبة بالفيديو التناظري باستخدام المعدات بأي طريقة أخرى. فتح تكامل المراقبة بالفيديو مع الأنظمة الرقمية إمكانية تلقي البيانات المختلفة تلقائيًا عن طريق تحليل تسلسل الصور.

من الصعب المبالغة في الأهمية: في الحالة المعتادة ، بعد 12 دقيقة من المراقبة المستمرة ، يبدأ المشغل في فقدان ما يصل إلى 45 ٪ من الأحداث. وسيتم تفويت ما يصل إلى 95٪ من الأحداث المزعجة المحتملة بعد 22 دقيقة من المراقبة المستمرة (وفقًا لأبحاث IMS ، 2002).

ظهرت خوارزميات تحليل الفيديو المعقدة: عد الزوار ، وحساب التحويلات ، وإحصاءات المعاملات النقدية وأكثر من ذلك بكثير. يختفي عامل المراقبة في هذا النظام - نترك للكمبيوتر القدرة على "المشاهدة" واستخلاص النتائج.

أبسط مثال على المراقبة بالفيديو الذكية هو كشف الحركة. ليس من المهم ما إذا كان هناك كاشف مدمج في الكاميرا نفسها - إذا قمت بتثبيت ، على سبيل المثال ، برنامج Ivideon Server على جهاز كمبيوتر ، فسيتم استخدام كاشف الحركة. كاشف واحد يمكن أن يحل محل العديد من مشغلي المراقبة بالفيديو في وقت واحد. وبالفعل في العقد الأول من القرن الحادي والعشرين ، بدأت تظهر أول أنظمة تحليلات الفيديو القادرة على التعرف على الأشياء والأحداث في الإطار.

تعمل Ivideon حاليًا على تطوير العديد من وحدات تحليلات الفيديو - منذ أن أطلقنا OpenAPI ، مرت الأمور بشكل أسرع من خلال التكامل مع الشركاء. لا تزال بعض المشاريع قيد الاختبار المغلق ، ولكن هناك شيء جاهز بالفعل. هذا ، أولاً ، التكامل مع تسجيلات النقدية للتحكم في المعاملات النقدية (حتى الآن استنادًا إلى iiko و Shtrikh-M). ثانياً ، تم تطوير كاشف طابور.

كان لدينا عداد Ivideon ، الذي يحدد عدد العملاء في الغرفة. سمحت لنا التحليلات بالابتعاد عن المعدات الخاصة نحو الحوسبة السحابية. لا نحتاج الآن إلى كاميرا محددة - أي كاميرا مراقبة بدقة 1080 بكسل + مناسبة. الآن نحن لا نريد فقط أن نحسب الناس ، ولكن تحديد قوائم الانتظار. لذلك ، هم على استعداد لأي متجر أو مركز تسوق أو مكتب حيث يذهب الناس ويقفون ، ويشكلون طوابير ، لتوفير كاميرا مجانية لاختبار الكشف عن قائمة الانتظار. مراسلتنا عبر البريد الإلكتروني للمشاركة في المشروع.

بالإضافة إلى ذلك ، يعمل Ivideon مع تقنية التعرف على الوجوه.

من يدرك كيف

يتم اختبار تقنية DeepFace بواسطة Facebook على مثال التعرف على الوجه العاطفي لسيلفستر ستالون

تعمل شركات Apple و Facebook و Google و Intel و Microsoft وعمالقة التكنولوجيا الأخرى على إيجاد حلول في هذا المجال. يتم تركيب أنظمة المراقبة بالفيديو مع التعرف التلقائي على الوجه للركاب في 22 مطارًا أمريكيًا. في أستراليا ، يقومون بتطوير نظام التعرف على الوجه وبصمات الأصابع كجزء من برنامج مصمم لأتمتة مراقبة جوازات السفر والجمارك.



أجرت أكبر شركة إنترنت صينية Baidu تجربة ناجحة على إلغاء التذاكر باستخدام تقنية التعرف على الوجه بدقة 99.77٪ ، مع وقت تصوير وتعرف 0.6 ثانية. عند مداخل الحديقة تقف مع الأجهزة اللوحية وإطارات خاصة مثبتة لإجراء التصوير. عندما يأتي سائح إلى الحديقة لأول مرة ، يقوم النظام بالتقاط صور له من أجل استخدام وظيفة التعرف على الوجه في الصورة في المستقبل. تتم مقارنة الصور الجديدة بالصور من قاعدة البيانات - بهذه الطريقة يحدد النظام ما إذا كان للشخص الحق في الزيارة.



التكنولوجيا في الصين جيدة بشكل عام. في عام 2015 ، أطلقت Alipay ، مشغل منصة الدفع عبر الإنترنت التي تعد جزءًا من Alibaba Holding ، نظامًا للتحقق من الدفع يعتمد على Face ++ ، وهي منصة التعرف على الوجوه السحابية التي أنشأتها شركة Megvii الصينية الناشئة. يُسمى النظام Smile to Pay - يسمح لمستخدمي Alipay بالدفع مقابل عمليات الشراء عبر الإنترنت من خلال التقاط صورة ذاتية (تحدد Alipay المالك عن طريق الابتسامة). بدأت UBER في الصين في استخدام نظام التعرف على السائق المستند إلى Face ++ لمواجهة الاحتيال وسرقة الهوية وتوفير سلامة إضافية للركاب.

ولكن من المثير للاهتمام ألا ننظر إلى الحلول الأجنبية ، ولكن إلى الخدمات التي تم إنشاؤها في روسيا. هذه التقنيات أقرب كثيرًا إلى المستخدم النهائي (إذا كان من بلدنا) ، يمكنك التعرف عليها ، في المستقبل توحد لاستخدامها في منتجك الخاص. هناك العديد من شركات التعرف على الوجوه حولها. لنتذكر القليل الذي يبقى باذن.



تستخدم شركة Vokord ، التي تأسست عام 1999 ، FaceControl 3D للعمل مع الصور المتزامنة من كاميرات الاستريو ، وتبني نموذجًا ثلاثي الأبعاد للوجه في الإطار ، وتبحث تلقائيًا عن النموذج الذي تم الحصول عليه مع النماذج الموجودة في قاعدة البيانات الحالية. في عام 2016 ، بدأت Vokord في استخدام خوارزمية حسابية رياضية للتعرف على الوجه ، والتي تعتمد على الشبكات العصبية التلافيفية ، لذلك تعمل خوارزمياتها الآن مع أي كاميرا مراقبة فيديو. تدعي الشركة أنها تستطيع التعرف على الوجوه (بحجم 128 × 128 بكسل) للأشخاص الذين يتابعون البث. في نهاية عام 2016 ، أظهرت خوارزمية Vocord DeepVo1 أفضل النتائج في اختبار التعريف العالمي ، مع التعرف بشكل صحيح على 75.127٪ من الأفراد.



تأسست VisionLabs في عام 2012 ، وفازت بأكبر مسابقة لشركات التكنولوجيا GoTech في روسيا وأوروبا الشرقية ، وتم إدراجها في قائمة المتأهلين للتصفيات النهائية للبرنامج الأوروبي " Challenge UP! "، المصممة لتسريع إطلاق السوق للحلول والخدمات القائمة على مفهوم إنترنت الأشياء ، وقد اجتذبت الملايين من الاستثمارات وتقوم بالفعل بتقديم منتجاتها في القطاع التجاري. أطلق Otkritie Bank مؤخرًا نظام VisionLabs للتعرف على الوجه لتحسين خدمة العملاء وأوقات الانتظار في الطابور. حسنًا ، من الجدير قراءة قصة رائعة عن كيفية اصطياد متخصصي CROC لقط باستخدام VisionLabs.

VisionLabs ، التي أظهرت واحدة من أفضل النتائج في معدلات التعرف والخطأ ، تعمل أيضًا مع الشبكات العصبية التي تكشف عن ميزات محددة لكل وجه ، مثل شكل العين ، وشكل الأنف ، وتخفيف الأذن ، وما إلى ذلك. يتيح لك نظام Luna الخاص بهم العثور على كل هذه الميزات للوجه في الصورة في الأرشيف. قرار آخر للشركة ، Face Is ، التعرف على وجه العميل في المتجر ، يجد ملفه الشخصي في نظام CRM ، ويتعلم منه تاريخ الشراء واهتمامات المشتري ، ويرسل إشعارًا مع عرض شخصي على الخصم على فئة السلع المفضلة لديه إلى الهاتف.

تخطط أتمتة عملية التوظيف لشركة Skillaz الناشئة و VisionLabs لتقديم نظام التعرف على الكمبيوتر في نهاية عام 2017 الذي سيقيم سلوك الباحثين عن عمل. بعد تحليل البيانات ، سيستخلص النظام استنتاجات حول الصفات المهنية للشخص ومدى ملاءمته للمنصب. لم تكشف الشركة عن الخصائص الكاملة لنظام "تأجير السيارات". من المعروف فقط أن مؤهلات المرشح سيتم تقييمها بناءً على إجاباته على مجموعة محددة من الأسئلة التي يطرحها نظام المقابلات عبر الإنترنت. ستبحث الشبكة العصبية عن العلاقة بين سلوك المرشح في الصورة من كاميرا المراقبة ودرجة شدة أحدهما أو آخر.

الشبكة ، التي هي دكتور لايتمان وشيرلوك هولمز في شخص واحد ، ستأخذ في الاعتبار تعابير وجه المرشح وإيماءاته ، وكذلك علم الفراسة. تجدر الإشارة إلى أن طريقة تحديد نوع شخصية الشخص ، وصفاته الروحية ، بناءً على تحليل السمات الخارجية وتعبيره ، تعتبر مثالًا حديثًا لعلم الزائفة في العلوم النفسية الحديثة. لا تزال كيفية التعامل مع هذا التناقض في المنتج الجديد غير واضحة.


شريحة عرض NTechLab المحبطة سلمان رديف

بدأ NTechLab مع تطبيق يحدد سلالة الكلاب من صورة فوتوغرافية. في وقت لاحق كتبوا خوارزمية FaceN ، والتي شاركوا معها في خريف عام 2015 في المسابقة الدولية The MegaFace Benchmark . فاز NTechLab باثنين من الترشيحات الأربعة ، بفوزه على فريق Google (في غضون عام ، سيفوز Vokord في نفس المسابقة ، و NTechLab سينتقل إلى المركز الرابع). سمح لهم النجاح بتنفيذ خدمة FindFace بسرعة ، بحثًا عن أشخاص من الصور على فكونتاكتي. لكن هذه ليست الطريقة الوحيدة لتطبيق التكنولوجيا. في مهرجان Alfa Future People ، الذي نظمه بنك ألفا ، مع FindFace ، يمكن للزوار العثور على صورهم من بين مئات الآخرين عن طريق إرسال صورة شخصية إلى برنامج الدردشة.

بالإضافة إلى ذلك ، أظهر NTechLab نظامًا قادرًا على التعرف في الوقت الحقيقي على الجنس والعمر والعواطف باستخدام صورة من كاميرا فيديو. النظام قادر على تقييم رد فعل الجمهور في الوقت الحقيقي ، حتى تتمكن من تحديد العواطف التي يمر بها الزوار أثناء العروض التقديمية أو بث الرسائل الإعلانية. جميع مشاريع NTechLab مبنية على الشبكات العصبية ذاتية التعلم.

طريقة Ivideon لتحليلات الفيديو


يعد التعرف على الوجه من أصعب المهام في مجال تحليلات الفيديو. من ناحية ، يبدو أن كل شيء واضح وتم استخدامه منذ فترة طويلة. من ناحية أخرى ، لا تزال حلول تحديد الهوية في حشد من الناس باهظة الثمن ولا توفر الدقة المطلقة.
في عام 2012 ، بدأ Ivideon العمل مع خوارزميات تحليل الفيديو. في ذلك العام ، أصدرنا تطبيقات لنظامي التشغيل iOS و Android ، ودخلنا إلى الأسواق الأجنبية ، وأطلقنا شبكات CDN لامركزية مع خوادم في الولايات المتحدة الأمريكية ، وهولندا ، وألمانيا ، وكوريا ، وروسيا ، وأوكرانيا ، وكازاخستان ، وأصبحت الخدمة الدولية الوحيدة للمراقبة بالفيديو التي تعمل بشكل جيد في جميع أنحاء العالم. بشكل عام ، يبدو أن إجراء تحليلاتك باستخدام لعبة البلاك جاك والتعرف عليها سيكون بسيطًا وسريعًا ... كنا صغارًا ، بدا العشب أكثر خضرة ، والهواء حلوًا وهادئًا.

[ في ذلك الوقت ، كنا نفكر في الخوارزميات الكلاسيكية. تحتاج أولاً إلى اكتشاف الوجوه الموجودة في الصورة وتوطينها : استخدم شلالات Haar ، وابحث عن مناطق ذات نسيج يشبه الجلد ، وما إلى ذلك. لنفترض أننا بحاجة إلى العثور على أول شخص يصادف ويرافقه فقط في دفق الفيديو. هنا يمكنك استخدام خوارزمية Lucas-Canada . نجد الوجه بالخوارزمية ثم نحدد النقاط المميزة فيها. نرافق النقاط باستخدام خوارزمية Lucas-Canada ؛ بعد اختفائهم ، نعتقد أن الوجه اختفى عن الأنظار. بعد تلقي الميزات المميزة للوجه ، يمكننا مقارنتها بالميزات المضمنة في قاعدة البيانات.

لتسهيل مسار الكائن (الوجه) ، وكذلك للتنبؤ بموضعه في الإطار التالي ، نستخدم مرشح Kalman . وتجدر الإشارة هنا إلى أن فلتر كالمان مصمم لنماذج الحركة الخطية. بالنسبة للخط غير الخطي ، يتم استخدام خوارزمية مرشح الجسيمات (كمتغير من خوارزمية مرشح الجسيمات + خوارزمية متوسط ​​التحول ).

يمكنك أيضًا استخدام خوارزميات الطرح في الخلفية: مكتبة تحتوي على أمثلة على تنفيذ الخوارزميات لطرح الخلفية + مقالة حول تنفيذ خوارزمية خفيفة الوزن لطرح خلفية ViBe. بالإضافة إلى ذلك ، لا تنسى واحدة من أكثر طرق Viola-Jones الشائعة التي تم تنفيذها في مكتبة رؤية الكمبيوتر OpenCV. ]

التعرف على الوجه البسيط جيد ، ولكنه ليس كافيًا. من الضروري أيضًا ضمان التعقب المستقر لعدة أجسام في الإطار ، حتى في حالة تقاطع المفاصل أو "الاختفاء" المؤقت لعائق. احسب أي عدد من الأشياء التي تعبر منطقة معينة وتأخذ في الاعتبار اتجاهات التقاطع. لمعرفة متى يظهر كائن / كائن في الإطار ويختفي - حرك الماوس فوق الكأس المتسخ على الطاولة وابحث عن اللحظة في أرشيف الفيديو عندما ظهرت هناك ومن تركها. في عملية التتبع ، يمكن أن يتغير الكائن بقوة شديدة (من حيث التحولات). ولكن من إطار إلى إطار ، ستكون هذه التغييرات بحيث يكون من الممكن تحديد الكائن.

بالإضافة إلى ذلك ، أردنا توفير حل سحابي عالمي للجميع - من أكثر المستخدمين تطلبًا. كان يجب أن يكون الحل مرنًا وقابلًا للتطوير ، نظرًا لأننا لم نتمكن من معرفة ما يريد المستخدم مراقبته وما يريد المستخدم التفكير فيه. من الممكن أن يقترح شخص ما إجراء بث صرصور على أساس Ivideon مع تحديد تلقائي للفائز.

بعد خمس سنوات فقط ، بدأنا في اختبار المكونات الفردية لتحليلات الفيديو - سنتحدث أكثر عن هذه المشاريع في مقالات جديدة.

ملاحظة لذلك ، نحن نبحث عن متطوعين في اختبارات كشف الطابور. بالإضافة إلى مستخدمي نظام SHTRIH-M لاختبار نظام إدارة النقد الجديد. اكتب في البريد أو في التعليقات.