ستيف جوبز وستيف وزنياك حبس مرة واحدة في المرآب وطرح أول ماك. سيكون من الرائع أن تتمكن دائمًا من إغلاق المبرمجين في المرآب والحصول على MVP مع إمكانات كبيرة. ومع ذلك ، إذا أضفت إلى المبرمجين بضعة أشخاص على استعداد لتقييم تجربة المستخدم والبحث عن شيء مبتكر ، فإن فرص النجاح تتزايد.
لقد توصل فريقنا المكون من 5 أشخاص إلى فكرة معينة ، قررنا الاستخفاف بها السيطرة على العالم أن أنبوب.
وصف MVP
تطبيق لمديري الموارد البشرية يسمح لك بتحديد النمط النفسي لمقدم الطلب وأنماط السلوك.
المكونات الإلزامية:
- قاعدة بيانات للأسئلة وأنواع ردود الفعل ونظام لإحضار هذه الأشياء إلى نموذج نفسي
- تعريف المشاعر الإنسانية على أساس مظاهر الاتحاد الأفريقي - حركات معينة من عضلات الوجه.
- معدل ضربات القلب تماس
- تحديد اتجاه النظرة
- كشف معدل الطرفة
- نظام لتجميع البيانات القابلة للاسترداد أعلاه في مخطط الإجهاد والبيانات الوصفية الأخرى المفيدة.
MVP بالنسبة لنا هي جزيرة الأمن بين الفكرة نفسها ومشروع آن كبير ، ونحن في الطريق.
كيف كان ذلك
من أجل تجنب الانحرافات أثناء التطوير ، تقرر استئجار شقة في أقرب مدينة منتجع بالطعام. عند وصولنا إلى هناك يوم الأحد وترتيب وظائفنا ، جلسنا على الفور لمناقشة. في الليلة الأولى ، تم تحديد الطوب الذي يجب أن يكون بالتأكيد في MVP النهائي. وبينما صقل الرجال الفكرة ، توجهوا إلى المدينة للتشاور مع مديري الموارد البشرية ، وكان المطورون (بمن فيهم أنا) يجهزون الأساس بالفعل.
الجزء الفني
تقرر تحديد العواطف بشكل صارم من خلال نظام مراقبة الأصول الميدانية ، لأن هذه الطريقة لها صلاحية علمية كافية مقارنة ، على سبيل المثال ، بهذا النهج الخام. تبعا لذلك ، تم تقسيم المهمة إلى
- شبكة التدريب توقع 68 معالم الوجه
- تطبيع / تصفية الصور الوجه
- الخوارزمية التي تكتشف حركات الوجه في الديناميات
بالمناسبة ، تم التدريب على Radeon RX580 باستخدام PlaidML ، والذي تحدثت عنه بالفعل في مقالتي السابقة. شكرا جزيلا لأني أريد أن أقول مكتبة imgaug ، والتي تتيح لك تطبيق تحويلات affine في وقت واحد على الصور والنقاط عليها (في حالتنا ، إلى المعالم).
بعض الصور المعززة:
لتحديد اتجاه النظرة ، تم استخدام الخوارزمية في البداية على رؤية الكمبيوتر الكلاسيكية ، وتبحث عن تلميذ في منطقة العين على HOGs. ولكن سرعان ما جاء فهم مفاده أن التلميذ غالباً ما يكون غير مرئي ويمكن وصف اتجاه النظرة ليس فقط به ، بل وأيضًا من خلال موقع الجفون. بسبب هذه الصعوبات ، تم نقل الحل إلى نهج الشبكة العصبية. قمنا بقص وتمييز التاريخ بأنفسنا ، ونعمل عليه من خلال الخوارزمية الأولى ، ثم نصحح أماكن أخطائه يدويًا.
بدأت التطورات الأولى في الصيف وكانت موجودة كسيناريو بيثون القذر:
يتبع تحديد تواتر الوميض من تجميع أجزاء من الخوارزميات المذكورة أعلاه - تقارب معلم الجفون واتجاه النظر لأسفل.
استند تحديد النبض بواسطة دفق الفيديو إلى فكرة امتصاص المكون الأخضر للضوء بواسطة جزيئات الدم واستكملته خوارزميات لتتبع واستخراج المناطق ذات الاهتمام (الجلد).
يخرج قناع زاحف ، بالطبع:
في الواقع ، تم إنشاء الطوب الموصوف أعلاه لتطبيق خوارزميات State Of The Art مع تحسينات لتحسين الدقة في حالتنا الخاصة. لحسن الحظ ، هناك arxiv.org .
نشأت صعوبات عند إنشاء منطق لتطبيع صور الوجه والخوارزميات لتقييم البيانات المستلمة. على سبيل المثال ، عند التعرف على الوجوه ، يتم استخدام Active Appearance Model بنشاط - يتم سحب الوجه من خلال النقاط الموجودة على نسيج الوجه العام. لكن الترتيب المتبادل للنقاط مهم بالنسبة لنا! كخيار - قم بتصفية الوجوه المدورة للغاية ، أو اسحب الملمس فقط بواسطة "المراسي" ، وهي نقاط أساسية لا تعكس حركة العضلات (على سبيل المثال ، نقطة على جسر الأنف وحواف الوجه). هذه المشكلة الآن واحدة من المشاكل الرئيسية ولا تسمح بالحصول على بيانات موثوقة إذا كان الوجه مقلوبًا للغاية (يمكننا حساب زاوية الدوران أيضًا!). النطاق المقبول لهذا اليوم هو + -20 درجة على كلا المحورين. خلاف ذلك ، فإن الوجه ببساطة لا تتم معالجته.
بالطبع ، هناك مشاكل أخرى:
- تعريف المعالم إذا كان الشخص مع النظارات
- استخلاص خط الأساس إذا كان الشخص مغمضًا
- كشف معدل ضربات القلب في ضوء الخفقان
أوه نعم ، وما هو خط الأساس ؟ المفهوم الأساسي في معالجة العواطف باستخدام أساليب FACS. من المحتمل أن تكون خوارزمية الاستخراج الأساسية واحدة من أهم المعرفة التي تستند إلى نتائج hackathon الخاصة بنا.
بالإضافة إلى الخوارزميات ، هناك نقطة مهمة أخرى لا يمكننا نسيانها - الأداء. علاوة على ذلك ، فإن سقف الأداء ليس حتى جهاز كمبيوتر ، ولكنه جهاز كمبيوتر محمول عادي. نتيجة لذلك ، تم إجراء جميع الخوارزميات بأكبر قدر ممكن من الضوء ، وخضعت الشبكات لتكرار في الحجم مع الحفاظ على دقة مقبولة.
والنتيجة هي 30-40٪ على Intel i5 بسرعة 15-20 إطارًا في الثانية. من الواضح أن هناك هامشًا معينًا سيختفي عند إضافة وحدات إضافية.
تحدد الخطط:
- التهاب الحلق
- تغير في بشرة
- معدل التنفس
- شدة حركة الجسم
- أنماط تشكل الإنسان
- صوت يرتجف
ماذا يمكن أن نفعل؟
بصفتك من محبي رؤية الكمبيوتر و ML ، أخبرتك قليلاً عن الخوارزميات المستخدمة في برنامجنا. ولكن نظرًا لعدم اكتماله ، فإن الميزات المذكورة أعلاه تعد إضافة ممتعة إلى هذا التطبيق. الجزء الأكثر أهمية هو النظام المتطور لتحديد النمط النفسي للشخص. ما هي النقطة؟ لسوء الحظ ، تم ذلك بواسطة زملائي (الأصدقاء!) ولا يمكنني شرح ماذا وأين. ولكن للحصول على الحد الأدنى من الفهم ، يمكنك النظر في الإجراء الخاص بالعمل مع البرنامج الناتج:
تحدد الموارد البشرية الصفات الضرورية بشكل خاص للوظيفة الشاغرة:
الموارد البشرية تجري مقابلة ، وتطرح جزءًا من أسئلة قاعدة البيانات المعدة (خلال المقابلة ، لدى HR معلومات إضافية عن المشاعر ومستوى التوتر)
أثناء المقابلة أو بعدها ، تملأ HR إجابات على الأسئلة وأنماط السلوك:
من خلال المصفوفات المطورة ، يبني البرنامج رسوم بيانية تعرض تزامن الصفات المعينة والمحددة:
بعد المقابلة ، هناك سجل يسمح لك بالعودة إلى المقابلة في أي وقت وتقييم هذه اللحظة أو تلك
المجموع
14 يومًا × 12 ساعة + 3 مطورون + خبيران في مجال تحديد الكذب = MVP جاهز. كان الانغماس أقصى حد - إلى حد أننا في وقت الغداء شاهدنا سلسلة Deceive Me - أوصي به بشدة.
لكي لا أكون بلا أساس ، أرفق مثالًا على كيفية عمل التطبيق الآن:
بالإضافة إلى الفيديو الترويجي لحل آن الكبير الذي نتحرك نحوه.
