L’une des applications les plus amusantes des algorithmes de vision industrielle est la capacité de déterminer la vitesse de réaction du système nerveux d’une personne par la réaction de l’élève à la lumière.
Cela peut être utilisé pour évaluer l'adéquation d'une personne, sa préparation à un travail complexe, dangereux et responsable (pilote d'avion, exploitant de centrale nucléaire, répartiteur de métro, etc.).
Auparavant, le «ping» était une simple réaction de l'élève à la lumière d'une lampe de poche. Par exemple, une ambulance le fait. Mais vous pouvez également évaluer la vitesse de réaction, ce qui donne beaucoup plus d'informations. Nous avons trouvé un moyen d'automatiser cela en détectant les élèves sur la caméra à 40 ips. La complexité informatique n'est pas élevée, 3 à 5 000 comparaisons par trame - en temps réel complet:
Données de pupillométrie d'une personne en bonne santéPar la vitesse de réaction de la pupille à la lumière (rétrécissement et restauration du diamètre de la pupille après le déclenchement), il est possible d'estimer la vitesse de passage d'une impulsion nerveuse, ainsi que la vitesse de son traitement ultérieur dans le système nerveux.
C'est-à-dire, oui, c'est une sorte de ping de votre système nerveux central. Cette chose ressemble à des lunettes 3D.
Voici notre prototype. Habituellement, nous l'intégrons dans
des terminaux de diagnostic (c'est-à-dire que ces lunettes dépassent de l'appareil), mais cela arrive - nous les utilisons séparément. Vous pouvez le rendre plus beau, mais il n'y a pas de signification particulière, il s'agit d'un échantillon de pré-production:
Qu'est-ce que ça donne?
À la fin du XVIIe siècle, les médecins ont commencé à remarquer que les patients dans des conditions différentes réagissaient différemment à la lumière. Après près de 300 ans de recherche, le maître, Eckhard Hess, a tiré la conclusion que la vitesse de réaction de l’élève est affectée par la fatigue et les types de stress mental avant l’évaluation. En général, le taux d'expansion de la pupille après un éclair de lumière (adaptation à l'obscurité) peut servir de mesure du degré d'excitation du système nerveux. En 1982, Hess a prouvé que les élèves s'ouvrent davantage lorsque vous regardez un objet qui vous intéresse. Il a montré aux sujets masculins, bien sûr, une photo des filles. Ensuite, ils sont progressivement passés à des sujets plus subtils - la nourriture préférée, un candidat de son parti, etc. Ils ont ensuite mesuré la charge mentale. Plus la personne pense intense, plus les élèves se développent lentement. Ensuite, le cerveau a été «chargé» d'arithmétique. Aujourd'hui, nous dirions que les processus sont parallèles, et lorsque la puissance de calcul du cerveau est occupée par quelque chose, l'évaluation de l'environnement par l'éclairage est plus lente. L'hypothèse selon laquelle les pupilles dilatées sont l'un des attracteurs de la communication non verbale n'a pas été prouvée.
Même plus tard, des études ont commencé à apparaître numériquement liées à l'effet sur le réflexe de l'élève de divers types de tension mentale (examen attentif des objets, calculs dans l'esprit) et des troubles nerveux (dépression, irritabilité accrue, etc.).
Fonctionnement de l'appareil
Ce sont de si grandes lunettes ou jumelles. Vous devez regarder à l'intérieur pendant quelques secondes, il y a des LED infrarouges et des caméras vidéo.
Pour être plus précis, les éléments suivants sont utilisés: LED à spectre infrarouge - pour éclairer les yeux, elles sont invisibles à la vision humaine; LED à spectre visible - avec lumière blanche, pour flash; un appareil photo numérique pour la gamme infrarouge avec un objectif et une petite marque de diode pour focaliser les yeux pendant l'examen. Dans les "jumelles" s'adapte également la carte de commande, les connecteurs et autres kits de carrosserie.
D'abord, il vous reconnaît par l'iris pour que vous n'apportiez pas les yeux des autres. L'examen lui-même après l'authentification dure de 6 à 8 secondes, le candidat applique fermement le masque de l'appareil sur ses yeux afin d'exclure un éclairage externe. Dans les 1-2 premières secondes, l'adaptation à l'obscurité se produit. À ce moment, les pupilles s'élargissent à environ 5-6-7 millimètres, essayant de donner un maximum de lumière à la rétine afin qu'au moins quelque chose puisse être reconnu. Nous mettons en évidence les yeux avec une LED infrarouge, - pour une personne cette plage n'est pas visible, et la pupille n'y répond pas. Regardez, les pupilles sont grandes et belles:
Après avoir atteint le diamètre maximal de la pupille pendant 200 ms, les diodes à lumière blanche (stimulus lumineux) s'allument. Le début du stimulus lumineux est considéré comme nul sur l'échelle de temps lors de la construction du pupillogramme - un graphique de la dépendance du changement du diamètre de la pupille dans le temps. Nous sommes intéressés par les 5 prochaines secondes après le flash. Le point Dmin (compression maximale du sphincter des pupilles) ressemble à ceci:
Un appareil photo numérique enregistre des images de deux yeux avec une fréquence d'au moins 40 images par seconde. Le logiciel de contrôle (logiciel) trouve une pupille sur chaque trame et détermine son diamètre.
De plus, la pupille se dilate progressivement.
La tâche principale: nous devons obtenir un pupillogramme, c'est-à-dire un graphique de la réaction de l'élève à la lumière. Nous reconnaissons la vidéo, supprimons le bruit dans les données (nous avons beaucoup de cadres de référence) et obtenons un graphique (voici un exemple de mon collègue, une personne en bonne santé):
Le pupillogramme contient trois zones importantes: la zone latente, la zone de rétrécissement de la pupille et la zone de récupération. Les paramètres clés de la région latente sont le diamètre initial de la pupille (DN) et le temps de retard de la réaction de la pupille depuis le début de l'exposition à la lumière (TL). La deuxième région du graphique est caractérisée par un diamètre minimum (Dmin) et un temps de rétrécissement (TC), la troisième région - points de restauration du diamètre de la pupille de 50, 66 et 75 pour cent de l'amplitude de rétrécissement. Un pupillogramme peut être jugé inadapté à l'évaluation si une personne a fermé les yeux pendant l'exposition à la lumière, cligné des yeux trop souvent ou surtout déplacé ses yeux d'un côté à l'autre. Des résultats incorrects peuvent être obtenus pour le sujet avec des lentilles colorées.
Le logiciel analyse ensuite ces paramètres dont les plus importants sont le taux de rétrécissement et le taux d'expansion de la pupille. Après cela, une conclusion est tirée sur l'adéquation d'une personne et sa préparation à un travail complexe et dangereux.
Les horaires des personnes très fatiguées, après un manque sévère de sommeil ou en état d'ébriété, alcoolique ou narcotique - seront différents des horaires des personnes dans un état adéquat. Particulièrement bien, la différence sera perceptible si nous obtenons d'abord la norme - nous examinons la personne lorsqu'elle est dans un état normal, puis dans un état anormal.
Les tests
Nous avons testé l'appareil sur environ 760 employés de l'entreprise dans différentes conditions (y compris les fêtes d'entreprise et les jours qui ont suivi). Un total de 3496 mesures avant publication (de nouvelles ajoutées chaque jour). La chose la plus difficile n'est pas tant la reconnaissance que l'évaluation du graphique résultant. Dans le cadre du test, nous nous sommes rendus dans diverses cliniques intéressantes, où les patients ayant un diagnostic connu (par exemple, l'alcoolisme chronique) ont été invités à participer volontairement à l'étude. Il est plus difficile de trouver des sujets en intoxication médicamenteuse pour un échantillon représentatif. Dans le cadre de l'étude, nous avons collaboré avec plusieurs cliniques de traitement de la toxicomanie, où les patients souffrant de toxicomanie et de troubles mentaux sont traités. À des fins médicales, ils prennent des classes de médicaments comme les tranquillisants, les antidépresseurs, les antipsychotiques, les anticonvulsivants et les sédatifs, de sorte que la base s'est accumulée assez grande.
Il était nécessaire de déboguer l'algorithme, de collecter plus de données sur le patient, etc. Chaque personne peut avoir des caractéristiques individuelles de la réaction de l'élève à la lumière. Les toutes premières versions de l'algorithme ont parfois produit des choses généralement drôles à cause des difficultés de reconnaissance. Donc, une fois que nous avons presque hospitalisé le médecin lui-même.
Au cours du développement du projet et de la connexion de nos bêta-testeurs, nous avons construit un système dans lequel le patient ne peut pas tromper consciemment l'appareil pour le «meilleur» côté. Au pire, cela peut, à l'aide d'un certain nombre de mesures, mais l'application devrait simplement éliminer les inadaptés (par exemple, les chauffeurs de bus avant le vol) de spécialistes entièrement prêts au combat.
Nous pouvons effectuer une évaluation en comparant avec la norme après un examen physique ou avec la norme universelle pour ce type de personnes. Par conséquent, en ce moment, nous prenons les données nécessaires du dossier personnel du patient, ou nous collectons une anamnèse comme celle-ci sur un appareil de terrain (c'est l'interface du médecin):
Si l'appareil est intégré dans le terminal de diagnostic, les cartes patient et les données de mesure actuelles sont suffisantes pour construire une hypothèse très précise.
On suppose que le terminal de diagnostic n'exclut pas un examen médical par un spécialiste personnellement, mais l'accélère parfois. Et à condition que tous les indicateurs clés (pupillomètre, alcootest, manomètre) soient mesurés sur l'appareil, il est possible d'envoyer pour un examen physique personnel uniquement ceux pour lesquels le terminal de diagnostic a au moins un doute minimal, et cela peut déjà être 20 personnes sur 100.
D'où vient la carte? Rappelez-vous que depuis que nous avons intégré les caméras dans les «jumelles» et que nous en reconnaissons toujours quelque chose, il est stupide de ne pas utiliser les bibliothèques communes pour reconnaître les gens par l'iris, car c'est un problème résolu depuis très longtemps. Nous obtenons donc l'ID du patient et nous pouvons extraire ses données précédentes.
Voici les bêta-testeurs qui se sont sacrifiés avec altruisme:
Ayant des problèmes avec les lentilles:
Même les lentilles transparentes d'un jour entraînent une diminution de la gravité du réflexe pupillaire, ce qui est très similaire à la fatigue et à l'intoxication. Nous suggérons que cela est dû à une diminution de la quantité totale de lumière qui pénètre dans les yeux lors de l'utilisation de lentilles. Cet effet doit être pris en compte lors de l'analyse de tels graphiques, donc notre interface contient une question obligatoire sur les lentilles avant de commencer l'examen.
Maintenant, nous continuons à affiner les algorithmes et la méthodologie. Vous devez collecter plus de statistiques pour améliorer la précision. L'appareil fonctionne déjà comme un bon testeur de drogue, mais nous en voulons plus. Désormais, les statistiques ne permettent pas de tirer des conclusions diagnostiques fiables. De plus, pour un bon diagnostic de l'état d'une personne en particulier, il est d'abord nécessaire d'effectuer plusieurs mesures normales de la réaction de sa pupille, afin que plus tard, avec une forte probabilité, après tout impact, il puisse détecter des écarts par rapport à la norme - c'est une question du manuel d'instructions pour le personnel des BNP. Nous nous efforçons d'améliorer l'algorithme, de réduire les erreurs du premier et du deuxième type. Les agents de sécurité et les experts de la conformité TB approuvent avec reconnaissance ce travail.
Tir des yeux
Voici la vidéo:
Il est également nécessaire de reconnaître les erreurs (lorsqu'une personne clignote délibérément, tente de s'adapter consciemment et interfère généralement avec le fonctionnement de l'appareil) - alors que de tels cas sont visibles sur le graphique et enregistrés à la main, il y aura une marque sur le manque de fiabilité du résultat plus tard.
Les références