Un quadricoptère canadien obéit aux grimaces de l'opérateur

Exemples de personnes qui ont été utilisées pour contrôler le quadcopter pendant les expériences. La rangée du haut montre des faces neutres auxquelles la machine ne répond pas. Dans la ligne du bas, il existe différentes options pour grimacer les déclencheurs correspondant à la commande Démarrer. Deux haut-parleurs droits - photos à distance d'un multicoptère. Le programme de reconnaissance des visages résout avec succès une mauvaise qualité d'image, reconnaissant les visages à une distance de plusieurs mètres

Pour contrôler l'UAV, un appareil spécialisé ou un programme spécial sur un smartphone / tablette est généralement utilisé. Mais à l'avenir, pour l'interaction des personnes avec les robots, des interfaces plus pratiques pourraient être nécessaires. Des étudiants du Laboratoire des systèmes autonomes de l'École d'informatique de l'Université Simon Fraser ont mis au point un programme expérimental de contrôle d'un quadcoptère à l'aide d'expressions faciales . En principe, il n'y a rien de particulièrement compliqué dans un tel programme, mais l'idée est intéressante.

Théoriquement, un tel contrôle peut être plus intuitif que le contrôle d'un joystick ou de boutons sur une tablette. Même maintenant, dans certaines situations, une personne est plus facile à gérer. Par exemple, dans une expérience avec le lancement d'un drone le long d'une trajectoire parabolique (à la lancer d'une grenade), il est vraiment pratique de diriger la voiture avec la tête inclinée.


Les trajectoires paraboliques des drones sont calculées en fonction de la direction du visage de l'opérateur

Lancer un drone en utilisant une certaine expression faciale est également plus pratique que d'obtenir une télécommande ou d'ouvrir un programme sur une tablette. Imaginez: c'est plutôt formidable de froncer les sourcils ou de relever les joues, ou de faire une autre expression faciale - l'appareil décolle immédiatement et exécute les actions pour lesquelles vous l'avez programmé à l'avance ("lancer une grenade" ou voler autour d'une cible).

En plus des contrôles plus simples, il n'est pas non plus nécessaire de dépenser de l'argent sur un contrôleur, comme c'est le cas avec certains multicoptères. Tout le monde a un visage.


Deux étapes de formation. Entraînement à l'expression faciale neutre gauche. À droite, le quadcopter se souvient du déclencheur de grimace

Les expressions faciales pour le contrôle peuvent être arbitraires. Au stade préliminaire, le programme de reconnaissance faciale est formé. Elle devrait voir votre visage neutre - et une grimace pour l'équipe de déclenchement. Cela se fait comme suit. Vous devez élever le drone au niveau des yeux, le placer en position horizontale et donner au visage une expression neutre. Cette expression doit être conservée jusqu'à ce que le robot soit complètement satisfait. Cela prend généralement moins d'une minute. Ensuite, le drone tourne à 90 degrés - et vous faites une grimace de déclenchement, ce qui est très différent de votre expression neutre.


Vient ensuite l'étape de «visée». Après le décollage, le multicoptère continue de surveiller constamment l'expression sur le visage de l'opérateur à l'aide d'une caméra vidéo. Même si l'opérateur essaie de s'enfuir, le robot le suivra et suivra l'expression sur son visage. A ce stade, l'opérateur apprend au quadcopter l'action qu'il va effectuer sur la commande de déclenchement. Actuellement, trois types d'actions sont mises en œuvre:

• Ray . Mouvement direct dans un azimut donné et à une hauteur donnée. La distance est déterminée par la taille du visage de l'utilisateur au stade de visée. Ici, l'analogie de la «corde d'arc» de l'arc est valable. Plus la corde de l'arc est tendue (plus le visage est éloigné) - plus l'énergie du «tir» est grande.
• Sling . Trajectoire balistique. Cela peut être utile si l'opérateur veut envoyer le multicoptère dans la zone de perte de visibilité, pour un obstacle, par exemple, pour prendre des photos (voir la vidéo ci-dessus). Les développeurs ont judicieusement «projeté» le robot à 45 mètres, mais ils disent que rien n'empêche de le lancer à des centaines de mètres. Et si le drone peut retrouver la face de la cible après le pic de la trajectoire balistique, alors deux opérateurs peuvent être "projetés" par le robot à une distance de plus d'un kilomètre.
• Boomerang . Le mouvement autour du cercle d'un rayon donné avec un retour au point de départ. Ici, les paramètres de trajectoire sont réglés manuellement à l'étape de visée, en fonction de l'angle de rotation du multicoptère.

Les élèves ont utilisé le quadricoptère Parrot Bebop, une bande LED légèrement modifiée pour la rétroaction visuelle.


Les résultats de l'expérience "Ray". Utilisateur marqué d'un astérisque - expert (développeur système)

Dans des expériences, le système s'est révélé étonnamment bon. Les participants ont dû envoyer le drone dans un cerceau d'un diamètre de 0,8 m à une distance de 8 m - et dans la grande majorité des cas, ils ont fait face à la tâche.

À l'avenir, selon les auteurs du projet, les gens devraient "interagir avec les robots et les applications d'IA aussi naturellement qu'ils interagissent maintenant avec d'autres personnes et des animaux dressés - comme décrit dans la science-fiction".

Ils remarquent que grimacer avec des robots est amusant, et cela peut être utilisé dans des applications de divertissement - et les gens s'habitueront à l'idée que les robots sont vraiment amusants à l'avenir.