L'utilisation pratique des réseaux de neurones

Certes, beaucoup se souviennent du 4ème épisode de la 4ème saison de Silicon Valley, sorti l'année dernière, dans lequel Dzang Young a scié l'application Not HotDog.

Comme il s'est avéré en fait, c'était une véritable application qui a fait HBO spécifiquement pour cette série, et Habr a déjà écrit à ce sujet.

Eh bien, nous vous expliquerons comment nous avons créé un bot pour déterminer non seulement les hot-dogs, mais aussi de nombreux autres articles, ainsi que pour déterminer le sexe et l'âge des personnes à partir de photographies.

Contexte

Nous n'allions pas traiter des réseaux de neurones. Nous voulions juste faire un projet pour augmenter la productivité des marchandiseurs dans les réseaux de vente au détail.



Les devoirs des marchandiseurs comprennent, en particulier, la vérification de la disponibilité des marchandises en rayon, pour cela ils doivent se rendre dans les points de vente presque tous les jours et signaler la présence / absence de marchandises au superviseur.

En règle générale, plusieurs magasins sont affectés au marchandiseur et chaque jour, ils vont aux champs - aux points de vente qui leur sont affectés.

Habituellement, les marchands sont obligés de photographier leur étagère et d'envoyer ces photos au superviseur - comme si la preuve que le marchand était effectivement dans le magasin.

Dans la pratique, les marchandiseurs, qui sont au niveau le plus bas de la hiérarchie des vendeurs et qui reçoivent très peu d'argent pour leur travail, ne travaillent pas toujours de bonne foi, parfois ils ne vont pas aux champs, mais envoient de vieilles photos à leurs superviseurs. Ils sont renvoyés, ils se tournent vers d'autres réseaux, le processus se répète - dans cette position, il y a toujours un grand roulement de personnel et un ensemble constant de marchandiseurs.

Les gestionnaires font toutes sortes de tentatives pour améliorer le contrôle des marchandiseurs - ils introduisent des applications délicates avec des coordonnées géographiques, avec l'impossibilité d'envoyer de vieilles photos, etc.

Des acheteurs mystères sont également embauchés pour contrôler les marchands - ils doivent prendre des photos de l'étagère du magasin, disposer du matériel, etc.Il y a même des entreprises qui recherchent de tels acheteurs mystères parmi les étudiants, les écoliers, etc., et vendent ces services au détail. Mais ici se pose la question - qui contrôlera les acheteurs mystères, c'est-à-dire que tout ce qui dépend de la conscience d'une personne a besoin d'une surveillance constante. Et les marchandiseurs trouvent toujours des moyens de contourner le contrôle, en général, du problème du bouclier et de l'épée.

Et l'idée est venue en général d'abandonner le facteur humain. Notre solution est que nous fournissons un contrôle visuel de l'affichage des marchandises et un contrôle de la disponibilité des marchandises sur l'étagère sans la participation de marchandiseurs, et nous le faisons 24/7.

Le fait est que notre messager a une fonctionnalité de vidéosurveillance, c'est-à-dire que vous pouvez mettre un smartphone peu coûteux sur le point et donner accès à la visualisation à toutes les parties intéressées - le marchandiseur, le superviseur, le leader, etc. Ainsi, vous pouvez voir en temps réel à tout moment ce qui se passe sur l'étagère, respectivement, le marchandiseur a toujours des informations pertinentes - qu'il ait besoin d'aller à l'objet ou non.

Le superviseur peut également surveiller le travail du marchandiseur à tout moment, et le chef, par exemple, s'il s'agit d'un réseau fédéral avec un grand nombre de représentants dans les régions, peut voir ce qui se passe avec ses marchandises dans n'importe quelle ville et à tout moment.

Une question raisonnable se pose - pourquoi ne pas utiliser des caméscopes bon marché pour une telle tâche?

La réponse est la facilité d'installation de la vidéosurveillance à l'aide d'un smartphone et la facilité d'utilisation dans le messager.

Dans la plupart des cas, pour un caméscope bon marché qui ne dispose que d'une connexion Wi-Fi, vous devez emporter ce Wi-Fi quelque part et vous aurez probablement besoin d'un routeur avec un modem 3-4G, c'est-à-dire que vous avez déjà besoin de deux appareils. De plus, le smartphone dispose déjà d'une batterie, c'est-à-dire qu'il n'y a pas de problème lors d'une panne de courant.

Pour que le routeur fonctionne correctement, certains réglages doivent être effectués par du personnel plus ou moins qualifié, et dans le cas d'un téléphone, le mode de surveillance vidéo est activé très simplement et peut être effectué par presque tous les utilisateurs.

De plus, pour visualiser un grand nombre de caméras, vous avez besoin d'un logiciel spécial, vous devez penser à l'accès, donner des noms d'utilisateur et des mots de passe, et dans le cas d'un messager, l'accès au visionnement est organisé très simplement - le bon utilisateur a une liste de caméras qui lui sont autorisées et c'est tout.

Le coût d'un smartphone est également faible - de 25 à 30 $ au détail. Pour les smartphones, il existe de nombreux types de supports, il existe de petits smartphones qui peuvent être placés, par exemple, des lumières intérieures pour les étagères, etc.

Problème de 8 milliards de dollars



En plongeant dans le sujet, il s'est avéré que, par exemple, le problème de la disponibilité des marchandises sur les étagères dans les magasins (OSA - On Shelf Availability) est mondial et en raison du manque de produits nécessaires sur les étagères, l'industrie mondiale perd jusqu'à 8 milliards de dollars par an.

Il existe de nombreuses startups qui résolvent ce problème à l'aide de réseaux de neurones - le marchandiseur, lors de son apparition dans le magasin, prend une photo de l'étagère, l'envoie dans le cloud, le réseau de neurones vérifie la photo avec le planogramme et envoie le résultat sous la forme de conseils - quels articles se tiennent correctement, quels produits ne sont pas sur l'étagère etc.

Mais il y a aussi un facteur humain - un employé est venu le matin, a pris une photo, a posté la marchandise selon les règles et est parti. Et puis, littéralement après 5 minutes, un bus avec des clients peut venir qui changera tout ce qu'il a fait, et le superviseur pensera que tout va bien.

Par conséquent, à notre avis, il est préférable de faire l'analyse plusieurs fois dans la journée.En outre, de telles analyses peuvent aider à identifier les tendances des ventes de certains produits.

Pour mettre en œuvre cette idée, nous avons décidé qu'il valait mieux prendre plusieurs photos dans la journée et les envoyer périodiquement pour reconnaissance dans le cloud.

Mais nous n'avions aucune expérience de travail avec les réseaux de neurones, et il nous a semblé assez difficile de créer notre propre moteur et de le former.

Par conséquent, nous avons décidé de prendre une solution toute faite. Quelqu'un peut penser que cette approche est erronée - vous devez payer pour le traitement des images dans le cloud.

Mais il existe des contre-arguments - fabriquer son propre moteur est coûteux et durable, et vous devez former le réseau neuronal, et c'est aussi un processus laborieux.

De plus, en utilisant la solution prête à l'emploi, vous pouvez rapidement déployer le produit fini et ne pas vous lancer dans sa création, marcher sur toutes sortes de râteaux et apprendre de vos erreurs. Et nous ne voulions pas devenir des spécialistes des réseaux de neurones - pour nous, ils ne sont qu'un outil pour résoudre des problèmes spécifiques.

De plus, le marché dispose déjà de nombreuses plateformes utilisables - Amazon Rekognition, Google API, etc. Au fur et à mesure que ces plateformes se développent et se font concurrence, le prix ne fera que baisser.

Par conséquent, nous avons décidé d'utiliser IBM Watson avec son moteur de reconnaissance visuelle.

Bot de reconnaissance visuelle

Un sous-produit du projet de contrôle de l'affichage des marchandises sur les étagères était un bot, que nous avons appelé Visual Recognition.

Le bot est capable de déterminer toutes sortes d'objets à partir de la photo téléchargée ou prise, et sait également comment déterminer le sexe et l'âge des personnes à partir de la photo.

Le bot lui-même, son algorithme, nous l'avons également publié sur IBM Watson, et en conséquence, il utilise le moteur de reconnaissance visuelle avec un réseau neuronal plus ou moins formé au même endroit.

Sur la plate-forme Bluemix, le bot ressemble à ceci:



Comment utiliser le bot

Téléchargez M1 Messenger pour Android ou iOS .

Après vous être inscrit dans la recherche, nous trouvons le Bot de reconnaissance visuelle:



Ajoutez au bot:



Le bot va créer un chat dans l'onglet Business:



Vous pouvez maintenant lui envoyer des photos:



Cliquez sur Traitement et obtenez le résultat:



Donc, le hot-dog détermine, essayez un hamburger:



Il existe une application Vivino assez populaire, dans laquelle l'utilisateur peut prendre une photo de l'étiquette d'une bouteille de vin et obtenir toutes les caractéristiques, notes, prix, etc.:



Avec l'aide du bot de reconnaissance visuelle, vous pouvez faire tout simplement la même chose pour la bière, la vodka, etc. - IBM Watson possède un module d'apprentissage.

Eh bien, la reconnaissance de l'âge par photo:



En plus du sexe et de l'âge, le réseau de neurones tente toujours de déterminer la profession de l'habillement:



Détermination de l'âge, du sexe et des coordonnées sur la photo: