Réseaux de neurones pour le traitement d'images. Dit Alexander Savsunenko de Skylum Software

Alexander Savsunenko crée des systèmes intelligents depuis six ans, dont deux chercheurs principaux à la New York State University à Stony Brook. Il a développé des systèmes intelligents pour l'analyse d'ADN, l'imagerie et le marketing.

Maintenant, Alexander dirige le laboratoire d'IA de Skylum Software, où il est engagé dans des éditeurs graphiques basés sur des réseaux de neurones. Nous avons demandé de quels services créés il était particulièrement fier et pourquoi utiliser les réseaux de neurones dans les tests A / B.


Alexander, parlez-nous de vos travaux de recherche à l'Université de New York à Stony Brook. Quels projets aviez-vous là-bas et étaient-ils liés à l'intelligence artificielle ou au Machine Learning?

Non, ils n'étaient pas directement liés à l'IA et à l'apprentissage automatique. Je cherchais de nouveaux matériaux à base de graphène. Nous avons développé un nouveau matériau pour l'impression 3D qui conduirait l'électricité. Ensuite, en utilisant une imprimante à deux buses, il serait possible d'imprimer à la fois le boîtier et le câblage électronique de la carte à la fois. Nous avons finalement créé le matériel, et maintenant il est en vente.

Après avoir eu un projet intéressant dans le domaine de l'apprentissage automatique - Let's Enhance, un service pour améliorer la qualité des photos. Dites-nous comment vous avez réussi à apprendre à la machine à récupérer des images compressées.

Nous avons pris les images de bonne qualité, nous les avons compressées et bruyantes, puis avons formé le réseau neuronal afin qu'il puisse apprendre à restaurer l'image de bonne qualité. Après une formation sur de telles paires, le réseau neuronal a pu améliorer indépendamment la qualité des images: éliminer la pixellisation, les artefacts de compression et d'autres défauts.


Source de la photo

Qu'est-ce qui a été le plus difficile dans ce projet?

Je pense soutenir ce système en production. Lorsque des articles sont apparus dans TechCrunch, Mashable sur notre service, beaucoup de trafic nous a été envoyé et en un jour, nous avons traité environ 200 000 images. J'ai dû travailler pour que nos serveurs résistent à tout cela.

L'année dernière, Let's Enhance 2.0 est sorti. Qu'y avait-il de nouveau?

Nous avons changé la méthodologie de formation, la fonction de perte, l'architecture de réseau. Si vous souhaitez améliorer la qualité du produit, ces aspects peuvent être modifiés à l'infini.

Quel est le public des services aujourd'hui? Avez-vous réussi à le monétiser?

J'ai quitté Let's Enhance.io il y a presque un an. Après cela, en juillet 2018, la startup s'est inscrite au programme Techstars London et a reçu des investissements de l'accélérateur. Le projet a été monétisé presque immédiatement et est devenu rentable.

À quels développements de l'IA avez-vous participé? Lequel d'entre eux est particulièrement fier?

Mes collègues et moi avions un projet de nutrigénétique Titanovo qui analysait l'ADN. Grâce à l'apprentissage automatique, nous avons appris à prédire les marqueurs physiologiques et les prédispositions en fonction de l'analyse à l'échelle du génome et du génotypage des puces. Ils ont collecté des données à partir d'articles scientifiques, de statistiques, de jeux de données formés, de modèles enseignés, basés sur eux, formulé des recommandations pour les personnes et des prédictions sur leur santé future - tout cela a été construit sur une logique floue, différents classificateurs. Maintenant, il existe de nombreux projets utilisant l'IA et le ML sur la nutrigénétique, la génétique sportive. Mais nous étions parmi les premiers. Des documents sur ces développements peuvent être trouvés dans mon blog sur Medium.

J'ai expérimenté l'optimisation dynamique des pages de destination pour les équipes marketing, en déplaçant la théorie des bandits multi-bras vers les réseaux de neurones. Il a créé des scripts d'apprentissage automatique pour optimiser les achats de trafic. Et le travail d'image que je fais en ce moment est également lié à l'intelligence artificielle. Et je suis fier d'elle aussi.

Vous travaillez actuellement sur des services d'édition d'images. Quelles sont les fonctions du réseau neuronal ici?

Tout d'abord, la reconnaissance des formes. Le plus grand rôle joué par l'IA dans le programme Photolemur de Skylum Software: grâce à la vision industrielle, ce programme peut améliorer les photos en un seul clic.

Comment ça se passe?

Nous téléchargeons une photo et le service l'améliore automatiquement - il vous suffit de l'enregistrer. Pas de fenêtres contextuelles, de curseurs ou de modes.

Pour ce faire, tout d'abord, le programme doit reconnaître le type d'image: portrait, paysage, paysage urbain. Et aussi les gens sur la photo, les bâtiments et autres objets, l'heure de la journée, la période de l'année (si la photo a été prise dans la rue). Ensuite, vous devez segmenter l'image, sélectionner les zones correspondantes. Dans le portrait, par exemple, certaines parties du visage ressortent: les yeux, les oreilles, les narines et d'autres.

Ensuite, tout cela doit être amélioré, et ici l'intelligence artificielle n'est plus utilisée. L'image est améliorée par des algorithmes câblés, suivant la manière dont les photographes traitent ces images. Par exemple, lisser la peau, augmenter le contraste du palais, éclaircir le blanc des yeux. Mais tout cela est secondaire. Tout d'abord, vous devez segmenter l'image.



Quelles bases de données et algorithmes ont été utilisés pour former le système?

En parlant d'un cadre pour développer des réseaux de neurones, je préfère MXNet - un choix plutôt exotique pour aujourd'hui, mais qui gagne progressivement en popularité. Le principal avantage est la rapidité des calculs et le mode hybride de basculement entre les modes impératif et symbolique de programmation des réseaux de neurones, c'est pratique. Mais les noms des jeux de données et des algorithmes, je ne peux pas vous le dire, c'est un secret commercial du projet.

Quelles difficultés avez-vous rencontrées lors de la création d'un éditeur graphique intelligent?

La technologie n'a pas encore mûri, les réseaux de neurones font souvent des erreurs: dans la reconnaissance des formes et surtout dans la segmentation lorsqu'il s'agit d'une image complexe. Par conséquent, j'ai dû analyser les résultats et les éditer en utilisant des méthodes traditionnelles et des algorithmes standard. Il n'est pas encore possible de construire un système qui, du début à la fin, fait tout exclusivement à l'aide d'un réseau de neurones. Bien sûr, lorsque vous travaillez sur l'appareil final de l'utilisateur, vous devez prendre en compte la complexité du réseau - les calculs du processeur sont plutôt lents, tout le monde n'a pas de GPU compatible CUDA et OpenCL n'est pas bien pris en charge.

Quelle image est prise pour l'option parfaite?

Notre équipe d'assurance qualité y travaille et accorde une attention particulière à la qualité finale des images. Étant donné que nos éditeurs de photos et nos caméras changent constamment, il est impossible de fixer une option idéale, car elle change constamment.

Quelle est l'audience de ces produits? Pouvez-vous «attirer» les utilisateurs d'Adobe?

Notre produit phare Luminar est une nouvelle alternative à Adobe Lightroom. En raison de la petite équipe soudée, il est possible d'introduire de nouvelles technologies dans le produit beaucoup plus rapidement et d'attirer constamment de nouveaux utilisateurs. Luminar est idéal pour les photographes débutants et professionnels, car il combine des outils d'édition en un clic et une gamme complète de fonctions pour un travail plus détaillé avec des photos.


Interface Luminar L' article compare le travail dans Luminar et Photoshop

Mais Photolemur est un produit unique et assez jeune, il a un peu plus d'un an. Son public cible est les gens qui ne veulent pas comprendre tous les curseurs et boutons de Photoshop, mais veulent simplement que leurs photos de vacances deviennent rapidement belles. Nous avons réussi à trouver notre public: les ventes sont en cours et le produit est activement utilisé.

Vous êtes également impliqué dans des projets de développement de réseaux de neurones pour optimiser les landing pages. Parlez-nous de ce travail.

Il s'agit d'une tâche classique lorsque vous devez effectuer un test A / B d'une page de destination. Si vous générez des pages séparées pour toutes les options élémentaires possibles, elles peuvent produire des millions de versions. Et pour obtenir un résultat statistiquement significatif avec l'approche classique, vous devez effectuer des tests A / B par paire de toutes ces options. Cela nécessite une quantité incroyable de trafic. De tels tests à grande échelle ne peuvent se permettre que des entreprises disposant de très grandes ressources, Amazon par exemple.

Et si une petite entreprise souhaite tester de nombreuses options, vous pouvez effectuer des tests A / B en utilisant des réseaux de neurones qui fonctionnent avec une formation de renforcement. Ensuite, en fait, remplir la page d'éléments est remis entre les mains d'un réseau de neurones et l'assigner comme tâche pour augmenter la conversion de page. Dans cette version du travail, le réseau de neurones tourne sur le serveur et apprend en parallèle avec le trafic. Et au final, il trouve l'option d'atterrissage optimale beaucoup plus rapide.

Si c'est un peu plus compliqué, l'IA apprendra à afficher des versions de pages de destination personnalisées pour un utilisateur particulier. Parce que nous fournissons également des informations supplémentaires: navigateur, heure du jour, système d'exploitation. En conséquence, l'utilisateur voit la page que le réseau de neurones lui montre et le trafic avec cette méthode doit être attiré beaucoup moins. Bien sûr, un coup parfait n'est pas garanti, mais la page donnera de bons résultats beaucoup plus rapidement.

Alexander parlera de l'utilisation des réseaux de neurones pour l'optimisation du contenu visuel et des pages de destination le 14 novembre à AI Conference Kyiv . La liste des autres intervenants et le programme de l'événement sont sur le site officiel .