Détection rapide des contours en vidéo 4K: couleurs et formes complexes

Dans la partie précédente, «Entraînement des ensembles à partir de la vidéo - rapidement et efficacement», nous avons parlé de la complexité de l'utilisation des réseaux de neurones pour toute tâche associée à des objets rares, inhabituels ou simplement complexes. Assurez-vous de regarder les exemples, ils en valent la peine.


Il s'est avéré que les algorithmes classiques de vision par ordinateur peuvent grandement aider à obtenir des ensembles de formation de haute qualité. Naturellement, cette approche n'est pas applicable dans tous les cas, avec lesquels il est nécessaire de comprendre.

Quelle est la difficulté?

Comme indiqué dans la partie précédente , le marquage manuel détaillé des ensembles est un processus très long et, franchement, n'est généralement pas une option pour toute personne sensée. Le marquage automatique, en particulier en ce qui concerne les contours, semble beaucoup plus intéressant, mais comment obtenir le contour d'intérêt rapidement et avec précision?

Fonction d'adhésion

Cela vaut peut-être la peine de commencer par la fonction d’adhésion. Supposons que l'objet qui nous intéresse se caractérise par une couleur vive, qui, de plus, est unique à l'objet dans le contexte d'une scène particulière:


Compte tenu des spécificités de l'approche (à savoir, la nécessité de telles scènes qui sont faciles à «analyser»), il est assez facile de formuler une règle pour sélectionner des exemples pour obtenir un ensemble de formation: les scènes pour lesquelles la règle de l'unicité des couleurs de l'objet souhaité sera remplie seront très utiles (rappelez-vous, avec tous les cas difficiles vous devrez faire face à un réseau de neurones qui a été formé avec succès à l'aide de l'ensemble généré).

En fait, la condition d'unicité est un minimum nécessaire, car la couleur peut et doit également être travaillée sur:

Distance de couleur

Travailler avec la couleur, dans ce cas, est une partie très importante de toute l'approche. En effet, la fonction d'appartenance peut être implémentée en fonction de la proximité d'une couleur donnée avec une valeur seuil définie:



La solution existante utilise plusieurs implémentations Delta E comme standard le plus précis. Par exemple, CIE94 dans l'espace colorimétrique LCH (L * C * h):



Un seuil trop grand, pour la distance des couleurs, est susceptible de «casser» le chemin, capturant des pixels qui ne sont pas liés à l'objet souhaité. Trop petit - ne sélectionne qu'une partie de l'objet souhaité. À cet égard, les scènes complexes nécessitent de l'attention, par exemple:



La baleine sur la photo est toujours perceptible à l'œil (avec difficulté, bien sûr), mais le contour est déjà mal construit. Exemple entier:

Restaurer le circuit

Supposons que tout va bien avec la couleur, comment obtenir le contour souhaité? La tâche n'est pas simple, car le résultat est susceptible d'être assez complexe, avec des cavités, des éléments mineurs, etc. Laquelle des options pour le contour restauré pour un seul objet est correcte?


L'éclairage est complexe, les ombres, les réflexes font partie intégrante du monde tridimensionnel, etc. Nous utilisons un exemple plus complexe:


L'algorithme pour obtenir un tel résultat est le suivant:

1. image source
2. sélection de l'étape de numérisation (performances critiques)
3. balayage horizontal
4. balayage vertical et analyse d'intersection pour rechercher des "objets" isolés
5. construction d'un tableau de méta-pixels (pour identifier à la fois la forme et les caractéristiques internes de l'objet) et post-traitement (filtrage, lissage, etc.)
6. "Vectorisation" de la forme restaurée de l'objet

L'analyse d'intersection facilite la localisation de zones distinctes et indépendantes. En activant le mode d'affichage de la ligne de balayage, vous pouvez facilement voir à la fois l'approche elle-même et l'effet de l'étape de balayage sur le résultat final. Faites attention à une astuce très simple avec une bordure qui améliore considérablement l'impression que vous faites:



La précision du circuit reconstruit est facile à évaluer à l'aide de l'exemple suivant:

Test final

Plus d'objets, plus de contours, une meilleure précision, des cheveux et en 4K - si vous vérifiez votre mise en œuvre, donc avec des chansons et des danses.


Jusqu'à la prochaine fois, et d'autres détails tout aussi intéressants.

Autres résultats

Suivez le développement du projet

YouTube: RobotsCanSee
Télégramme: RobotsCanSeeUs