Détermination du nombre d'étages d'une maison à partir de sa photo sans apprentissage automatique

Dans cet article, je donnerai, à mon avis, une solution intéressante au problème de la reconnaissance informatique des objets dans une image sans utiliser de formation.

Tâche: avoir une photo d'un immeuble à plusieurs étages, essayer de déterminer le nombre d'étages qu'il contient.

Une bonne estimation du nombre d'étages peut donner le nombre de fenêtres à la verticale de la maison. Les fenêtres, les balcons et autres objets sont de bonnes caractéristiques des sols (en particulier dans les bâtiments résidentiels). Je considérerai les bâtiments résidentiels dont les images sont faciles à trouver sur le réseau. Une limitation importante doit être notée à l'avance: la maison dans l'image doit être montrée complètement verticalement, afin qu'il soit possible de détecter visuellement tous les étages.

La tâche est rationnellement divisée en deux étapes:

1. Recherchez la «bande» verticale des fenêtres à compter. Deux sous-tâches: premièrement, vous devez rechercher des fenêtres dans la zone d'image occupée par la maison, et deuxièmement, il y a beaucoup de fenêtres dans les bâtiments résidentiels, cela n'a aucun sens de les analyser toutes. Il est nécessaire de mettre en évidence parmi eux la séquence verticale la mieux adaptée à une analyse ultérieure.
2. Détermination du nombre d'étages (fenêtres ou autres objets caractéristiques) par la zone sélectionnée de la maison.

Cet article est principalement consacré à la première étape de la solution. La deuxième étape est encore en développement, mais je donnerai également quelques résultats de sa solution.

Étape 1. Recherchez la zone avec des fenêtres

L'idée principale est qu'une série d'objets identiques (tels que des fenêtres) qui se distinguent bien sur une maison dans une rangée d'objets identiques créent une séquence périodique de luminosité des pixels. C'est précisément la séquence à trouver. Voici les principales étapes de l'algorithme.

Nous traduisons d'abord l'image en nuances de gris et la mettons à l'échelle (j'ai utilisé des images 400x600px)

Fig.1 Image originale n / b

Plus loin dans la boucle:

1. Sélection sur l'image d'une bande relativement étroite (40px) sur toute la hauteur (Fig.2, image inférieure sans points)
2. Moyenne de la luminosité sur la largeur de la bande. Il s'avère que la ligne w de la distribution de la luminosité moyenne sur la hauteur de la maison (Fig.2 graphique supérieur). Il a une structure périodique clairement visible caractéristique de la zone où il y a des fenêtres. Les fenêtres situées à l'ombre sont moins reconnaissables, mais cela ne fera pas de mal.
3. La différence dw des valeurs de w et w décalées de la distance sh est calculée. La méthode de recherche utilise une telle valeur de décalage sh pour atteindre la réduction maximale de la médiane des différences dw (figure 2, graphique inférieur).
   
   
   Fig.2 "Bande" de fenêtres

Cependant, il ne suffit pas de trouver la bande de l'image sur laquelle la médiane a été la plus fortement réduite. Le fait est que les zones de verdure ou de ciel, avec de faibles valeurs de cisaillement, peuvent donner une diminution plus importante que les fenêtres. Mais si nous traçons la dépendance de la valeur médiane sur la valeur de décalage pour les bandes avec et sans fenêtres, nous pouvons remarquer une différence clé: pour les valeurs de décalage proches de la hauteur des sols, le graphique avec les fenêtres présente des extrema clairement visibles. Ainsi, il n'est pas nécessaire de mesurer le niveau absolu atteignable de la médiane, mais sa diminution maximale par rapport au maximum dans le processus d'augmentation du décalage pour chaque fenêtre. Ceci est un point clé.

sans fenêtres	avec fenêtres

Fig. 3 Changement de la médiane de la luminosité moyenne avec un décalage croissant

Ci-dessous, le code python3 avec des commentaires.

image = Image.open("raf_data/32.jpg").resize((600,400)) # . img = np.array(image.convert("L"), dtype=float)/255 SEARCH_WIDTH = 40 #    x_opt = [0, 1] #    :      sh_range = range(1,100) #    kmax = 0 #       for x in range(0, img.shape[1]-SEARCH_WIDTH, int(SEARCH_WIDTH/2)): amax = 0 amin = 1 #      for sh in sh_range: #    w = img[:,x:x+SEARCH_WIDTH].mean(axis=1) aim = (pd.DataFrame(w)-pd.DataFrame(w).shift(sh))[sh:].abs().median().values[0] #    aim    sh if aim>amax: amax = aim amin = amax if aim<amin: amin = aim aim_k = amax/amin if aim_k>kmax: x_opt = [x, sh, w] kmax = aim_k print(' : {0},  : {1}'.format(x_opt[0], x_opt[1])) 

La figure 2 marque les points définis à la distance du décalage trouvé. Comme vous pouvez le voir, ils marquent bien chaque fenêtre. C'est-à-dire nous connaissons déjà la hauteur du sol!
L'algorithme considéré trouve de bonnes zones régulières sur les façades de divers bâtiments résidentiels (Fig. 4).



Fig.4 Exemple

Étape 2. Compter le nombre d'étages

A ce stade, les principales difficultés commencent. D'autres actions peuvent être les suivantes:

1. Estimer la hauteur de la maison en analysant la courbe des différences de luminosité moyenne ou en utilisant le machine learning). Divisez la hauteur de la maison par la hauteur du sol et obtenez le nombre d'étages.
2. Dans la fenêtre trouvée à la première étape, recherchez des objets similaires aux fenêtres et comptez-les directement, par exemple, à des points spécifiques.

Il semble naturel d'essayer d'abord la première méthode: une fois la hauteur des sols connue, il reste à déterminer la hauteur de la maison. Cependant, des schémas similaires à ceux illustrés à l'étape 1 s'avèrent mal adaptés pour déterminer la hauteur de la maison, en tenant compte de toutes les limites et transitions possibles. Dans certains cas, il est possible d'obtenir de bons exemples de travail, mais pour un bon résultat constant, des approches utilisant l'apprentissage automatique sont nécessaires.

Fig. 5 Détermination de la hauteur de la maison à l'aide d'une forêt aléatoire