De Tula a Berlín: análisis urbano en Instagram

No es ningún secreto que en Instagram puedes encontrar fotos de cualquier ciudad importante. ¿Qué pasa si tratamos de reconstruir la imagen completa a partir de fragmentos? La información obtenida ayudará a comprender la idea de lugares desconocidos y será útil para los viajeros, complementando las guías de viaje tradicionales.

La idea de analizar ciudades por foto generalmente no es nueva [ 1 , 2 , 3 ], pero, francamente, los artículos encontrados en realidad no dicen mucho.

Cómo recopilar datos de Instagram es un tema que se ha cubierto repetidamente y no se considera en este artículo. Se puede extraer algo a través de la API, pero si no hay acceso a él, hay opciones alternativas .

Nuestras herramientas base serán Python y Plotly. Al final, hay enlaces a las computadoras portátiles GitHub y Jupyter para diferentes ciudades (los gráficos son interactivos, por lo tanto, contienen más información y se recomiendan para conocidos cara a cara). Los scripts para la recopilación de datos también se incluyen en el repositorio.

En este artículo caminaremos por Berlín. El conjunto de datos considerado en este artículo contiene alrededor de 100k fotos para ~ 2k ubicaciones.

Para cada ubicación necesitaremos:

1. Titulo
2. Coordenadas
3. Foto (10-100 piezas)
4. El número de publicaciones (la variable edge_location_to_media en la página de ubicación, no aparece en la documentación, pero por indicaciones indirectas significa exactamente eso)

Primer paseo

Pon los datos en el mapa. Para resaltar los lugares más concurridos, combinamos las ubicaciones ubicadas en la misma calle en un marcador. Los mapas se dibujarán usando Mapbox.


Mapa de Berlín Los marcadores muestran la cantidad de ubicaciones

Conozcamos los principales nombres de lugares. Para hacer esto, necesitamos convertir las coordenadas de los lugares en direcciones; esta es la tarea de la geocodificación inversa. Para resolverlo, se utilizó la API de geocodificación de Google. Después de recopilar datos geográficos, clasificamos las calles y áreas por el número de ubicaciones.


Para ciudades como Moscú, la información sobre los distritos no es muy importante, todo en el centro es casi igual, pero Berlín es más heterogéneo y, por lo tanto, es útil distinguir, por ejemplo, Kreuzberg de Prenzlauer Berg .

Veamos una lista de lugares ordenados por popularidad.


Mezcla lugares "formales" (monumentos, museos, galerías) con "informales" (clubes, bares, tiendas). Para separar uno del otro, necesitamos datos de Wikipedia; a diferencia de instagram, su API está disponible para todos los interesados ​​en su totalidad. En un eje, posponemos la cantidad de publicaciones en instagram, por otra, la cantidad de veces que se vio un artículo de Wikipedia sobre este lugar. En esta figura, los lugares más "formales" se ubicarán más arriba, los más populares a la derecha.

Para reducir errores, agruparemos ubicaciones a lo largo de las calles, como en un mapa. En el proceso de selección de artículos para ubicaciones, se pierden algunos datos, por lo que la imagen contendrá menos puntos que el mapa.
Gráfico de Insta-wiki. Para varias calles, los lugares más significativos están marcados. Vea la computadora portátil para más información.

¿A dónde ir para tomar una selfie? Estime la proporción de fotografías que contienen caras. OpenCV y la cascada Haar nos ayudarán con esto.
Comparte fotos que contengan caras. Los puntos en el lado derecho de la imagen son lugares populares para selfies (bueno o ferias de vanidad)

Yendo más profundo

A continuación, aplicamos una red neuronal para determinar el entorno en las fotografías. Utilizamos CNN Places365 , entrenado en un conjunto de datos compilado en MIT [4] . Se seleccionaron las etiquetas más adecuadas para esta tarea. Descubre cuáles son más comunes:
Calificación de etiqueta. Los nombres quedan originales. No necesitan tomarse literalmente: martial_arts_gym es más como un gimnasio, y una etiqueta de discoteca simplemente puede marcar un cuarto oscuro

Veamos qué etiquetas corresponden a las calles:

Lo mismo en el mapa:


Mapa de Berlín con las etiquetas más características. Echa un vistazo a la etiqueta de la discoteca a la derecha: es Friedrichshain, un vibrante distrito de vida nocturna.

Hola hola hola

Una forma de aprender algo sobre una nueva ciudad es compararla con la que conoces. Tomamos vectores de características para ubicaciones de dos ciudades y usando t-SNE obtenemos coordenadas bidimensionales. Para mayor claridad, la figura oculta lugares que se encuentran en el área de la ciudad del oponente.

Comparación de ubicaciones en Berlín y Moscú. Las etiquetas indican el rasgo dominante en el campo. Los grupos de diferentes colores ubicados uno al lado del otro indican puntos de contacto entre ciudades, es decir, lugares similares

Veamos la diferencia de signos:
La diferencia de signos entre Berlín y Moscú. Parece que en nuestra capital más a menudo fotografiados en gimnasios y probadores

Artículos
1. Cómo estudiar la ciudad en Instagram
2. Lo que Instagram: un primer análisis del contenido de fotos de Instagram y los tipos de usuarios
3. Acercarse a una ciudad de Instagram: leer lo local a través de las redes sociales
4. Lugares: una base de datos de 10 millones de imágenes para el reconocimiento de escenas

Laptops
Tula , Moscú , San Petersburgo , Berlín , Roma , Hong Kong

Github
github.com/pskryuchkov/voyage