Von Tula nach Berlin: Stadtanalyse auf Instagram

Es ist kein Geheimnis, dass Sie auf Instagram Fotos von jeder größeren Stadt finden können. Was ist, wenn wir versuchen, das gesamte Bild aus Fragmenten zu rekonstruieren? Die erhaltenen Informationen helfen dabei, die Idee unbekannter Orte zu verstehen, und sind für Reisende nützlich und ergänzen traditionelle Reiseführer.

Die Idee, Städte anhand von Fotos zu analysieren, ist im Allgemeinen nicht neu [ 1 , 2 , 3 ], aber ehrlich gesagt sagen die gefundenen Artikel nicht wirklich viel aus.

Das Sammeln von Daten aus Instagram ist ein Thema, das wiederholt behandelt wurde und in diesem Artikel nicht behandelt wird. Über die API kann etwas abgerufen werden, aber wenn kein Zugriff darauf besteht, gibt es alternative Optionen .

Unsere Basiswerkzeuge sind Python und Plotly. Am Ende gibt es Links zu GitHub- und Jupyter-Laptops für verschiedene Städte (die Grafiken sind interaktiv, enthalten daher mehr Informationen und werden für persönliche Bekanntschaften empfohlen). Skripte für die Datenerfassung sind ebenfalls im Repository enthalten.

In diesem Artikel werden wir durch Berlin laufen. Der in diesem Artikel berücksichtigte Datensatz enthält ungefähr 100.000 Fotos für ~ 2.000 Standorte.

Für jeden Standort benötigen wir:

1. Titel
2. Koordinaten
3. Foto (10-100 Stk.)
4. Die Anzahl der Beiträge (die Variable edge_location_to_media auf der Standortseite erscheint nicht in der Dokumentation, bedeutet aber durch indirekte Angaben genau das)

Erster Spaziergang

Stellen Sie die Daten auf die Karte. Um die belebtesten Orte hervorzuheben, kombinieren wir die Orte in derselben Straße zu einer Markierung. Karten werden mit Mapbox gezeichnet.


Karte von Berlin. Markierungen zeigen die Anzahl der Stellen an

Machen wir uns mit den wichtigsten Ortsnamen vertraut. Dazu müssen wir die Koordinaten von Orten in Adressen konvertieren - dies ist die Aufgabe der umgekehrten Geokodierung. Um dies zu lösen, wurde die Google Geocoding API verwendet. Nach dem Sammeln von Geodaten sortieren wir die Straßen und Gebiete nach der Anzahl der Standorte.


Für Städte wie Moskau sind Informationen über die Stadtteile nicht sehr wichtig, alles im Zentrum ist ungefähr gleich, aber Berlin ist heterogener und daher ist es nützlich, beispielsweise Kreuzberg von Prenzlauer Berg zu unterscheiden .

Schauen wir uns eine Liste von Orten an, die nach Beliebtheit sortiert sind.


Es mischt „formelle“ Orte (Denkmäler, Museen, Galerien) mit „informellen“ (Clubs, Bars, Geschäfte). Um voneinander zu trennen, benötigen wir Daten aus Wikipedia. Im Gegensatz zu Instagram steht die API allen Ankömmlingen vollständig zur Verfügung. Auf einer Achse verschieben wir die Anzahl der Beiträge auf Instagram, auf der anderen die Häufigkeit, mit der ein Wikipedia-Artikel über diesen Ort angesehen wurde. In dieser Abbildung befinden sich rechts mehr „formelle“ Orte, rechts populärere.

Um Fehler zu reduzieren, gruppieren wir Standorte entlang der Straßen wie auf einer Karte. Bei der Auswahl von Artikeln für Standorte gehen einige Daten verloren, sodass das Bild weniger Punkte als die Karte enthält.
Insta-Wiki-Diagramm. Für mehrere Straßen sind die wichtigsten Orte markiert. Weitere Informationen finden Sie auf dem Laptop.

Wohin, um ein Selfie zu machen? Schätzen Sie den Anteil der Fotos mit Gesichtern. OpenCV und die Haar-Kaskade helfen uns dabei.
Teilen Sie Fotos mit Gesichtern. Die Punkte auf der rechten Seite des Bildes sind beliebte Orte für Selfies (Brunnen- oder Eitelkeitsmessen).

Tiefer gehen

Als nächstes wenden wir ein neuronales Netzwerk an, um die Umgebung in Fotografien zu bestimmen. Wir verwendeten CNN Places365 , das auf einem am MIT zusammengestellten Datensatz trainiert wurde [4] . Die für diese Aufgabe am besten geeigneten Tags wurden ausgewählt. Finden Sie heraus, welche häufiger vorkommen:
Tag-Bewertung. Namen links original. Sie müssen nicht wörtlich genommen werden: martial_arts_gym ähnelt eher einem Fitnessstudio, und ein Diskothekenetikett kann einfach einen dunklen Raum markieren

Mal sehen, welche Tags den Straßen entsprechen:

Das gleiche auf der Karte:


Karte von Berlin mit den charakteristischsten Tags. Schauen Sie sich das Diskothekenschild auf der rechten Seite an - es ist Friedrichshain, ein pulsierendes Ausgehviertel

Hallo, hallo, Hola

Eine Möglichkeit, etwas über eine neue Stadt zu lernen, besteht darin, sie mit der Ihnen bekannten zu vergleichen. Wir nehmen Merkmalsvektoren für Standorte zweier Städte und erhalten mit t-SNE zweidimensionale Koordinaten. Zur Verdeutlichung versteckte die Figur Orte, die im Bereich der Stadt des Gegners liegen.

Standortvergleich in Berlin und Moskau. Etiketten geben das dominierende Merkmal auf dem Gebiet an. Cluster unterschiedlicher Farben, die nebeneinander angeordnet sind, zeigen Berührungspunkte zwischen Städten an, d. H. Ähnliche Orte.

Schauen wir uns den Unterschied der Zeichen an:
Der Zeichenunterschied zwischen Berlin und Moskau. Es scheint, dass in unserer Hauptstadt häufiger in Fitnessstudios und Umkleidekabinen fotografiert wird

Artikel
1. Wie man die Stadt auf Instagram studiert
2. Was wir Instagram: Eine erste Analyse von Instagram-Fotoinhalten und Benutzertypen
3. Zoomen in eine Instagram-Stadt: Lesen Sie das Lokale über soziale Medien
4. Orte: Eine 10-Millionen-Bilddatenbank zur Szenenerkennung

Laptops
Tula , Moskau , St. Petersburg , Berlin , Rom , Hongkong

Github
github.com/pskryuchkov/voyage