Städte und ihre Big Data

Worüber sprechen die "Big Data" der Stadt? Wie kann man sie klar darstellen und - was noch wichtiger ist - mit ihrer Hilfe das Leben der Bürger verbessern?

Wir haben mit Andrei Karmatsky , CEO von Urbica, darüber gesprochen . Das Unternehmen ist spezialisiert auf die Visualisierung von Stadtdaten. Zu ihren Projekten gehören eine Neugestaltung der Karte für MAPS.ME, eine interaktive Visualisierung der Reisestatistik für Velobike und eine Visualisierung für den Start des Magistral-Bodentransportsystems.


Fahrradverkehr zwischen Gebieten im Zentrum von Moskau. Bildquelle - Mittlerer Urbiki-Blog



In vielen seiner Projekte verfolgt Urbica die Bewegungen der Menschen in der Stadt. Welche Arten von Daten verwenden Sie?

Wir sammeln keine eigenen Daten. Für jedes Projekt verwenden wir Kundendaten oder organisieren deren Erfassung (z. B. Feldstudien und Straßenbeobachtungen zur Datenvalidierung).

Zur Visualisierung der Fahrten nach Yandex.Taxi verwendeten wir Daten zu Taxitransfers, für „Velobike“ anonyme Daten zu Bewegungen von Dienstnutzern, zur Transportplanung des Magistral Landtransportroutennetzes, Daten zu Passagierbewegungen in Fahrzeugen, Daten von Mobilfunkbetreibern, Telemetriedaten des Fahrzeugverkehrs (alle Busse, Obusse und Straßenbahnen sind mit GLONASS-Sensoren ausgestattet).

Natürlich sind die an uns übermittelten Daten bereits aggregiert und verstoßen nicht gegen die Gesetzgebung zu personenbezogenen Daten.

Die interaktive Karte befindet sich unter urbica.co/bikes

Unsere Geschichte mit Velobike begann mit einer Visualisierung der Bewegung von Fahrrädern am Ende der Saison für einen Stand auf dem Moscow Urban Forum. Diese Visualisierungen wurden auch für das Sonderprojekt „Poster“ online verwendet.

Nachdem wir die Daten visualisiert hatten, fanden wir viele interessante Dinge: Wir haben deutlich gezeigt, wie sich die Szenarien für die Nutzung von Leihfahrrädern zu unterschiedlichen Tageszeiten in verschiedenen Stadtteilen unterscheiden. Einfach ausgedrückt, die Datenvisualisierung (bis zu diesem Zeitpunkt war die gesamte Analyse bei Velobike in Excel) ermöglichte es, den Unterschied zwischen der Mietstation in der Innenstadt und beispielsweise in der Nähe des Bitsevsky-Parks zu erkennen - dies sind völlig unterschiedliche Szenarien für die Verwendung eines Fahrrads verschiedene Nachfragemuster.

Unter den interessanten Beobachtungen in den Daten haben wir ein Problem gesehen, das mit Hilfe von Analysen gelöst werden kann. Die Nachfrage an der Fahrradverleihstation ist ungleichmäßig. Dies bedeutet, dass Sie zum Bahnhof kommen und keine kostenlosen Fahrräder oder keinen freien Platz zum Abstellen eines bereits gemieteten Fahrrads finden können. Velobike löst dieses Problem mit einer kleinen Flotte von Lastwagen, die das Mietsystem zwischen 450 Stationen neu ausbalancieren. Wir haben uns entschlossen, ein Bedarfsprognosesystem zu entwickeln und dieses System in den Fahrerversandprozess zu integrieren, um den Stadtmietservice zu verbessern und die Wartungskosten zu optimieren.

Wie funktioniert das Vorhersagesystem für Velobike-Disponenten? Welche Methoden werden darin für Berechnungen verwendet?

Um ein Modell für die Vorhersage der Nachfrage nach Fahrrädern zu erstellen, haben wir die Statistik der Stationslast (wie viele Fahrräder verfügbar sind) für alle vorhergehenden Jahreszeiten verwendet, die Stadtteile nach Anzeichen von Veränderungen der Bevölkerungsdichte und der Arbeitsplätze an verschiedenen Wochentagen und zu verschiedenen Tageszeiten klassifiziert und die Topographie berücksichtigt (dies wirkt sich stark auf das Gleichgewicht der Abfahrten aus) Ankunft der Radfahrer am Bahnhof). Das Vorhersagemodell verwendet die XGBoost-Methode und gibt den vorhergesagten Wert der Stationslast (potenzielle Nachfrage) für eine Stunde im Voraus an. Während dieses Zeitintervalls kann der Fahrer an der Station ankommen und Fahrräder abholen oder mitbringen.

Um mit dem System zu kommunizieren, mussten die Fahrer den Chatbot in Telegram verwenden. Mussten Sie die Art und Weise Ihrer Kommunikation aufgrund von Sperren ändern?

Wir hatten vor, diesen Sommer einen Chatbot für Systemtreiber einzuführen, um den Dispatcher nicht in diesen Prozess einzubeziehen, da das Modell in den meisten Fällen keine menschliche Beteiligung erfordert. Leider wurde der Chat-Bot aufgrund von Blockaden in diesem Frühjahr nicht eingeführt.

Welche anderen städtischen Daten sind sinnvoll, um ähnliche Algorithmen zu verwenden? Wo wird es am vorteilhaftesten sein?

Dieses spezielle Modell kann anscheinend nur auf Fahrradverleihstationen angewendet werden, aber es gibt viele interessante Aufgaben in der Stadt, bei denen Datenanalysen hilfreich sein könnten. Zum Beispiel finden wir es interessant, suboptimale Bodentransportrouten zu identifizieren und ein effizienteres Streckennetz zu schaffen.

Allgemeine Versandschnittstelle

Urbica ist einer der Aussteller der AI Conference:
„Wir werden die Tools und Technologien zur Visualisierung großer Datenmengen zeigen, die wir in unserem Unternehmen entwickelt und verwendet haben. Es wird für Unternehmen interessant sein, die die Aufgabe haben, große Informationsmengen visuell zu analysieren. "

Lassen Sie uns über die Designkomponente Ihrer Arbeit sprechen. Welche Trends gibt es im Bereich der Datenvisualisierung? Welches Design sieht offensichtlich veraltet aus?

Bei der Frage geht es wahrscheinlich nicht um Design, sondern um Bequemlichkeit und Informationsgehalt. Analytische Schnittstellen, bei denen eine Visualisierung erforderlich ist, lösen in erster Linie angewandte Probleme. Das Hauptziel des Schnittstellendesigns mit großen Datenmengen besteht darin, praktische Tools zur Lösung des Problems zu erstellen.

Wenn Sie sich mit Datenvisualisierung beschäftigen, ist es sehr leicht, die ursprüngliche Aufgabe zu vergessen und sich vom Visualisierungsprozess selbst mitreißen zu lassen. Viele gute Projekte mit Stadtdaten sollten als Datenkunst verstanden werden, dies ist ein anderer Weg und das Ziel der Visualisierung ist anders.

Bewerten Sie die Arbeit von Kollegen: Welche coolen Projekte in Ihrer Nähe sind kürzlich herausgekommen?

Wir mögen die Arbeit der Kollegen aus dem Uber-Visualisierungsteam sehr. Sie erstellten ihr eigenes Datenvisualisierungstool Kepler.GL , machten es allen Benutzern zugänglich und veröffentlichten seinen Code in Open Source.


Die Erstellung einer interaktiven Karte des Gulag dauerte zwei Jahre. Siehe gulagmap.ru

Unter all Ihren Projekten, sowohl thematisch als auch durch den Zeitaufwand, sticht ein Projekt mit einer interaktiven GULAG-Karte hervor. Was war der Unterschied zwischen dem Prozess der Arbeit daran?

Die Arbeit des Staatlichen Museums für Gulag-Geschichte an der Erstellung einer interaktiven Karte der Lager ist für uns sehr wichtig. Der Endbenutzer dieser Karte oder ein Besucher des Museums (diese Karte wird in der aktualisierten Ausstellung im Dezember vorgestellt) sieht sich die Karte an und sieht nur einen temporären Schieberegler und Statistiken über die Anzahl der Gefangenen, die sich im Laufe der Jahre geändert haben. Dies ist die oberste Ebene des Projekts. Um diese Schnittstelle zu erstellen, musste eine große Datenmenge erfasst werden, die bis zu diesem Zeitpunkt nur auf Papier vorhanden war. Zusammen mit der wissenschaftlichen Abteilung des Museums haben wir eine spezielle Datenbank und Datenerfassungstools entwickelt, um Informationen aus Archiven auf eine Karte zu übertragen. Dieses Projekt ist auch sozial wichtig - auf diese Weise können wir auf die Geschichte unseres Landes aufmerksam machen. Sie müssen über so schreckliche Dinge wie den Gulag Bescheid wissen, sie können nicht vergessen werden.

Welche Änderungen hat das Projekt von der ersten bis zur endgültigen Version erfahren?

Die Kartenoberfläche selbst und der Stil haben sich möglicherweise geringfügig geändert. Wir haben einen Prototyp erstellt und Benutzeroberflächen in aufeinanderfolgenden Iterationen entwickelt. Der interne Inhalt des Projekts hat sich jedoch stark geändert - die erste Version implizierte kein System zum Einfügen von Daten in die Datenbank. Im Verlauf des Projekts haben wir mit dem Museum studiert, neue Bedürfnisse und Möglichkeiten zur Verbesserung der "Füllung" der Karte kennengelernt.

Sie haben Ihre eigene Komponente für diese Karte entwickelt, React Map GL. Warum ist es besser als fertige Lösungen?

Wir verwenden aktiv Technologien von Mapbox. Sie bieten meiner Meinung nach die besten Tools für Entwickler kartografischer Projekte. Gleichzeitig verwenden wir React.js im Frontend. Wir haben die vorhandenen Mapbox-Kartenlösungen in React.js untersucht und festgestellt, dass wir unsere eigene Komponente benötigen.

Ungefähr das Gleiche geschah mit dem Projekt der Visualisierung von Daten aus der Untersuchung städtischer Ballungsräume: Wir stellten fest, dass die vorhandenen vorgefertigten Lösungen nicht zu uns passten, und entwickelten unseren eigenen Vektor-Kachelserver , den wir auf der AI-Konferenz demonstrieren werden.

Welche Technologien verwenden Sie am häufigsten in Ihrer Arbeit?

Wie ich bereits sagte, ist für die Front-End-Entwicklung React / Redux, für das Backend - Node.js / Rust / Python, für die Datenanalyse - Pyhton, für die Datenspeicherung und Geoverarbeitung - PostgreSQL / PostGIS. Hier gibt es wahrscheinlich keine super-exotischen Technologien.

Was ist für Sie bei Ihrer Arbeit am wichtigsten? Welche globale Herausforderung versuchen Sie zu lösen?

Das Wichtigste ist, Wert zu tragen und die Ergebnisse Ihrer Arbeit im umliegenden Stadtraum zu sehen: ein Museum, ein Fahrradverleih oder öffentliche Verkehrsmittel. Die Grundidee, „Urbiki“ zu erstellen, ist unverändert geblieben - wir erstellen Schnittstellen, in denen komplexe Datenfelder verständlich und leicht verständlich werden.