Ciudades y sus Big Data

¿De qué hablan los "big data" de la ciudad? ¿Cómo presentarlos claramente y, lo que es más importante, cómo mejorar la vida de los ciudadanos con su ayuda?

Hablamos de esto con Andrei Karmatsky , CEO de Urbica . La empresa se especializa en la visualización de datos urbanos. Entre sus proyectos se encuentra un rediseño de mapas para MAPS.ME, una visualización interactiva de estadísticas de viaje para Velobike y una visualización para el lanzamiento del sistema de transporte terrestre Magistral.


Tráfico de bicicletas entre áreas en el centro de Moscú. Fuente de la imagen - Blog mediano de Urbiki



En muchos de sus proyectos, Urbica rastrea los movimientos de personas dentro de la ciudad. ¿Qué tipos de datos utilizas?

No recopilamos datos por nuestra cuenta. Para cada proyecto, utilizamos datos de clientes u organizamos su recopilación (por ejemplo, estudios de campo y observaciones de calles para la validación de datos).

Para visualizar viajes a Yandex.Taxi, utilizamos datos sobre transferencias de taxis, para "Velobike" utilizamos datos anónimos sobre movimientos de usuarios del servicio, para la planificación del transporte de la red de rutas de transporte terrestre Magistral, datos sobre los movimientos de pasajeros en vehículos, datos de operadores móviles, Datos de telemetría del tráfico de vehículos (todos los autobuses, trolebuses y tranvías están equipados con sensores GLONASS).

Naturalmente, los datos que se nos transmiten ya están agregados y no violan la legislación sobre datos personales.

El mapa interactivo vive en urbica.co/bikes

Nuestra historia con Velobike comenzó con una visualización del movimiento de las bicicletas al final de la temporada para un stand en el Foro Urbano de Moscú. Estas visualizaciones también se utilizaron para el proyecto especial de "Carteles" en línea.

Después de visualizar los datos, encontramos muchas cosas interesantes: mostramos claramente cómo difieren los escenarios de uso de bicicletas de alquiler a diferentes tarifas, en diferentes momentos del día, en diferentes áreas de la ciudad. En pocas palabras, la visualización de datos (hasta este momento todos los análisis en Velobike estaban en Excel) permitió ver la diferencia entre la estación de alquiler en el centro de la ciudad y, por ejemplo, cerca del parque Bitsevsky: estos son escenarios completamente diferentes para usar una bicicleta y, como resultado , varios patrones de demanda.

Entre las observaciones interesantes en los datos, vimos un problema que se puede resolver con la ayuda de la analítica. La demanda en la estación de alquiler de bicicletas es desigual. Esto significa que puede venir a la estación y no encontrar bicicletas gratuitas o no encontrar espacio libre para estacionar una bicicleta ya alquilada. Velobike resuelve este problema con una pequeña flota de camiones que reequilibra el sistema de alquiler entre 450 estaciones. Decidimos desarrollar un sistema de predicción de la demanda e implementar este sistema en el proceso de despacho de conductores para mejorar el servicio de alquiler de la ciudad y optimizar los costos de mantenimiento.

¿Cómo funciona el sistema predictivo para los despachadores de Velobike? ¿Qué métodos se utilizan para los cálculos?

Para crear un modelo para predecir la demanda de bicicletas, utilizamos las estadísticas de la carga de la estación (cuántas bicicletas hay disponibles) para todas las temporadas anteriores, clasificamos los distritos de la ciudad por signos de cambios en la densidad de población y empleos en diferentes días de la semana y la hora del día, tomamos en cuenta la topografía (afecta en gran medida el equilibrio de las salidas Llegada de ciclistas a la estación). El modelo predictivo utiliza el método XGBoost y proporciona el valor pronosticado de la carga de trabajo de la estación (demanda potencial) durante una hora por adelantado; es durante este intervalo de tiempo que el conductor puede llegar a la estación y recoger o traer bicicletas.

Para comunicarse con el sistema, los conductores tuvieron que usar el chatbot en Telegram. ¿Tuvo que cambiar la forma en que se comunica debido a las cerraduras?

Planeamos presentar un chatbot para los controladores del sistema este verano para no involucrar al despachador en este proceso, ya que el modelo en la mayoría de los casos no requiere la participación humana. Desafortunadamente, debido a bloqueos esta primavera, no se introdujo el bot de chat.

¿Qué otros datos urbanos tiene sentido ejecutar a través de algoritmos similares? ¿Dónde será más beneficioso?

Parece que este modelo en particular solo se puede aplicar a las estaciones de alquiler de bicicletas, pero hay muchas tareas interesantes en la ciudad donde el análisis de datos podría ayudar. Por ejemplo, nos parece interesante identificar rutas de transporte terrestre subóptimas y crear una red de rutas más eficiente.

Interfaz de envío general

Urbica es uno de los expositores en AI Conference:
“Mostraremos las herramientas y tecnologías para visualizar grandes cantidades de datos que hemos desarrollado y utilizado en nuestra empresa. Será interesante para las empresas que tienen la tarea de análisis visual de grandes cantidades de información ".

Hablemos sobre el componente de diseño de su trabajo. ¿Qué tendencias hay en el campo de la visualización de datos? ¿Qué diseño parece obviamente anticuado?

La pregunta probablemente no sea sobre diseño, sino sobre conveniencia y contenido de información. Las interfaces analíticas, donde se necesita visualización, resuelven principalmente los problemas aplicados, y el objetivo principal del diseño de la interfaz con grandes conjuntos de datos es crear herramientas convenientes para resolver el problema.

Al estar involucrado en la visualización de datos, es muy fácil olvidarse de la tarea original y dejarse llevar por el proceso de visualización en sí. Muchos buenos proyectos con datos de la ciudad deben tomarse como arte de datos, este es un camino diferente y el objetivo de la visualización es diferente.

Evalúe el trabajo de sus colegas: ¿qué proyectos geniales en su área salieron recientemente?

Realmente nos gusta el trabajo de colegas del equipo de visualización de Uber. Crearon su propia herramienta de visualización de datos Kepler.GL , la pusieron a disposición de todos los usuarios y publicaron su código en código abierto.


La elaboración de un mapa interactivo del Gulag tomó dos años. Ver gulagmap.ru

Entre todos sus proyectos, tanto temáticos como por la cantidad de tiempo dedicado, se destaca un proyecto con un mapa interactivo de GULAG. ¿Cuál fue la diferencia entre el proceso de trabajar en él?

El trabajo para el Museo Estatal de Historia del Gulag para crear un mapa interactivo de los campamentos es muy importante para nosotros. El usuario final de esta tarjeta o un visitante del museo (esta tarjeta se presentará en la exposición actualizada en diciembre) mira la tarjeta y solo ve un control deslizante temporal y estadísticas sobre el número de prisioneros que cambian a lo largo de los años. Esta es la capa superior del proyecto. Para crear esta interfaz, era necesario recopilar una gran cantidad de datos que hasta ese momento solo existían en papel. Junto con el departamento científico del museo, desarrollamos una base de datos especial y herramientas de recopilación de datos para transferir fragmentos de información de los archivos a un mapa. Este proyecto también es importante socialmente, de esta manera podemos llamar la atención sobre la historia de nuestro país. Necesitas saber cosas tan terribles como el Gulag, no se pueden olvidar.

¿Qué cambios ha sufrido el proyecto desde la primera versión hasta la final?

La interfaz y el estilo del mapa, tal vez, cambiaron ligeramente. Creamos un prototipo y desarrollamos interfaces de usuario en sucesivas iteraciones. Pero el contenido interno del proyecto cambió mucho: la primera versión no implicaba un sistema para llenar datos en la base de datos. En el curso del proyecto, estudiamos con el museo, aprendimos nuevas necesidades y oportunidades para mejorar el "llenado" de la tarjeta.

Ha desarrollado su propio componente para este mapa, React Map GL. ¿Por qué es mejor que las soluciones preparadas?

Utilizamos activamente las tecnologías de Mapbox, que proporciona las mejores herramientas, en mi opinión, para los desarrolladores de proyectos cartográficos. Al mismo tiempo, usamos React.js en la interfaz. Examinamos las soluciones de mapas Mapbox existentes en React.js y nos dimos cuenta de que necesitábamos nuestro propio componente.

Lo mismo sucedió con el proyecto de visualizar datos del estudio de las aglomeraciones urbanas: vimos que las soluciones ya existentes no nos convenían y desarrollamos nuestro propio servidor de mosaicos vectoriales , que demostraremos en la Conferencia de AI .

¿Qué tecnologías utiliza con más frecuencia en su trabajo?

Como ya dije, para el desarrollo front-end es React / Redux, para backend - Node.js / Rust / Python, para análisis de datos - Pyhton, para almacenamiento de datos y geoprocesamiento - PostgreSQL / PostGIS. Probablemente no hay tecnologías súper exóticas aquí.

¿Qué es lo más importante para ti en tu trabajo? ¿Qué desafío global estás tratando de resolver?

Lo más importante es llevar valor y ver los resultados de su trabajo en el espacio urbano circundante: un museo, un alquiler de bicicletas o transporte público. La idea básica de crear "Urbiki" no ha cambiado: creamos interfaces en las que los conjuntos de datos complejos se vuelven comprensibles y fáciles de entender.