Cidades e seus Big Data

Sobre o que os "big data" da cidade falam? Como apresentá-los claramente e - mais importante - como melhorar a vida dos cidadãos com sua ajuda?

Conversamos sobre isso com Andrei Karmatsky , CEO da Urbica . A empresa é especializada na visualização de dados urbanos. Entre seus projetos estão um redesenho de mapas para o MAPS.ME, uma visualização interativa das estatísticas de viagens da Velobike e uma visualização do lançamento do sistema de transporte terrestre Magistral.


Tráfego de bicicletas entre áreas no centro de Moscou. Fonte da imagem - Medium Urbiki Blog



Em muitos de seus projetos, Urbica acompanha os movimentos de pessoas dentro da cidade. Que tipos de dados você usa?

Não coletamos dados por conta própria. Para cada projeto, usamos os dados do cliente ou organizamos sua coleta (por exemplo, estudos de campo e observações de rua para validação de dados).

Para visualizar as viagens ao Yandex.Taxi, usamos dados sobre transferências de táxi, para “Velobike” usamos dados anônimos sobre movimentos de usuários do serviço, para planejamento de transporte da rede de rotas de transporte terrestre Magistral, dados sobre movimentos de passageiros em veículos, dados de operadoras de telefonia móvel, dados de telemetria do tráfego de veículos (todos os ônibus, tróleis e bondes estão equipados com sensores GLONASS).

Naturalmente, os dados transmitidos para nós já estão agregados e não violam a legislação sobre dados pessoais.

O mapa interativo está em urbica.co/bikes

Nossa história com Velobike começou com uma visualização do movimento das bicicletas no final da temporada para um estande no Fórum Urbano de Moscou. Essas visualizações também foram usadas on-line para o projeto especial “Posters”.

Ao visualizar os dados, descobrimos muitas coisas interessantes: mostramos claramente como os cenários de uso de bicicletas alugadas a taxas diferentes, em diferentes momentos do dia, em diferentes áreas da cidade. Simplificando, a visualização de dados (até o momento em que toda a análise estava em Velobike estava no Excel) tornou possível ver a diferença entre a estação de aluguel no centro da cidade e, por exemplo, perto do parque Bitsevsky - esses são cenários completamente diferentes para o uso de bicicleta e, como resultado , vários padrões de demanda.

Entre as observações interessantes dos dados, vimos um problema que pode ser resolvido com a ajuda da análise. A demanda na estação de aluguel de bicicletas é desigual. Isso significa que você pode chegar à estação e não encontrar bicicletas gratuitas ou não encontrar espaço livre para estacionar uma bicicleta já alugada. A Velobike resolve esse problema com uma pequena frota de caminhões que reequilibra o sistema de aluguel entre 450 estações. Decidimos desenvolver um sistema de previsão de demanda e implementar esse sistema no processo de despacho de motoristas, a fim de melhorar o serviço de aluguel na cidade e otimizar os custos de manutenção.

Como funciona o sistema preditivo dos despachantes Velobike? Quais métodos são usados ​​para cálculos?

Para criar um modelo para prever a demanda de bicicletas, usamos as estatísticas de carga da estação (quantas bicicletas estão disponíveis) para todas as estações anteriores, classificamos os distritos da cidade por sinais de mudanças na densidade populacional e nos empregos em diferentes dias da semana e hora do dia, levando em consideração a topografia (isso afeta muito o equilíbrio de partidas Chegada dos ciclistas à estação). O modelo preditivo usa o método XGBoost e fornece o valor previsto da carga da estação (demanda potencial) por uma hora à frente - é durante esse intervalo de tempo que o motorista pode chegar à estação e pegar ou trazer bicicletas.

Para se comunicar com o sistema, os motoristas precisavam usar o chatbot no Telegram. Você teve que mudar a maneira de se comunicar devido a bloqueios?

Planejamos introduzir um chatbot para os drivers do sistema neste verão, para não envolver o despachante nesse processo, uma vez que o modelo na maioria dos casos não requer participação humana. Infelizmente, devido a bloqueios nesta primavera, o bot de bate-papo não foi introduzido.

Que outros dados urbanos faz sentido executar através de algoritmos semelhantes? Onde será mais benéfico?

Parece que esse modelo em particular só pode ser aplicado a estações de aluguel de bicicletas, mas há muitas tarefas interessantes na cidade em que a análise de dados pode ajudar. Por exemplo, achamos interessante identificar rotas de transporte terrestre abaixo do ideal e criar uma rede de rotas mais eficiente.

Interface geral de expedição

Urbica é um dos expositores da AI Conference:
“Mostraremos as ferramentas e tecnologias para visualizar grandes quantidades de dados que desenvolvemos e usamos em nossa empresa. Será interessante para as empresas que têm a tarefa de analisar visualmente grandes quantidades de informação ".

Vamos falar sobre o componente de design do seu trabalho. Quais tendências existem no campo da visualização de dados? Que design parece obviamente desatualizado?

A questão provavelmente não é sobre design, mas sobre conveniência e conteúdo de informações. As interfaces analíticas, onde a visualização é necessária, resolvem principalmente os problemas aplicados, e o principal objetivo do design de interfaces com grandes conjuntos de dados é criar ferramentas convenientes para resolver o problema.

Ao se envolver na visualização de dados, é muito fácil esquecer a tarefa original e se deixar levar pelo próprio processo de visualização. Muitos bons projetos com dados da cidade devem ser tomados como arte de dados, esse é um caminho diferente e o objetivo da visualização é diferente.

Avalie o trabalho dos colegas: que projetos interessantes em sua área surgiram recentemente?

Realmente gostamos do trabalho dos colegas da equipe de visualização do Uber. Eles criaram sua própria ferramenta de visualização de dados Kepler.GL , tornaram acessíveis a todos os usuários e publicaram seu código em código aberto.


A elaboração de um mapa interativo do Gulag levou dois anos. Veja gulagmap.ru

Entre todos os seus projetos, tematicamente e pela quantidade de tempo gasto, destaca-se um projeto com um mapa GULAG interativo. Qual foi a diferença entre o processo de trabalhar nele?

O trabalho do Museu Estadual da História Gulag para criar um mapa interativo dos campos é muito importante para nós. O usuário final deste cartão ou um visitante do museu (este cartão será apresentado na exposição atualizada em dezembro) olha para o cartão e vê apenas um controle deslizante temporário e estatísticas sobre o número de prisioneiros que mudam ao longo dos anos. Essa é a camada superior do projeto. Para criar essa interface, foi necessário coletar uma grande quantidade de dados que até aquele momento existiam apenas em papel. Juntamente com o departamento científico do museu, desenvolvemos um banco de dados especial e ferramentas de coleta de dados para transferir bits de informações dos arquivos para um mapa. Este projeto também é importante socialmente - dessa forma, podemos chamar a atenção para a história do nosso país. Você precisa conhecer coisas terríveis como os Gulag, que não podem ser esquecidas.

Que mudanças o projeto passou da primeira versão para a final?

A interface e o estilo do mapa, talvez, mudaram um pouco. Criamos um protótipo e desenvolvemos interfaces de usuário em iterações sucessivas. Mas o conteúdo interno do projeto mudou bastante - a primeira versão não implicava um sistema para preencher dados no banco de dados. No decorrer do projeto, estudamos com o museu, aprendemos novas necessidades e oportunidades para melhorar o "preenchimento" do cartão.

Você desenvolveu seu próprio componente para este mapa, o React Map GL. Por que é melhor do que soluções prontas?

Utilizamos ativamente as tecnologias da Mapbox, que fornecem as melhores ferramentas, na minha opinião, para desenvolvedores de projetos cartográficos. Ao mesmo tempo, usamos o React.js no frontend. Examinamos as soluções de mapas Mapbox existentes no React.js e percebemos que precisávamos de nosso próprio componente.

Aconteceu o mesmo com o projeto de visualização de dados do estudo de aglomerações urbanas: vimos que as soluções prontas existentes não nos convinham e desenvolvemos nosso próprio servidor de bloco de vetores , que demonstraremos na AI Conference .

Quais tecnologias você costuma usar no seu trabalho?

Como eu já disse, para desenvolvimento front-end é React / Redux, para back-end - Node.js / Rust / Python, para análise de dados - Pyhton, para armazenamento e geoprocessamento de dados - PostgreSQL / PostGIS. Provavelmente não há tecnologias super exóticas aqui.

O que é mais importante para você em seu trabalho? Que desafio global você está tentando resolver?

O mais importante é agregar valor e ver os resultados do seu trabalho no espaço urbano circundante: um museu, aluguel de bicicletas ou transporte público. A idéia básica de criar o "Urbiki" permaneceu inalterada - criamos interfaces nas quais matrizes de dados complexas se tornam compreensíveis e fáceis de entender.