No GoTo, ensinamos nossos neurônios, XGBoos, SVMs e outras florestas aleatórias, e então algo veio até nós - falamos muito sobre tecnologia e quase nada sobre áreas nas quais eles podem ser aplicados.

Decidimos corrigir essa supervisão por uma série de artigos nos quais falamos sobre diferentes áreas com quantidades inesperadamente grandes de dados, realizamos entrevistas com analistas e desenvolvedores, falamos sobre projetos que decidimos fazer na escola e assim por diante.

E começaremos com algumas áreas exóticas - urbanismo e arquitetura.

Se você quiser conhecer os detalhes, leia a entrevista com o diretor técnico da empresa analítica Habidatum e o curador de projetos de programação e arquitetura da MARCHI - seja bem-vindo ao gato.

Estudos urbanos

Vamos começar com o urbanismo.

Estudos urbanos é uma ciência que estuda o desenvolvimento de vários sistemas urbanos (transporte, infraestrutura de pedestres, ecologia, assistência médica e outros), sua interação entre si e com os moradores da cidade.

Os analistas nesta área coletam dados de um grande número de fontes: por exemplo, dados sobre movimentação de transporte público, dados de operadoras de telefonia móvel, serviços sociais. redes - e use-as para estudar o funcionamento do ambiente (quem o utiliza e quando, quais ruas são as mais carregadas etc.) e para prever seu comportamento após inovações. Tudo que se move e não se move nas ruas da cidade é um objeto de estudo para os urbanistas.

Vadim Smakhtin, diretor técnico da Habidatum, uma empresa de análise, irá falar mais sobre essa área.

Entrevista: Vadim Smakhtin

Conhecimento

Então, vamos começar. Diga-nos quem você é e o que faz?

Meu nome é Vadim, sou o diretor técnico da Habidatum. Projecto vários sistemas, serviços e dispositivos para trabalhar com dados. Há mais de cinco anos desenvolvo software para visualização e análise de dados relacionados a tópicos urbanos. Às vezes, participo diretamente de projetos analíticos.
De fato, na empresa eu sou uma "camada" entre programadores e urbanistas.

Conte-nos sobre o Habidatum. O que esta fazendo

Meus amigos e eu fundamos o Habidatum há cerca de cinco anos. Agora e agora, estamos envolvidos na análise de dados para arquitetos e planejadores urbanos que têm dúvidas sobre as características do funcionamento do ambiente. Se eles querem saber como o ambiente é usado, como responderá às inovações (construção de novos edifícios, alteração da faixa de rodagem em uma zona de pedestres ...), como otimizar seu uso, etc., eles vêm até nós. Além disso, recentemente vendemos nosso software analítico.
Como CTO, sou responsável pela arquitetura e especificação de nossas soluções de software e supervisiono seu desenvolvimento. Agora, temos toda uma linha de produtos internos e externos, um dos quais é o sistema de visualização de dados Chronotope.

Chronotope

O que é o cronotopo?

Este software é para arquitetos e planejadores urbanos, que precisam analisar diferentes fluxos de dados, não apenas no aspecto espacial, mas também no temporal. Desenvolvemos métodos, como um cubo espaço-tempo, que permitem fazer isso sem problemas.
Além disso, o Chronotope também é usado por empresas que precisam fornecer acesso a seus dados para analistas e imprensa, mas que não podem fazer isso diretamente por razões de privacidade. De qualquer forma, quando você não pode compartilhar dados brutos, ajudamos os clientes a criar visualizações prontas.

Existem análogos do cronotopo?

Um cronotopo é um sistema bastante nicho, por isso é muito difícil falar sobre concorrentes diretos. Existem sistemas GIS, como QGIS e ArcGIS, existem sistemas de visualização de dados, como o "Tableau"; Existem pacotes analíticos que não têm sua própria visualização - e praticamente não existem produtos que combinem as duas funções. É claro que existem os ArcGIS que lançaram seu cubo espaço-tempo, mas eles têm estática, portanto a funcionalidade é extremamente limitada. Além disso, eles têm esse aplicativo de desktop e tudo funciona para nós na nuvem.

Mas você precisa entender que basicamente não vendemos o cronotopo como um produto separado. Nós o usamos principalmente como uma venda de acesso a dados com grande funcionalidade para análise. Essa é uma ideia bastante inovadora, parece que ninguém mais faz isso. A idéia é que tenhamos algumas fontes de dados de parceiros com quem temos um acordo (por exemplo, operadoras de telefonia móvel ou operadoras de dados fiscais) e vendemos aos designers acesso a elas não na forma bruta, mas na interface. Portanto, nosso modelo de negócios em relação ao Chronotope é um modelo híbrido de venda de software e dados juntos. Sim, outras empresas têm seu próprio mercado de datas, mas aí você obtém pedaços de dados que não são sincronizados no tempo, e aqui você obtém tudo de uma forma conveniente e alinhado entre si no tempo e no espaço.

Existem modelos matemáticos ou estatísticos no cronotopo ou é apenas sobre visualização?

Inicialmente, sim, ele era apenas sobre visualização. Claro, havia algumas estatísticas básicas, mas nada disso. Mas agora, depois que conseguimos iniciar com êxito o mecanismo gráfico na nuvem, instalamos um sistema de detecção de anomalias, que indica ao analista lugares interessantes que merecem atenção. O sistema também possui uma API aberta que permite escrever seus próprios detectores. Isso ainda é algo experimental, mas o lançamento está chegando em breve.
Agora também estamos tentando usar o "cronotopo" para modelar o comportamento do ambiente, analisar pós-efeitos e construir preditivamente um cubo espaço-temporal.

Publicar efeitos?

Pós-efeitos são alterações no estado do ambiente após a execução de algumas decisões de design. Por exemplo, aqui montamos um café neste momento e queremos prever como isso afetará o fluxo de pessoas no distrito, o lucro de outras empresas e muito mais. I.e. fazemos uma alteração no sistema e analisamos as mudanças em todos os seus indicadores.

Você pode falar sobre sua pilha?

O mecanismo de renderização em si é escrito pelos profissionais; usamos ativamente os shaders CUDA e OpenGL que atraem um volume de voxel. O suporte é escrito principalmente em Python (Django). Claro, talvez essa não seja a melhor decisão de design, mas porque No começo, tentamos minimizar o limite para novos desenvolvedores, o Python parecia a melhor escolha. Obviamente, o Python é conveniente para escrever módulos analíticos, mas escrever toda a infraestrutura é um tanto estranho. Agora, estamos usando uma infraestrutura de microsserviço, e em breve provavelmente reescreveremos os módulos de serviço. No front-end, tudo é bastante padrão, exceto, provavelmente, o TypeScript, que introduzimos em uma das primeiras versões. De estruturas - React e Redux

Departamento Analítico

Que tipo de pesquisa é realizada pelo departamento analítico?

Basicamente, trata-se de uma análise das funções do território, a que horas funcionam, análise da sociodemografia no território - que tipo de pessoas e quando o consomem, análise de fluxos financeiros - quanto as pessoas gastam e em que períodos de tempo, e tentam construir mapas mentais - o que as pessoas pensam sobre o território como eles dizem sobre ela e assim por diante.

Você pode contar alguns exemplos?

Em princípio, todos os projetos estão em nosso site, você pode ver mais detalhes.

De coisas interessantes, fizemos análises em várias áreas de Londres, onde estudamos a dependência do valor das terras e apartamentos no comportamento das pessoas nas ruas, nas análises de instituições locais e assim por diante. Isso permite determinar os fatores mais importantes quando uma pessoa escolhe um lugar para morar e melhora a qualidade de novas áreas.

Existem projetos para eventos esportivos . Aqui estamos envolvidos na coordenação espaço-temporal. Por exemplo, se tivermos uma correspondência com um grande número de fãs, podemos entender como podemos separar a população local no espaço e no tempo. Isso permite aumentar a densidade do uso do espaço e, é claro, evitar conflitos.

Há um projeto em Dubai onde investigamos dados móveis e analisamos como diferentes padrões de comportamento humano podem ser analisados ​​com base. Como, por exemplo, o padrão de comportamento dentro do shopping center é diferente da área residencial.

Que tipo de pessoas os analistas trabalham para você?

Basicamente, todos os analistas são geógrafos ou pessoas que se formaram na Escola Superior de Urbanismo. Também há arquitetos que estão frequentemente envolvidos no gerenciamento de projetos. Todas essas pessoas não sabem necessariamente programar, mas tentamos desenvolver uma atmosfera na qual as pessoas estejam mais próximas da tecnologia - desenvolvemos a comunicação entre desenvolvedores e analistas. Isso permite que você "manche" um pouco o exame, tornando muito mais fácil as pessoas encontrarem bugs e problemas no nível deles. E, é claro, os desenvolvedores não podem desenvolver um sistema para visualizar dados, cuja natureza eles não entendem.

Os programadores participam do trabalho dos analistas?

Eles estão envolvidos principalmente no desenvolvimento de ferramentas. Embora, é claro, tenhamos uma equipe de pesquisa de data em desenvolvimento para as necessidades dos analistas de projetos específicos. I.e. Os analistas analisam o projeto, analisam-no através do kit de ferramentas e, em seguida, compilam uma descrição técnica, se precisarem fazer algo além do escopo.

Por exemplo?

Há uma análise de sentimentos, word2vec, para procurar sinônimos, modelagem de tópicos e outras PNL. Obviamente, isso não é uma coisa super avançada, mas nosso trabalho não é tanto no desenvolvimento de métodos avançados, como no uso de algoritmos prontos para as necessidades da cidade e da construção. Portanto, também estamos procurando desenvolvedores no departamento de datas, aqueles que estariam interessados ​​em estudos urbanos e tudo relacionado a ele. Seria difícil para nós trabalhar, por exemplo, para pessoas que gostam de aprendizado de máquinas esportivas, nas quais a natureza dos dados quase não é importante. Nossas tarefas não são eliminar por cento extra do modelo, mas entender as especificidades dos dados; portanto, é importante se interessar pelo tópico e pela capacidade de se comunicar com especialistas relevantes.

Em geral, quanto os analistas precisam poder programar se você possui comandos especiais para isso?

Obviamente, sempre tivemos a ideia de criar um tipo de soldado universal que pode programar e analisar, mas, no geral, esse conceito não funciona. Mesmo assim, a equipe no final das contas é equilibrada; portanto, as pessoas que programam melhor - programam mais, aquelas que escrevem histórias bem baseadas em dados - escrevem histórias. Mas, em geral, é claro, sim, a programação não fará mal a ninguém. É mais fácil calcular algumas estatísticas ou executar um pré-processamento simples de dados, a única questão é quanto tempo dedicar a isso.

Onde você aconselha o futuro analista do mundo dos estudos urbanos a ir estudar?

Temos um grande número de crianças da Escola Superior de Estudos Urbanos. Não sei como é do ponto de vista da programação, mas do ponto de vista da educação urbana, essa é uma boa educação. Bem, para programação, há um grande número de cursos on-line e justos.
Do ponto de vista do programador, parece-me que você pode ir a qualquer escola que analise dados (como o ShAD, por exemplo), obter os conceitos básicos de aprendizado de máquina e estatística e começar a fazer algum tipo de projeto relacionado à cidade.

Arquitetura

Mas não o urbanismo sozinho, camaradas.

A arquitetura também possui várias tarefas nas quais a TI simplifica muito a vida. São tarefas relacionadas ao estudo da operação de edifícios e tarefas de projeto automático.

Sobre isso, contaremos ao Professor Associado do Centro Científico e de Treinamento em Arquitetura e Informática MARCHI Milan Stankevich.

Conhecimento

Diga-nos quem você é e o que faz.

Arquiteto, Mestre em Arquitetura,
Professor Associado do Centro Educacional e Científico de Arquitetura e Informática MARCHI.
Membro da União de Arquitetos de Moscou
Curador do Intensives-Pro “Design Algorítmico e Produção Digital” em março
Arquiteto Chefe de Projeto na Tsimailo-Lyashenko e Partners.

Estou envolvido principalmente no design de edifícios e tudo o que pode ser chamado de arquitetura.
Chefe de dissertações de mestrado no Instituto de Arquitetura de Moscou.

Tudo o que está acima é formalidades.

Na verdade, trabalho no departamento de arquitetura de uma equipe de arquitetos em vários projetos. Principalmente edifícios residenciais e públicos. Além das soluções arquitetônicas, estamos envolvidos na modelagem de informações de edifícios. Como parte do trabalho com os alunos, na maioria das vezes nos envolvemos em projetos de pesquisa relacionados ao uso de ferramentas digitais, tanto no processo de design quanto nos próprios conceitos.

Por que você se tornou arquiteto?

Entrei na arquitetura a conselho de parentes, mas somente no terceiro ano percebi que tipo de arquiteto eu quero me tornar, depois de entrar no grupo para o professor alemão. Michael Eichner.
Além disso, como hóspede em Munique, Barcelona, ​​Roterdã, Delft, Londres, ou seja, nas escolas de arquitetura localizadas lá, fiquei muito impressionado com as idéias e a visão de mundo das escolas locais.

Por que você decidiu fazer TI na arquitetura? O que o atrai para isso?

Muito simples
Estou interessado nas causas profundas de certos processos e por que eles são tão organizados. Portanto, em um momento em que todos estavam interessados ​​no resultado obtido no 3Ds max, por exemplo, (visualização espetacular), parecia muito mais importante descobrir por que e como essa ou aquela forma tridimensional é modelada por um computador, por que é digitalizada dessa maneira. Nesse momento, o Rhinoceros 3D começou a mostrar um interesse crescente, onde a alfabetização da construção de formas geométricas está inextrincavelmente ligada a uma compreensão da lógica do próprio programa.

Sobre o HELL na arquitetura

Descobrimos por que programar para urbanistas. E por que é para arquitetos?

Esta pergunta é melhor respondida com exemplos.
Em geral, sem o conhecimento e a compreensão dos princípios de programação, não é tão fácil para os arquitetos entender os recursos da tecnologia de computadores, modelar, por exemplo, e como um computador modela um ambiente tridimensional, processa informações.

Alguns exemplos de aplicação:
http://www.zha-code-education.org/
http://drl.aaschool.ac.uk/portfolio/osteobotics-3/

Em geral, no processo de design, os arquitetos são confrontados com todos os tipos de dados e informações de que precisam. A arquitetura como profissão exige trabalhar com parâmetros quantitativos e qualitativos, porque existem muitas escalas e níveis nos quais a programação tem e pode ocorrer.

Mais claramente sobre a programação em arquitetura, muito provavelmente
Michael Hansmeyer
ou Mark Burri .

No momento, há cada vez mais instruções na atividade arquitetônica nas quais a programação ocorre.
A arquitetura opera com modelos, elementos e blocos; portanto, ao projetar, a interação entre "padrões" ou modelos se presta muito bem às tarefas de programação, o principal é saber como formalizar tarefas.

Em que área de pesquisa você está mais interessado na interseção de programação e arquitetura? Conte-nos sobre projetos interessantes em sua área.

Análise de dados ambientais e adaptação de elementos arquitetônicos às necessidades individuais, se em geral.

Das áreas de interesse, podemos distinguir as que estão envolvidas em algumas das empresas europeias.

Empresa sem sentido está envolvida em uma direção interessante. Eles estão explorando as possibilidades de integrar a tecnologia digital à arquitetura para, de alguma forma, conectar isso aos sentimentos humanos.

Ou um projeto para Londres , que propõe torná-lo mais pedestre. Toda a parte analítica tornou possível identificar o “padrão” final das zonas de pedestres na cidade e encontrar espaços desagradáveis ​​para melhorá-los.

Você tem alguma idéia sobre a aplicação de tecnologias de TI na arquitetura, que ainda não chegaram às mãos?

Se em geral: modelagem de partículas e formação de espaço, levando em consideração os fluxos de energia e estados emocionais. Uma combinação complexa de conhecimento de modelagem da dinâmica de fluidos (partículas), análise do ambiente e uso eficaz e confortável do espaço para cada pessoa.

Mas, em particular, agora o tópico abordado em minha dissertação está mais interessado, a saber, a renovação de bairros residenciais baixos e sua transição para um ambiente inteligente "regenerado". Na prática, esse é o uso efetivo de elementos arquitetônicos em uma cidade inteligente, a conexão de Iot (Internet das Coisas, Indústria 4.0 com as capacidades dos edifícios residenciais existentes, auto-organização da sociedade, a cumplicidade dos moradores na arquitetura de reformar suas casas)

Os programadores comuns podem ajudá-lo com sua pesquisa?

Eles podem, se os arquitetos perceberem que os próprios programadores podem. Até agora, esse entendimento é muito pequeno, pelo menos na Federação Russa.
Mais especificamente, é necessário diferenciar as tarefas do arquiteto.

Alguns - conceituais e analíticos - ajudam a tomar decisões onde a coleta e a análise de dados são necessárias, ou seja, consideração das informações iniciais sobre o site ou a área de design. Existem muitas subtarefas para análise, dependendo da escala, o planejamento da cidade é um nível ou bastante elementar, o nível de uma maçaneta da porta.

Outros conceituais e técnicos são cálculos preliminares, conclusões que permitem tomar uma decisão, cálculos construtivos, cálculos climáticos e outros, fluxos humanos, indicadores econômicos, etc.

- — , , , .. .

— ( , ..) , , ).
, .

.
, , . , , , — .

, , .. , , , , ..

?

.
. , .

.
4 , . 1,2 — . . 3dsmax.
3 — , , , .
— .
.

? Como Para onde correr? ? open-source / ?

, . , . , .
-, , IT .
.

-, , , open source , .
.
, .
, , .
IT https://www.smartgeometry.org/

ETH Zurich
ITKE
SciArch
MIT
AA School of Lonson, DRL
, IT.

, , , .
, :
PRO: , SimplexNoise, ShukhovLab, Softculture.
IT .

, .. , Grasshopper, Dynamo Revit. - , .
. 2011 — .

,
https://thinkparametric.com/
http://www.grasshopper3d.com/page/tutorials-1

http://designalyze.com/software/grasshopper
http://digitaltoolbox.info/ ..
www.lynda.com
.
,
https://provingground.io
https://kierantimberlake.com/
http://www.carloratti.com
http://www.co-de-it.com
https://theverymany.com/

?

— .
, , .
, ( ), , .
, ( ). , , ( ) . , , , .
. .

? ? ?

, , .
, .
, .
, .
.
— , , .

- .

.
“” “”, .
. . -.
.
, .
“”, , , , , , , .

— , , . Architecture 101.

, , , .
,

“ — . . .. 2006
—
— “ ++”,
Parametricism 2.0: Rethinking Architecture's Agenda for the 21st Century

— — .
Branko Kolarevic Architecture in the Digital Age: Design and Manufacturing

IT , AD .

GoTo?

GoTo .

, , Habidatum, , .

.

, , goto (). .

Em geral, foi insanamente interessante, não entendíamos totalmente qual a direção que queríamos e, espontaneamente, juntamente com Olya decidiu participar no último momento e fisgou Cyril com ele) E, em geral, era legal, se a programação costumava ser assustadora, agora eu quero entender e começar a usar, há uma compreensão do que você pode fazer em geral e como agir nos estágios iniciais. É importante que os arquitetos entendam como as informações funcionam e o que está por trás de números infinitos. Graças a este curso, começamos a entender como o python funciona, de onde baixar dados e, geralmente, como conectá-lo a programas do tipo grama e que coisas úteis podem ser feitas) foi difícil para mim porque eu não conhecia bem o inglês, era muito interessante conversar com pirogramas, acho você precisa começar a se comunicar desde o início da escola)

Olya

Primeiro, obtivemos partes da teoria sobre sintaxe, conceitos-chave, operações em Python. Aprendemos mais sobre como a Internet é construída, sobre o relacionamento entre provedores e usuários, como ocorre a interação, por exemplo, a transferência de pacotes, chaves.

Usamos o serviço Face API da Microsoft para criar filtros para fotos. Aprendemos como obter dados sobre os usuários da rede social vk.com e tentamos analisar essas informações em uma amostra de estudantes da marcha, visualizando-as de diferentes maneiras: na forma de diagramas circulares, colunares e de bolhas.

Nós nos familiarizamos com um grande número de jovens motivados, o que incentivou o desenvolvimento no campo da programação o mais rápido possível.

Projetos

Também fizemos vários projetos relacionados a temas arquitetônicos ou voltados para as necessidades da MARCHI. Aqui estão as descrições de alguns deles.

Modificação e geração de fachadas.

Imagine que você é um arquiteto e um cliente chega até você que não sabe de que casa ele gosta e o que exatamente ele quer do projeto. Você, com a consciência limpa, cria sua própria versão do design, mas depois de pensar um pouco, ele envia você para refazer tudo. E agora, após 100 iterações, o projeto com luto pela metade é aceito. Imagine como seria ótimo se houvesse uma oportunidade de entender imediatamente o que o cliente gosta ou não e, ao mesmo tempo, não confiar em suas explicações (que muitas vezes não coincidem com seus gostos reais).

Desenvolvemos coisas que podem gerar projetos de fachada com base em estilos que o cliente gosta e alterando os projetos existentes em sua direção.

Para fazer isso, treinamos o VAE nas fotos das fachadas, treinamos um classificador que previa o estilo da fachada e, em seguida, usando a descida gradiente, alteramos o vetor Hidden State com a função objetivo na forma de entropia cruzada, de acordo com a distribuição alvo dos estilos e a atual.

No entanto, os dados com fotografias das fachadas acabaram sendo muito diversos e pequenos para normalmente treinar o VAE nelas, então tive que reformular um pouco a tarefa.

Geramos novas letras (ala uma mistura de B c H) e mudamos uma letra para as outras (por exemplo, faça F de E). Sim, esta tarefa parece longe do alvo, mas aqui tivemos bons dados (não o MNIST), e as especificidades da tarefa em si não são diferentes. Assim, depois de montar um bom conjunto de dados com fotografias das fachadas, será possível definir o mesmo modelo na primeira tarefa.
A implementação da Prova de conceito pode ser vista aqui .

Agora estamos planejando vários outros projetos urbanos. Portanto, fique atento!

Geração de miniaturas

Arquitetura é uma profissão criativa.

Os arquitetos constantemente geram novas idéias para o design de fachadas, interiores e outros excessos burgueses. Uma corrente de fantasia é boa, mas tem um efeito colateral desagradável - um grande número de rascunhos inacabados, que precisam ser levados à forma divina por um longo e doloroso tempo. Decidimos vir ao resgate.

Nós treinamos um neurônio que pega um rascunho e desenha detalhes na forma de paredes, portas e outros detalhes internos. Isso permite acelerar os estágios iniciais do design.

Arquitetura de rede: CycleGAN. Fizemos uma amostra de treinamento removendo as peças-alvo dos desenhos finalizados.

Você pode ver o projeto aqui .

ScheduleBot

Todos os estudantes e professores da universidade estão familiarizados com o eterno problema dos horários das aulas. Um dia você tem que percorrer palestras difíceis e depois atravessar o campus inteiro para uma palestra para uma pausa de dez minutos - escuridão. Decidimos livrar (ou pelo menos iniciar a libertação) a equipe MARCHI desses problemas.

Para isso, criamos um chatbot que pode enviar aos alunos uma programação para um dia específico e permite que os professores reservem salas de aula para consultas ou palestras. A principal característica do bot é que a comunicação com ele ocorre em uma linguagem natural!

O princípio do bot pode ser lido aqui e veja a implementação aqui .

Adeus

Esperamos que você tenha aprendido algo novo com este artigo e talvez até queira dar uma mão nessas cidades, vilas e casas.

Por sua vez, descobriremos novas áreas nas quais são necessários analistas e cientistas de dados, rebitar projetos no joelho e falar sobre isso.