Conjunto de dados 3D maciço ajuda os robôs a entender as coisas

PartNet - um novo banco de dados semântico de objetos do cotidiano, elevando o grau de entendimento dos robôs do mundo circundante a um novo nível

O banco de dados contém pelo menos 26.671 modelos 3D de 24 categorias de objetos, cada um deles equipado com informações tridimensionais detalhadas.

Uma das habilidades humanas que nos permite nos adaptar tão bem ao mundo ao nosso redor é ser capaz de entender coisas diferentes ao mesmo tempo em categorias inteiras e usar esse entendimento generalizado para lidar com algumas coisas específicas que não encontramos antes. Imagine, por exemplo, uma lâmpada. Ninguém viu todas as lâmpadas do mundo. Mas na maioria dos casos, quando entramos em uma nova casa, podemos encontrar facilmente todas as lâmpadas e entender como elas funcionam. É claro que, às vezes, podemos encontrar algo muito estranho que nos leva a perguntar: “Uau, isso é uma lâmpada? E como ligá-lo? Mas, na maioria dos casos, nosso modelo de lâmpada mental generalizada nos salva.

Ajuda-nos que as lâmpadas, como outras categorias de objetos, por definição, tenham muitos componentes em comum. Lâmpadas geralmente têm lâmpadas. Eles geralmente têm um abajur. Eles provavelmente também têm um suporte para impedir que caiam, um tripé para subir acima do chão e um cabo de alimentação. Se você vir um objeto com todos esses sinais, provavelmente esta é uma lâmpada e, quando entender isso, poderá adivinhar como usá-lo.

Esse nível de entendimento geralmente é atribuído especialmente aos robôs, o que é desagradável, porque isso é uma coisa muito útil. Você pode até dizer que podemos confiar nos robôs para trabalhar autonomamente em um ambiente não estruturado apenas quando eles puderem entender objetos em um nível próximo ao descrito. Na conferência CVPR 2019 de visão computacional e reconhecimento de padrões , uma equipe de pesquisadores de Stanford, Universidade da Califórnia, Universidade de São Francisco e Intel anunciou a criação do PartNet , um enorme banco de dados de objetos tridimensionais cotidianos, divididos em partes e descritos no nível que eles esperam. os criadores da base, ajudarão os robôs a entender o que é uma lâmpada.


Exemplos de formulários com pequenos detalhes descritos de objetos de 24 categorias

O PartNet é um subconjunto do ShapeNet, uma base 3D ainda maior de 50.000 objetos do cotidiano. O PartNet contém 26.671 objetos de 24 categorias (por exemplo, portas, mesas, cadeiras, luminárias, microondas, relógios), e cada um dos objetos é dividido em partes marcadas. Aqui está o que parece no caso de duas lâmpadas completamente diferentes:


As propriedades dos objetos no PartNet são organizadas por especialistas em estruturas hierárquicas para cada uma das categorias, por exemplo, para lâmpadas. O modelo inclui objetos de vários tipos, como um candeeiro de mesa (à esquerda) e um candeeiro de teto (à direita). O modelo foi projetado como um profundo e abrangente, cobrindo tipos estruturalmente diferentes de lâmpadas; ao mesmo tempo, componentes com conceito idêntico, como uma lâmpada ou abajur, aparecem em diferentes tipos.

O PartNet é uma excelente base para marcar todos os pequenos detalhes. Bancos de dados como o ShapeNet geralmente contêm apenas declarações como “esse monte de coisas são lâmpadas”, e a utilidade desses bancos de dados é limitada. A PartNet, pelo contrário, oferece uma maneira de entender as lâmpadas em um nível fundamental: em quais partes elas consistem, em que controle elas têm, etc. Isso não apenas ajuda a generalizar muito melhor a detecção de lâmpadas que o computador não havia encontrado antes, mas também permite que o sistema autônomo adivinhe como interagir produtivamente com novas lâmpadas.

Como você pode imaginar, criar o PartNet era uma tarefa muito demorada. Quase 70 "compiladores profissionais" passaram uma média de 8 minutos cada um desses 26671 formulários 3D descrevendo 573 585 partes e, em seguida, cada descrição foi verificada por pelo menos um outro compilador. Para manter a uniformidade, foram criados modelos para cada classe de objetos, que deveriam minimizar o conjunto de partes, mas ao mesmo tempo garantir que o banco de dados descreva de forma abrangente tudo o necessário para determinar toda a classe de objetos. Componentes de objetos também são organizados hierarquicamente, e componentes menores fazem parte de outros maiores. Veja como é pintado:



Para que esses dados sejam úteis fora do PartNet, os robôs precisam aprender a conduzir segmentação tridimensional independentemente, aceitando um modelo tridimensional de um objeto (criado pelo próprio robô) e dividindo-o em partes que podem ser identificadas e associadas a modelos de objetos existentes. Isso é difícil de fazer por vários motivos: por exemplo, você precisa identificar partes individuais de nuvens de pontos que podem ser pequenas, mas importantes (como alças em gavetas), e muitas partes de objetos com aparência semelhante podem ser semanticamente diferentes .

Os pesquisadores fizeram alguns progressos nessa área, mas essas questões exigem mais trabalho. O PartNet também ajudará nisso, fornecendo um conjunto de dados que pode ser usado para desenvolver algoritmos aprimorados. Em algum momento, o PartNet pode se tornar parte da base de sistemas que podem construir modelos 3D similares de maneira completamente independente, assim como conjuntos de dados para robomobiles passam de montados em humanos para montados em computador sob supervisão humana. Chegar a esse nível de entendimento semântico de um ambiente não familiar e não estruturado será fundamental para criar robôs que possam se adaptar ao mundo real, pelo qual estamos esperando há tanto tempo.