A paleta permite que os artistas organizem e misturem pinturas de cores diferentes, criando pinturas em telas à sua frente. A existência de uma ferramenta semelhante que poderia permitir que a IA aprendesse juntos a partir de várias fontes de dados, como conversas, histórias, imagens e conhecimento, poderia abrir a porta para pesquisadores e cientistas desenvolverem sistemas de IA mais abrangentes.
A paleta permite ao artista borrar e misturar tintas de cores diferentes. A SpaceFusion está comprometida em ajudar os cientistas de IA a fazer coisas semelhantes para diferentes modelos treinados em diferentes conjuntos de dados.Para modelos modernos de aprendizado profundo, os conjuntos de dados são geralmente representados por vetores em diferentes espaços ocultos, usando diferentes redes neurais. No artigo “
Otimização conjunta da diversidade e relevância na geração de reações neurais ”, meus co-autores e eu apresentamos o SpaceFusion, um paradigma de treinamento que pode “misturar” vários espaços ocultos - como tintas em uma paleta - para que a IA possa usar os padrões e conhecimentos incorporados em cada um dos eles. A implementação deste trabalho está disponível no
GitHub .
Capture a cor da conversa humana
Como primeira tentativa, aplicamos essa técnica à IA interativa neural. Em nossa configuração, espera-se que o modelo neural gere respostas relevantes e interessantes com base no histórico ou contexto da conversa. Apesar do sucesso promissor ter sido alcançado nos modelos de comunicação neural, esses modelos, em regra, tentam não correr riscos, reproduzindo respostas gerais e chatas. Foram desenvolvidas abordagens para diversificar essas respostas e refletir melhor a cor da conversa humana, mas muitas vezes
surge um compromisso com uma diminuição na relevância. .
Figura 1: Como uma paleta que facilita a combinação de tintas, o SpaceFusion alinha ou mistura espaços ocultos dos modelos seq2seq (S2S, pontos vermelhos) e autoencodificador (AE, pontos azuis) para compartilhar os dois modelos com mais eficiência.O SpaceFusion resolve esse problema vinculando espaços ocultos extraídos de dois modelos (Figura 1):
- o modelo de sequência a sequência (S2S), que visa obter respostas relevantes, mas pode ter poucas diferenças; também
- um modelo de autoencoder (AE) capaz de apresentar respostas diferentes, mas não reflete seu relacionamento com a conversa.
Um modelo co-treinado pode aproveitar os pontos fortes de ambos os modelos e organizar os pontos de dados de uma maneira mais estruturada.
Figura 2: O exemplo acima mostra um contexto e suas muitas respostas no espaço oculto causado pelo SpaceFusion. A distância e a direção do vetor de resposta previsto, levando em consideração o contexto, correspondem aproximadamente à significância e diversidade, respectivamente.Por exemplo, conforme mostrado na Figura 2, levando em consideração o contexto - neste caso, "Alguém deseja iniciar este jogo?" - as respostas positivas “eu gostaria de tocar” e “Sim, eu toco” estão localizadas em uma direção. Os negativos - “não estou interessado no jogo” e “não, não estou interessado” - são mapeados em uma direção diferente. A diversidade de respostas é alcançada através do estudo do espaço oculto em diferentes direções. Além disso, a distância no espaço oculto é relevante. As respostas mais distantes do contexto - “Sim, eu jogo” e “Não, eu não jogo” - são geralmente de natureza geral, enquanto as que estão mais próximas são mais relevantes para o contexto específico: “Eu não estou interessado no jogo” e “Quando você vai jogar? "
O SpaceFusion separa os critérios de relevância e diversidade e os apresenta em duas dimensões independentes - direção e distância - facilitando a otimização conjunta de ambos. Nossas experiências empíricas e avaliações em humanos mostraram que o SpaceFusion tem um desempenho melhor nesses dois critérios em comparação às linhas de base competitivas.
Aprendendo espaço oculto compartilhado
Então, como exatamente o SpaceFusion mapeia diferentes espaços ocultos?
A idéia é bastante intuitiva: para cada par de pontos de dois espaços ocultos diferentes, primeiro minimizamos sua distância no espaço oculto comum e, em seguida, mantemos uma transição suave entre eles. Isso é feito adicionando dois novos termos de regularização - termo de distância e termo de suavidade - à função de destino.
Tomando a conversa como exemplo, o termo distância mede a distância euclidiana entre o ponto do espaço oculto S2S, que é exibido com base no contexto e representa a resposta prevista e os pontos do espaço oculto AE que correspondem às suas respostas de destino. Minimizar essa distância faz com que o modelo S2S exiba o contexto como um ponto próximo e cercado por suas respostas em um espaço oculto comum, como mostra a Figura 2.
O termo suavidade mede a probabilidade de gerar uma resposta de destino a partir da interpolação aleatória entre um ponto mapeado de um contexto e um ponto mapeado de uma resposta. Ao maximizar essa probabilidade, incentivamos uma transição suave no valor das respostas geradas à medida que você se afasta do contexto. Isso nos permite investigar a vizinhança do ponto de previsão feito pelo S2S e, assim, gerar uma variedade de respostas que são relevantes para o contexto.
Com essas duas novas regularizações adicionadas à função objetivo, impomos restrições de distância e uniformidade ao aprendizado de espaços ocultos, para que o treinamento não apenas se concentre no desempenho em cada espaço oculto, mas também tente alinhá-los, adicionando essas estruturas desejadas. Nosso trabalho se concentrou em modelos interativos, mas esperamos que o SpaceFusion alinhe espaços ocultos treinados por outros modelos em diferentes conjuntos de dados. Isso conectará as várias habilidades e áreas de conhecimento aprendidas por cada sistema de IA em particular e é o primeiro passo para uma IA mais abrangente.
Veja também: 7 cursos gratuitos para desenvolvedores