Novo curso online gratuito de análise de texto de rede neural da Samsung

Habitualmente usamos a pesquisa na Internet, comunicamos com bots de bate-papo, lemos documentos em qualquer idioma graças aos tradutores. Diga ao aspirador de pó robô para começar a limpar com a voz dele? Nada de especial ... Para muitos, os assistentes de voz em um smartphone entraram na vida cotidiana. O futuro, no qual o computador, depois de ler uma nota estranha sobre o futebol, muda o tom das notícias meteorológicas de acordo, já chegou.

Como tudo isso funciona? Como se tornar um especialista em PNL (significa Natural Language Processing, não confunda com programação neuro-linguística :))?

Os residentes de Khabrovsk que estão fazendo essas perguntas, convidamos você para o curso on-line recentemente aberto Samsung Research Russia. Sob detalhes do gato ...

Autores do curso “Redes Neurais e Processamento de Texto”

Em junho deste ano, escrevemos sobre o lançamento do nosso primeiro curso on-line " Redes Neurais e Visão Computacional ". Acabou sendo bem-sucedido: já existem mais de 20 mil ouvintes, excelentes críticas e até recebemos o Stepik Awards em setembro na indicação "Melhor Curso de Novos Autores" por isso!



Cinco meses se passaram desde o início do primeiro ano e não estávamos ociosos! Armado com a experiência adquirida e inspirada pelo sucesso dos colegas, outra equipe de autores - desenvolvedores do Centro Samsung de Inteligência Artificial em Moscou, especialistas em aprendizado de máquina Roman Suvorov, Anastasia Yanina e Alexey Silvestrov, com o apoio editorial contínuo de Nikolai Kapyrin, dominaram a quantidade gigantesca de trabalho e em 15 de outubro no canal “ Samsung Research Russia Open Education »A plataforma Stepik lançou o segundo curso -" Redes neurais e processamento de texto ".

O curso foi desenvolvido por 7 semanas. Se você gasta, em média, de 3 a 5 horas por semana assistindo a palestras em vídeo, respondendo a perguntas e realizando tarefas práticas, entenderá o que está por trás dos motores de busca modernos, bots de bate-papo e geradores de texto. A equipe fez um grande esforço para garantir que, depois de aprovado em apenas um curso, os alunos pudessem navegar com confiança nas tecnologias no nível de um desenvolvedor júnior ou de qualquer especialista técnico que não tenha experiência específica no trabalho com a PNL, mas agora precisa lidar com isso.

Então, quais são as vantagens distintivas do nosso curso?

• foi desenvolvido pelo Samsung Center for Artificial Intelligence, que tem por trás deles as malas de projetos comerciais nessa área
  
• existe uma teoria e prática - você verá como criar redes neurais para processar texto no PyTorch, implementar as arquiteturas mais relevantes e aprender como adaptá-las às suas necessidades
  
• Como no primeiro ano em visão computacional, os melhores graduados são convidados para uma entrevista na Samsung Research Russia!
  

No infográfico abaixo, refletimos brevemente o conteúdo e as características quantitativas atuais do novo curso:

Os graduados do curso recebem certificados. Nesse caso, duas opções são possíveis:

• um certificado comum, pontos para os quais você pode pontuar resolvendo todos os problemas na parte principal do curso;
  
• certificado com distinção: para isso, você precisará resolver todos os problemas para obter a pontuação mais alta, seguir as trilhas teóricas do curso (lá as tarefas são semelhantes às definidas para os funcionários nas entrevistas) e resolver o problema final no Kaggle.
  

Professores e desenvolvedores de cursos

Programa do curso

1. Introdução

Neste módulo, como primeira aproximação, aprendemos o que significa hoje o processamento de texto do aprendizado de máquina, quais são as dificuldades e quais tarefas da lingüística hoje podem ser resolvidas apenas pelos métodos de aprendizado de máquina.

1. Olá pessoal! Conte-nos sobre você!
   
2. Em termos gerais: linguagem natural e texto
   
3. Recursos de processamento de linguagem natural
   
4. Em geral: Análise Linguística
   
5. Em geral: extração de recursos
   
6. Tarefas e totais de processamento de texto aplicados
   

2. Modelo de texto vetorial e classificação de textos longos

A matemática começa. Modelos vetoriais esparsos, tokens, informações mútuas ... o que é tudo isso? Iremos percorrer os métodos de tradução de uma estrutura multidimensional e multifacetada, contida no texto - em números, para que os algoritmos de ML possam iniciar seu trabalho.

1. Modelo de texto vetorial e TF-IDF
   
2. Crie uma rede neural para trabalhar com texto
   
3. Objetivos teóricos: Modelo de texto vetorial
   
4. Workshop: classificação de textos noticiosos
   

3. Métodos básicos de redes neurais para trabalhar com textos

Usamos redes neurais totalmente conectadas? Qual é a operação “convolução sobre textos”? Parece ser uma operação para matrizes? As respostas estão neste módulo, onde estudaremos as primeiras tentativas bem-sucedidas de ensinar redes neurais a trabalhar com o significado do texto.

1. Algoritmo geral para trabalhar com textos usando redes neurais
   
2. Semântica de distribuição e representações vetoriais de palavras
   
3. Workshop: Receitas de Alimentos e Word2Vec no PyTorch
   
4. Questões teóricas: Fundamentos do processamento de texto por redes neurais
   
5. Os principais tipos de modelos de redes neurais para processamento de texto
   
6. Redes neurais convolucionais para processamento de texto
   
7. Workshop: Marcação de pontos de venda com redes neurais convolucionais
   
8. Questões teóricas: Redes neurais convolucionais em processamento de texto
   

4. Modelos de linguagem e geração de texto

Mergulhe mais fundo nas redes neurais. O texto pode ter qualquer tamanho, mas apenas redes neurais recorrentes permitem que o algoritmo gere texto sem truques especiais. Tentamos ensinar a rede a ler, agora vamos dar a oportunidade de compor.

1. Redes Neurais Recorrentes
   
2. Modelagem de linguagem
   
3. Workshop: Gerando nomes e slogans usando a RNN
   
4. Mecanismo de atenção à agregação
   
5. Transformador e atenção
   
6. Workshop: Modelando uma Linguagem Usando o Transformador
   
7. Temas Teóricos: Modelo de Linguagem e Transformadores
   

5. Conversão de sequências: 1-para-1 e N-para-M

Mas e se a entrada for texto e a saída precisar de texto? Este é um trabalho para o tradutor, para quem, como sabemos, o contexto é mais importante. Se você precisar traduzir uma matriz de texto em outra ou em várias, este módulo fornecerá tudo o que você precisa!

1. Reconhecendo a estrutura plana de textos curtos
   
2. Workshop: Reconhecimento de Receitas
   
3. Workshop: análise de sentimento de aspecto como NER
   
4. Conversão de sequência (seq2seq)
   
5. Workshop: Gerando pedaços de código com estouro de pilha
   
6. Questões teóricas
   

6. Transferência de aprendizado, adaptação do modelo

Você tem um ótimo projeto, mas não possui recursos de computação para super-heróis? Então pegue uma rede neural pronta e treine-a para resolver seu problema específico! Você precisa conhecer alguns nomes e alguns truques de treinamento, e o ponto está no chapéu.

1. Representações contextualizadas e transferência de conhecimento
   
2. Workshop: pytorch-transformers ou como executar o BERT
   
3. Workshop: BERT para pesquisa de perguntas e respostas
   
4. Questões teóricas
   

7. Competição final em Kaggle e conclusão

Ao aproximar o cursor do botão "Iniciar treinamento", você já vê como as cadeias multidimensionais de pseudo-caracteres se desdobram e a atenção da máquina flui entre conceitos? Então mostre-se na nossa competição final!

1. O que mais ler, como desenvolver
   
2. Competição Kaggle: Visão geral do problema e solução básica
   

Requisitos do aluno

O curso foi desenvolvido para estudantes que são um pouco versados ​​no campo de aprendizado de máquina.

O que você precisa para iniciar o curso?

1. Ter conhecimento básico de redes neurais
2. Possuir conhecimentos básicos no campo da estatística matemática
3. Esteja preparado para programar em Python

Podemos dizer que o curso " Redes Neurais e Processamento de Texto " é uma continuação do primeiro curso em visão computacional, porque se baseia no nível básico de conhecimento sobre redes neurais que já demos.

Talvez você já saiba algo sobre PNL - que não se trata apenas de edição de texto; que criar bots de bate-papo, recontar um texto, classificar emoções e responder a perguntas da Wikipedia são tarefas simples que não exigem mais pesquisa. Essas tarefas ficarão disponíveis para você após a conclusão deste curso. Mas, o mais importante, ensinaremos você a fazer as perguntas certas no mundo da PNL moderna e se você encontrará as respostas por conta própria ou pela rede neural externa - há alguma diferença. O que vem a seguir? Depende de você.

Você está conosco

Bem- vindo ao curso online !