Usamos habitualmente la búsqueda en Internet, nos comunicamos con bots de chat, leemos documentos en cualquier idioma gracias a traductores. ¿Decirle al robot aspirador que comience a limpiar con su voz? Nada especial ... Para muchos, los asistentes de voz en un teléfono inteligente entraron en la vida cotidiana. El futuro, en el que la computadora, después de leer una nota extraña sobre el fútbol, cambia el tono de las noticias meteorológicas en consecuencia, ya ha llegado.
¿Cómo funciona todo? ¿Cómo convertirse en un experto en PNL (significa procesamiento del lenguaje natural, no lo confunda con la programación neurolingüística :))?
Aquellos residentes de Khabrovsk que hacen esas preguntas, los invitamos al curso en línea recientemente inaugurado Samsung Research Russia. Debajo de los detalles del gato ...
Autores del curso "Redes neuronales y procesamiento de texto"En junio de este año,
escribimos sobre el lanzamiento de nuestro primer curso en línea "
Redes neuronales y visión por computadora ". Resultó ser exitoso: ¡ya hay más de 20 mil oyentes, excelentes críticas e incluso recibimos los Premios Stepik en septiembre en la nominación al "Mejor Curso de Nuevos Autores" por ello!
Han pasado 5 meses desde el comienzo del primer año, ¡y no estábamos inactivos! Armados con la experiencia adquirida e inspirados por el éxito de sus colegas, otro equipo de autores, desarrolladores del Centro Samsung para Inteligencia Artificial en Moscú, los expertos en aprendizaje automático Roman Suvorov, Anastasia Yanina y Alexey Silvestrov, con el apoyo editorial continuo de Nikolai Kapyrin, dominaron la enorme cantidad de trabajo, y el 15 de octubre en el canal " Samsung Research Rusia Educación abierta »La plataforma Stepik lanzó el segundo curso:"
Redes neuronales y procesamiento de textos ".
El curso está diseñado para 7 semanas. Si pasa un promedio de 3 a 5 horas a la semana viendo video conferencias, respondiendo preguntas y completando tareas prácticas, comprenderá lo que se encuentra bajo el capó de los motores de búsqueda modernos, los bots de chat y los generadores de texto. El equipo hizo muchos esfuerzos para garantizar que, habiendo aprobado un solo curso, los estudiantes pudieran navegar con confianza tecnologías al nivel de un desarrollador junior o cualquier especialista técnico que no tenga experiencia específica en trabajar con PNL, pero ahora tiene que lidiar con eso.
¿Cuáles son las ventajas distintivas de nuestro curso?
- Fue desarrollado por el Centro de Inteligencia Artificial de Samsung, que tiene detrás el equipaje de los proyectos comerciales en esta área.
- Hay una teoría y una práctica: verá cómo crear redes neuronales para procesar texto en PyTorch, implementar las arquitecturas más relevantes y aprender a adaptarlas a sus necesidades.
- Como en el primer año en visión por computadora, ¡los mejores graduados están invitados a una entrevista en Samsung Research Russia!
En la siguiente infografía, reflejamos brevemente el contenido y las características cuantitativas actuales del nuevo curso:
Los graduados del curso reciben certificados. En este caso, hay dos opciones posibles:
- un certificado ordinario, puntos por los que puede puntuar resolviendo todos los problemas en la parte principal del curso;
- certificado con honores: para ello deberá resolver todos los problemas para obtener el puntaje más alto, pasar por las pistas teóricas del curso (allí las tareas son similares a las establecidas para los empleados en las entrevistas) y resolver el problema final en Kaggle.
Profesores y desarrolladores de cursos.
Programa del curso
1. IntroducciónEn este módulo, como primera aproximación, aprendemos qué significa el procesamiento de texto del aprendizaje automático en la actualidad, cuáles son las dificultades y qué tareas de la lingüística hoy en día solo pueden resolverse mediante métodos de aprendizaje automático.
- Hola a todos! ¡Cuéntanos sobre ti!
- En términos generales: lenguaje natural y texto.
- Características del procesamiento del lenguaje natural.
- En general: análisis lingüístico
- En general: extracción de características
- Tareas de procesamiento de textos aplicadas y totales
2. Modelo de texto vectorial y clasificación de textos largos.
La matemática comienza. Modelos vectoriales dispersos, tokens, información mutua ... ¿qué es todo esto? Revisaremos los métodos de traducción de una estructura multidimensional y multifacética, que está contenida en el texto, en números para que los algoritmos ML puedan comenzar su trabajo.
- Modelo de texto vectorial y TF-IDF
- Crear una red neuronal para trabajar con texto.
- Objetivos teóricos: modelo de texto vectorial
- Taller: clasificación de textos de noticias.
3. Métodos básicos de redes neuronales para trabajar con textos.¿Utilizamos redes neuronales completamente conectadas? ¿Qué es la operación "convolución sobre textos"? ¿Parece ser una operación para matrices? Las respuestas se encuentran en este módulo, donde estudiaremos los primeros intentos exitosos de enseñar a las redes neuronales a trabajar con el significado del texto.
- Algoritmo general para trabajar con textos usando redes neuronales.
- Semántica de distribución y representaciones vectoriales de palabras.
- Taller: Recetas de comida y Word2Vec en PyTorch
- Preguntas teóricas: fundamentos del procesamiento de texto por redes neuronales
- Los principales tipos de modelos de redes neuronales para el procesamiento de textos.
- Redes neuronales convolucionales para procesamiento de textos
- Taller: Etiquetado de puntos de venta con redes neuronales convolucionales
- Preguntas teóricas: redes neuronales convolucionales en el procesamiento de textos
4. Modelos de lenguaje y generación de texto.Sumérgete más en las redes neuronales. El texto puede tener cualquier longitud, pero solo las redes neuronales recurrentes permiten que el algoritmo genere texto sin trucos especiales. Intentamos enseñarle a la red a leer, ahora le daremos la oportunidad de componer.
- Redes neuronales recurrentes
- Modelado de idiomas
- Taller: Generando nombres y lemas usando RNN
- Mecanismo de atención de agregación
- Transformador y auto-atención.
- Taller: Modelado de un lenguaje con transformador
- Cuestiones teóricas: modelo de lenguaje y transformadores
5. Conversión de secuencias: 1-a-1 y N-a-MPero, ¿qué pasa si la entrada es texto y la salida necesita texto? Este es un trabajo para el traductor, para quien, como sabemos, el contexto es más importante. Si debe traducir una matriz de texto a otra, o a varias, ¡este módulo le dará todo lo que necesita!
- Reconociendo la estructura plana de textos cortos
- Taller: reconocimiento de recetas
- Taller: análisis de sentimiento de aspecto como NER
- Conversión de secuencia (seq2seq)
- Taller: Generando piezas de código con desbordamiento de pila
- Preguntas teóricas
6. Transferencia de aprendizaje, adaptación del modelo.¿Tienes un gran proyecto pero no tienes recursos informáticos de superhéroes? ¡Luego tome una red neuronal ya preparada y adáptela para resolver su problema particular! Necesita conocer algunos nombres y algunos trucos de entrenamiento, y el punto está en el sombrero.
- Representaciones contextualizadas y transferencia de conocimiento.
- Taller: transformadores de pytorch o cómo ejecutar BERT
- Taller: BERT para búsqueda de preguntas y respuestas
- Preguntas teóricas
7. Competencia final en Kaggle y conclusión.Al acercar el cursor al botón "Iniciar entrenamiento", ¿ya ve cómo se desarrollan las cadenas multidimensionales de pseudocaracteres y la atención de la máquina fluye entre los conceptos? ¡Entonces muéstrate en nuestra competencia final!
- Qué más leer, cómo desarrollar
- Competencia Kaggle: descripción general del problema y solución básica
Requisitos del estudiante
El curso está diseñado para estudiantes que están un poco versados en el campo del aprendizaje automático.
¿Qué necesitas para comenzar el curso?
- Tener conocimientos básicos de redes neuronales.
- Tener conocimientos básicos en el campo de la estadística matemática.
- Prepárate para programar en Python
Podemos decir que el curso "
Redes neuronales y procesamiento de texto " es una continuación del primer curso en visión por computadora, ya que se basa en el nivel básico de conocimiento sobre redes neuronales que ya hemos dado.
Quizás ya sepa algo sobre PNL: que no se trata solo de edición de texto; que crear bots de chat, volver a contar texto, clasificar emociones, responder preguntas de Wikipedia son tareas simples que ya no requieren investigación. Estas tareas estarán disponibles para usted después de completar este curso. Pero, lo más importante, le enseñaremos a hacer las preguntas correctas en el mundo de la PNL moderna, y si encontrará las respuestas usted mismo o la red neuronal externa, ¿hay alguna diferencia? Que sigue Depende de usted.
Estas con nosotros
¡Entonces
bienvenido al curso en línea !