Mientras que los robots no pueden hablar como lo hacen los humanos. Pero los investigadores de AI en Facebook ya están penetrando activamente en esta área; Esto puede afectar seriamente a los mensajeros de la empresa, y no solo
Los chatbots fueron un tema muy popular en 2015. Uno de los más populares fue M de Facebook, que, según los planes de la compañía, se suponía que se convertiría en un robot flexible de uso general, capaz de muchas cosas: ordenar productos, entregar regalos, reservar mesas en un restaurante y planificar viajes. Sin embargo, el bombo era demasiado fuerte para el resultado. Cuando Facebook probó su M para 2500 personas del Área de la Bahía de San Francisco, el programa no hizo frente a la mayoría de las tareas que se le asignaron.
Después del primer estallido de entusiasmo hacia M y otros chatbots (la directora de Microsoft, Satya Nadella, generalmente
declaró que "los chatbots son nuevas aplicaciones"), siguió una ola de
decepciones . Los chatbots hablaron mal y gravitaron hacia los robots. Esto se debe a que se les enseñó a hablar sobre temas muy limitados y a realizar tareas muy específicas. No pudieron mantener una conversación natural con las personas, dar respuestas basadas en la comprensión de las palabras y su significado. Solo podían emitir comentarios generales.
Incluso antes de que M entrara en la fase de prueba beta, Facebook redujo sus grandiosos planes para este bot, aunque la tecnología de lenguaje parcialmente natural cayó en chatbots de Facebook Messenger menos ambiciosos, capaces de realizar tareas simples como pedir un alimento o dar una respuesta de la lista preguntas y respuestas Las compañías como American Express y 1-800-FLOWERS todavía usan chatbots simples similares para responder preguntas de los usuarios para apoyar, aceptar pedidos simples y emitir información sobre el saldo de su cuenta personal. Muchos aún lo cambiarán a una persona si hace una pregunta fuera de su competencia limitada.
Sin embargo, el equipo de investigación de AI AI ya se ha adelantado a proyectos como simples chatbots. "Durante los últimos tres o cuatro años, hemos estado diciendo que no vamos a seguir el camino del estudio de los diálogos destinados a lograr un objetivo determinado; esta es una tarea demasiado difícil con riesgos demasiado altos", me dijo Antoine Borde, un investigador de lenguaje natural de Facebook. Si un chatbot de viaje "reserva el avión equivocado, el vuelo equivocado, será un gran error en términos de dinero, viajes, etc.", dice.
En lugar de centrarse en la mecánica de ciertas tareas, Borde dice que Facebook está retrocediendo a una tarea más profunda: capacitar a agentes virtuales para comunicarse como personas. Si los chatbots pueden comprender y hablar mejor con las personas, entonces, tal como lo concibió la compañía, eventualmente se convertirán en los mejores asistentes que pueden ayudar a las personas a realizar tareas prácticas, como reservar las mismas entradas.
Facebook está invirtiendo activamente en estos desarrollos, contratando a los mejores expertos en IA de lenguaje natural. A la compañía le gusta señalar que, a diferencia de otros gigantes de la tecnología, pone a disposición de toda la comunidad de investigación en línea los resultados de la investigación sobre IA, con la esperanza de que ayudará a otras personas a crear una nueva generación de IA. Pero esta investigación, por supuesto, recaerá en sus propios productos.
Los mensajeros, como Messenger y WhatsApp (Facebook todavía no entiende cómo monetizar estos últimos) parecen ser un área natural de aplicación para estos desarrollos. Zuckerberg habla sobre las ideas de la compañía para concentrarse en la comunicación privada, por lo que Messenger y WhatsApp tendrán que agregar nuevas funciones para no dar prioridad a otras plataformas similares, en particular, WeChat, Telegram y Apple iMessage.
Crear un algoritmo que pueda soportar una conversación gratuita con una persona se ha convertido en un objetivo clave de las empresas de tecnología. Amazon, Google y Microsoft se unen a Facebook en su apuesta por la posibilidad de la comunicación humana, y no solo a través de mensajes de texto, sino también con la ayuda de asistentes de voz y de otras maneras. Gracias a investigaciones recientes, el camino para crear una computadora que sea realmente capaz de comunicarse se ha vuelto repentinamente más claro; sin embargo, la medalla para el primer lugar todavía está esperando a su ganador.
En otras palabras, la investigación del lenguaje natural de Facebook va mucho más allá de simplemente resucitar M o mejorar chatbots en Messenger. Está conectado con el futuro de toda la empresa.
Presentando la red neuronal
Crear un agente digital que sea capaz de mantener una conversación creíble con una persona es probablemente la tarea más difícil en el campo del procesamiento del lenguaje natural. La máquina debe aprender un diccionario lleno de palabras, con sus ejemplos de uso y matices, y luego usarlos en la comunicación en vivo con una persona impredecible.
Solo en los últimos años, la comunidad de IA de lenguaje natural ha comenzado a dar grandes pasos hacia la creación de un bot general. En particular, esto sucedió debido a los avances en el campo de las redes neuronales: algoritmos de aprendizaje automático que reconocen patrones a través del análisis de una gran cantidad de datos.
Durante la mayor parte de la historia de la IA, las personas han estado observando el programa mientras sigue el proceso de aprendizaje automático. En una tecnología llamada "enseñanza con un maestro", una persona entrena lentamente una red neuronal, da las respuestas correctas a los problemas y luego ajusta el algoritmo para que llegue a la misma solución.
La enseñanza con un maestro funciona bien si hay una gran cantidad de datos meticulosamente marcados, por ejemplo, fotografías de gatos, perros u otros objetos. Sin embargo, este enfoque a menudo no funciona en el mundo de los chatbots. Es difícil encontrar una gran cantidad (miles de horas) de conversaciones de persona a persona etiquetadas, y crear tal volumen de datos de una compañía será muy costoso.
Dado que es difícil enseñar a los chatbots a hablar utilizando métodos antiguos, los investigadores están buscando alternativas al aprendizaje con un maestro para que las redes neuronales puedan aprender sobre la base de los datos por su cuenta, sin intervención humana.
Una forma de eliminar la necesidad de datos de entrenamiento es entrenar la máquina en sentido común a un nivel básico. Si la computadora puede entender el mundo que lo rodea, por ejemplo, el tamaño relativo de los objetos, cómo los usan las personas, ciertos conceptos sobre el efecto de las leyes de la física sobre ellos, probablemente podrá reducir la variedad de opciones, dejando solo las posibles reales.
La gente hace esto de forma natural. Por ejemplo, supongamos que conduce cerca de un acantilado empinado y de repente ve una gran roca en el camino. Necesitas evitar una colisión con él. Pero al elegir opciones, es poco probable que decida girar bruscamente hacia el acantilado. Usted sabe que un automóvil caerá sobre piedras debido a la gravedad.
Yan Lekun"Gran parte del aprendizaje humano se trata de observar el mundo que nos rodea", dijo
Jan Lekun , vicepresidente y especialista en inteligencia artificial en Facebook, una leyenda de la inteligencia artificial que trabaja en los temas más difíciles desde la década de 1980. "Aprendemos muchas cosas de los padres y otras personas, pero solo interactuando con el mundo, tratando de hacer algo, fallando y ajustando nuestro comportamiento".
La IA entrenada utilizando una tecnología llamada "Aprendizaje sin maestros" funciona de manera similar. Por ejemplo, un robot robótico recopila datos sobre el mundo a través de muchos sensores y cámaras, como un niño que estudia el mundo con la ayuda de cinco sentidos. Con este enfoque, los científicos proporcionan a la máquina una gran cantidad de datos de entrenamiento. No le piden que dé la respuesta correcta y no la empujan a una meta específica. Le piden que solo procese los datos y aprenda de ellos, encuentre patrones, construya relaciones entre varios puntos en los datos.
En muchos casos, los datos necesarios son difíciles de encontrar. Sin embargo, existe un área de IA en la que una red neuronal puede aprender mucho sobre el mundo sin sensores: el procesamiento del lenguaje natural. Los investigadores pueden usar la gran cantidad de textos existentes para ayudar a los algoritmos a comprender el mundo humano, que es una parte necesaria de la tarea de comprender un idioma.
Supongamos que una red neuronal recibe las siguientes frases para reflexionar:
El premio no cabe en la maleta porque es demasiado grande.
El premio no cabe en la maleta porque es demasiado pequeño.
Para comprender que en cada una de las oraciones la palabra "él" se refiere a diferentes objetos, los modelos deben comprender las propiedades de los objetos del mundo real y sus relaciones. "El texto en el que están entrenados contiene suficiente estructura para entender que si tienes un objeto que cabe en otro, entonces uno de ellos puede no encajar en el otro si es demasiado grande", dice Lekun.
Esta técnica podría ser la clave para una nueva generación de chatbots de Facebook más útiles y sociables.
Conoce a BERT y RoBERTa
Los avances continuos en el aprendizaje sin maestros para los sistemas de procesamiento del lenguaje natural comenzaron en Google en 2018. Los investigadores de la compañía crearon un modelo de aprendizaje profundo BERT (que representa transformadores con codificación bidireccional), y le dieron un texto sin etiquetar de 11038 libros y 2.500 millones de palabras de la Wikipedia en inglés. Los investigadores eliminaron al azar ciertas palabras de los textos y configuraron el modelo para insertar una palabra faltante.
Después de analizar todo el texto, la red neuronal encontró patrones de palabras y oraciones, que a menudo aparecían en el mismo contexto, lo que la ayudó a comprender las relaciones básicas entre las palabras. Dado que las palabras son representaciones de objetos o conceptos del mundo real, el modelo ha aprendido más que solo las relaciones lingüísticas entre palabras: comenzó a comprender cómo se relacionan los objetos entre sí.
BERT no fue el primer modelo en utilizar el aprendizaje sin maestros para comprender el lenguaje humano. Pero ella fue la primera en aprender el significado de la palabra en su contexto.
"Diría que este proyecto se encuentra entre los dos primeros avances en el campo del procesamiento del lenguaje natural", dijo Jianfeng Gao, gerente de investigación del Deep Learning Group, uno de los laboratorios de Microsoft Research. "La gente usa este modelo como un nivel básico para crear todos los demás modelos de procesamiento de lenguaje natural". Hasta ahora, la investigación BERT ha sido citada en otros trabajos más de 1000 veces; otros investigadores se están desarrollando sobre la base de esto.
Entre ellos está Lekun con su equipo. Crearon su propia versión de este modelo, llevaron a cabo la optimización, ampliaron la cantidad de datos de entrenamiento y el tiempo de entrenamiento. Después de miles de millones de cálculos, una red neuronal de Facebook llamada RoBERTa funcionó mucho mejor que Google. Mostró un nivel de precisión del 88,5% y BERT: solo el 80,5%.
BERT y RoBERTa representan un enfoque radicalmente nuevo para enseñar a las computadoras a comunicarse. "En el proceso, el sistema debe indicar el significado de las palabras que encuentra, la estructura de las oraciones, el contexto", dice Lekun. "Al final, parece reconocer el significado del lenguaje, lo cual es bastante extraño, ya que no sabe nada sobre la realidad física del mundo". No tiene visión, no tiene oído, no tiene nada ". Todo lo que ella sabe es el lenguaje; letras, palabras y oraciones.
Acercarse a una conversación real
Lekun dice que el modelo de lenguaje natural, entrenado usando BERT o RoBERTa, no desarrollará ningún sentido común significativo: será suficiente solo para proporcionar respuestas en el chat, basado en una extensa base de datos de conocimiento generalizado. Este es solo el comienzo del proceso de aprendizaje del algoritmo para hablar como una persona.
Los investigadores del lenguaje natural de Facebook también están tratando de incorporar más detalles de la comunicación basada en RoBERTa. Comenzaron estudiando las conversaciones de personas con chatbots para comprender cuándo una conversación puede volverse aburrida o interrumpirse. Sus descubrimientos ayudan a encontrar formas de entrenar al bot para que pueda evitar los errores más comunes en la conversación.
Por ejemplo, los chatbots a menudo se contradicen porque no recuerdan lo que dijeron antes. Un chatbot puede decir que le encanta ver los episodios de Knight Rider, y luego declarar que no le gusta el programa. Los chatbots que crean sus propias respuestas (en lugar de extraer pistas de los datos de entrenamiento) a menudo responden vagas preguntas para no cometer errores. A menudo parecen impasibles, por lo que comunicarse con ellos no es tan interesante.
Los chatbots también deberían poder usar el conocimiento para que sea interesante hablar con ellos. Es más probable que un bot que puede usar una amplia gama de información pueda mantener diálogos largos con las personas. Sin embargo, los chatbots existentes se entrenan utilizando el conocimiento de un área única que corresponde a la tarea asignada al bot. Esto se convierte en un problema cuando una persona comienza a decir algo sobre temas que van más allá de la competencia del bot. Pregúntele al bot que pide pizza sobre cualquier cosa que no sea pizza, y la conversación se desvanecerá rápidamente.
Para hacer frente a esto, los investigadores de Facebook están trabajando para entrenar modelos de procesamiento de lenguaje natural para extraer datos de muchas áreas del conocimiento, y para incorporar naturalmente esta información en una conversación. La investigación futura se centrará en enseñar a los bots cómo y cuándo transferir la conversación de cosas generales a una tarea específica.
Uno de los mayores desafíos en el desarrollo de un chatbot es cómo lograr que aprendan más después de comenzar. El significado de las palabras puede cambiar con el tiempo, los nuevos términos y la jerga pueden volverse culturalmente importantes. Al mismo tiempo, el chatbot no debería ser demasiado sugestionable: el robot Tay de Microsoft aprendió demasiado de las conversaciones en línea demasiado rápido y se convirtió en un grosero racista en 24 horas. Facebook enseña chatbots experimentales para aprender de buenas conversaciones y analizar el idioma de la persona con la que están hablando para ver si el bot dijo algo aburrido o tonto.
Es difícil predecir exactamente cuándo los avances de Facebook en el laboratorio ayudarán a crear chatbots que puedan llevar a cabo conversaciones que sean al menos un poco como las de los humanos. Puede que no pase mucho tiempo antes de que pueda evaluar estos resultados usted mismo. "Creemos que hemos estado muy cerca de crear un bot que pueda hablar con las personas para que vean valor en él", me dijo el investigador de Facebook Jason Weston.