Google enseña a los robots a realizar nuevas tareas en el "jardín de infantes"

En el jardín de infantes, los robots aprenden a abrir puertas. La

capacidad de aprendizaje es una de las más importantes para los robots. Si comienzan a aprender, acumulando la información que necesitan con el tiempo, pueden usarse para realizar tareas complejas que no fueron preprogramadas. Las tareas pueden ser muy diferentes, desde cuidar a los ancianos y pacientes en los hospitales hasta limpiar las instalaciones. Es cierto que si tiene que entrenar a cada robot individualmente, tomará una gran cantidad de tiempo. Pero, ¿y si los robots les enseñan robots? ¿Y qué pasa si grupos de robots comienzan a aprender juntos?

Este problema está lejos de ser nuevo; ha sido descrito más de una vez por escritores de ciencia ficción. Los especialistas en robótica e inteligencia artificial también están tratando de resolver este problema. Google más que otrosElla está interesada en aprender de los robots. Probablemente una de las formas más fáciles de lograr lo que desea es crear una base de datos de conocimiento común de robots, donde se recopilará la información recopilada por cada una de las máquinas.

Todos los robots deben estar conectados a esta base. Si un robot aprende algo, todos los demás obtienen inmediatamente conocimiento y experiencia. Los empleados de Google probaron esta idea (que tampoco es nueva) en la práctica y obtuvieron buenos resultados. En particular, las acciones realizadas por uno de los robots se convirtieron inmediatamente en propiedad de sus "colegas".

Los robots pueden realizar la misma acción de maneras muy diferentes. A veces es mejor, a veces peor. Cualquier información sobre estas acciones se captura y se envía al servidor, donde se procesa utilizando una red neuronal. El sistema cognitivo evalúa las acciones de cada máquina y selecciona solo información sobre la experiencia positiva, descartando datos sobre intentos fallidos de completar una u otra tarea. Los robots cargan datos procesados ​​por una red neuronal con cierta frecuencia. Y con cada nueva descarga, se vuelven más efectivas. En el siguiente video, el robot estudia el proceso de abrir una puerta.


Después de varias horas de entrenamiento, la máquina transmite información sobre sus acciones a una red común. En el proceso de dominar la apertura de una puerta, los robots estudian los detalles de este procedimiento, gradualmente "entendiendo" qué papel juega la manija de la puerta y qué debe hacerse para abrir la puerta lo más rápido posible.


El proceso de aprendizaje de prueba y error es bueno, pero no perfecto. Las personas y los animales, por ejemplo, también pueden analizar los elementos del medio ambiente, evaluando su posible impacto en sus acciones. A medida que las personas y los animales crecen, se forma una cierta imagen del mundo. Está claro que en los humanos es mucho más complicado que en la mayoría de los animales, pero hay elementos similares en ambos casos.

Por lo tanto, los ingenieros de Google decidieron mostrar a los robots cómo las leyes de la física afectan sus acciones. En un experimento, el robot recibió instrucciones de estudiar varios objetos comunes a cualquier hogar u oficina. Estos son lápices, bolígrafos, libros y otros artículos. Los robots aprendieron rápidamente y pasaron la información a sus "colegas". Todo el equipo de robots en poco tiempo recibió el concepto de las consecuencias de sus acciones.



En un nuevo experimento, los ingenieros le indicaron al robot que moviera un objeto específico a un punto dado. Sin embargo, el sistema no recibió ninguna instrucción sobre la naturaleza del objeto. Los objetos cambian constantemente. Podría ser una botella de agua, una lata de cerveza, un bolígrafo o un libro. Al final resultó que, los robots completaron esta tarea utilizando datos de experiencias previas sobre interacción con el mundo real. Pudieron calcular las consecuencias de mover el objeto en la superficie al punto deseado.

¿Pero qué hay del hombre?

Dos experimentos anteriores se llevaron a cabo solo con la participación de robots, sin ayuda humana. Según Google, el entrenamiento de sistemas robóticos puede ir mucho más rápido si una persona ayuda a la máquina. Después de todo, una persona puede calcular rápidamente lo que resultará del desempeño de algunas acciones. Por ejemplo, en un experimento, una persona ayudó a diferentes robots a abrir diferentes tipos de puertas. Cada sistema recibió una puerta y cerradura únicas.

Como resultado, se desarrolló una estrategia conjunta para todos los robots, que se denominó "política". Todas las acciones de los robots se procesaron utilizando una red neuronal profunda. Ella procesó las imágenes de las cámaras que registraban las acciones de los robots, y transfirió la información ya procesada al servidor central en forma de política.


Los robots han mejorado constantemente sus "políticas" utilizando prueba y error. Cada robot intentó abrir la puerta utilizando la última política actual. Las acciones del robot todavía fueron procesadas por la red neuronal y subidas al servidor. Con el tiempo, los robots comenzaron a funcionar de manera mucho más eficiente que la primera vez.


Después de que los robots comenzaron a actuar con éxito, cada uno de los instructores que trabajaron con los robots cambió algo las condiciones de la tarea. Los cambios fueron fuertes (la posición de la puerta, el ángulo de apertura, etc.), pero suficientes para que la política desarrollada previamente no fuera del todo adecuada para resolver un nuevo problema. Los robots gradualmente aprendieron a hacer frente a las nuevas condiciones por sí mismos, y posteriormente aprendieron a realizar las tareas más difíciles de abrir diferentes puertas y cerraduras. El experimento final mostró la efectividad de este tipo de entrenamiento: los robots pudieron abrir la puerta y bloquear, lo que aún no habían encontrado.


Los autores del proyecto afirman que la interacción de los robots entre sí y con el almacén central de datos les ayudó a aprender de manera más rápida y eficiente. Y el uso de una red neuronal mejoró significativamente los resultados preliminares.

Desafortunadamente, hasta ahora la lista de tareas que los robots pueden realizar es extremadamente limitada. Apenas se les dan los movimientos y tareas más simples, como abrir puertas o levantar varios objetos. El hombre todavía se ve obligado a decirle al robot qué hacer y cómo actuar. Pero los algoritmos están mejorando gradualmente, y las redes neuronales han dejado de ser algo sorprendente. Por lo tanto, existe la esperanza de que en el futuro cercano los robots puedan realizar tareas complejas. Quizás el futuro ya esté aquí.

Source: https://habr.com/ru/post/es398013/