Clif Young, un programador de Google, explica cómo el desarrollo explosivo de algoritmos de aprendizaje profundo coincide con el fracaso de la Ley de Moore, que ha funcionado durante décadas en la regla general para el progreso del chip de computadora, y obliga al desarrollo de esquemas computacionales fundamentalmente nuevos.
El desarrollo explosivo de la IA y los algoritmos de aprendizaje automático está cambiando la naturaleza misma de la informática, como dicen en una de las compañías más grandes que practican IA, en Google. El programador de Google Cliff Young habló en la inauguración de la conferencia de microprocesadores de otoño organizada por Linley Group, un popular simposio sobre chips de computadora organizado por la venerable compañía de semiconductores.
Young dijo que el uso de IA entró en la "fase exponencial" en el mismo momento en que la Ley de Moore, la regla general para el progreso de los chips de computadora durante décadas, se inhibió por completo.
"Los tiempos son bastante nerviosos", dijo pensativo. "Los CMOS digitales se están desacelerando, estamos viendo problemas con el proceso de 10nm en Intel, los estamos viendo en el proceso de 7nm de GlobalFoundries, y simultáneamente con el desarrollo del aprendizaje profundo, está surgiendo una demanda económica". CMOS, una estructura complementaria de semiconductores de óxido de metal, es el material más común utilizado para fabricar chips de computadora.
Si bien los chips clásicos apenas pueden aumentar la eficiencia y la productividad, las solicitudes de los investigadores de IA están creciendo, dijo Young. Produjo algunas estadísticas: el número de artículos científicos sobre aprendizaje automático almacenados en el sitio de preimpresión arXiv que mantiene la Universidad de Cornell se duplica cada 18 meses. Y el número de proyectos internos centrados en la IA en Google, dijo, también se duplica cada 18 meses. La necesidad de la cantidad de operaciones de punto flotante necesarias para procesar las redes neuronales utilizadas en el aprendizaje automático está creciendo aún más rápido: se duplica cada tres meses y medio.
Todo este crecimiento en las consultas computacionales se está combinando en la "súper ley de Moore", dijo Young, y llamó al fenómeno "un poco aterrador" y "un poco peligroso", y "algo de qué preocuparse".
"De dónde vino todo este crecimiento exponencial", en el campo de la IA, preguntó. “En particular, el punto es que el aprendizaje profundo simplemente funciona. En mi carrera, siempre he ignorado el aprendizaje automático ”, dijo. "No era obvio que estas cosas pudieran despegar".
Pero luego comenzaron a surgir rápidamente avances, como el reconocimiento de patrones, y quedó claro que el aprendizaje profundo "es increíblemente efectivo", dijo. "Durante la mayor parte de los últimos cinco años, hemos sido la compañía que puso la IA en primer lugar, y hemos rehecho la mayoría de las empresas basadas en la IA", desde la búsqueda hasta la publicidad y más.
El equipo del proyecto Google Brain, un proyecto de investigación de IA líder, necesita "máquinas gigantes", dijo Young. Por ejemplo, las redes neuronales a veces se miden por el número de "pesos" que se utilizan en ellas, es decir, las variables aplicadas a la red neuronal y afectan cómo procesa los datos.
Y si las redes neuronales comunes pueden contener cientos de miles o incluso millones de pesos que deben calcularse, los investigadores de Google requieren "máquinas de tera-peso", es decir, computadoras que puedan calcular billones de pesos. Porque "cada vez que duplicamos el tamaño de la red neuronal, mejoramos su precisión". La regla del desarrollo de la IA es hacerse más y más grande.
En respuesta a las solicitudes de Google, están desarrollando su propia línea de chips para el MO, la Unidad de Procesamiento de Tensor. Se necesitan TPU y similares porque las CPU tradicionales y los chips gráficos GPU no pueden manejar la carga.
"Nos detuvimos durante mucho tiempo y dijimos que Intel y Nvidia son muy buenos para crear sistemas de alto rendimiento", dijo Young. "Pero cruzamos esa línea hace cinco años".
TPU después de la primera aparición en público en 2017 causó revuelo por las afirmaciones de que, en términos de velocidad, supera los chips normales. Google ya está trabajando en el TPU de tercera generación, usándolo en sus proyectos y ofreciendo capacidades informáticas a pedido a través del servicio Google Cloud.
La compañía continúa fabricando TPU cada vez más grandes. En su configuración "heredada", 1024 TPU están conectados conjuntamente a un nuevo tipo de supercomputadora, y Google planea continuar expandiendo este sistema, según Young.
"Estamos construyendo multicomputadoras gigantes con una capacidad de decenas de petabytes", dijo. "Estamos avanzando incansablemente en varias direcciones al mismo tiempo, y las operaciones a escala de terabytes continúan creciendo". Dichos proyectos plantean todos los problemas asociados con el desarrollo de supercomputadoras.
Por ejemplo, los ingenieros de Google han adoptado los trucos utilizados en la legendaria supercomputadora Cray. Combinaron el gigantesco "módulo de multiplicación matricial", la parte del chip que lleva la carga principal de la computación para redes neuronales, con el "módulo vectorial de propósito general" y el "módulo escalar de propósito general", como se hizo en Cray. "La combinación de módulos escalares y vectoriales permitió a Cray superar a todos en términos de rendimiento", dijo.
Google ha desarrollado sus propios diseños aritméticos innovadores para programar chips. Una cierta forma de representar números reales llamada bfloat16 proporciona una mayor eficiencia al procesar números en redes neuronales. En el habla coloquial, se llama "flotación cerebral".
TPU utiliza los chips de memoria más rápidos, la memoria de alto ancho de banda o HBM [memoria de alto ancho de banda]. Dijo que la demanda de grandes cantidades de memoria en el entrenamiento de redes neuronales está creciendo rápidamente.
“La memoria se usa más intensamente durante el entrenamiento. La gente habla de cientos de millones de pesos, pero hay problemas al procesar la activación de "variables de una red neuronal".
Google también ajusta la forma en que se programan las redes neuronales para ayudar a aprovechar al máximo el hierro. "Estamos trabajando en el modelo de datos y paralelismo" en proyectos como "Mesh TensorFlow", adaptaciones de la plataforma de software TensorFlow "combinando datos y paralelismo en la escala del pod".
Young no reveló algunos detalles técnicos. Señaló que la compañía no habló sobre conexiones internas, sobre cómo se mueven los datos a lo largo del chip, simplemente señaló que "nuestros conectores son gigantescos". Se negó a ampliar este tema, lo que causó risas en la audiencia.
Young señaló áreas de computación aún más interesantes que pronto podrían llegar a nosotros. Por ejemplo, sugirió que los cálculos que utilizan chips analógicos, circuitos que procesan datos de entrada en forma de valores continuos en lugar de ceros y unos, pueden desempeñar un papel importante. "Quizás pasemos al campo analógico, en física hay muchas cosas interesantes relacionadas con las computadoras analógicas y la memoria NVM".
También expresó su esperanza por el éxito de las nuevas empresas de chips presentadas en la conferencia: “Aquí hay startups geniales, y necesitamos que funcionen, porque las posibilidades de CMOS digitales no son ilimitadas; Quiero que todas estas inversiones se disparen ".