Astrofísicos de Silicon Valley cuantificando la moda

Los investigadores espaciales se alejan del cielo para ayudarlo a decidir qué ponerse, qué mirar y qué escuchar. Pero tanto los datos de la estrella como los de la tienda Stitch Fix se procesan mediante el aprendizaje automático.



Stitch Fix es una de las compañías que usa la física para comprender mejor todos los problemas de estilo de sus clientes.

Chris Moody conoce de primera mano el universo. Como astrofísico, hizo simulaciones de galaxias, simuló en las supercomputadoras la expansión del Universo y las colisiones de galaxias. Una tarde, poco después de defender un doctorado en la Universidad de California en Santa Cruz, se reunió con un grupo de otros astrofísicos para tomar un vaso de cerveza. Pero esa noche, ninguno de ellos habló de galaxias. Hablaron de moda.

Un par de amigos de Moody's, astrofísicos, recientemente abandonaron la ciencia y se mudaron a Stitch Fix, una compañía de diseño en línea que ahora tiene un precio de $ 2 mil millones. Moody los miró con sorpresa. "Me preguntaron: ¿no te parece interesante esta tarea?" El dice. Y realmente lo pensaba así. Sin embargo, cuando sus amigos, usando frases como "modelos bayesianos" o "espacio Poincaré", describieron en detalle su trabajo consistente en predecir qué tipo de ropa le gustaría a un cliente, extrañamente se parecía al trabajo que estaba haciendo. para el doctorado. Encontró que una evaluación cuantitativa del estilo "resultó ser una analogía muy cercana a la teoría general de la relatividad".

Han pasado cuatro años, y ahora Moody también trabaja para Stitch Fix. Es de un grupo de desertores de astrofísica que crece gradualmente y que dejó de explorar el espacio y comenzó a crear algoritmos de recomendación y modelos de datos para la industria de la tecnología. Son miembros de equipos de ciencia de datos en compañías como Netflix, Spotify y Google. E incluso en las universidades de élite, cada vez menos astrofísicos, después de defender un doctorado, permanecen en el entorno académico. Más y más de estas personas son enviadas a Silicon Valley.

Para comprender que los astrofísicos se sienten atraídos por las nuevas empresas involucradas en productos de consumo, recordemos el reciente aumento en el interés en el aprendizaje automático (MO). Los astrofísicos que procesan grandes cantidades de datos recopilados por poderosos telescopios que miran hacia el cielo han usado durante mucho tiempo modelos MO, "enseñando" computadoras para realizar tareas basadas en los ejemplos proporcionados. Dígale a la computadora lo que necesita encontrar en una foto del espacio intergaláctico, y él podrá hacerlo para los 30 millones de fotos restantes, y luego comenzar a hacer predicciones. Sin embargo, MO también se puede usar para predecir el comportamiento del usuario, y en 2012, las corporaciones comenzaron a reclutar personas que sabían cómo aplicar este método.

Hoy, MO está en el corazón de casi todo, desde cajas de ropa en Stitch Fix hasta recomendaciones de películas personalizadas en Netflix. ¿Cómo logra Spotify predecir canciones que lo sorprenderán y deleitarán tan perfectamente en las listas personalizadas semanales? Funciona el aprendizaje automático. Y aunque la Región de Moscú ya constituye su propio campo de investigación, ya que los científicos de campos como la astrofísica han estado trabajando con estos modelos durante muchos años, son candidatos ideales para llenar equipos que trabajan con ciencia de datos.

"Ya estábamos involucrados en Big Data, incluso antes de que Big Data se convirtiera en un área separada", dijo Sudip Das, un ex astrofísico de Netflix.

Das defendió su doctorado en Princeton examinando la radiación relicta - radiación electromagnética sobrante del Big Bang [ más precisamente, se formó 380,000 años después del Big Bang cuando las "edades oscuras" terminaron / aprox. perev. ] Después de esto, estudió los datos obtenidos por el Telescopio Cosmológico de Atacama en Chile durante varios años. El telescopio todas las noches recolectaba aproximadamente un terabyte de datos del espacio, y en este enorme conjunto de datos, Das descubrió una elusiva señal astrofísica. Fue una rara recompensa por años de trabajo meticuloso. Este descubrimiento atrajo la atención de la Universidad de Michigan, donde le ofrecieron el puesto de profesor asistente.

Sin embargo, Das se negó y en su lugar se mudó a Silicon Valley, primero para trabajar como especialista en datos en Beats Music, luego en OpenTable y ahora en Netflix.

No muchos factores influyeron en la decisión de abandonar el mundo científico: el salario es más alto y el trabajo es más rico. "Hay obstáculos para convertirse en un miembro a tiempo completo del instituto", dice. Y en el área de la Bahía de San Francisco, ni él ni su esposa, también astrofísica, debían preocuparse por encontrar un trabajo. Sin embargo, una verdadera sorpresa para él fue que el trabajo en empresas de tecnología era realmente interesante. Se reunió en Beats con "personas de ideas afines que trabajan en tareas similares en complejidad intelectual". Las matemáticas son las mismas, la aplicación es diferente.

Das se da cuenta de cómo cada vez más físicos están cambiando la gran parte del científico, donde puede realizar el precario trabajo financiero de un postdoc durante diez años, para un trabajo fácil y bien remunerado en empresas de tecnología. "De todos mis compañeros estudiantes que defendieron su doctorado en Princeton, solo dos no entraron en empresas comerciales", dice. "Para permanecer allí, debes ser un científico hasta el núcleo".

Esta gran explosión ha capturado a toda la industria. "Los astrofísicos son nuestro grupo número uno", dice Eric Colson, Jefe Especialista Emérito en Algoritmos en Stitch Fix. “La mayoría de las personas tienen un doctorado en el campo del trabajo con datos numéricos, pero si construyes un gráfico, creo que los astrofísicos vendrán primero. Enseñan matemáticas muy bien: muchos físicos están mejor versados ​​en matemáticas que los matemáticos. También enseñan bien la programación. Están mejor versados ​​en informática que la mayoría de los informáticos ".

Moody, quien se unió al equipo de Colson en 2015, dirigió el conocimiento adquirido mientras trabajaba en el campo de la astrofísica para resolver problemas como marcar el "estilo oculto" del cliente: un gusto personal único en la ropa. Stitch Fix no pide a los clientes que definan su estilo utilizando algunas etiquetas comunes. Recopila datos sobre las preferencias de las personas para comprar y con herramientas como Style Shuffle, un tipo de yesca de ropa, donde las personas pueden marcar si les gusta o no ciertas cosas. Después de recopilar, todos estos datos forman un "espacio de estilo": un mapa de todo lo que les gusta a los clientes y cómo se relacionan estos artículos entre sí. Moody y el equipo usan este modelo para predecir qué más le puede gustar al cliente. El algoritmo puede concluir que si te gustan las cuentas gruesas, también te pueden gustar las cuentas de cuentas; de manera similar, los algoritmos de Netflix sugieren que quizás quieras ver otra comedia con una mujer en el papel principal.

Moody dice que tales tareas no son tan diferentes de las que trató mientras trabajaba en un doctorado. Tarjeta de estilo oculto? “Este es el espacio de Poincare. Esto es lo que Einstein solía describir los espacios relativistas ”, dice Moody.

Otros principios físicos están involucrados en la comprensión del estilo oculto. El equipo de Moody's utiliza algo como la descomposición espectral de una matriz , un concepto de álgebra lineal para separar "notas" individuales en un estilo individual, algo así como "tocar una cuerda de guitarra y escuchar algunas notas". A un cliente le pueden gustar las cosas femeninas, pero más informales que las profesionales. El estilo de cada persona tiene muchos puntos de datos (pocas personas pueden atribuirse a estilos claramente definidos) y Moody dice que con la ayuda de la física, su equipo comprende mejor todas las complejidades de la actitud del cliente hacia el estilo.

"Ninguno de los que estudian física va a hacer ropa, pero resulta que esta área es fenomenalmente rica", dice Moody. "Es sorprendente tratar de pensar en el estilo personal de una persona desde una perspectiva científica".

Colson dice que muchos astrofísicos de su equipo se sienten atraídos por trabajar en la empresa "debido a los resultados visibles que rara vez se encuentran en la ciencia teórica". Aquí pueden enviar algo a producción y ver los resultados ". Cuando Moody hace todo bien, es más probable que Stitch Fix ofrezca a los clientes cosas que les gustan, y su equipo puede rastrear y mejorar esta métrica a diario.

En el mundo científico, los astrofísicos pueden luchar por la misma tarea durante años. Y muchos de los problemas más interesantes ya se han resuelto, dice Amber Roberts, ex ingeniero de aprendizaje automático y astrofísico, y ahora empleado de Insight Data Science, que ayuda a los científicos a ingresar a la industria. “Hemos aprendido el tamaño del universo. Medimos la velocidad de la luz. Encontramos púlsares. Encontramos agujeros negros ”, dice ella. - Muchos de estos descubrimientos importantes, por ejemplo, la comprensión de los principios del espacio-tiempo o la distorsión gravitacional, hicieron que las personas se interesaran por la exploración espacial y la cosmología. Sin embargo, lo que realmente está haciendo es expandir una fracción muy pequeña del campo del conocimiento, y durante tres años trabajando en la redacción de un artículo científico que interesará a una docena de personas en todo el mundo ".

Das, astrofísico de Netflix, dice que es difícil renunciar al romance que rodea la exploración del universo. "Cuando les explico lo que les está sucediendo a mis padres, ellos dicen: ¡Hiciste cosas increíbles con el Universo, y ahora estás recomendando películas a la gente!" - dice Das. Sin embargo, está de acuerdo en que su trabajo de rutina está más relacionado con problemas técnicos, como "tratar de reducir el error al medir el parámetro del 50% al 5%", en lugar de explorar el universo.

En Netflix, el trabajo técnico se parece a esto. Pero cuando piensa en lo que realmente hace en el trabajo, une a personas de todo el mundo con películas e historias que los ayudarán a comprenderse mejor, no siente menos satisfacción por su contribución que cuando trabajaba como astrofísico. "Es como explorar otro universo", dice Das. "El universo de los seres humanos".

Source: https://habr.com/ru/post/472930/


All Articles