En busca de un punto óptimo de aplicación de recursos humanos

Una de las paradojas de las plataformas modernas de Internet es que, aunque están sustancialmente automatizadas y el contenido que ven los usuarios finales se muestra sin moderación humana, sin embargo, dependen completamente del comportamiento humano, porque de hecho, solo observan, reciben información y sacan conclusiones basadas en las acciones de cientos de millones o miles de millones de personas.


El origen de este principio fue el PageRank. En lugar de confiar en reglas creadas manualmente que proporcionarían una comprensión del significado de cada página individual, o trabajar con el texto original, PageRank observa lo que exactamente hicieron o dijeron las personas sobre dicha página. ¿Quién está conectado de alguna manera con él, qué texto usaron y quién está conectado con las personas asociadas con esta página? Al mismo tiempo, Google le da a cada usuario la oportunidad de clasificar (indexar, calificar) cada conjunto de resultados de búsqueda de forma manual: se le dan 10 enlaces azules y solo le dice a Google cuál es el adecuado. Lo mismo es cierto para Facebook: Facebook realmente no sabe quién es usted o qué le interesa o de qué trata este o aquel contenido. Pero él sabe a quién estás siguiendo, qué te gusta, a quién más te gusta esto y a qué más les gusta y a qué se suscribieron. Facebook es un PageRank orientado a los humanos. En general, lo mismo se aplica a YouTube: nunca supo de qué se trataba el video en particular, sino solo lo que la gente escribió debajo y qué más vieron y les gustó.


En esencia, estos sistemas son enormes "turcos mecánicos". Después de todo, no entienden absolutamente el contenido del contenido con el que trabajan, solo están tratando de crear, capturar y transmitir el sentimiento humano con respecto a este contenido. Son enormes sistemas informáticos distribuidos en los que las personas actúan como procesadores, y la plataforma en sí es una combinación de enrutadores e interconexiones. (Esto me recuerda un poco la idea del libro "Guía del autoestopista galáctico" de que toda la Tierra es en realidad una computadora enorme que realiza ciertas funciones, y nuestras actividades diarias son parte de los cálculos).


Esto significa que gran parte del diseño del sistema está relacionado con la búsqueda de los puntos óptimos de aplicación de los recursos humanos al trabajar con un sistema automatizado. ¿Estás capturando lo que ya está sucediendo? Entonces Google comenzó a usar enlaces que ya existían. ¿Necesita estimular la actividad para revelar su valor? Facebook tuvo que crear una actividad ellos mismos antes de poder obtener algún beneficio de ella. ¿Tal vez confías mucho en los recursos humanos? Este enfoque se utiliza en Apple Music, con sus listas de reproducción seleccionadas manualmente, que se emiten automáticamente a decenas de millones de usuarios. ¿O tienes que pagarle a la gente para que haga todo?


Inicialmente, el Directorio de recursos de Internet de Yahoo fue un intento de adoptar el enfoque de "pagar a la gente para hacer todo": Yahoo pagó a las personas para catalogar todo Internet. Al principio parecía factible, pero a medida que Internet crecía demasiado rápido, pronto resultó ser un desafío abrumador, y cuando Yahoo se rindió, el tamaño de su catálogo ya excedía los 3 millones de páginas. PageRank resolvió este problema. Por el contrario, Google Maps usa una gran cantidad de automóviles con cámaras controladas por personas (por ahora) y manejan casi todas las calles del mundo y muchas más personas miran estas fotos, y esta no es una tarea abrumadora, solo cuesta mucho. Google Maps es un "turco mecánico" tan privado. Ahora estamos investigando exactamente la misma pregunta, hablando sobre la moderación del contenido por personas: ¿cuántas decenas de miles de personas necesitará para ver cada publicación y cuánto puede automatizarse esta tarea? ¿Es abrumadora esta tarea o su implementación es muy costosa?


Si considera que estas plataformas utilizan miles de millones de personas para hacer computación real, esto debería plantear dos preguntas interesantes: ¿qué vulnerabilidades existen en dichas plataformas y cómo puede el aprendizaje automático cambiar esta área?


En el pasado, cuando pensábamos en hackear sistemas informáticos, teníamos la idea de varias vulnerabilidades técnicas: contraseñas robadas o débiles, vulnerabilidades abiertas en sistemas, errores, desbordamientos de búfer, inyecciones SQL. Representamos a "piratas informáticos" en busca de agujeros en el software. Pero, si imagina que YouTube o Facebook son sistemas informáticos distribuidos en los que el software habitual actúa como enrutadores, pero las personas desempeñan el papel de procesadores, cualquier atacante inmediatamente pensará en encontrar vulnerabilidades no solo en el software, sino también en las personas. Los sesgos cognitivos típicos comienzan a jugar el mismo papel que los defectos típicos en el software.


Es decir, de hecho, hay dos formas de robar un banco: puede omitir el sistema de alarma y recoger una llave maestra para una caja fuerte, o puede sobornar a un empleado del banco. En cada uno de estos ejemplos, el sistema falló, pero ahora uno de los sistemas es usted y yo. Por lo tanto, como escribí en este artículo sobre el cambio reciente del curso de Facebook hacia la privacidad y la seguridad del usuario, la moderación del contenido por parte de personas vivas en tales plataformas es inherentemente similar al trabajo de los antivirus, que comenzó a desarrollarse rápidamente en respuesta a la aparición de malware en Windows hace dos décadas . Una parte de la computadora está observando si la otra parte está haciendo algo que no debería hacer.


Incluso si no hablamos sobre piratería deliberada de sistemas, existen otros problemas que surgen al tratar de analizar la actividad de una persona con la ayuda de otra persona. Entonces, cuando comienzas a usar una computadora para analizar otra computadora, corres el riesgo de crear bucles de retroalimentación. Esto se refleja en conceptos como la "burbuja de filtro", la "radicalización de YouTube" o la búsqueda de spam. Al mismo tiempo, uno de los problemas que ha encontrado Facebook es que a veces la disponibilidad y producción de una gran cantidad de datos compensará el valor de estos datos. Llamaremos a esto el problema de sobrecargar las noticias: por ejemplo, tienes 50 o 150 amigos y publicas 5 o 10 entradas todos los días, o algo así, pero todos tus amigos hacen exactamente lo mismo y ahora tienes 1,500 entradas en tu fuente todos los días. Número Dunbar + Ley Zuckerberg = sobrecarga ... lo que nos lleva a la Ley Goodhart.


"Cualquier patrón estadístico observado es propenso a la destrucción tan pronto como se ejerza presión sobre él para controlarlo". - Charles Goodhart

Sin embargo, ¿cómo puede el aprendizaje automático hacer la diferencia? Anteriormente, ya dije que la principal dificultad es cómo utilizar los recursos humanos para trabajar con el software de la manera más óptima, aunque hay otra opción: simplemente dejar que la computadora haga todo el trabajo. Hasta hace muy poco, las dificultades y las razones por las que existían tales sistemas consistían principalmente en una gran clase de tareas que las computadoras no podían resolver, aunque la gente las resolvió al instante. Lo llamamos "tareas que son fáciles para una persona, pero difíciles para una computadora", pero en realidad eran tareas que eran fáciles para una persona, pero que una persona es prácticamente incapaz de describir a una computadora. Una característica innovadora del aprendizaje automático es que permite que las computadoras desarrollen la descripción necesaria.


El siguiente cómic (directamente desde 2014, justo cuando el aprendizaje automático y los sistemas de visión por computadora comenzaron a desarrollarse rápidamente) ilustra perfectamente estos cambios. La primera tarea se realizó fácilmente, a diferencia de la segunda, al menos hasta el advenimiento del aprendizaje automático.



La vieja forma de resolver este problema es encontrar personas que clasifiquen la imagen, recurrir a algún tipo de crowdsourcing. En otras palabras, use un "turco mecánico". Pero hoy, es posible que ya no necesitemos que nadie mire esta imagen, porque con la ayuda del aprendizaje automático, a menudo podemos automatizar la solución de este problema en particular.


Entonces: ¿cuántos problemas podrías resolver antes de usar un análisis de las acciones de millones o cientos de millones de personas que ahora puedes resolver usando el aprendizaje automático y generalmente sin la necesidad de involucrar a los usuarios?


Por supuesto, hay cierta contradicción en esto, porque en el aprendizaje automático siempre se necesita una gran cantidad de datos. Obviamente, en este caso, alguien podría decir que si tiene una plataforma grande, automáticamente tiene una gran cantidad de datos, por lo tanto, el proceso de aprendizaje automático también será más fácil. Esto es definitivamente cierto, al menos al principio, pero creo que no estaría fuera de lugar preguntar cuántas tareas podrían resolverse solo con la ayuda de los usuarios existentes. En el pasado, si tenía una foto de gato, podría marcarse como "gato" solo si tenía suficientes usuarios, y uno de ellos miraría esa foto en particular y la etiquetaría. Hoy en día, no necesita usuarios reales para procesar esta imagen particular de un gato: solo necesita tener otros usuarios, en cualquier parte del mundo, en algún momento del pasado que ya hayan clasificado suficientes imágenes con gatos para generar el modelo de reconocimiento necesario.


Esta es solo otra forma de hacer el mejor uso de los recursos humanos: en cualquier caso, necesita personas para clasificar objetos (y escribir reglas según las cuales las personas los clasificarán). Pero aquí ya estamos moviendo la palanca y, posiblemente, cambiando radicalmente el número de personas necesarias, y por lo tanto, las reglas del juego, en cierta medida, están cambiando debido al efecto de "el ganador se queda con todo". Al final, todas estas redes sociales a gran escala de la plataforma son solo enormes colecciones de datos clasificados manualmente, ya que al final resulta que su vaso está medio lleno o medio vacío. Por un lado, está medio lleno: tienen a su disposición la mayor colección de datos clasificados manualmente (en su campo de actividad específico). Por otro lado, el vaso está medio vacío: esta información fue seleccionada y clasificada manualmente.


Incluso donde los datos podrían formar una de estas plataformas (que, muy probablemente, esto no sucederá, ciertamente no sucederá, como escribí aquí ), se convertirían, bueno, en una plataforma. Al igual que con AWS, que permitió a las startups que ya no necesitaban millones de usuarios tener economías de escala para su infraestructura, crear tales herramientas significaría que ya no necesitaría millones o miles de millones de usuarios para reconocer a un gato. Puedes automatizar el proceso.


Traducción: Alexander Tregubov
Edición: Alexey Ivanov
Comunidad: @ponchiknews

Source: https://habr.com/ru/post/452716/


All Articles