capítulos anteriores

Comparación con la calidad humana.

33. ¿Por qué comparar con el nivel de calidad disponible para el hombre?

Muchos sistemas de aprendizaje automático tienen el objetivo de automatizar tareas que las personas hacen bien. Los ejemplos incluyen reconocimiento de imágenes, reconocimiento de voz y clasificación de spam en el correo electrónico. Los algoritmos de aprendizaje han mejorado tanto que logran superar a una persona en cada vez más tareas.

Además, hay varias razones en función de las cuales se simplifica la construcción de sistemas de aprendizaje automático si está intentando realizar una tarea que las personas pueden hacer bien con ellos:

1. Simplemente marque los datos con los accesores. Por ejemplo, dado que las personas reconocen bien las imágenes de los gatos, los evaluadores pueden marcar con precisión las muestras necesarias para entrenar su algoritmo.
2. El análisis de errores puede basarse en la intuición humana. Supongamos que un algoritmo de reconocimiento de voz funciona peor que una persona. Por ejemplo, el algoritmo descifra incorrectamente el fragmento y da: "Esta receta requiere un escritorio escolar de manzanas", tomando "un par" para un "escritorio escolar". Puede usar la intuición de una persona e intentar comprender qué información usa una persona para obtener la transcripción correcta, y luego usar esta información para cambiar el algoritmo de aprendizaje.
3. Puede utilizar la calidad de una persona para resolver un problema como referencia, y también establecer la "tasa de error deseada". Suponga que la calidad del algoritmo al realizar una tarea ha alcanzado un nivel que corresponde al 10% de los errores, y una persona comete solo el 2% de los errores. Entonces sabemos que la tasa de error óptima no supera el 2%, y el sesgo evitable para nuestro algoritmo es al menos del 8%. Por lo tanto, deberíamos probar métodos para reducir el sesgo.

Aunque el punto 3 puede parecer poco importante, creo que tener un objetivo de error razonable y alcanzable ayuda a acelerar el progreso del equipo. La comprensión de que el algoritmo tiene un sesgo evitable grande es increíblemente útil y sugiere una variedad de métodos que puede intentar aplicar.

Hay algunas tareas que incluso las personas no pueden hacer frente. Por ejemplo, elija un libro para recomendarle; o seleccione un anuncio para mostrarlo a un usuario en un sitio web; o predecir la situación en el mercado de valores. Las computadoras ya superan la calidad de resolver estos problemas por la mayoría de las personas. En estas aplicaciones encontramos los siguientes problemas:

• Es más difícil obtener una muestra etiquetada para algoritmos de aprendizaje. Por ejemplo, a los evaluadores les resulta difícil diseñar una base de datos de usuarios que indique el libro "óptimo" para cada uno de ellos. Si tiene un sitio web o una aplicación que vende libros, puede obtener datos etiquetados mostrando a los usuarios libros y anotando los que compran. Si no utiliza dicho sitio, necesita encontrar formas más creativas de obtener datos.
• No se puede contar con la intuición humana. Por ejemplo, casi nadie puede predecir el comportamiento del mercado de valores. Entonces, si nuestro algoritmo de predicción del precio de las acciones no funciona mejor que la adivinación aleatoria, es difícil descubrir cómo mejorarlo.
• Es difícil entender cuál es la tasa de error óptima y la tasa de error deseada razonable. Supongamos que el sistema de recomendación de libros existente funciona bastante bien. ¿Cómo averiguar, sin tener un nivel básico ("humano") de calidad y una proporción correspondiente de errores, cuánto más se puede mejorar?

para continuar