chapitres précédents

Comparaison avec la qualité humaine

33. Pourquoi comparer avec le niveau de qualité accessible à l'homme

De nombreux systèmes d'apprentissage automatique ont pour objectif d'automatiser des tâches que les gens font bien. Les exemples incluent la reconnaissance d'image, la reconnaissance vocale et la classification des spams dans les e-mails. Les algorithmes d'apprentissage se sont tellement améliorés qu'ils parviennent à dépasser une personne dans de plus en plus de telles tâches.

De plus, il existe plusieurs raisons pour lesquelles la construction de systèmes d'apprentissage automatique est simplifiée si vous essayez d'effectuer une tâche que les gens peuvent bien faire avec eux:

1. Marquez simplement les données avec des accesseurs. Par exemple, comme les gens reconnaissent bien les images des chats, les évaluateurs peuvent marquer avec précision les échantillons nécessaires pour former votre algorithme.
2. L'analyse des erreurs peut être basée sur l'intuition humaine. Supposons qu'un algorithme de reconnaissance vocale fonctionne moins bien qu'une personne. Par exemple, l'algorithme décrypte incorrectement le fragment et donne: «Cette recette nécessite un banc d'école de pommes», en prenant «un couple» pour un «banc d'école». Vous pouvez utiliser l'intuition d'une personne et essayer de comprendre quelles informations une personne utilise pour obtenir la transcription correcte, puis utiliser ces informations pour modifier l'algorithme d'apprentissage.
3. Vous pouvez utiliser la qualité de résolution d'un problème par une personne comme référence, et également définir le «taux d'erreur souhaité». Supposons que la qualité de l'algorithme lors de l'exécution d'une tâche ait atteint un niveau qui correspond à 10% des erreurs et qu'une personne ne fasse que 2% des erreurs. On sait alors que le taux d'erreur optimal ne dépasse pas 2%, et le biais évitable pour notre algorithme est d'au moins 8%. Par conséquent, nous devrions essayer des méthodes pour réduire le biais.

Bien que le point 3 puisse sembler sans importance, je pense qu'avoir un objectif d'erreur raisonnable et réalisable aide à accélérer les progrès de l'équipe. La prise de conscience que l'algorithme a un biais important évitable est incroyablement utile et suggère une gamme de méthodes que vous pouvez essayer d'appliquer.

Il y a certaines tâches auxquelles même les gens ne peuvent pas faire face. Par exemple, choisissez un livre à vous recommander; ou sélectionnez une annonce pour la montrer à un utilisateur sur un site Web; ou prédire la situation en bourse. Les ordinateurs dépassent déjà la qualité de résolution de ces problèmes par la plupart des gens. Dans ces applications, nous rencontrons les problèmes suivants:

• Il est plus difficile d'obtenir un échantillon étiqueté pour l'apprentissage d'algorithmes. Par exemple, les évaluateurs ont du mal à créer une base de données d'utilisateurs indiquant le livre «optimal» pour chacun d'eux. Si vous avez un site Web ou une application qui vend des livres, vous pouvez obtenir des données balisées en affichant les livres des utilisateurs et en notant ceux qu'ils achètent. Si vous n'utilisez pas un tel site, vous devez trouver des moyens plus créatifs pour obtenir des données.
• On ne peut pas compter sur l'intuition humaine. Par exemple, presque personne ne peut prédire le comportement du marché boursier. Donc, si notre algorithme de prédiction du cours des actions ne fonctionne pas mieux que la bonne aventure, il est difficile de comprendre comment l'améliorer.
• Il est difficile de comprendre quel est le taux d'erreur optimal et le taux d'erreur souhaité raisonnable. Supposons que le système de recommandation de livres existant fonctionne plutôt bien. Comment savoir, sans avoir un niveau de qualité («humain») de base et une part d'erreurs correspondante, combien peut-il être amélioré?

à suivre