capítulos anteriores

Comparação com a qualidade humana

33. Por que comparar com o nível de qualidade disponível para o homem

Muitos sistemas de aprendizado de máquina têm o objetivo de automatizar tarefas que as pessoas fazem bem. Os exemplos incluem reconhecimento de imagem, reconhecimento de fala e classificação de spam no email. Os algoritmos de aprendizado melhoraram tanto que conseguem superar uma pessoa em mais e mais tarefas desse tipo.

Além disso, existem vários motivos pelos quais a construção de sistemas de aprendizado de máquina é simplificada se você estiver tentando executar uma tarefa que as pessoas possam fazer bem com eles:

1. Basta marcar os dados com os acessadores. Por exemplo, como as pessoas reconhecem bem as imagens dos gatos, os avaliadores podem marcar com precisão as amostras necessárias para treinar seu algoritmo.
2. A análise de erros pode ser baseada na intuição humana. Suponha que um algoritmo de reconhecimento de fala funcione pior do que uma pessoa. Por exemplo, o algoritmo descriptografa incorretamente o fragmento e fornece: "Esta receita requer uma mesa de maçãs da escola", levando "um par" para uma "mesa da escola". Você pode usar a intuição de uma pessoa e tentar entender quais informações uma pessoa usa para obter a transcrição correta e, em seguida, usar essas informações para alterar o algoritmo de aprendizado.
3. Você pode usar a qualidade de resolver um problema por uma pessoa como referência e também definir a "taxa de erro desejada". Suponha que a qualidade do algoritmo ao executar uma tarefa tenha atingido um nível que corresponde a 10% dos erros e uma pessoa cometa apenas 2% dos erros. Então, sabemos que a taxa de erro ideal não excede 2% e o viés evitável para nosso algoritmo é de pelo menos 8%. Portanto, devemos tentar métodos para reduzir o viés.

Embora o ponto 3 possa parecer sem importância, acredito que ter um objetivo de erro razoável e alcançável ajuda a acelerar o progresso da equipe. A percepção de que o algoritmo tem um grande viés evitável é incrivelmente útil e sugere uma variedade de métodos que você pode tentar aplicar.

Existem algumas tarefas que nem as pessoas conseguem lidar. Por exemplo, escolha um livro para recomendar a você; ou selecione um anúncio para mostrá-lo a um usuário em um site; ou prever a situação no mercado de ações. Os computadores já superam a qualidade de resolver esses problemas pela maioria das pessoas. Nessas aplicações, encontramos os seguintes problemas:

• É mais difícil obter uma amostra rotulada para aprender algoritmos. Por exemplo, os avaliadores acham difícil criar um banco de dados de usuários indicando o livro “ideal” para cada um deles. Se você possui um site ou aplicativo que vende livros, pode obter dados com tags mostrando os livros dos usuários e observando os que eles compram. Se você não usa esse site, precisa encontrar maneiras mais criativas de obter dados.
• Não se pode contar com a intuição humana. Por exemplo, quase ninguém pode prever o comportamento do mercado de ações. Portanto, se nosso algoritmo de previsão de preço das ações não funcionar melhor do que o sorteio aleatório, é difícil descobrir como melhorá-lo.
• É difícil entender qual é a taxa de erro ideal e a taxa de erro desejada razoável. Suponha que o sistema de recomendação de livros existente funcione muito bem. Como descobrir, sem ter um nível básico ("humano") de qualidade e uma parcela correspondente de erros, quanto mais pode ser melhorado?

para ser continuado