1. Introdução
Mais uma vez trabalhando com uma empresa que desenvolve um projeto relacionado ao aprendizado de máquina (ML), notei que os gerentes usam termos do campo da ML, sem entender sua essência. Embora as palavras sejam pronunciadas gramaticalmente corretamente e no lugar certo das sentenças, o significado delas não é mais claro para elas do que a nomeação de sépulas , que, como você sabe, são usadas na sepularia para separar. Ao mesmo tempo, parece que os líderes de equipe e os desenvolvedores simples falam o mesmo idioma com a gerência, o que leva a situações de conflito que complicam o trabalho no projeto. Portanto, este artigo é dedicado às técnicas de facilitação (do latim: simplificação ou facilitação) da comunicação dos desenvolvedores com a gerência ou como explicar de forma simples e clara os termos básicos do ML, levando o seu projeto ao sucesso. Se este tópico estiver próximo de você, seja bem-vindo ao gato.
Um esteta para a nota: Sepuls, sepulcarius e sepulation são os termos usados pelo engenhoso Stanislav Lem na 14ª jornada de Iyon, no Pacífico.
Início do projeto
O projeto de ML deve começar com a legitimação da métrica de validação. Parece assustador, não é? Vamos começar a explicação. A legitimização (em russo do latim é legalização) está simplesmente chegando a um acordo das partes, fixado por escrito e endossado - é desejável, é claro, também por escrito. As partes são doadoras e da gerência do projeto, bem como seus executores.
Agora vamos para a validação . O programador de ML geralmente tem experiência em escrever código de validação e, ao rastrear, vê verdadeiro e falso retornados a ele. Mas como explicar esse conceito para um gerente que não lida com código? Vamos usar este exemplo simples da vida.
Imagine que você está passando por um mercado e vê: os pêssegos são vendidos. O vendedor diz a você: “Bery! "Harosha parsik, fresco, suculento, ne pityeesh." No entanto, você olha mais de perto e vê: em um lugar, está estragado. Você diz: “Bem, onde ele está bem? isso é podre. ” O vendedor oferece metade do preço. Se você pensa: "Você pode cortar o mimado, é apenas um quarto, parece ser rentável" - e compre, então na linguagem ML há validação e o pêssego (na gíria ML - amostra) é reconhecido como válido. Se você acha que pode encontrar em outro lugar o melhor, em vez do mimado, ocorre a incapacidade e o pêssego é reconhecido por você como inválido.
Acontece que não há nada complicado na validação, e todos nós fazemos a validação todos os dias, reconhecendo uma coisa como boa, adequada para nós mesmos ou invalidando, reconhecendo outra coisa como ruim, inadequada.
Nota para Estete: De repente, Jourdain fica surpreso ao saber que toda a sua vida foi expressa em prosa (s). Moliere, comerciante da nobreza.
Por fim, resta apenas explicar o que é uma métrica de validação . Vamos pensar por que decidimos comprar um pêssego do exemplo anterior?
- é barato o suficiente (preço <valor limite)
- é bastante maduro (maturidade> valor limite), mas não maduro (maturidade abaixo do 2º valor limite)
- é de tamanho normal, ou seja, seu tamanho está na categoria "normal" (todas as categorias: muito pequena, pequena, normal, grande, enorme)
- não é estragado o suficiente (a área de áreas podres e estragadas é menor que o valor limite)
Tudo isso, listado acima, é um exemplo de uma métrica de validação que consiste em 4 categorias neste exemplo. No caso mais simples, quando um pêssego satisfaz todos os critérios de uma só vez, será reconhecido como válido e adquirido.
Agora, fica óbvio por que é tão importante concordar desde o início, como exatamente a validação ocorrerá, em quantos parâmetros e com quais valores limiares todas as partes estarão satisfeitas. Descrições de ações em caso de cumprimento parcial das condições podem ocupar uma seção especial.
Naturalmente, cada projeto de ML, dependendo da área de assunto, terá sua própria métrica de validação. O documento que fixa a métrica de validação é tão importante para o projeto de BC quanto a constituição do estado.
Somente depois que o documento finalmente apareceu no projeto que regula a métrica de validação e ficou disponível para todos os participantes do projeto, faz sentido escrever seu código. O código de validação é o coração do projeto e sua qualidade deve ser impecável, qualquer erro nesta parte com um alto grau de probabilidade pode levar ao colapso de todo o projeto de ML como um todo.
O mistério do cálculo da precisão
O indicador mais importante da situação atual de um projeto de gerenciamento é a precisão . Como alguém pode simplesmente explicar ao gerente o que é e quais ações precisam ser executadas para calculá-lo?
Primeiro, precisamos explicar o que é uma amostra validada. No nosso exemplo, foi quando compramos não um único pêssego, mas uma tonelada. Sentamos ou contratamos trabalhadores e eles separam os pêssegos em 2 recipientes. As inscrições nos recipientes: X (bom) e P (ruim). O trabalho realizado pela classificação de pêssegos é a criação de uma amostra validada.
Como explicar por que é necessária uma amostra validada? Imagine que você tem uma irmã mais nova e quer ensiná-la a escolher pêssegos. Você o leva ao mercado e diz: "Aprenda, observe como eu faço". Quando lhe parecer que ela já aprendeu, você quer testar as habilidades dela. Como fazer isso? Você cria uma amostra de controle, ou seja, você pega nos contêineres, por exemplo, 100 pêssegos que já foram separados de cada contêiner e coloca silenciosamente adesivos secretos neles para saber qual contêiner foram retirados de você, mas isso não seria conhecido por sua irmã e sugere que ela os coloque independentemente em novos contêineres vazios. A porcentagem de correspondências que a eleição de sua irmã tem com adesivos secretos é uma medida de precisão. Em outras palavras, a precisão é o valor objetivo de quanta irmã pode confiar na sua escolha de pêssegos para você. 100% significa que ela é sua cópia derramada e faz tudo exatamente como você faz. 0% - que a opinião dela é exatamente o oposto da sua.
Uma observação para Esthete: Sim, você tem razão, com o tempo, os pêssegos podem começar a deteriorar-se e é necessário considerar que a validade deles precisará ser revista periodicamente. E isso também acontece nos dados do computador, por exemplo, com uma característica como "relevância".
Agora, vamos dar uma olhada em 4 indicadores de desempenho de ML que podem ser confundidos. Estes são verdadeiro positivo (TP), falso positivo (FP), verdadeiro negativo (TN) e falso negativo (FN). A primeira metade da palavra significa coincidência (verdadeira) ou incompatibilidade (falsa) da opinião de sua irmã com um adesivo secreto de pêssego. A segunda metade significa simplesmente o recipiente no qual sua irmã jogou o pêssego (X-bom - positivo, P-ruim - negativo). E duas palavras juntas são apenas o número de pêssegos nessa categoria.
Além da precisão, também são utilizados três indicadores auxiliares: precisão (exatidão), rechamada (sensibilidade) e f1_score.
A precisão mostra a% de correspondência com a sua opinião de pêssegos jogados no recipiente X (bom). 100% significa que todos os pêssegos que você reconheceu como adequados são reconhecidos como tal por sua irmã. Um valor mais baixo significa que aqueles que são reconhecidos como impróprios também entraram no contêiner X. O indicador é importante quando é essencial para uma empresa que os pêssegos sem valor não caiam nos adequados, mas se o adequado é erroneamente inapto, não há com o que se preocupar.
Lembre-se mostra a relação entre bons pêssegos (TP) selecionados corretamente e a soma desse valor com bons pêssegos erroneamente considerados impróprios (TP + FN). 100% significa que sua irmã nunca joga bons pêssegos em uma cesta com outros ruins e é o oposto da precisão. Esse indicador é importante quando é necessário que uma empresa tenha pêssegos adequados tão raramente quanto possível caírem em um recipiente inutilizável.
A pontuação F1 é uma pontuação sintética que combina os benefícios de precisão e recall. Sua grande importância atesta o equilíbrio do treinamento e sugere que, como os bons pêssegos não caem na cesta com os ruins, os maus não correm para os bons.
Nota para Esthete: Este indicador é a média harmônica entre precisões e recuperação e é calculada pela fórmula:
f1_score = 2*(recall*precision) / (recall + precision)
Muitas vezes surge a pergunta: por que o gerente de projetos de ML precisa conhecer e entender todos esses indicadores tão profundamente. Resposta: isso é importante para os negócios. Como gerente de uma fazenda de gado leiteiro, você precisa saber o que é produção de leite e por qual fórmula eles são considerados; como gerente de fazenda, você precisa saber o que é produção e como é calculada. Sim, o gerente pode não se aprofundar em como as vacas são ordenhadas, como elas são geridas e como tratá-las, mas entender os principais indicadores de negócios do projeto é a chave para o sucesso dos negócios.
Sumário
Todos nós, participantes de projetos de ML, estamos fazendo um trabalho bom e necessário. Qual de nós, como estudante, não sonhava, escolhendo batatas, tomates e repolho em uma fazenda coletiva para que os robôs fizessem isso por ele, e não por uma pessoa. Tornamos a história realidade e permitimos que nossos projetos sejam bem-sucedidos. Ficarei feliz se este artigo ajudar a dar uma pequena contribuição para o início bem-sucedido dos projetos de ML.
Se este artigo lhe parecer útil, escreva nos comentários e farei o 2º artigo sobre como explicar a aditividade e generalização para gerenciamento, esses pilares do projeto correto e adequado de ML.