Introduccion
Una vez más, trabajando con una empresa que realizaba un proyecto relacionado con el aprendizaje automático (ML), noté que los gerentes usan términos del campo de ML, sin comprender su esencia. Aunque las palabras se pronuncian gramaticalmente correctamente y en los lugares correctos de las oraciones, su significado no es más claro para ellos que la designación de sepules , que, como saben, se usan en sepularia para separarse. Al mismo tiempo, les parece a los líderes de equipo y desarrolladores simples que hablan el mismo idioma con la administración, lo que lleva a situaciones de conflicto que complican el trabajo en el proyecto. Por lo tanto, este artículo está dedicado a las técnicas de facilitación (del latín: simplificación o facilitación) de la comunicación de los desarrolladores con la administración o cómo explicar de manera simple y clara los términos básicos de ML, lo que lleva a su proyecto al éxito. Si este tema está cerca de usted, bienvenido a cat.
Un esteta a la nota: Sepuls, sepulcarius y sepulation son los términos utilizados por el ingenioso Stanislav Lem en el 14to viaje de Iyon el Pacífico.
Inicio del proyecto
El proyecto ML debe comenzar con la legitimación de la métrica de validación. Suena aterrador, ¿no? Comencemos la explicación. La legitimación (en ruso del latín es legalización) simplemente está llegando a un acuerdo entre las partes, fijada por escrito y respaldada; es deseable, por supuesto, también por escrito. Las partes son tanto el donante como la administración del proyecto, así como sus ejecutores.
Ahora pasemos a la validación . El programador de ML generalmente tiene experiencia escribiendo código de validación, y cuando rastrea, ve que se le devuelve verdadero y falso. Pero, ¿cómo explicar este concepto a un gerente que no se ocupa del código? Usemos este sencillo ejemplo de vida.
Imagina que estás pasando un mercado y ves: se venden duraznos. El vendedor te dice: “¡Bery! "Harosha parsik, fresco, jugoso, ne pityeesh". Sin embargo, se mira más de cerca y se ve: en un solo lugar se echa a perder. Usted dice: "Bueno, ¿dónde está él bien? esto está podrido ". El vendedor ofrece mitad de precio. Si piensa: "Puede cortar el estropeado, es solo una cuarta parte, parece ser rentable", y lo compra, luego en el lenguaje ML hay validación y el durazno (en la muestra de ML de argot) se reconoce como válido. Si cree que puede encontrar en otro lugar el mejor en lugar del malcriado, se produce una discapacidad y usted reconoce el durazno como no válido.
Resulta que no hay nada complicado en la validación, y todos hacemos validación todos los días, reconociendo una cosa como buena, adecuada para nosotros o invalidando, reconociendo que otra cosa es mala, inadecuada.
Nota para Estete: De repente, Jourdain se sorprende al saber que toda su vida se ha expresado en prosa (s). Moliere, comerciante de la nobleza.
Finalmente, solo queda explicar qué es una métrica de validación . Pensemos por qué decidimos comprar un durazno del ejemplo anterior.
- es lo suficientemente barato (precio <valor umbral)
- está bastante maduro (madurez> valor umbral), pero no maduro (madurez por debajo del segundo valor umbral)
- es de tamaño normal, es decir, su tamaño está en la categoría de "normal" (todas las categorías: demasiado pequeño, pequeño, normal, grande, enorme)
- no está lo suficientemente estropeado (el área de áreas podridas y estropeadas es menor que el valor umbral)
Todo esto, mencionado anteriormente, es un ejemplo de una métrica de validación que consta de 4 categorías en este ejemplo. En el caso más simple, cuando un durazno satisface todos los criterios a la vez, se reconocerá como válido y se comprará.
Ahora resulta obvio por qué es tan importante acordar desde el principio, cómo se llevará a cabo la validación, cuántos parámetros y con qué valores de umbral estarán satisfechas todas las partes interesadas. Las descripciones de acciones en caso de cumplimiento parcial de las condiciones pueden ocupar una sección especial.
Naturalmente, cada proyecto de ML, dependiendo de su área temática, tendrá su propia métrica de validación. El documento que fija la métrica de validación es tan importante para el proyecto ML como la constitución del estado.
Solo después de que el documento finalmente apareció en el proyecto que regula la métrica de validación y estuvo disponible para todos los participantes del proyecto, tiene sentido escribir su código. El código de validación es el corazón del proyecto y su calidad debe ser impecable, cualquier error en esta parte con un alto grado de probabilidad puede conducir al colapso de todo el proyecto de ML en su conjunto.
El misterio de calcular la precisión
El indicador más importante del estado actual de un proyecto para la gestión es la precisión . ¿Cómo puede uno simplemente explicarle al gerente qué es y qué acciones deben realizarse para calcularlo?
Primero necesitamos explicar qué es una muestra validada. En nuestro ejemplo, esto es cuando compramos no solo un durazno, sino una tonelada. Nos sentamos o contratamos trabajadores y clasifican los duraznos en 2 contenedores. Las inscripciones en los contenedores: X (bueno) y P (malo). El trabajo realizado al clasificar los duraznos es la creación de una muestra validada.
¿Cómo explicar por qué se necesita una muestra validada? Imagina que tienes una hermana menor y quieres enseñarle a elegir duraznos. Lo llevas al mercado y dices: "Aprende, mira cómo me va". Cuando te parece que ella ya ha aprendido, quieres probar sus habilidades. Como hacerlo Crea una muestra de control, es decir tomas de los contenedores, por ejemplo, 100 melocotones que ya se han clasificado de cada contenedor y los pegas secretamente en etiquetas adhesivas secretas para saber de qué contenedor fueron tomados, pero tu hermana no lo sabría y sugiere que los coloque independientemente en nuevos contenedores vacíos. El porcentaje de coincidencias que tiene la elección de su hermana con calcomanías secretas es una medida de precisión. En otras palabras, la precisión es el valor objetivo de cuánto se puede confiar en la hermana con la elección de duraznos para usted. 100% significa que ella es tu copia vertida y hace todo exactamente como tú. 0%: que su opinión es exactamente la opuesta a la tuya.
Una nota para Esthete: Sí, tiene razón, con el tiempo, los duraznos pueden comenzar a deteriorarse y debe tener en cuenta que su validez tendrá que revisarse de vez en cuando. Y esto también ocurre en los datos de la computadora, por ejemplo, con una característica como "relevancia".
Ahora echemos un vistazo a los indicadores de rendimiento de 4 ML que pueden confundirse. Estos son verdaderos positivos (TP), falsos positivos (FP), verdaderos negativos (TN) y falsos negativos (FN). La primera mitad de la palabra significa coincidencia (verdadero) o desajuste (falso) de la opinión de su hermana con una pegatina secreta de durazno. La segunda mitad simplemente significa el recipiente en el que su hermana arrojó el durazno (X-bueno - positivo, P-malo - negativo). Y dos palabras juntas es solo el número de duraznos en esa categoría.
Además de la precisión, también se utilizan 3 indicadores auxiliares, estos son precisión (precisión), recuperación (sensibilidad) y puntaje f1_score.
La precisión muestra el% de coincidencia con su opinión sobre los duraznos arrojados al contenedor X (bueno). 100% significa que todos los duraznos que reconociste como aptos son reconocidos como tales por tu hermana. Un valor más bajo significa que aquellos que son reconocidos como no aptos también han ingresado al contenedor X. El indicador es importante cuando es crítico para un negocio que los duraznos sin valor no caigan en los adecuados, pero si se descubre que el adecuado es erróneamente inadecuado, entonces no hay nada de qué preocuparse.
La recuperación muestra la relación entre los melocotones buenos (TP) seleccionados correctamente y la suma de este valor con los melocotones buenos considerados erróneamente no aptos (TP + FN). 100% significa que tu hermana nunca tira buenos duraznos en una canasta con los malos y es lo contrario de Precisión. Este indicador es importante cuando es necesario que una empresa tenga duraznos adecuados que, en la medida de lo posible, caigan en un recipiente que no se pueda utilizar.
La puntuación F1 es una puntuación sintética que combina los beneficios de precisión y recuperación. Su gran importancia atestigua el equilibrio del entrenamiento y sugiere que, como los buenos duraznos no caen en la canasta con los malos, los malos no se apresuran hacia los buenos.
Nota para Esthete: este indicador es la media armónica entre las precisiones y la recuperación y se calcula mediante la fórmula:
f1_score = 2*(recall*precision) / (recall + precision)
A menudo surge la pregunta: ¿por qué el gerente de proyecto de ML necesita conocer y comprender todos estos indicadores tan profundamente? Respuesta: esto es importante para los negocios. Como gerente de una granja lechera, necesita saber cuál es el rendimiento de la leche y por qué fórmula se consideran, como gerente de la granja necesita saber cuál es el rendimiento y cómo se calcula. Sí, el gerente puede no profundizar en cómo se ordeñan las vacas, cómo parían y cómo tratarlas, pero comprender los principales indicadores comerciales del proyecto es la clave del éxito comercial.
Resumen
Todos nosotros, participantes en proyectos de ML, estamos haciendo un trabajo bueno y necesario. ¿Cuál de nosotros, como estudiante, no soñó, ordenar papas, tomates y repollo en una granja colectiva para que los robots lo hicieran por él, y no por una (s) persona (s)? Hacemos realidad la historia y dejamos que nuestros proyectos tengan éxito. Me alegrará si este artículo ayuda a hacer una pequeña contribución al inicio exitoso de los proyectos de ML.
Si este artículo le parece útil, escriba los comentarios y haré el segundo artículo sobre cómo explicar la aditividad y la generalización de la gestión, estos pilares del proyecto ML correcto y adecuado.