¡Confía pero verifica! Cómo probar su modelo utilizando la nube de IBM (Watson OpenScale)

El problema de confiar en las predicciones hechas por los modelos de aprendizaje automático es cada vez más relevante. Cuanto más significativa sea la decisión tomada sobre la base de esta predicción, menor será la confianza. Esto se debe principalmente al hecho de que está lejos de ser siempre claro lo que influyó en la decisión final, si hubo algún sesgo en los datos iniciales sobre los que se formó el modelo, y si el desarrollador cometió errores al calcular los parámetros. No es posible verificar todo esto manualmente en la práctica, por lo tanto, a menudo es más fácil para la administración no implementar IA en absoluto.

Pero, ¿y si automatizas este proceso?

Presentamos Watson OpenScale , una solución basada en la nube que le permite no solo controlar la calidad de sus modelos, sino también rastrear la presencia de sesgos en las predicciones, detectar y eliminar sus causas.

Le diremos qué es y dónde aprender a trabajar con él.

Sesgo: un problema oculto de IA

Imagina que estás viendo un partido de fútbol y alguien te pregunta quién fue el mejor jugador en 2018. ¿Qué responderías? Detente y piensa un segundo antes de seguir leyendo ... Si fueras fanático de Argentina, lo más probable es que digas "Messi", si fueras fanático de Portugal, tu respuesta sería "Ronaldo". Alguien más diría que Messi es el mejor, o tal vez Dziuba. Cada una de estas respuestas (incluida la que apareció en su cabeza) refleja el sesgo inherente a cada persona que responde a esta pregunta. Puede ser causado por la admiración directa del propio jugador, o por el equipo en su conjunto, o por ciertos sentimientos hacia el país que representa el equipo.

El sesgo, tanto consciente como inconsciente, se puede encontrar en casi todos los aspectos de nuestro negocio. Cuando se trata de tomar decisiones, incluidos los algoritmos de inteligencia artificial, el sesgo puede tener consecuencias significativas. Considere un banco que usa IA para reconocer actividades fraudulentas. Imagine que la persona que desarrolla este modelo utiliza un conjunto de datos en el que todas las transacciones fraudulentas fueron cometidas por personas de cierto género, nacionalidad o nivel de ingresos. Luego, con mucha certeza, podemos decir que un modelo que está capacitado en estos datos sesgados tendrá en cuenta este sesgo en sus predicciones. Además, dado que las métricas que describen este modelo (precisión / recuperación) serán casi ideales (después de todo, la verificación se realiza en una submuestra del mismo conjunto de datos), será extremadamente difícil para un empleado detectar la presencia de sesgo como resultado del algoritmo. Como resultado, dicho modelo, incluso a pesar de los excelentes valores de las métricas, funcionará extremadamente mal, marcando como acciones fraudulentas que no son tales y viceversa, omitiendo transacciones realmente peligrosas. Y todo esto se debe al sesgo (sesgo) en los datos de origen sobre los que se entrenó el modelo.

Un problema aún mayor puede ser la presencia de sesgo en los resultados del modelo, en ausencia de cualquier sesgo en los datos. Esto puede ser causado por un error en la distribución de los pesos de los parámetros, o como resultado de transformaciones no lineales durante el entrenamiento o entrenamiento adicional del modelo. Por lo tanto, es muy importante no solo encontrar sesgo en la etapa de preprocesamiento de datos, sino también monitorear constantemente las predicciones durante las pruebas y el uso en el producto para evitar que aparezca sesgo en los resultados del algoritmo.

Debido a tales problemas, los AI no parecen confiables a los ojos de muchos propietarios de empresas.

¿Puede la IA ayudar a mejorar la IA?

IBM ofrece la solución en la nube Watson OpenScale , que permite el monitoreo continuo del rendimiento del modelo y el sesgo de predicción en tiempo real. No solo detecta la aparición de problemas, encuentra la causa de su aparición y ofrece una opción sobre cómo corregir los datos iniciales para evitar la aparición de sesgos en las predicciones. IBM Watson OpenScale le permite monitorear continuamente el funcionamiento del modelo, verificando su sesgo.

Otra gran pregunta para las empresas que utilizan modelos de inteligencia artificial es la naturaleza de la caja negra de los modelos. ¿Cómo puede un dueño de negocio verificar que AI está tomando la decisión correcta en base a los datos correctos? ¿Cómo explicar el "comportamiento" del modelo de inteligencia artificial? La falta de respuestas "simples" a estas preguntas es un gran problema que los expertos han encontrado recientemente. IBM Watson OpenScale lo resuelve. La predicción final realizada por el modelo, IBM Watson OpenScale, se acompaña de dos explicaciones diferentes que le permiten comprender el comportamiento del algoritmo. Debido a esto, parece una posibilidad bastante tangible de aumentar el nivel de confianza entre los gerentes y, como resultado, acelerar la implementación de IA en los negocios.

Entonces, ¿qué es Watson OpenScale de todos modos?

- Servicio en la nube disponible en IBM Cloud
Con uso gratuito en el marco de la cuenta Lite

- Seguimiento y seguimiento de los resultados del modelo.
Medición de la velocidad del modelo y seguimiento de resultados en la proyección hacia un objetivo comercial, con una interfaz gráfica clara y conveniente


- Modelos de ajuste para fines comerciales
Los resultados comerciales del modelo funcionan constantemente para ajustar los datos y mejorar los resultados de los modelos de aprendizaje automático.



- Gestión y decodificación del modelo.
Respalde el cumplimiento normativo mediante el seguimiento y la explicación de las soluciones de IA en los procesos comerciales, así como la detección y corrección inteligente de errores para mejorar los resultados.

¿Quiere probar su modelo de sesgo con IBM Watson OpenScale?

¿O tal vez descubrir por qué tomó esta o aquella decisión sobre datos específicos?

Ven el 9 de julio a un taller gratuito de un día en Moscú, y puedes:

• Conocer los principios y características de la formación y el funcionamiento de las redes neuronales.
• Entrene diferentes tipos de redes neuronales utilizando los conjuntos de datos proporcionados y las instrucciones detalladas
• Pruebe el funcionamiento de las redes neuronales utilizando la plataforma Watson OpenScale y la biblioteca de código abierto IBM Adversarial Robustness Toolbox (IBM ART)
• Pruebe las capacidades de IA para crear rápidamente modelos de redes neuronales con el motor NeuNetS

Todo el procesamiento de datos tiene lugar en la nube de IBM: solo necesita una computadora portátil y un navegador. Registro e información detallada - haga clic aquí .