Confie, mas verifique! Como testar seu modelo usando a nuvem IBM (Watson OpenScale)

O problema de confiar nas previsões feitas pelos modelos de aprendizado de máquina está se tornando cada vez mais relevante. Quanto mais significativa a decisão tomada com base nessa previsão, menor a confiança. Isso se deve principalmente ao fato de que nem sempre está claro o que afetou a decisão final, houve algum viés nos dados iniciais nos quais o modelo foi treinado e se o desenvolvedor cometeu erros no cálculo dos parâmetros. Verificar tudo isso manualmente na prática não é possível; portanto, é mais fácil para o gerenciamento não implementar a IA.

Mas e se você automatizar esse processo?

Apresentando o Watson OpenScale , uma solução baseada em nuvem que permite controlar não apenas a qualidade de seus modelos, mas também rastrear a presença de viés nas previsões, detectar e eliminar suas causas.

Vamos dizer o que é e onde aprender a trabalhar com ele.

Viés - um problema oculto de IA

Imagine que você está assistindo a uma partida de futebol e alguém pergunta quem foi o melhor jogador em 2018. O que você responderia? Pare e pense um segundo antes de ler mais ... Se você fosse um fã da Argentina, provavelmente diria "Messi", se fosse um fã de Portugal, sua resposta seria "Ronaldo". Alguém diria que Messi é o melhor, ou talvez Dziuba. Cada uma dessas respostas (incluindo a que apareceu em sua cabeça) reflete o viés inerente a todas as pessoas que respondem a essa pergunta. Isso pode ser causado pela admiração diretamente pelo próprio jogador, ou pelo time como um todo, ou por certos sentimentos pelo país em que o time defende.

Viés, consciente e inconsciente, pode ser encontrado em quase todos os aspectos de nossos negócios. Quando se trata de tomada de decisão, incluindo algoritmos de inteligência artificial, o viés pode ter consequências significativas. Considere um banco usando a IA para reconhecer atividades fraudulentas. Imagine que a pessoa que desenvolveu esse modelo usou um conjunto de dados no qual todas as transações fraudulentas foram cometidas por pessoas de um determinado gênero, nacionalidade ou nível de renda. Então, com muita certeza, podemos dizer que um modelo treinado em tais dados tendenciosos levará esse viés em consideração em suas previsões. Além disso, como as métricas que descrevem esse modelo (precisão / recall) serão próximas do ideal (afinal, a verificação ocorre em uma subamostra do mesmo conjunto de dados), será extremamente difícil para um funcionário detectar a presença de viés como resultado do algoritmo. Como resultado, esse modelo, apesar dos excelentes valores métricos, funcionará extremamente mal, marcando como ações fraudulentas que não são e vice-versa, pulando transações realmente perigosas. E tudo isso se deve ao viés (viés) nos dados de origem nos quais o modelo foi treinado.

Um problema ainda maior pode ser a presença de viés nos resultados do modelo, na ausência de viés nos dados. Isso pode ser causado por um erro na distribuição dos pesos dos parâmetros ou como resultado de transformações não lineares durante o treinamento ou treinamento adicional do modelo. Portanto, é muito importante não apenas encontrar viés no estágio de pré-processamento de dados, mas também monitorar constantemente as previsões durante o teste e o uso no produto para impedir que o viés apareça nos resultados do algoritmo.

É por causa de tais problemas que as IAs não parecem confiáveis aos olhos de muitos proprietários de empresas.

A IA pode ajudar a melhorar a IA?

A IBM oferece a solução em nuvem Watson OpenScale , que permite o monitoramento contínuo do desempenho do modelo e o viés de previsão em tempo real. Além de detectar a ocorrência de problemas, ele encontra a causa da ocorrência e oferece uma opção sobre como corrigir os dados iniciais, a fim de evitar o aparecimento de viés nas previsões. O IBM Watson OpenScale permite monitorar continuamente a operação do modelo, verificando se há viés.

Outra grande questão para as empresas que usam modelos de inteligência artificial é a natureza da caixa preta dos modelos. Como o proprietário de uma empresa pode verificar se a IA está tomando a decisão certa com base nos dados certos? Como explicar o "comportamento" do modelo de inteligência artificial? A falta de respostas "simples" para essas perguntas é um grande problema que os especialistas encontraram recentemente. O IBM Watson OpenScale resolve isso. A previsão final feita pelo modelo, IBM Watson OpenScale, é acompanhada por duas explicações diferentes que permitem entender o comportamento do algoritmo. Devido a isso, parece haver uma chance bastante tangível de aumentar o nível de confiança entre os gerentes e, como resultado, acelerar a implementação da IA ​​nos negócios.

Então, o que é o Watson OpenScale da mesma forma?

- Serviço em nuvem disponível no IBM Cloud
Com o uso gratuito no âmbito da conta Lite

- Monitorando e acompanhando os resultados do modelo
Medição da velocidade do modelo e rastreamento de resultados em projeção em uma meta de negócios, com uma interface gráfica clara e conveniente


- Ajustando modelos para fins comerciais
Os resultados de negócios do modelo trabalham constantemente para ajustar os dados para melhorar os resultados dos modelos de aprendizado de máquina



- Gerenciamento e decodificação do modelo
Ofereça suporte à conformidade regulamentar rastreando e explicando as soluções de IA nos processos de negócios, bem como a detecção e correção de erros inteligentes para melhorar os resultados.

Deseja testar seu modelo de viés com o IBM Watson OpenScale?

Ou talvez descubra por que ela tomou essa ou aquela decisão sobre dados específicos?

Venha no dia 9 de julho para um workshop gratuito de um dia em Moscou e você poderá:

• Familiarizar-se com os princípios e características do treinamento e operação de redes neurais
• Treine diferentes tipos de redes neurais usando os conjuntos de dados fornecidos e instruções detalhadas
• Teste a operação de redes neurais usando a plataforma Watson OpenScale e a biblioteca de código-fonte aberto IBM Adversarial Robustness Toolbox (IBM ART)
• Experimente os recursos de IA para criar rapidamente modelos de redes neurais usando o mecanismo NeuNetS

Todo o processamento de dados ocorre na nuvem IBM - você só precisa de um laptop e um navegador. Registro e informações detalhadas - clique aqui .