Percaya tapi verifikasi! Cara menguji model Anda menggunakan cloud IBM (Watson OpenScale)

Masalah mempercayai prediksi yang dibuat oleh model pembelajaran mesin menjadi semakin relevan. Semakin signifikan keputusan yang dibuat berdasarkan prediksi ini, semakin tidak percaya diri. Hal ini terutama disebabkan oleh fakta bahwa jauh dari selalu jelas apa yang mempengaruhi keputusan akhir, apakah ada bias dalam data awal di mana model dilatih, dan jika pengembang membuat kesalahan dalam menghitung parameter. Tidak mungkin memverifikasi semua ini secara manual dalam praktiknya, sehingga seringkali lebih mudah bagi manajemen untuk tidak menerapkan AI sama sekali.

Tetapi bagaimana jika Anda mengotomatiskan proses ini?

Memperkenalkan Watson OpenScale , solusi berbasis cloud yang memungkinkan Anda untuk tidak hanya mengontrol kualitas model Anda, tetapi juga untuk melacak keberadaan bias dalam prediksi, untuk mendeteksi dan menghilangkan penyebabnya.

Kami akan memberi tahu Anda apa itu dan di mana belajar bagaimana bekerja dengannya.

Bias - Masalah AI Tersembunyi

Bayangkan Anda menonton pertandingan sepak bola dan seseorang bertanya siapa pemain terbaik di 2018. Apa yang akan kamu jawab? Berhentilah dan pikirkan sejenak sebelum membaca lebih lanjut ... Jika Anda adalah penggemar Argentina, kemungkinan besar Anda akan mengatakan "Messi", jika Anda adalah penggemar Portugal, jawaban Anda adalah "Ronaldo". Orang lain akan mengatakan bahwa Messi adalah yang terbaik, atau mungkin Dziuba. Setiap jawaban ini (termasuk yang muncul di kepala Anda) mencerminkan bias yang melekat pada setiap orang yang menjawab pertanyaan ini. Ini bisa disebabkan oleh kekaguman langsung oleh pemain itu sendiri, atau oleh tim secara keseluruhan, atau oleh perasaan tertentu untuk negara tempat tim itu berdiri.

Bias, baik sadar maupun tidak sadar, dapat ditemukan di hampir semua aspek bisnis kami. Ketika sampai pada pengambilan keputusan, termasuk algoritma kecerdasan buatan, bias dapat memiliki konsekuensi yang signifikan. Pertimbangkan bank yang menggunakan AI untuk mengenali aktivitas penipuan. Bayangkan bahwa orang yang mengembangkan model ini menggunakan dataset di mana semua transaksi penipuan dilakukan oleh orang-orang dari jenis kelamin, kebangsaan atau tingkat pendapatan tertentu. Kemudian, dengan banyak kepastian, kita dapat mengatakan bahwa model yang dilatih tentang data yang bias tersebut akan mempertimbangkan bias ini dalam prediksi. Selain itu, karena metrik yang menggambarkan model ini (presisi / recall) akan mendekati ideal (setelah semua, verifikasi dilakukan pada subsampel dari dataset yang sama), akan sangat sulit bagi karyawan untuk mendeteksi keberadaan bias sebagai hasil dari algoritma. Akibatnya, model seperti itu, meskipun nilai metrik yang sangat baik, akan bekerja dengan sangat buruk, ditandai sebagai tindakan curang yang tidak demikian dan sebaliknya, melewatkan transaksi yang benar-benar berbahaya. Dan semua ini disebabkan oleh bias (bias) pada sumber data di mana model dilatih.

Masalah yang bahkan lebih besar mungkin adalah adanya bias dalam hasil model, dengan tidak adanya bias dalam data. Ini mungkin disebabkan oleh kesalahan dalam distribusi bobot parameter, atau sebagai akibat dari transformasi non-linear selama pelatihan atau pelatihan model selanjutnya. Oleh karena itu, sangat penting untuk tidak hanya menemukan bias pada tahap preprocessing data, tetapi juga secara konstan memonitor prediksi selama pengujian dan penggunaan dalam produk untuk mencegah bias dalam hasil algoritma.

Karena masalah seperti itu AI terlihat tidak bisa diandalkan di mata banyak pemilik perusahaan.

Bisakah AI membantu meningkatkan AI?

IBM menawarkan solusi cloud Watson OpenScale , yang memungkinkan pemantauan terus menerus atas kinerja model dan bias prediksi waktu-nyata. Itu tidak hanya mendeteksi terjadinya masalah, ia menemukan penyebab terjadinya mereka dan menawarkan opsi tentang bagaimana memperbaiki data awal untuk menghindari munculnya bias dalam prediksi. IBM Watson OpenScale memungkinkan Anda untuk terus memantau operasi model, memeriksa biasnya.

Pertanyaan besar lainnya bagi perusahaan yang menggunakan model kecerdasan buatan adalah sifat kotak hitam dari model tersebut. Bagaimana pemilik bisnis dapat memverifikasi bahwa AI membuat keputusan yang tepat berdasarkan data yang benar? Bagaimana cara menjelaskan "perilaku" model kecerdasan buatan? Kurangnya jawaban "sederhana" untuk pertanyaan-pertanyaan ini adalah masalah besar yang baru-baru ini ditemui para ahli. IBM Watson OpenScale menyelesaikannya. Prediksi selesai dibuat oleh model, IBM Watson OpenScale disertai oleh dua penjelasan berbeda yang memungkinkan Anda untuk memahami perilaku algoritma. Karena ini, tampaknya ada peluang yang cukup nyata untuk meningkatkan tingkat kepercayaan di kalangan manajer dan, sebagai hasilnya, mempercepat implementasi AI dalam bisnis.

Jadi apa yang sama dengan Watson OpenScale?

- Layanan Cloud tersedia di IBM Cloud
Dengan penggunaan gratis dalam kerangka akun Lite

- Memantau dan melacak hasil model
Pengukuran kecepatan model dan pelacakan hasil dalam proyeksi ke tujuan bisnis, dengan antarmuka grafis yang jelas dan nyaman


- Model tuning untuk keperluan bisnis
Hasil bisnis model bekerja secara konstan untuk menyesuaikan data untuk meningkatkan hasil model pembelajaran mesin



- Manajemen dan decoding model
Mendukung kepatuhan peraturan dengan melacak dan menjelaskan solusi AI dalam proses bisnis, serta deteksi kesalahan dan koreksi untuk meningkatkan hasil.

Ingin menguji model bias Anda dengan IBM Watson OpenScale?

Atau mungkin mencari tahu mengapa dia membuat ini atau itu pada data tertentu?

Datanglah 9 Juli ke lokakarya satu hari gratis di Moskow, dan Anda dapat:

• Untuk berkenalan dengan prinsip dan fitur pelatihan dan pengoperasian jaringan saraf
• Latih berbagai jenis jaringan saraf menggunakan set data yang disediakan dan instruksi terperinci
• Menguji operasi jaringan saraf menggunakan platform Watson OpenScale dan IBM Open Sourcecustallal Robustness Toolbox (IBM ART)
• Coba kemampuan AI untuk dengan cepat membuat model jaringan saraf menggunakan mesin NeuNetS

Semua pemrosesan data berlangsung di cloud IBM - Anda hanya perlu laptop dan browser. Pendaftaran dan informasi terperinci - klik di sini .