Pendahuluan
Sekali lagi, bekerja dengan perusahaan yang melakukan proyek yang berkaitan dengan pembelajaran mesin (ML), saya perhatikan bahwa manajer menggunakan istilah dari bidang ML tanpa memahami esensi mereka. Meskipun kata-kata diucapkan secara tata bahasa dengan benar dan di tempat kalimat yang tepat, maknanya tidak lebih jelas bagi mereka daripada pengangkatan sepula , yang, seperti yang Anda tahu, digunakan dalam sepularia untuk memisahkan. Pada saat yang sama, tampaknya para pemimpin tim dan pengembang sederhana bahwa mereka berbicara bahasa yang sama dengan manajemen, yang mengarah pada situasi konflik yang menyulitkan pekerjaan di proyek. Jadi, artikel ini dikhususkan untuk teknik fasilitasi (dari bahasa Latin: penyederhanaan atau fasilitasi) komunikasi pengembang dengan manajemen atau bagaimana menjelaskan secara sederhana istilah dasar ML, sehingga mengarahkan proyek Anda menuju sukses. Jika topik ini dekat dengan Anda, selamat datang di kucing.
Sebuah catatan penting: Sepulcarius, sepulcarius, dan sepulation adalah istilah yang digunakan oleh Stanislav Lem yang cerdik dalam perjalanan ke-14 Iyon Pasifik.
Proyek dimulai
Proyek ML harus dimulai dengan legitimasi metrik validasi. Kedengarannya menakutkan, bukan? Mari kita mulai penjelasannya. Legitimasi (dalam bahasa Rusia dari bahasa Latin adalah legalisasi) hanya mencapai kesepakatan para pihak, ditetapkan secara tertulis dan disahkan - hal itu diinginkan, tentu saja, juga secara tertulis. Para pihak adalah donor dan manajemen proyek, serta pelaksananya.
Sekarang mari kita beralih ke validasi . Programmer ML biasanya memiliki pengalaman menulis kode validasi, dan ketika menelusuri, ia melihat benar dan salah dikembalikan kepadanya. Tetapi bagaimana menjelaskan konsep ini kepada manajer yang tidak berurusan dengan kode? Mari kita gunakan contoh kehidupan sederhana ini.
Bayangkan Anda melewati pasar dan Anda melihat: buah persik dijual. Penjual memberi tahu Anda: "Bery! "Haroshiy peersik, segar, berair, ne neheheesh." Namun, Anda melihat lebih dekat dan melihat: di satu tempat itu rusak. Anda berkata: “Yah, di mana dia bagus? ini busuk. " Penjual menawarkan setengah harga. Jika Anda berpikir: "Anda dapat memotong yang rusak, itu hanya seperempat, tampaknya menguntungkan" - dan membelinya, maka dalam bahasa ML ada validasi dan buah persik (dalam slang ML - sampel) diakui valid. Jika Anda berpikir bahwa Anda dapat menemukan di tempat lain yang terbaik daripada yang rusak, maka kecacatan terjadi, dan buah persik tersebut diakui oleh Anda sebagai tidak sah.
Ternyata tidak ada yang rumit dalam validasi, dan kita semua melakukan validasi setiap hari, mengakui satu hal sebagai baik, cocok untuk diri kita sendiri atau cacat, mengenali sesuatu yang lain sebagai buruk, tidak cocok.
Catatan untuk Estete: Tiba-tiba, Jourdain terkejut mengetahui bahwa seluruh hidupnya telah dinyatakan dalam prosa (s). Moliere, Pedagang dalam kaum bangsawan.
Akhirnya, tetap hanya menjelaskan apa itu metrik validasi . Mari kita pikirkan mengapa kita memutuskan untuk membeli buah persik dari contoh sebelumnya?
- itu cukup murah (harga <nilai ambang)
- itu cukup matang (ripeness> nilai ambang batas), tetapi tidak matang (ripeness di bawah nilai ambang batas 2)
- itu ukuran normal, yaitu ukurannya dalam kategori "normal" (semua kategori: terlalu kecil, kecil, normal, besar, besar)
- itu tidak cukup rusak (area busuk dan rusak kurang dari nilai ambang batas)
Semua ini, yang tercantum di atas, adalah contoh metrik validasi yang terdiri dari 4 kategori dalam contoh ini. Dalam kasus yang paling sederhana, ketika buah persik memenuhi semua kriteria sekaligus, itu akan diakui sebagai valid dan dibeli.
Sekarang menjadi jelas mengapa sangat penting untuk menyepakati sejak awal, bagaimana tepatnya validasi akan terjadi, pada berapa banyak parameter dan nilai ambang batas apa yang akan dipenuhi oleh semua pihak yang berkepentingan. Deskripsi tindakan jika kepatuhan sebagian dengan kondisi dapat menempati bagian khusus.
Secara alami, setiap proyek ML, tergantung pada bidang subjeknya, akan memiliki metrik validasi sendiri. Dokumen yang memperbaiki metrik validasi sama pentingnya untuk proyek ML dengan konstitusi negara.
Hanya setelah dokumen akhirnya muncul dalam proyek yang mengatur metrik validasi dan menjadi tersedia untuk semua peserta proyek, masuk akal untuk menulis kodenya. Kode validasi adalah jantung dari proyek dan kualitasnya harus tanpa cela, kesalahan apa pun dalam bagian ini dengan tingkat probabilitas yang tinggi dapat menyebabkan runtuhnya seluruh proyek ML secara keseluruhan.
Misteri menghitung akurasi
Indikator paling penting dari keadaan saat ini dalam suatu proyek untuk manajemen adalah akurasi . Bagaimana seseorang bisa menjelaskan kepada manajer apa itu dan tindakan apa yang perlu dilakukan untuk menghitungnya?
Pertama, kita perlu menjelaskan apa sampel yang divalidasi. Dalam contoh kita, ini adalah saat kita membeli bukan buah persik, tetapi satu ton. Kami duduk atau merekrut pekerja dan mereka mengurutkan buah persik menjadi 2 wadah. Tulisan pada wadah: X (baik) dan P (buruk). Pekerjaan yang dilakukan dengan menyortir buah persik adalah pembuatan sampel yang divalidasi.
Bagaimana cara menjelaskan mengapa sampel yang divalidasi diperlukan? Bayangkan Anda memiliki adik perempuan dan ingin mengajarinya cara memilih buah persik. Anda membawanya ke pasar dan berkata: "Belajar, perhatikan bagaimana saya melakukannya." Ketika Anda tahu bahwa dia sudah belajar, Anda ingin menguji keterampilannya. Bagaimana cara melakukannya? Anda membuat sampel kontrol, mis. Anda mengambil dari wadah, misalnya, 100 buah persik yang telah disortir dari masing-masing wadah dan diam-diam menempel pada mereka stiker rahasia untuk mengetahui dari mana wadah itu diambil, tetapi saudara perempuan Anda tidak akan mengetahui hal ini, dan menyarankan agar ia secara mandiri meletakkannya di wadah kosong yang baru. Persentase kecocokan yang dimiliki pemilihan saudara perempuan Anda dengan stiker rahasia adalah ukuran akurasi. Dengan kata lain, akurasi adalah nilai obyektif dari seberapa banyak saudari dapat dipercaya dengan buah persik pilihan Anda untuk Anda. 100% berarti bahwa ia adalah salinan yang Anda tuangkan dan melakukan segalanya persis seperti yang Anda lakukan. 0% - bahwa pendapatnya persis kebalikan dari pendapat Anda.
Catatan untuk Esthete: Ya, Anda benar, seiring waktu, buah persik dapat mulai memburuk dan Anda perlu mempertimbangkan bahwa validitasnya harus ditinjau dari waktu ke waktu. Dan ini juga terjadi pada data komputer, misalnya, dengan karakteristik seperti "relevansi".
Sekarang mari kita lihat 4 indikator kinerja ML yang dapat membingungkan. Ini adalah true-positive (TP), false-positive (FP), true-negative (TN) dan false-negative (FN). Paruh pertama kata ini berarti kebetulan (benar) atau ketidakcocokan (salah) dari pendapat kakak Anda dengan stiker persik rahasia. Babak kedua berarti wadah di mana adikmu melemparkan buah persik (X-baik - positif, P-buruk - negatif). Dan dua kata bersama hanyalah jumlah buah persik dalam kategori itu.
Selain akurasi, 3 indikator tambahan juga digunakan, yaitu presisi (akurasi), daya ingat (sensitivitas), dan f1_score.
Presisi menunjukkan% cocok dengan pendapat Anda tentang buah persik yang dibuang ke wadah X (baik). 100% berarti bahwa semua buah persik yang Anda kenal cocok dikenali oleh kakak Anda. Nilai yang lebih rendah berarti bahwa mereka yang diakui sebagai tidak layak juga masuk ke dalam wadah X. Indikator ini penting ketika sangat penting untuk bisnis yang buah persiknya tidak jatuh ke dalam yang cocok, tetapi jika yang cocok ternyata tidak layak, maka tidak ada yang perlu dikhawatirkan.
Ingat menunjukkan hubungan antara persik baik yang dipilih dengan benar (TP) dan jumlah nilai ini dengan persik baik yang keliru dianggap tidak layak (TP + FN). 100% berarti adikmu tidak pernah melempar buah persik dengan keranjang yang jelek dan merupakan kebalikan dari Precision. Indikator ini penting ketika bisnis perlu memiliki buah persik yang cocok sesering mungkin jatuh ke dalam wadah yang tidak dapat digunakan.
Skor F1 adalah skor sintetis yang menggabungkan manfaat presisi dan daya ingat. Pentingnya ini menunjukkan pembelajaran yang seimbang dan menunjukkan bahwa buah persik yang baik tidak jatuh ke dalam keranjang dengan yang buruk, sehingga yang buruk tidak tergesa-gesa menuju yang baik.
Catatan untuk Esthete: Indikator ini adalah rata-rata harmonis antara precision dan recall dan dihitung dengan rumus:
f1_score = 2*(recall*precision) / (recall + precision)
Pertanyaan yang sering muncul: mengapa manajer proyek ML perlu mengetahui dan memahami semua indikator ini begitu dalam. Jawab: ini penting untuk bisnis. Sebagai seorang manajer peternakan sapi perah, Anda perlu mengetahui apa itu produksi susu dan dengan rumus apa mereka dipertimbangkan, sebagai seorang manajer peternakan Anda perlu tahu apa itu hasil panen dan bagaimana menghitungnya. Ya, manajer mungkin tidak menyelidiki bagaimana sapi diperah, bagaimana mereka melahirkan dan bagaimana memperlakukan mereka, tetapi untuk memahami indikator bisnis utama dari proyek adalah kunci keberhasilan bisnis.
Ringkasan
Kita semua, peserta dalam proyek ML, melakukan pekerjaan yang baik dan perlu. Siapa di antara kita, sebagai mahasiswa, yang tidak bermimpi, memilah kentang, tomat, dan kubis di pertanian kolektif sehingga robot akan melakukannya untuknya, dan bukan orang (s). Kami membuat cerita menjadi kenyataan dan membiarkan proyek kami menjadi sukses. Saya akan senang jika artikel ini membantu memberikan kontribusi kecil untuk keberhasilan awal proyek ML.
Jika artikel ini tampaknya bermanfaat bagi Anda, tulis di komentar dan saya akan membuat artikel ke-2 tentang cara menjelaskan aditivitas dan generalisasi kepada manajemen, pilar-pilar proyek ML yang tepat dan sesuai ini.