Baru-baru ini, para ahli semakin membahas masalah keamanan model pembelajaran mesin dan menawarkan berbagai metode perlindungan. Sudah saatnya untuk mempelajari secara rinci potensi kerentanan dan pertahanan dalam konteks sistem pemodelan tradisional yang populer, seperti model linier dan pohon, yang dilatih tentang dataset statis. Meskipun penulis artikel ini bukan ahli keamanan, ia mengikuti topik seperti debugging, penjelasan, keadilan, interpretabilitas, dan privasi dalam pembelajaran mesin.
Dalam artikel ini, kami menyajikan beberapa kemungkinan serangan pada sistem pembelajaran mesin pada organisasi tipikal, menawarkan solusi tentatif untuk perlindungan, dan mempertimbangkan beberapa masalah umum dan praktik yang paling menjanjikan.
1. Serangan korupsi data
Distorsi data berarti bahwa seseorang secara sistematis mengubah data pelatihan untuk memanipulasi prediksi model Anda (serangan semacam itu juga disebut serangan "kausal"). Untuk mendistorsi data, penyerang harus memiliki akses ke beberapa atau semua data pelatihan Anda. Dan dengan tidak adanya kontrol yang tepat di banyak perusahaan, karyawan, konsultan, dan kontraktor yang berbeda dapat memiliki akses tersebut. Akses yang tidak sah ke beberapa atau semua data pelatihan juga dapat diperoleh oleh penyerang di luar batas keamanan.
Serangan langsung ke data yang rusak dapat mencakup mengubah label dataset. Jadi, apa pun penggunaan komersial model Anda, penyerang dapat mengelola ramalannya, misalnya, dengan mengubah label sehingga model Anda dapat belajar bagaimana memberikan pinjaman besar, diskon besar atau menetapkan premi asuransi kecil untuk penyerang. Memaksa model untuk membuat prediksi yang salah demi kepentingan penyerang kadang-kadang disebut sebagai pelanggaran terhadap "integritas" model.
Penyerang juga dapat menggunakan data korupsi untuk melatih model Anda dengan tujuan untuk secara sengaja mendiskriminasikan sekelompok orang, merampas pinjaman besar, diskon besar atau premi asuransi rendah yang menjadi hak mereka. Pada intinya, serangan ini mirip dengan DDoS. Memaksa suatu model untuk membuat prediksi yang salah untuk merugikan orang lain kadang-kadang disebut sebagai pelanggaran terhadap "aksesibilitas" model tersebut.
Meskipun sepertinya lebih mudah untuk mendistorsi data daripada mengubah nilai dalam baris yang ada pada suatu dataset, Anda juga dapat memperkenalkan distorsi dengan menambahkan kolom yang tidak berbahaya atau berlebihan ke dalam dataset. Nilai yang diubah di kolom ini kemudian dapat menyebabkan prediksi model berubah.
Sekarang mari kita lihat beberapa kemungkinan solusi protektif dan ahli (forensik) dalam kasus korupsi data:
- Analisis dampak yang dibedakan . Banyak bank sudah melakukan analisis dampak diferensial untuk pinjaman yang adil untuk menentukan apakah model mereka didiskriminasi oleh berbagai kategori orang. Namun, banyak organisasi lain belum datang sejauh ini. Ada beberapa alat sumber terbuka yang sangat baik untuk mendeteksi diskriminasi dan melakukan analisis dampak diferensial. Misalnya, Aequitas, Themis, dan AIF360 .
- Model yang adil atau pribadi . Model seperti learning fair Representations (LFR) dan agregasi pribadi ensemble guru (PATE) cenderung kurang memperhatikan sifat demografis individu saat menghasilkan perkiraan. Juga, model ini mungkin kurang rentan terhadap serangan diskriminatif untuk mendistorsi data.
- Penolakan atas Dampak Negatif (RONI) . RONI adalah metode penghapusan baris data dari dataset yang mengurangi akurasi prediksi. Untuk informasi lebih lanjut tentang RONI, lihat Bagian 8, Keamanan Pembelajaran Mesin .
- Analisis residu . Cari pola-pola aneh dan nyata dalam residu perkiraan model Anda, terutama yang terkait dengan karyawan, konsultan, atau kontraktor.
- Refleksi diri . Mengevaluasi model pada karyawan Anda, konsultan dan kontraktor untuk mengidentifikasi perkiraan yang menguntungkan tidak normal.
Analisis dampak yang dibedakan, analisis residu dan refleksi diri dapat dilakukan selama pelatihan dan dalam kerangka pemantauan model waktu nyata.
2. Serangan Watermark
Tanda air adalah istilah yang dipinjam dari literatur tentang keamanan pembelajaran mendalam, yang sering merujuk pada penambahan piksel khusus pada gambar untuk mendapatkan hasil yang diinginkan dari model Anda. Sangat mungkin untuk melakukan hal yang sama dengan data pelanggan atau transaksi.
Pertimbangkan skenario di mana karyawan, konsultan, kontraktor, atau penyerang dari luar memiliki akses ke kode untuk penggunaan produksi model Anda yang membuat prakiraan waktu nyata. Orang seperti itu dapat mengubah kode untuk mengenali kombinasi nilai variabel input yang aneh atau tidak mungkin untuk mendapatkan hasil prediksi yang diinginkan. Seperti halnya korupsi data, serangan watermark dapat digunakan untuk melanggar integritas atau aksesibilitas model Anda. Misalnya, untuk melanggar integritas, penyerang dapat memasukkan "payload" ke dalam kode evaluasi untuk penggunaan produksi model, sebagai akibatnya ia mengakui kombinasi 0 tahun di alamat 99, yang akan mengarah pada perkiraan positif bagi penyerang. Dan untuk memblokir ketersediaan model, ia dapat memasukkan aturan diskriminatif buatan ke dalam kode evaluasi, yang tidak akan memungkinkan model untuk memberikan hasil positif bagi sekelompok orang tertentu.
Pendekatan protektif dan ahli terhadap serangan menggunakan tanda air dapat mencakup:
- Deteksi anomali . Autocoder adalah model deteksi penipuan yang dapat mengidentifikasi input yang kompleks dan aneh, atau tidak seperti data lainnya. Secara potensial, auto-encoders dapat mendeteksi tanda air apa pun yang digunakan untuk memicu mekanisme jahat.
- Batasan Integritas Data . Banyak basis data tidak mengizinkan kombinasi variabel input yang aneh atau tidak realistis, yang berpotensi mencegah serangan watermark. Efek yang sama dapat bekerja untuk batasan integritas pada aliran data yang diterima secara real time.
- Analisis eksposur yang dibedakan : lihat bagian 1 .
- Kontrol versi . Kode evaluasi untuk aplikasi produksi model harus versi dan dikendalikan, seperti produk perangkat lunak penting lainnya.
Deteksi anomali, keterbatasan integritas data, dan analisis dampak diferensial dapat digunakan selama pelatihan dan sebagai bagian dari pemantauan model waktu nyata.
3. Pembalikan model pengganti
Biasanya, "inversi" disebut mendapatkan informasi yang tidak sah dari suatu model, daripada menempatkan informasi di dalamnya. Juga, inversi dapat menjadi contoh "serangan pengintaian balik rekayasa". Jika seorang penyerang bisa mendapatkan banyak prediksi dari API model Anda atau titik akhir lainnya (situs web, aplikasi, dll.), Ia dapat melatih
model pengganti sendiri. Sederhananya, ini adalah simulasi model prediksi Anda! Secara teoritis, penyerang dapat melatih model pengganti antara input data yang digunakan untuk menghasilkan ramalan yang diterima dan ramalan itu sendiri. Bergantung pada jumlah prediksi yang dapat diterima, model pengganti dapat menjadi simulasi model Anda yang cukup akurat. Setelah melatih model pengganti, penyerang akan memiliki "kotak pasir" dari mana ia dapat merencanakan impersonalisasi (yaitu, "imitasi") atau serangan dengan contoh kompetitif pada integritas model Anda, atau mendapatkan potensi untuk mulai memulihkan beberapa aspek dari data pelatihan rahasia Anda. Model pengganti juga dapat dilatih menggunakan sumber data eksternal yang entah bagaimana konsisten dengan prediksi Anda, seperti, misalnya,
ProPublica lakukan dengan model residivisme penulis COMPAS.
Untuk melindungi model Anda dari inversi menggunakan model pengganti, Anda dapat mengandalkan pendekatan seperti:
- Akses Resmi . Minta autentikasi tambahan (misalnya, dua faktor) untuk mendapatkan perkiraan.
- Prediksi throttle Batasi sejumlah besar perkiraan cepat dari masing-masing pengguna; pertimbangkan kemungkinan penundaan prediksi yang meningkat secara artifisial.
- Model pengganti "Putih" (topi putih) . Sebagai latihan peretas kulit putih, coba yang berikut ini: latih model pengganti Anda sendiri antara input dan perkiraan model untuk aplikasi produksi, dan amati dengan cermat aspek-aspek berikut:
- batas akurasi berbagai jenis model pengganti "putih"; cobalah untuk memahami sejauh mana model pengganti sebenarnya dapat digunakan untuk mendapatkan data yang tidak diinginkan tentang model Anda.
- jenis tren data yang dapat dipelajari dari model pengganti "putih" Anda, misalnya, tren linier diwakili oleh koefisien model linier.
- jenis segmen atau distribusi demografis yang dapat dipelajari dengan menganalisis jumlah orang yang ditugaskan ke simpul tertentu dari pohon keputusan pengganti “putih”.
- aturan yang dapat dipelajari dari pohon keputusan pengganti “putih”, misalnya, cara menggambarkan secara akurat seseorang yang akan menerima ramalan positif.
4. Serangan persaingan
Secara teori, peretas yang berdedikasi dapat belajar - katakanlah, coba-coba (yaitu, "kecerdasan" atau "analisis sensitivitas") - membalikkan model pengganti atau rekayasa sosial, cara bermain dengan model Anda untuk mendapatkan hasil prediksi yang diinginkan atau menghindari yang tidak diinginkan ramalan. Mencoba untuk mencapai tujuan tersebut menggunakan string data yang dirancang khusus disebut serangan permusuhan. (terkadang serangan untuk menyelidiki integritas). Seorang penyerang dapat menggunakan serangan permusuhan untuk mendapatkan pinjaman besar atau premi asuransi rendah, atau untuk menghindari penolakan pembebasan bersyarat dengan penilaian risiko kriminal yang tinggi. Beberapa orang menyebut penggunaan contoh kompetitif untuk mengecualikan hasil yang tidak diinginkan dari perkiraan sebagai "penghindaran".
Coba metode yang dijelaskan di bawah ini untuk mempertahankan atau mendeteksi serangan dengan contoh kompetitif:
- Analisis aktivasi . Analisis aktivasi mensyaratkan bahwa model prediksi Anda memiliki mekanisme internal komparatif, misalnya, aktivasi rata-rata neuron dalam jaringan saraf Anda atau proporsi pengamatan yang terkait dengan setiap node ujung di hutan acak Anda. Kemudian Anda membandingkan informasi ini dengan perilaku model dengan aliran data masuk nyata. Seperti yang dikatakan salah satu kolega saya: " Itu sama dengan melihat satu simpul ujung di hutan acak yang sesuai dengan 0,1% dari data pelatihan, tetapi cocok untuk 75% dari garis penilaian per jam ."
- Deteksi anomali . lihat bagian 2 .
- Akses Resmi . lihat bagian 3 .
- Model komparatif . Saat mengevaluasi data baru, selain model yang lebih kompleks, gunakan model komparatif transparansi tinggi. Model yang ditafsirkan lebih sulit untuk dipecahkan karena mekanismenya transparan. Saat mengevaluasi data baru, bandingkan model baru dengan model transparan yang andal, atau model yang dilatih tentang data yang diverifikasi dan pada proses tepercaya. Jika perbedaan antara model yang lebih kompleks dan buram dan yang ditafsirkan (atau diverifikasi) terlalu besar, kembalilah ke perkiraan model konservatif atau proses jalur data secara manual. Catat kejadian ini, bisa jadi serangan dengan contoh kompetitif.
- Perkiraan throttle : lihat bagian 3 .
- Analisis sensitivitas "Putih" . Gunakan analisis sensitivitas untuk melakukan serangan riset Anda sendiri untuk memahami nilai variabel mana (atau kombinasi dari mereka) yang dapat menyebabkan fluktuasi besar dalam perkiraan. Cari nilai-nilai atau kombinasi nilai-nilai ini ketika mengevaluasi data baru. Untuk melakukan analisis penelitian "putih", Anda dapat menggunakan paket sumber terbuka cleverhans .
- Model pengganti putih: lihat bagian 3 .
Analisis aktivasi atau model komparatif dapat digunakan selama pelatihan dan sebagai bagian dari pemantauan model waktu nyata.
5. Peniruan identitas
Peretas yang memiliki tujuan dapat mencari tahu - lagi, melalui coba-coba, melalui inversi dengan model pengganti atau rekayasa sosial - yang memasukkan data atau orang tertentu mendapatkan hasil prediksi yang diinginkan. Seorang penyerang kemudian dapat menyamar sebagai orang ini untuk mendapatkan manfaat dari peramalan. Serangan impersonalisasi kadang-kadang disebut sebagai serangan "simulasi", dan dari sudut pandang model, ini menyerupai pencurian identitas. Seperti dalam kasus serangan contoh kompetitif, dengan impersonalisasi, data input diubah secara artifisial sesuai dengan model Anda. Tetapi, tidak seperti serangan yang sama dengan contoh kompetitif, di mana kombinasi nilai-nilai yang berpotensi acak dapat digunakan untuk menipu, dalam peniruan, untuk mendapatkan perkiraan yang terkait dengan jenis objek ini, informasi yang terkait dengan objek model lain (misalnya, klien terpidana , karyawan, transaksi keuangan, pasien, produk, dll). Misalkan penyerang dapat mengetahui karakteristik model Anda, ketentuan diskon atau manfaat yang besar tergantung. Lalu dia bisa memalsukan informasi yang Anda gunakan untuk mendapatkan diskon seperti itu. Seorang penyerang dapat berbagi strateginya dengan orang lain, yang dapat menyebabkan kerugian besar bagi perusahaan Anda.
Jika Anda menggunakan model dua tahap, waspadalah terhadap serangan "alergi": penyerang dapat mensimulasikan serangkaian data input biasa untuk tahap pertama model Anda untuk menyerang tahap kedua.
Pendekatan protektif dan ahli untuk serangan dengan impersonalisasi dapat meliputi:
- Analisis aktivasi. lihat bagian 4 .
- Akses Resmi. lihat bagian 3 .
- Periksa duplikat. Pada tahap penilaian, lacak jumlah catatan serupa yang tersedia untuk model Anda. Ini dapat dilakukan dalam ruang dimensi tereduksi menggunakan autocoder, penskalaan multi-dimensi (MDS), atau metode reduksi dimensi serupa. Jika ada terlalu banyak garis yang serupa dalam periode waktu tertentu, ambil tindakan korektif.
- Fitur pemberitahuan ancaman. Simpan fungsi
num_similar_queries dalam pipa Anda, yang mungkin tidak berguna segera setelah pelatihan atau penerapan model Anda, tetapi dapat digunakan selama evaluasi (atau selama pelatihan ulang di masa depan) untuk memberi tahu model atau pipa ancaman. Misalnya, jika pada saat pemeringkatan, nilai num_similar_queries lebih besar dari nol, maka permintaan untuk evaluasi dapat dikirim untuk analisis manual. Di masa mendatang, ketika Anda melatih ulang model, Anda akan dapat mengajarkannya untuk menghasilkan hasil prediksi negatif untuk jalur input dengan num_similar_queries tinggi.
Analisis aktivasi, pemeriksaan rangkap dan pemberitahuan potensi ancaman dapat digunakan selama pelatihan dan dalam pemantauan model secara real time.
6. Masalah umum
Beberapa penggunaan pembelajaran mesin yang umum juga menimbulkan masalah keamanan yang lebih umum.
Kotak hitam dan kompleksitas yang tidak perlu . Meskipun kemajuan terbaru dalam model yang ditafsirkan dan penjelasan model memungkinkan untuk menggunakan pengklasifikasi dan regresor non-linear yang akurat dan transparan, banyak proses pembelajaran mesin terus fokus pada model kotak hitam. Mereka hanyalah satu jenis kompleksitas yang seringkali tidak perlu dalam alur kerja standar pembelajaran mesin komersial. Contoh lain dari kompleksitas yang berpotensi berbahaya dapat berupa spesifikasi yang terlalu eksotis atau sejumlah besar ketergantungan paket. Ini bisa menjadi masalah karena setidaknya dua alasan:
- Seorang hacker yang gigih dan termotivasi dapat mempelajari lebih lanjut tentang sistem simulasi kotak hitam Anda yang terlalu rumit daripada Anda atau tim Anda (terutama di pasar modern yang terlalu panas dan cepat berubah untuk "menganalisis" data). Untuk ini, seorang penyerang dapat menggunakan banyak metode penjelasan model- independen baru dan analisis sensitivitas klasik, terlepas dari banyak alat peretasan lain yang lebih umum. Ketidakseimbangan pengetahuan ini berpotensi digunakan untuk melakukan serangan yang dijelaskan di bagian 1-5, atau untuk jenis serangan lain yang masih belum diketahui.
- Pembelajaran mesin dalam lingkungan penelitian dan pengembangan sangat bergantung pada ekosistem beragam paket perangkat lunak sumber terbuka. Beberapa paket ini memiliki banyak peserta dan pengguna, yang lain sangat khusus dan dibutuhkan oleh sekelompok kecil peneliti dan praktisi. Diketahui bahwa banyak paket didukung oleh ahli statistik yang brilian dan peneliti pembelajaran mesin yang fokus pada matematika atau algoritma, daripada rekayasa perangkat lunak dan tentu saja bukan keamanan. Ada beberapa kasus dimana pipeline pembelajaran mesin tergantung pada lusinan atau bahkan ratusan paket eksternal, yang masing-masingnya dapat diretas untuk menyembunyikan “muatan” berbahaya.
Sistem dan model terdistribusi . Untungnya atau sayangnya, kita hidup di zaman data besar. Banyak organisasi saat ini menggunakan pemrosesan data terdistribusi dan sistem pembelajaran mesin. Komputasi terdistribusi dapat menjadi target besar untuk serangan dari dalam atau dari luar. Data dapat terdistorsi hanya pada satu atau beberapa node kerja dari penyimpanan data yang besar atau sistem pemrosesan. Pintu belakang untuk tanda air dapat dikodekan menjadi satu model ensemble besar. Alih-alih men-debug satu dataset atau model sederhana, praktisi sekarang harus mempelajari data atau model yang tersebar di seluruh cluster komputasi besar.
Serangan Denial of Service (DDoS) yang didistribusikan . Jika layanan pemodelan prediktif memainkan peran penting dalam aktivitas organisasi Anda, pastikan bahwa Anda memperhitungkan setidaknya serangan DDoS terdistribusi paling populer ketika penyerang menyerang layanan prediktif dengan sejumlah besar permintaan untuk menunda atau berhenti membuat perkiraan untuk pengguna yang sah.
7. Keputusan umum
Anda dapat menggunakan beberapa metode umum, lama dan baru, paling efektif untuk mengurangi kerentanan sistem keamanan dan meningkatkan keadilan, kontrol, transparansi, dan kepercayaan pada sistem pembelajaran mesin.
Perkiraan akses dan pengaturan frekuensi (pembatasan) yang diizinkan . Fitur keamanan standar, seperti otentikasi tambahan dan penyesuaian frekuensi prediksi, bisa sangat efektif dalam memblokir sejumlah vektor serangan yang dijelaskan dalam bagian 1-5.
Model komparatif . Sebagai model komparatif untuk menentukan apakah ada manipulasi yang dibuat dengan perkiraan, Anda dapat menggunakan pipa pemodelan yang lama dan terbukti atau alat perkiraan lain yang ditafsirkan dengan transparansi tinggi. Manipulasi mencakup korupsi data, serangan tanda air, atau contoh kompetitif. Jika perbedaan antara perkiraan model yang Anda uji dan perkiraan model yang lebih kompleks dan buram terlalu besar, tuliskan kasus seperti itu. Kirim mereka ke analis atau mengambil tindakan lain untuk menganalisis atau memperbaiki situasi. Tindakan pencegahan serius harus diambil untuk memastikan bahwa tolok ukur dan conveyor Anda tetap aman dan tidak berubah dari kondisi aslinya yang dapat diandalkan.
Model yang diinterpretasikan, adil atau pribadi . Saat ini, ada metode (mis.,
Monoton GBM (M-GBM), daftar aturan Bayesian yang dapat diskalakan (SBRL) ,
penjelasan jaringan saraf (XNN) ) yang memberikan akurasi dan interpretabilitas. Model yang akurat dan dapat ditafsirkan ini lebih mudah untuk didokumentasikan dan di-debug daripada kotak hitam klasik pembelajaran mesin. Jenis model adil dan pribadi yang lebih baru (misalnya, LFR, PATE) juga dapat dilatih tentang cara kurang memperhatikan karakteristik demografis yang terlihat secara eksternal yang tersedia untuk observasi, menggunakan rekayasa sosial selama serangan dengan contoh kompetitif, atau peniruan identitas. Apakah Anda mempertimbangkan untuk membuat proses pembelajaran mesin baru di masa depan? Pertimbangkan untuk membangunnya berdasarkan model pribadi atau adil yang ditafsirkan kurang berisiko. Mereka lebih mudah untuk di-debug dan berpotensi tahan terhadap perubahan karakteristik objek individual.
Debugging model untuk keamanan . Area baru untuk
model debug dikhususkan untuk mendeteksi kesalahan dalam mekanisme dan prakiraan model pembelajaran mesin dan memperbaikinya. Alat debugging, seperti model pengganti, analisis residu, dan analisis sensitivitas, dapat digunakan dalam uji coba kulit putih untuk mengidentifikasi kerentanan Anda, atau dalam latihan analitis untuk mengidentifikasi potensi serangan yang mungkin atau mungkin terjadi.
Dokumentasi model dan metode penjelasan . Dokumentasi model adalah strategi pengurangan risiko yang telah digunakan dalam perbankan selama beberapa dekade. Hal ini memungkinkan Anda untuk menyimpan dan mentransfer pengetahuan tentang sistem pemodelan yang kompleks karena komposisi pemilik model berubah. Dokumentasi secara tradisional telah digunakan untuk model linier transparansi tinggi. Tetapi dengan munculnya alat penjelasan yang kuat dan akurat (seperti
pohon SHAP dan
atribut turunan dari fungsi lokal untuk jaringan saraf), alur kerja model kotak hitam yang sudah ada dapat setidaknya dijelaskan, didebug dan didokumentasikan. Jelas, dokumentasi sekarang harus mencakup semua tujuan keamanan, termasuk kerentanan yang diketahui, diperbaiki, atau diharapkan.
Pantau dan kelola model secara langsung untuk alasan keamanan . Praktisi serius memahami bahwa sebagian besar model dilatih tentang "snapshots" statis dalam bentuk kumpulan data, dan bahwa secara real time keakuratan prakiraan menurun, karena keadaan saat ini adalah hal-hal yang bergerak menjauh dari informasi yang dikumpulkan sebelumnya. Saat ini, pemantauan sebagian besar model ditujukan untuk mengidentifikasi bias dalam distribusi variabel input, yang, pada akhirnya, akan menyebabkan penurunan keakuratan. Pemantauan model harus dirancang untuk melacak serangan yang dijelaskan di bagian 1-5 dan setiap ancaman potensial lainnya yang muncul saat melakukan debug model Anda. Meskipun ini tidak selalu berhubungan langsung dengan keselamatan, model juga harus dievaluasi secara real time untuk efek yang dibedakan. Seiring dengan dokumentasi model, semua artefak pemodelan, kode sumber, dan metadata terkait harus dikelola, versi, dan diperiksa untuk keamanan, serta aset komersial berharga seperti apa adanya.
Fitur pemberitahuan ancaman . Fungsi, aturan, dan tahapan pemrosesan awal atau selanjutnya dapat dimasukkan dalam model atau proses Anda yang dilengkapi dengan pemberitahuan tentang kemungkinan ancaman: misalnya, jumlah garis yang serupa dalam model; apakah garis saat ini mewakili karyawan, kontraktor, atau konsultan; Apakah nilai pada baris saat ini sama dengan yang diperoleh dengan serangan putih dengan contoh kompetitif? Fungsi-fungsi ini mungkin atau mungkin tidak diperlukan selama pelatihan pertama model. Tetapi menghemat ruang bagi mereka suatu hari nanti bisa sangat berguna dalam mengevaluasi data baru atau dengan pelatihan ulang model berikutnya.
Deteksi kelainan sistem . Latih metamode untuk mendeteksi anomali berdasarkan autocoder pada statistik operasional seluruh sistem pemodelan prediktif Anda (jumlah perkiraan untuk periode waktu tertentu, keterlambatan, CPU, memori dan pemuatan disk, jumlah pengguna simultan, dll.), Dan kemudian dengan cermat memonitor metamodel ini untuk anomali. Anomali dapat mengetahui apakah ada kesalahan. Investigasi tindak lanjut atau mekanisme khusus akan diperlukan untuk melacak penyebab masalah secara akurat.
8. Referensi dan informasi untuk bacaan lebih lanjut
Sejumlah besar literatur akademik modern tentang keamanan pembelajaran mesin berfokus pada pembelajaran adaptif, pembelajaran mendalam, dan enkripsi. Namun, sejauh ini penulis tidak mengetahui praktisi yang akan melakukan semua ini. Oleh karena itu, selain artikel dan tulisan yang baru-baru ini diterbitkan, kami menyajikan artikel tahun 1990-an dan awal 2000-an tentang pelanggaran jaringan, deteksi virus, penyaringan spam, dan topik terkait, yang juga merupakan sumber yang berguna. Jika Anda ingin mempelajari lebih lanjut tentang topik yang menarik dari melindungi model pembelajaran mesin, berikut adalah tautan utama - dari masa lalu dan sekarang - yang digunakan untuk menulis posting.
Kesimpulan
Mereka yang peduli tentang sains dan praktik pembelajaran mesin khawatir tentang fakta bahwa ancaman peretasan dengan pembelajaran mesin, ditambah dengan ancaman yang semakin besar terhadap pelanggaran kerahasiaan dan diskriminasi algoritmik, dapat meningkatkan skeptisisme publik dan politik yang berkembang tentang pembelajaran mesin dan kecerdasan buatan. Kita semua harus mengingat masa-masa sulit AI di masa lalu. Kerentanan keamanan, pelanggaran privasi, dan diskriminasi algoritmik berpotensi digabungkan, yang mengarah pada berkurangnya dana untuk penelitian pelatihan komputer, atau langkah-langkah kejam untuk mengatur bidang ini. Mari kita lanjutkan diskusi dan penyelesaian masalah-masalah penting ini untuk mencegah krisis, dan tidak mengganggu konsekuensinya.