Bayangkan saja, apa kekuatan komputasi total dari semua smartphone di dunia? Ini adalah sumber daya komputasi yang sangat besar yang bahkan dapat meniru kerja otak manusia. Sumber daya semacam itu tidak boleh menganggur, membakar kilowatt energi secara konyol di ruang obrolan dan umpan media sosial. Jika Anda memberikan sumber daya komputasi ini ke satu AI dunia terdistribusi, dan bahkan menyediakannya dengan data dari pengguna smartphone - untuk pelatihan - maka sistem seperti itu dapat membuat lompatan kuantum di bidang ini.
Metode pembelajaran mesin standar mensyaratkan bahwa set data untuk melatih model ("primer") dikumpulkan di satu tempat - di satu komputer, server atau di satu pusat data atau cloud. Dari sini ia diambil oleh seorang model yang dilatih tentang data ini. Dalam kasus sekelompok komputer di pusat data,
metode Stochastic Gradient Descent (SGD) digunakan - algoritma pengoptimalan yang terus-menerus berjalan di bagian kumpulan data yang didistribusikan secara homogen di seluruh server di cloud.
Google, Apple, Facebook, Microsoft dan pemain AI lainnya telah melakukan hal itu sejak lama: mereka mengumpulkan data - terkadang rahasia - dari komputer pengguna dan telepon pintar menjadi penyimpanan aman tunggal (yang konon) di mana jaringan saraf mereka dilatih.
Sekarang para ilmuwan dari Google Research telah mengusulkan tambahan yang menarik untuk metode pembelajaran mesin standar ini. Mereka mengusulkan pendekatan inovatif yang disebut Federated Learning. Ini memungkinkan semua perangkat yang berpartisipasi dalam pembelajaran mesin untuk berbagi satu model untuk peramalan, tetapi
tidak untuk berbagi data primer untuk pelatihan model !
Pendekatan yang tidak biasa ini, mungkin, mengurangi efektivitas pembelajaran mesin (meskipun ini bukan fakta), tetapi ini secara signifikan mengurangi biaya Google untuk memelihara pusat data. Mengapa perusahaan menginvestasikan sejumlah besar uang pada peralatannya jika memiliki miliaran perangkat Android di seluruh dunia yang dapat berbagi beban? Pengguna dapat senang dengan beban seperti itu, karena dengan demikian membantu membuat layanan yang lebih baik yang mereka gunakan sendiri. Dan mereka melindungi data rahasia mereka tanpa mengirimnya ke pusat data.
Google menekankan bahwa dalam kasus ini bukan hanya tentang fakta bahwa model yang sudah terlatih dijalankan langsung pada perangkat pengguna, seperti yang terjadi dalam layanan
Mobile Vision API dan
On-Device Smart Reply . Tidak, ini adalah
pelatihan model yang dilakukan pada perangkat akhir.
Sistem pembelajaran gabungan bekerja sesuai dengan prinsip standar komputasi terdistribusi seperti SETI @ Home, ketika jutaan komputer memecahkan satu masalah rumit yang besar. Dalam kasus SETI @ Home, itu adalah pencarian anomali dalam sinyal radio dari ruang angkasa di seluruh lebar spektrum. Dan dalam kasus pembelajaran mesin federasi, Google menyempurnakan satu model umum (sejauh ini) AI yang lemah. Dalam praktiknya, siklus pelatihan dilaksanakan sebagai berikut:
- smartphone mengunduh model saat ini;
- dengan bantuan TensorFlow versi mini melakukan siklus pelatihan tentang data unik pengguna tertentu;
- meningkatkan model;
- menghitung perbedaan antara model sumber yang ditingkatkan, mengkompilasi tambalan menggunakan protokol Crypto Agregasi Aman , yang memungkinkan dekripsi data hanya jika ada ratusan atau ribuan tambalan dari pengguna lain;
- mengirimkan tambalan ke server pusat;
- tambalan yang diadopsi segera dirata-rata dengan ribuan tambalan yang diterima dari peserta lain dalam percobaan menggunakan algoritma rata-rata gabungan;
- versi baru model diluncurkan;
- Model yang lebih baik dikirim ke peserta dalam percobaan
Rata-rata federated sangat mirip dengan metode gradien stokastik yang disebutkan di atas, hanya di sini perhitungan awal tidak terjadi pada server di cloud, tetapi pada jutaan smartphone jarak jauh. Pencapaian utama federasi rata-rata adalah 10-100 kali lebih sedikit lalu lintas dengan klien daripada lalu lintas dengan server menggunakan metode gradien stokastik. Optimalisasi dicapai karena
kompresi pembaruan berkualitas tinggi yang dikirim dari telepon pintar ke server. Nah, nilai tambah di sini adalah protokol kriptografi Agregasi Aman.
Google berjanji bahwa smartphone hanya akan melakukan perhitungan untuk sistem AI global yang terdistribusi pada saat downtime, sehingga ini tidak akan mempengaruhi kinerja dengan cara apa pun. Selain itu, Anda dapat mengatur waktu operasi hanya untuk saat ketika smartphone terhubung ke listrik. Dengan demikian, perhitungan ini bahkan tidak akan mempengaruhi masa pakai baterai. Pembelajaran mesin Federated saat ini sedang diuji pada permintaan kontekstual pada keyboard Google -
Gboard di Android .
Algoritma Federated Averaging dijelaskan lebih rinci dalam makalah ilmiah
Learning-Efficient Learning Deep Networks dari Decentralized Data , yang diterbitkan 17 Februari 2016 di arXiv.org (arXiv: 1602.05629).