Clif Young, seorang programmer Google, menjelaskan bagaimana perkembangan eksplosif dari algoritma pembelajaran mendalam bertepatan dengan kegagalan Hukum Moore, yang telah bekerja selama beberapa dekade pada aturan praktis untuk kemajuan chip komputer, dan memaksa pengembangan skema komputasi baru yang secara fundamental baru.
Perkembangan eksplosif algoritma AI dan pembelajaran mesin mengubah sifat dasar komputasi - seperti yang mereka katakan di salah satu perusahaan terbesar yang mempraktikkan AI - di Google. Programmer Google Cliff Young berbicara pada pembukaan konferensi mikroprosesor musim gugur yang diselenggarakan oleh Grup Linley, sebuah simposium chip komputer populer yang diselenggarakan oleh perusahaan semikonduktor yang terhormat.
Young mengatakan bahwa penggunaan AI memasuki "fase eksponensial" pada saat ketika Hukum Moore, aturan praktis untuk kemajuan chip komputer selama beberapa dekade, benar-benar dihambat.
"Waktu sangat gugup," katanya sambil berpikir. "Digital CMOS melambat, kami melihat masalah dengan proses 10nm di Intel, kami melihat mereka pada proses 7nm dari GlobalFoundries, dan bersamaan dengan perkembangan pembelajaran yang mendalam, permintaan ekonomi muncul." CMOS, struktur semikonduktor logam oksida pelengkap, adalah bahan yang paling umum digunakan untuk membuat chip komputer.
Sementara chip klasik hampir tidak dapat meningkatkan efisiensi dan produktivitas, permintaan dari peneliti AI tumbuh, kata Young. Dia menghasilkan beberapa statistik: jumlah makalah ilmiah tentang pembelajaran mesin yang disimpan di situs pracetak arXiv yang dikelola oleh Cornell University berlipat ganda setiap 18 bulan. Dan jumlah proyek internal yang berfokus pada AI di Google, katanya, juga berlipat ganda setiap 18 bulan. Kebutuhan jumlah operasi floating point yang diperlukan untuk memproses jaringan saraf yang digunakan dalam pembelajaran mesin tumbuh lebih cepat - itu berlipat ganda setiap tiga setengah bulan.
Semua pertumbuhan dalam pertanyaan komputasi ini digabungkan menjadi "super-hukum Moore," kata Young, dan dia menyebut fenomena itu "sedikit menakutkan" dan "sedikit berbahaya," dan "sesuatu yang perlu dikhawatirkan."
"Dari mana semua pertumbuhan eksponensial ini berasal," di bidang AI, ia bertanya. “Secara khusus, intinya adalah bahwa pembelajaran yang mendalam hanya berfungsi. Dalam karir saya, saya telah lama mengabaikan pembelajaran mesin, ”katanya. "Tidak jelas apakah benda-benda ini bisa lepas landas."
Tetapi kemudian terobosan dengan cepat mulai muncul, seperti pengenalan pola, dan menjadi jelas bahwa pembelajaran mendalam "sangat efektif," katanya. “Untuk sebagian besar dari lima tahun terakhir, kami telah menjadi perusahaan yang menempatkan AI di tempat pertama, dan kami telah membuat ulang sebagian besar bisnis berdasarkan AI,” dari pencarian ke periklanan dan banyak lagi.
Tim proyek Google Brain, proyek penelitian AI terkemuka, membutuhkan "mesin raksasa," kata Young. Misalnya, jaringan saraf kadang-kadang diukur dengan jumlah "bobot" yang digunakan di dalamnya, yaitu variabel yang diterapkan pada jaringan saraf dan memengaruhi cara pemrosesan data.
Dan jika jaringan saraf biasa dapat memuat ratusan ribu atau bahkan jutaan bobot yang perlu dihitung, peneliti Google memerlukan "mesin berat tera", yaitu komputer yang dapat menghitung triliunan bobot. Karena "setiap kali kita menggandakan ukuran jaringan saraf, kita meningkatkan akurasinya." Aturan pengembangan AI adalah untuk menjadi lebih besar dan lebih besar.
Menanggapi permintaan dari Google, mereka mengembangkan lini chip mereka sendiri untuk MO, Tensor Processing Unit. TPU dan sejenisnya diperlukan karena CPU tradisional dan chip grafis GPU tidak dapat menangani beban.
"Kami menahan diri untuk waktu yang sangat lama dan mengatakan bahwa Intel dan Nvidia sangat pandai menciptakan sistem berkinerja tinggi," kata Young. "Tapi kami melewati garis itu lima tahun yang lalu."
TPU setelah penampilan pertama di depan umum pada tahun 2017 menyebabkan kegemparan dengan klaim bahwa dalam hal kecepatan melebihi chip biasa. Google sudah mengerjakan TPU generasi ketiga, menggunakannya dalam proyek-proyeknya dan menawarkan kemampuan komputer sesuai permintaan melalui layanan Google Cloud.
Perusahaan terus memproduksi TPU yang lebih besar dan lebih besar. Dalam konfigurasi "lawas", 1024 TPU dihubungkan bersama ke superkomputer tipe baru, dan Google berencana untuk terus memperluas sistem ini, menurut Young.
"Kami sedang membangun multicomputer raksasa dengan kapasitas puluhan petabyte," katanya. "Kami tanpa lelah bergerak kemajuan dalam beberapa arah pada saat yang bersamaan, dan operasi skala terabyte terus tumbuh." Proyek-proyek semacam itu menimbulkan semua masalah yang terkait dengan pengembangan superkomputer.
Misalnya, insinyur Google telah mengadopsi trik yang digunakan dalam superkomputer Cray yang legendaris. Mereka menggabungkan "modul multiplikasi matriks" raksasa, bagian dari chip yang membawa beban utama komputasi untuk jaringan saraf, dengan "modul tujuan umum vektor" dan "modul tujuan umum skalar", seperti yang dilakukan di Cray. "Kombinasi modul skalar dan vektor memungkinkan Cray untuk menyalip semua orang dalam hal kinerja," katanya.
Google telah mengembangkan desain aritmatika inovatifnya sendiri untuk chip pemrograman. Cara tertentu untuk mewakili bilangan real yang disebut bfloat16 memberikan peningkatan efisiensi saat memproses angka dalam jaringan saraf. Dalam pidato sehari-hari, itu disebut "pelampung otak".
TPU menggunakan chip memori tercepat, memori bandwidth tinggi, atau HBM [memori bandwidth tinggi]. Dia mengatakan bahwa permintaan untuk sejumlah besar memori dalam pelatihan jaringan saraf berkembang pesat.
“Memori digunakan lebih intensif selama pelatihan. Orang berbicara tentang ratusan juta bobot, tetapi ada masalah dalam pemrosesan aktivasi "variabel jaringan saraf."
Google juga menyesuaikan cara jaringan saraf diprogram untuk membantu memaksimalkan penggunaan zat besi. "Kami sedang mengerjakan data model dan paralelisme" dalam proyek-proyek seperti "Mesh TensorFlow" - adaptasi dari platform perangkat lunak TensorFlow "menggabungkan data dan paralelisme pada skala pod."
Young tidak mengungkapkan beberapa detail teknis. Dia mencatat bahwa perusahaan tidak berbicara tentang koneksi internal, tentang bagaimana data bergerak di sepanjang chip - dia hanya mencatat bahwa "konektor kami sangat besar." Dia menolak untuk memperluas topik ini, yang menyebabkan tawa di antara hadirin.
Young menunjukkan bidang komputasi yang bahkan lebih menarik yang mungkin akan segera datang kepada kita. Sebagai contoh, ia menyarankan bahwa perhitungan menggunakan chip analog, sirkuit yang memproses input data dalam bentuk nilai kontinu bukan nol dan yang, dapat memainkan peran penting. "Mungkin kita akan beralih ke bidang analog, dalam fisika ada banyak hal menarik terkait dengan komputer analog dan memori NVM."
Dia juga menyatakan harapan untuk keberhasilan start-up chip yang dipresentasikan di konferensi: “Ada startup yang sangat keren di sini, dan kami membutuhkan mereka untuk bekerja, karena kemungkinan CMOS digital tidak terbatas; Saya ingin semua investasi ini dipecat. "