Pada tahun 1985, Institute of Electrical and Electronics Engineers (
IEEE ) menetapkan standar
IEEE 754 , yang bertanggung jawab untuk
floating point dan format aritmatika, yang akan menjadi model untuk semua perangkat keras dan perangkat lunak selama 30 tahun ke depan.
Dan meskipun sebagian besar programmer menggunakan floating point kapan saja tanpa pandang bulu, ketika mereka perlu melakukan operasi matematika dengan bilangan real, karena pembatasan tertentu pada representasi angka-angka ini, kecepatan dan ketepatan operasi tersebut sering meninggalkan banyak yang diinginkan.
Selama bertahun-tahun, standar itu dikritik tajam oleh para ilmuwan komputer yang akrab dengan masalah ini, tetapi
John Gustafson adalah yang paling menonjol di antara mereka, yang memimpin perang salib sendirian untuk menggantikan titik apung dengan sesuatu yang lebih cocok. Dalam hal ini, posit atau
unum dianggap sebagai opsi yang lebih cocok - opsi ketiga adalah hasil dari penelitiannya tentang "angka universal". Dia mengatakan nomor posit akan memecahkan sebagian besar masalah utama dari standar IEEE 754, memberikan peningkatan kinerja dan akurasi, dan menggunakan bit lebih sedikit. Apa yang lebih baik, ia menyatakan bahwa format baru dapat menggantikan angka floating-point standar "on the fly," tanpa harus mengubah kode sumber aplikasi.
Kami bertemu dengan Gustafson di konferensi ISC19. Dan untuk spesialis superkomputer yang berada di sana, salah satu keuntungan utama dari format posit adalah Anda dapat mencapai akurasi dan jangkauan dinamis yang lebih baik menggunakan bit lebih sedikit daripada angka dari IEEE 754. Dan tidak hanya sedikit lebih sedikit. Gustafson mengatakan bahwa posisi 32-bit menggantikan float 64-bit di hampir semua kasus, yang dapat memiliki konsekuensi serius bagi komputasi ilmiah. Jika Anda membagi dua jumlah bit, Anda tidak hanya dapat mengurangi cache, memori, dan penyimpanan untuk angka-angka ini, tetapi juga secara serius mengurangi lebar saluran yang diperlukan untuk mentransfernya ke prosesor dan sebaliknya. Ini adalah alasan utama mengapa aritmatika berbasis posit, menurut pendapatnya, akan memberikan kecepatan perhitungan dua kali lipat empat kali lipat dibandingkan dengan angka floating point IEEE.
Akselerasi dapat dicapai melalui representasi bilangan real yang ringkas. Alih-alih eksponen dan bagian fraksional dari ukuran tetap yang digunakan dalam standar IEEE, posit mengkode eksponen dengan sejumlah variabel bit (kombinasi bit mode dan bit eksponen), sehingga dalam banyak kasus mereka membutuhkan lebih sedikit. Akibatnya, bit lebih banyak tetap pada bagian fraksional, yang memberikan akurasi lebih besar. Eksponen dinamis layak digunakan karena keakuratannya meruncing. Ini berarti bahwa nilai-nilai dengan eksponen kecil, yang paling sering digunakan, dapat memiliki akurasi yang lebih besar, dan kurang umum digunakan sangat besar dan angka yang sangat kecil akan memiliki akurasi lebih sedikit.
Karya Gustafson 2017 yang menggambarkan format posit memberikan deskripsi terperinci tentang cara kerjanya.
Keuntungan penting lain dari format adalah bahwa, tidak seperti angka floating-point biasa, posit memberikan hasil bitwise yang sama pada sistem apa pun, yang sering kali tidak dapat dijamin dengan format dari IEEE (di sini bahkan perhitungan yang sama pada sistem yang sama dapat memberikan perbedaan hasil). Juga, format baru ini berhubungan dengan kesalahan pembulatan, luapan dan hilangnya angka-angka penting, angka yang didenormalkan, dan banyak nilai dari tipe not-a-number (NaN). Selain itu, posit menghindari keanehan seperti nilai ketidakcocokan 0 dan -0. Sebaliknya, format menggunakan komplemen biner untuk karakter, seperti bilangan bulat, yang berarti bahwa perbandingan bitwise akan bekerja dengan benar.
Sesuatu yang disebut quire dikaitkan dengan nomor posit - sebuah mekanisme akumulasi yang memungkinkan programmer untuk melakukan aljabar linier yang dapat direproduksi - suatu proses yang tidak dapat diakses ke nomor IEEE biasa. Ini mendukung operasi umum penambahan-perkalian gabungan dan operasi gabungan lainnya yang memungkinkan Anda menghitung produk skalar atau jumlah tanpa kesalahan pembulatan atau luapan. Tes yang diluncurkan di University of California di Berkeley menunjukkan bahwa operasi quire 3-6 kali lebih cepat daripada eksekusi berurutan. Gustafson mengatakan mereka mengizinkan nomor posit untuk "bertarung di luar kelas berat mereka."
Meskipun format angka ini hanya ada selama beberapa tahun, komunitas komputasi kinerja tinggi (HPC) sudah memiliki minat dalam mengeksplorasi aplikasi mereka. Saat ini, semua pekerjaan tetap eksperimental, dan didasarkan pada perkiraan kecepatan perangkat keras masa depan atau pada penggunaan alat yang meniru aritmatika posit pada prosesor konvensional. Sementara dalam produksi tidak ada chip yang mengimplementasikan posit di tingkat perangkat keras.
Salah satu aplikasi potensial dari format ini adalah interferometer radio
Square Kilometer Array (SKA) yang sedang dibangun, ketika mendesainnya mereka
menganggap nomor posit sebagai cara untuk secara radikal mengurangi lebar saluran dan beban komputasi untuk memproses data yang berasal dari teleskop radio. Diperlukan bahwa superkomputer yang melayani itu mengkonsumsi tidak lebih dari 10 MW, dan salah satu cara yang paling menjanjikan untuk mencapai ini, menurut para desainer, adalah dengan menggunakan format posit yang lebih padat untuk mengurangi separuh perkiraan lebar saluran memori (200 PB / s), saluran transmisi data (10 TB / s) dan koneksi jaringan (1 TB / s). Daya komputasi juga harus meningkat.
Aplikasi lain untuk digunakan dalam prediksi cuaca dan prediksi iklim. Tim Inggris
menunjukkan bahwa angka posisi 16-bit jelas di depan angka angka mengambang 16-bit standar, dan mereka "memiliki potensi besar untuk digunakan dalam model yang lebih kompleks." Emulasi posisi 16-bit dalam model ini bekerja serta angka floating point 64-bit.
Livermore National Laboratory
mengevaluasi posisi dan format angka lainnya, mencari cara untuk mengurangi jumlah data yang dipindahkan dalam komputer super masa depan. Dalam beberapa kasus, mereka juga mendapat hasil yang lebih baik. Sebagai contoh, angka-angka posit dapat memberikan akurasi yang unggul dalam perhitungan fisik seperti shock hydrodynamics, dan umumnya mengungguli angka floating point dalam berbagai dimensi.
Mungkin posit akan memiliki potensi terbesar di bidang pembelajaran mesin, di mana angka 16-bit dapat digunakan untuk pembelajaran, dan angka 8-bit untuk pengujian. Gustafson mengatakan angka floating-point 32-bit berlebihan untuk pelatihan, dan dalam beberapa kasus mereka bahkan tidak menunjukkan hasil yang baik seperti posisi 16-bit, menjelaskan bahwa standar IEEE 754 "sama sekali tidak dimaksudkan untuk digunakan dengan AI" .
Tidak mengherankan bahwa komunitas AI memperhatikan mereka. Facebook Jeff Johnson telah mengembangkan platform eksperimental dengan FGPA menggunakan posit, yang menunjukkan efisiensi energi yang lebih baik dibandingkan dengan float16 dan bfloat16 IEEE untuk tugas pembelajaran mesin. Mereka berencana untuk mengeksplorasi penggunaan perangkat quire 16-bit untuk pelatihan dan membandingkannya dengan format yang bersaing.
Perlu dicatat bahwa Facebook
bekerja dengan Intel pada prosesor Nervana Neural Network (NNP), yang seharusnya mempercepat beberapa tugas terkait-raksasa sosial AI. Pilihan untuk menggunakan format posit tidak dikesampingkan, meskipun kemungkinan besar Intel akan meninggalkan format FlexPoint aslinya untuk Nervana. Bagaimanapun, titik ini layak dilacak.
Gustafson tahu setidaknya satu chip AI di mana mereka mencoba menggunakan nomor posit dalam desain, meskipun ia tidak memiliki hak untuk membocorkan nama perusahaan. Perusahaan Perancis, Kalray, yang bekerja dengan European Processor Initiative (EPI), juga menunjukkan minat untuk mendukung posisi dalam akselerator
Arsi Prosesor Paralel (MPPA) generasi berikutnya, sehingga teknologi ini dapat digunakan untuk
superkomputer exaflops Eropa .
Bagi Gustafson, semua ini, tentu saja, menginspirasi, dan ia percaya bahwa upaya ketiga ini untuk meningkatkan angka universal mungkin berhasil. Tidak seperti versi satu dan dua, posit mudah diimplementasikan dalam perangkat keras. Dan mengingat persaingan yang ketat di bidang AI, mungkin kita harus mengharapkan kesuksesan komersial dari format baru. Di antara platform lain di mana posit dapat mengharapkan masa depan yang cerah adalah pemrosesan sinyal digital, GPU (untuk grafik dan komputasi lainnya), perangkat untuk Internet of things, edge computing. Dan, tentu saja, HPC.
Jika teknologi mendapatkan distribusi komersial, Gustafson tidak mungkin dapat memanfaatkan keberhasilannya. Proyeknya, sebagaimana ditunjukkan dalam standar 10 halaman, sepenuhnya terbuka, dan tersedia untuk digunakan oleh perusahaan mana pun yang ingin mengembangkan perangkat lunak dan perangkat keras yang sesuai. Yang mungkin menjelaskan perhatian pada teknologi dari perusahaan seperti IBM, Google, Intel, Micron, Rex Computing, Qualcomm, Fujitsu, Huawei dan banyak lainnya.
Namun, mengganti IEEE 754 dengan sesuatu yang lebih cocok adalah proyek besar, bahkan untuk orang dengan resume yang mengesankan seperti Gustafson. Bahkan sebelum bekerja di ClearSpeed, Intel dan AMD, ia mempelajari cara untuk meningkatkan perhitungan ilmiah pada prosesor modern. "Saya sudah mencoba memecahkan masalah ini selama 30 tahun terakhir," katanya.