Para pengembang menjelaskan bagaimana AI mengalahkan profesional poker dalam hold'em tak terbatas pada jarak 120.000 tangan

Pemain poker profesional, Jason Les, berbicara dengan Profesor Tuomas Sandholm dari Universitas Carnegie Mellon pada acara head-up dengan bot Libratus. Jason kehilangan hampir satu juta dolar bersyarat untuk program ini, lebih dari profesional lainnya

Baru-baru ini, pengembang sistem AI yang lemah sering membandingkan efektivitas program mereka dalam konfrontasi game melawan manusia. Yaitu, cukup dalam game. Komputer telah mengalahkan manusia dalam catur, catur, dan pergi. Dalam gim-gim ini dengan informasi lengkap kapan saja selama gim, semua pemain memiliki informasi lengkap tentang keadaan gim, yaitu tentang posisi dan semua kemungkinan pergerakan pemain.

Tidak seperti situasi deterministik seperti itu, dalam permainan dengan informasi yang tidak lengkap, bagian dari informasi tentang keadaan permainan disembunyikan dari pemain - misalnya, kartu lawan. Texas Hold'em yang tidak terbatas hanyalah salah satu dari permainan ini. Selain kartu lawan, di sini elemen ketidakpastian ditambahkan karena ukuran arbitrer dari setiap taruhan. Dengan pemikiran ini, jumlah hasil yang mungkin diperkirakan mencapai 10 ¹⁶¹ .

Mungkin Texas Hold'em adalah game paling populer dengan informasi yang tidak lengkap di dunia. Miliaran dolar dimainkan online setiap hari. Penggunaan bot sangat dilarang sebelumnya, dan sekarang pemilik kamar poker memiliki alasan baru untuk memantau proses pada komputer pemain, karena program Libratus dengan andal menghapus tumpukan kepala bahkan dari profesional terbaik sekalipun.

Pertandingan pemenang Libratus melawan empat profesional poker diadakan 11-30 Januari 2017 sebagai bagian dari kompetisi “Brains vs. AI . "


Tumpukan program Libratus dan empat lawan selama 20 hari kompetisi

AI memainkan 120.000 head-up hand dan, sebagai hasilnya, tetap di wilayah positif untuk $ 1.766.250 dolar konvensional. Para pemain sendiri sangat terkesan dengan program permainan, yang dengan terampil mengubah strateginya setiap hari, beradaptasi dengan tindakan para pemain.

Tentu saja, permainan itu bukan untuk uang sungguhan, jadi para pemain sendiri agak santai dan tidak terlalu bertanggung jawab tentang permainan daripada jika mereka bermain untuk uang mereka sendiri. Ya, dan mereka harus menghabiskan berjam-jam di depan komputer setiap hari, yang melelahkan secara fisik. Namun demikian, kemenangan yang andal dari program ini tidak bisa tidak mengesankan. Lebih dari 14 tirai besar untuk seratus tangan keluar. Menurut pengembang, memenangkan jumlah seperti itu dalam jarak yang begitu jauh dengan probabilitas 99,7% tidak termasuk pengaruh keberuntungan, yaitu, ini benar-benar kemenangan yang signifikan secara statistik.

Sekarang para pengembang program dari Carnegie Mellon University telah menerbitkan artikel ilmiah yang menjelaskan arsitektur dan prinsip-prinsip pelatihan AI, yang mengalahkan para profesional poker.

Singkatnya, untuk menyederhanakan perhitungan, program ini mengelompokkan ^10.161 hasil yang mungkin oleh tangan yang sama (misalnya, flush ke raja dan flush ke wanita) dan ukuran taruhan yang serupa. Libratus terdiri dari tiga modul. Yang pertama adalah strategi yang telah ditentukan sebelumnya tentang cara bermain di babak pertama (rentang tangan untuk mengangkat dari setiap posisi). Lebih jauh, strateginya tidak dijabarkan begitu. Strategi kedua sangat tergantung pada jalannya permainan, yaitu, kartu yang ditarik dan perilaku lawan, dengan mempertimbangkan rentang dan statistiknya. Model ketiga adalah strategi gim yang khusus melawan lawan yang tidak terduga, yaitu orang. Strategi ketiga ini terus diperbarui secara real time. Jika seseorang melakukan beberapa manuver yang tidak terduga untuk program tersebut, maka dia menyimpannya dan memasukkannya ke dalam modelnya, mengubahnya dengan mempertimbangkan data baru dan memperbaiki dirinya sendiri.

Menurut pengembang, kerja yang sukses dalam situasi dengan informasi yang tidak lengkap memberi AI keuntungan tidak hanya dalam game. Faktanya adalah bahwa situasi seperti itu ada di mana-mana dalam kehidupan nyata. Hampir semua kehidupan manusia, hampir semua hubungan sosial dan ekonomi adalah "permainan" dengan informasi yang tidak lengkap. Oleh karena itu, kepemilikan alat yang tepat sangat penting untuk keberhasilan kelangsungan hidup AI di dunia nyata. Dalam praktiknya, program tersebut dapat digunakan, misalnya, untuk mengembangkan strategi yang efektif dalam sistem keamanan, model ekonomi, model politik, dan sistem lain dengan informasi yang tidak lengkap.

Teknik yang digunakan dalam program Libratus sebagian besar tidak tergantung pada ruang lingkup, dan oleh karena itu mereka dapat digunakan dalam aplikasi lain.

Artikel ilmiah ini diterbitkan pada 17 Desember di jurnal Science (doi: 10.1126 / science.aao1733, pdf ).