Beberapa tahun yang lalu, menurut saya Oleg Chumakov (saat itu masih dari Nival) adalah programmer game dev paling terkenal. Dia terus-menerus tampil, menjadi tuan rumah Gamesjam, dan sering menjadi tamu di podcast.

Dengan munculnya VR di pasar, Oleg memimpin perusahaan di divisi baru - NivalVR. Tapi Anda semua tahu, dengan realitas virtual, ada yang salah.

Untuk waktu yang lama saya terganggu dari permainan dev, dan melihat lagi, saya melihat bahwa tim Oleg menjadi lebih menarik. Sekarang disebut Luden.io dan simulator spesialis pembelajaran mesin mereka sementara True: learn () telah menjadi hit di ceruknya, banyak cerita keren terjadi di sekitarnya.

Kami berbicara dengan Oleg, tetapi saya tidak dapat memilih hanya satu topik - jalannya terlalu kaya dan beragam. Dan sehingga programmer berbicara tentang pemrograman tanpa takut disalahpahami, percakapan itu didukung oleh teman saya, kolega dan pengembang packpackart berpengalaman.


Oleg Chumakov

Saya bermain sementara True: learn (). Game keren, aku benar buntu.

Sudah jauh?

Tidak. Saya mulai bermain di malam hari dan terjebak pada tugas sampingan. Dia duduk, tidak bisa tidur sampai dia memutuskan. Bagaimana kabarmu dengannya?

Semuanya sangat baik, kami tidak menyangka bahwa ia akan sebesar itu. Kami merencanakan proyek kecil. Kami membayangkannya seperti ini: ambil semua pemain dunia, potong mereka yang hanya bermain puzzle. Dari sana, potong mereka yang siap berurusan dengan pemrograman. Dan kemudian mesin lain belajar ... ternyata sebagian kecil dari penonton. Namun faktanya, di sini.

Pertama kali lebih banyak pemain berlari daripada yang kami rencanakan dalam dua bulan. Pada awalnya - pada malam pertama lebih dari yang kita inginkan selama enam bulan. Oleh karena itu, sejak itu kami memiliki kehidupan yang sangat menyenangkan. Kami melokalkan, mencoba untuk tetap bertahan dan berbicara dengan seribu orang di Perselisihan pada saat yang sama.


Obrolan Anda di Discord - seperti yang saya pahami, semua orang tertarik di sana, semuanya dalam subjek pembelajaran mesin. Ceritakan kisah keren tentang salah satu pemain.

Ada seorang pemain di sana, namanya adalah Tuan Floppy (saya tidak tahu siapa namanya sebenarnya). Dia mendatangi kami dengan alfa tertutup. Kami mengizinkan sejumlah orang untuk bermain, dan kami mendapat umpan balik perkiraan, kami bisa menyesuaikan.

Kami memiliki kucing dalam permainan - duduk di monitor, mengeong. Dan menurut ide aslinya, kucing itu seharusnya ikut campur. Ketika Anda memprogram, itu selalu datang, ada "usap saya", itu naik ke monitor. Secara umum, Pak Floppy, ketika dia bermain, kucing aslinya datang kepadanya, hidup-hidup, untuk menghentikannya dari pemrograman dalam permainan. Dia mengirim foto ini, semuanya dimulai.

Kemudian ia menjadi tertarik, menjadi anggota aktif komunitas kami. Dia mulai memproduksi kucing-kucing ini dalam berbagai pakaian dalam game pada printer 3D di rumah dan mengirimkannya ke pemain terbaik sendiri. Secara relatif, ia membuat barang dagangan secara gratis. Dia hanya menyukainya. Dan ini adalah kenangan yang sangat hangat tentang bagaimana komunitas kami mengatur dirinya sendiri. Ini tidak pernah terjadi pada proyek kami. Ada cosplay, fanart, tetapi bagi orang-orang untuk mencetak mainan di permainan dan berbagi satu sama lain - ini adalah pertama kalinya.

Ada pemain yang ingin secara langsung belajar secara mendalam tentang pembelajaran mesin. Permainan menghilangkan ketakutan mereka akan ambang yang sulit untuk memasuki ML. Setelah pertandingan, mereka pergi ke Coursera, mencari kompetisi yang akan sulit bagi mereka di tingkat pengetahuan mereka. Dan sekarang kita secara aktif mengikuti mereka, kita semua menunggu yang pertama mendapatkan pekerjaan di bidang pembelajaran mesin. Pada hari ini, kita tampaknya akan merayakannya

Artinya, belum menerima?

Mereka masih dalam pelatihan. Permainan ini dirilis pada bulan Maret, belum ada cukup waktu. Dan secara umum banyak hal terjadi. Orang-orang di YouTube juga menggunakan game untuk mengajarkan pembelajaran mesin. Di sekolah, ini sering digunakan sekarang - di Rusia, di Inggris, di Amerika, di Australia banyak. Jadi saya tidak punya cukup pikiran untuk memilih cerita yang paling indah. Ada dua dari mereka setiap minggu.


Stanislva Semenov - ilmuwan data dan salah satu pengguna teratas Kaggle - bermain di WTL

Baiklah, kita akan kembali ke pembelajaran mesin. Untuk saat ini, ceritakan dengan tepat apa yang sedang Anda lakukan pada proyek, tanggung jawab Anda, hari Anda.

Tanggung jawab saya sekarang adalah untuk mengetahui dari tim inti rencana mereka - apa yang mereka lakukan selama dua hingga tiga bulan ke depan - dan dengan rencana ini di kepala saya untuk bekerja dengan semua orang yang datang kepada kami. Integrasikan permainan bolak-balik, ke sekolah ini, ke sekolah itu. Untuk menjadi jembatan antara pengembang dan dunia luar.

Terkadang saya membawa sesuatu dari Pengembangan Pelanggan yang saya cintai. Misalnya, mereka menemukan masalah seperti itu: anak-anak pergi ke kursus pemrograman - orang tua mereka bertanya "apa yang ada di kelas?", Anak-anak mengatakan "tidak ada." Orang tua tidak mengerti, anak tidak mau memberi tahu kempa atap, kempa atap benar-benar tidak melakukan apa-apa. Karenanya, kami memiliki laporan otomatis dalam game. Artinya, orang tua menerima pesan - “anak Anda mempelajari perceptron hari ini”, “anak Anda mengajar rnn-ku” dan seterusnya. Fitur tersebut muncul karena interaksi saya antara dunia luar dan game.

Jadi, sebagai seorang CEO, saya memiliki tugas sehingga setiap orang terinspirasi oleh tujuan besar, semua orang nyaman bekerja, tidak ada kesulitan, semuanya bergerak maju tanpa memikirkan hal-hal dasar.

Saya melihat. Artinya, Anda sendiri tidak memprogram sekarang?

Itu terjadi, tetapi tidak terlalu sering. Saya memiliki fitur besar untuk membuat ulang startup di dalam game. Saya datang dengan itu sejak lama, meskipun sebagai bagian dari proyek kami berikutnya tentang pemasaran Internet, tetapi tangan saya meraih perlahan. Alih-alih melakukannya di hari-hari tua yang baik dalam seminggu, saya sudah melakukannya selama sebulan.

Tentang Pemrograman di Game Dev

Yah, mari kita ingat tentang masa lalu yang indah. Ceritakan tentang diri Anda sebagai seorang programmer?

Nah, proyek terbesar di mana saya mendapat sekolah kehidupan adalah permainan Prime World. Ini adalah proyek yang sangat besar oleh Nival. Gerombolan dengan bagian sosial (itu disebut Kastil). Tim kami, yang baru saja menangani itu, memiliki lebih dari 20 orang - dan ini hanya untuk satu bagian kecil dari permainan. Proyek ini berukuran sangat besar, well, ada semua masalah multiplayer sinkron, yang ada di dunia ini.

Phil: Dan pada tahap apa Anda terhubung ke proyek sendiri? Apa posisi dia saat itu?

Kastil, tetapi ketika saya tiba tidak ada apa-apa di sana.

Nah, agar pembaca mengerti - permainan terdiri dari dua bagian: di mana pertempuran itu sendiri terjadi, dan Castle - di mana pengembangan berlangsung, pemain membangun, merekrut pahlawan, mengembangkan mereka, dan kemudian mengambil pahlawan dan pergi berperang dengannya. Bagian perang itu sudah siap, dan bagian sosial baru saja dimulai.

P: Dan siapa yang Anda datang kepadanya, bagaimana?

Saya datang ke posisi programmer biasa. Saya ingat benar bagaimana saya membuat proyek Unity kosong. Kami mulai dari awal. Itu perlu untuk menciptakan dan mengintegrasikan semuanya dengan hulu ledak, yang secara aktif berkembang pada saat itu.

F: Ya, ini Persatuan. Ya, apa ya? Pro, C #?

Bagian sesi ada di plus. Bagian kami adalah di Unity. Logika utamanya adalah dalam C #. Tetapi karena fakta bahwa ini adalah proyek, sehingga untuk berbicara, dari kombinasi teknologi yang kompleks, itu juga dihasilkan melalui Hemat di Python, karena server berada di Python.

F: Oh, dan tentu saja membebankan biaya pengembangan pada C #.

Yah, untuk sedikitnya. Tapi kami cukup elegan keluar dari ini. Rekan tim senior adalah orang yang sangat berpengalaman, jadi kami memiliki pembuatan kode di semua tempat yang tepat, dan secara umum semuanya dihasilkan dengan cukup baik. Tidak perlu memulai semuanya langsung dengan tangannya.

Seperti yang saya pahami, itu adalah masa kejayaan teknologi seperti Hemat, Protobuf, seperti di sini. Dan kemudian mereka dianggap sebagai penemuan luar biasa umat manusia ilmiah - sekali, dan selesaikan masalah Anda dengan fakta bahwa beberapa bahasa berbeda, dan data harus dikirim, dan semuanya harus bekerja sama di mana-mana

F: Saya bisa membayangkan berapa banyak masalah ini. Ketika Anda datang ke proyek, apakah Anda sudah terbiasa dengan C # dan dunia .net?

Ya, saya kenal. Saya masih akrab dengan Unity 2.6 (jika tidak membingungkan), itu adalah produk yang sangat aneh. Saya sendiri menulis di .net, tetapi ada Mono pada tahap awal. Ini adalah saat-saat ketika Miguel de Icaza bahkan tidak berurusan dengan Xamarin.

Saya ingat mono adalah binatang langka yang hanya dilihat oleh sedikit orang, tetapi ia dibangun di Unity, dan Unity hampir merupakan produk terbesar yang digunakan mono. Dengan demikian, ada segala sesuatu yang mengerikan yang terjadi di dunia mesin virtual pada tahap awal. Kebocoran memori besar yang tidak jelas pada semua platform, perbedaan tak terduga dari .net dalam hal-hal dasar. Alokasi tambahan setiap saat.

F: Yaitu, sebelum itu Anda bekerja dengan .net biasa, tetapi di sini mereka memberi Anda runtime lain, yang intinya masih belum didokumentasikan dengan baik.

Saya mulai bekerja dengan Unity sebelumnya, tetapi periode transisi yang Anda bicarakan - bekerja di .net dan sekarang di mono - dulu, tapi sedikit lebih awal. Saya tidak bisa mengatakan bahwa saya sangat berpengalaman dalam .net. Saya punya ide dan beberapa proyek yang diselesaikan, tetapi tidak muncul pertanyaan tentang kinerja, bahkan jika saya telah melakukan segala kesalahan dalam proyek-proyek itu. Semua bagian dimuat di proyek-proyek itu dalam plus, dan .net tidak ada hubungannya dengan itu.

F: Bisakah Anda berbicara tentang minggu pertama Anda di proyek. Jadi Anda menjalani wawancara, Anda adalah pengembang. Apa selanjutnya

Nah, untuk kemurnian ceritanya, ada baiknya mengatakan bahwa kami tidak melakukan Prime World pada awalnya. Di depannya masih ada proyek. Sayangnya, dia tidak sampai ke rilis, dan suatu hari kami pindah ke PW untuk membuat Castle. Semuanya begitu cepat di sana - kira-kira perancang menggambarkan kepada kami ide tentang apa yang harus terjadi: "Pasti ada semacam kastil, pemain di kastil, ia mengembangkannya, membangunnya, memompanya."

Pada minggu pertama, saya ingat, kami mengumpulkan kamera, konstruksi dengan unit dasar, membangun bagaimana seharusnya semua berdiri, semuanya tunggal. Dan setelah minggu pertama, ketika gambar dasar dan interaktif dasar dikumpulkan, kami harus mulai mencari tahu bagaimana itu akan bekerja secara arsitektur menggunakan server, bagaimana pergi ke kastil teman, melihat jenis kastil yang dimilikinya, bagaimana mentransfer konteks ini ke hulu ledak. Artinya, para pahlawan disewa, didirikan, membeli talenta yang tepat, sekarang Anda harus bertarung dengan pahlawan ini dalam pertempuran. Dan untuk berperang, Anda harus entah bagaimana pindah dari kastil kami ke bagian sesi. Ada bahasa lain, teknologi lain - jembatan ini tidak dibangun dengan cepat. Berikut adalah beberapa dari ingatan ini. Tapi itu sudah lama sekali.

Pengembangan Timeline Luden.io

• Pada 2014, Nival membentuk tim terpisah untuk mengembangkan game edukasi dalam realitas virtual - NivalVR.
• Pada Januari 2015, proyek pertama mereka, InMind, dirilis - sebuah permainan tentang bepergian ke otak manusia pada tingkat mikroskopis untuk mencari neuron yang menyebabkan penyakit mental.

• Pada tahun yang sama, InCell dirilis. Dia mengembangkan ide itu, tetapi terdengar seperti teks dari chatbot yang berbunyi - sebuah game edukasi dengan elemen balap dan strategi, dengan generasi prosedural, untuk perangkat VR, tentang bepergian ke dunia seluler manusia.
• Di Epic Games Mega Jam 2016, Luden.io membuat VRobot - "game yang tidak berguna tapi menyenangkan" di mana Anda harus menghancurkan kota dengan robot raksasa. Pada 2017, ia merilis di Steam VR, pada 2018 - di Playstation VR.

• Pada 2016, NivalVR diganti namanya menjadi Luden.io.
• Pada 2017, ARrived dirilis - sebuah simulator Dewa dalam augmented reality di Google ARCore, Apple ARkit, dan teknologi CoreML.

• Pada bulan Maret 2018, ia masuk ke akses awal sementara True: learn () - spesialis sim untuk ML, tetapi tanpa VR dan AR.

Tentang manajemen perusahaan teknologi

Nah, sekarang Anda adalah kepala Luden.io. Dan bagaimana Anda - mana yang lebih sulit? Apakah murni untuk mengembangkan atau mengelola semua ini, menjadi jembatan antara dunia dan pengembang?

Saya pikir itu tergantung pada orang seperti apa Anda melakukannya. Saya sangat beruntung, dengan orang-orang seperti saya di sana dan di sana sangat menarik dan sangat keren.

Dan jika Anda secara teoritis membandingkan dua profesi - CEO dan hanya seorang programmer? Saya pikir programmer lebih bijaksana dan lebih lambat. Diciptakan, direncanakan, dilakukan. Faktor-faktor eksternal lebih jarang muncul dan tidak dalam volume seperti itu. Di sana, secara relatif, selalu ada keputusan yang tepat, ada indikator yang konkret, jelas, dan terukur bahwa keputusan yang tepat adalah ketika perhitungan Anda tidak lebih dari dua milidetik dan dilakukan dalam N thread. Anda pasti tahu parameter ini, jika Anda cocok dengan mereka, semuanya baik-baik saja.

Tentu saja, tidak ada hal seperti itu dalam pekerjaan CEO. Biasanya tidak ada hal formal yang jelas di dunia ini, meskipun Anda mengelilingi bisnis Anda dengan indikator terukur yang ditargetkan. Setiap saat Anda perlu memikirkan cara melakukannya dengan lebih baik, atau itu bisa sangat berbeda. Tidak ada aturan yang jelas juga. Tapi ini pesona tersendiri



F: Apakah menurut Anda pengalaman pengembang membantu Anda mengelola?

Saya yakin ya Saya tidak berpikir bahwa di masa depan akan ada banyak perusahaan teknologi yang dibangun tanpa memahami konteks pengembangan di kepala chief manager. Sulit bagi saya untuk membayangkan bagaimana ini bisa terjadi. Saya yakin bahwa setidaknya seseorang harus memiliki latar belakang teknis sehingga perusahaan teknologi bergegas maju dengan kecepatan kereta, yang sekarang minimal diperlukan untuk bertahan hidup. Saya tidak akan mengatakan bahwa ini adalah satu-satunya cara, tetapi mungkin salah satu yang paling benar secara evolusi.

Apakah Anda melakukan ulasan sendiri?

Ya, bukan itu. Pada proyek PW besar, ya - ada proses lain di sana, tidak seperti kita. Di sana, tentu saja, semua kode tampak sehingga semuanya dalam satu standar. PW adalah skala sedemikian rupa sehingga orang bisa lupa bahwa satu bagian digunakan di tempat lain. Bahkan menguji secara lokal pun sulit, seberapa besar proyek itu. Oleh karena itu, ada ulasan kode memiliki standar yang baik.

Dan di sini orang-orang melihat kode masing-masing, tetapi terutama saat integrasi, ketika kami mengumpulkan semua fitur dalam satu makan siang. Saya tidak melihat di gamedev bahwa ketika Anda memiliki 5-6 programmer, ada proses peninjauan kode besar. Paling sering ini tidak terlalu diperlukan, produknya utama, dan periode dukungan tidak puluhan tahun.

F: Apakah ada pendekatan konsolidasi untuk pembangunan? Apakah dia dipaksakan?

Ada gaya kode standar dan konsep dasar tentang apa yang harus digabungkan, aturan arsitektur. Ada kerangka kerja proyek di mana kami selalu bekerja. Ini telah diuji oleh waktu, dan kami tahu pasti bahwa itu tidak akan memungkinkan kami untuk menembak diri sendiri (setidaknya dari senapan). Ada satu set modul dasar yang bergerak dari satu proyek ke proyek lain. Beberapa ditulis sejak lama, beberapa baru-baru ini. Karena penggunaan kembali standar arsitektur yang besar, karena ketaatan terhadap gaya kode, kita tidak sepenuhnya tergelincir ke dalam jurang.

F: Apakah Anda mengambil bagian dalam merekrut karyawan baru?
Ya tentu saja

F: Semuanya?
Semua.

Anda mungkin bukan perusahaan yang sangat besar, bukan?

Ya, tidak terlalu besar, tidak ribuan orang. Oleh karena itu, terima kasih Tuhan, setidaknya sekali, tetapi dengan setiap karyawan baru pada tahap wawancara 10 menit saya akan berbicara tentang bagaimana seseorang berhubungan dengan industri game dan apa yang dia mainkan. Untuk hanya mengerti.

F: Tapi Anda sendiri tidak akan mewawancarai pengembang sebagai pengembang?

Anda tahu, saya entah bagaimana sangat beruntung. Jadi saya berpikir bahwa orang-orang yang terlibat dalam perangkat lunak perbankan tidak memiliki hak prerogatif dan keberuntungan seperti kita. Seluruh industri berbahasa Rusia kami kecil. Dan ketika Anda bekerja di dalamnya selama beberapa tahun, Anda akan berteman dan bertemu orang-orang. Untuk hampir semua karyawan, jika ini bukan seorang siswa, selalu ada beberapa jenis rekomendasi, perkiraan pemahaman tentang apa yang dia lakukan dalam produksi.

Tetapi jika saya perlu mempekerjakan seratus orang dalam seminggu, maka, tentu saja, saya tidak bisa melakukan itu. Saya tidak perlu menyewa dengan kecepatan ini, dan kemungkinan besar ketika saya mempekerjakan orang, saya sudah mengenal mereka.

Gamedev vs pengembangan bisnis

F: Dan ada kasus ketika orang-orang dari industri lain pindah?

Itu terjadi, tetapi tidak terlalu sering. Di gamedev, rekam jejak biasanya seperti ini - orang-orang suka membuat game di masa kanak-kanak dan kemudian melanjutkan.

Ada beberapa wawancara penting ketika orang diambil dari bank. Pada tahap wawancara, kami agak setuju, mereka sepertinya menyukainya, mereka seperti “di sini, saya bekerja di bank, saya membayar banyak, tetapi saya tidak terlalu menyukainya. Saya ingin melakukan apa yang ingin dilakukan jiwa. Dan jiwa itu terletak pada permainan. ”

Anda menyukainya, dia menyukai Anda, bernegosiasi, mengajukan penawaran dan orang itu menghilang. Kadang-kadang Anda bertanya, “apa kabar,” dan mereka berkata kepada Anda: “di sini saya datang untuk berhenti, bos bertanya ke mana saya pergi. Saya katakan di sini. Dan dia - yah, mari kita tingkatkan gaji Anda, dan Anda tidak akan pergi ke mana pun. " Sangat sering, orang menyerah pada motivasi moneter tambahan dan tetap di industri mereka.

Tapi tentu saja ada kasus lain. Orang yang sangat baik datang dari berbagai industri, termasuk perangkat lunak perbankan.

Ya, saya ingat Anda menceritakan kisah ini dalam podcast - seorang programmer dari bank mengatakan "Saya ingin menjadi kreatif", sebuah nomor ditulis di selembar kertas, dan ia tetap. Sudahkah Anda memiliki kertas seperti itu dalam hidup Anda?

Ya, seperti orang lain, penawaran terus-menerus datang dari berbagai sudut. Anda tahu, saya tidak pernah melihatnya. Sangat bagus, tentu saja, di tempat lain yang mereka panggil. Tapi ini bukan yang ingin saya bangun dalam hidup.

F: Mereka mengatakan bahwa dalam perbankan, dalam bisnis, kualitas kode lebih tinggi daripada di game dev.

Saya pikir akan menyenangkan bagi saya untuk menempatkan lawan yang bekerja baik di perangkat lunak perbankan dan di game dev. Tapi dari sudut pandang bagian teoritis, saya pikir, dalam situasi pengembangan game sangat sering terjadi ketika sebuah proyek tiba-tiba terbang.

Sebagai contoh, perusahaan Kefir yang luar biasa memiliki permainan The Last Day on Earth. Terbuat dari kualitas tinggi dan hebat. Dan dia terbang sangat cepat, menjadi sangat populer. Saya pikir hal terakhir yang Anda miliki cukup tangan ketika mulai lepas landas seperti ini adalah untuk menyisir kualitas kode.

Seluruh proses menjaga kebersihan dalam suatu proyek tergantung terutama pada kesadaran pengembang, pengembang senior, yang pada setiap tahap proyek mengamati perilaku yang baik dan menjaga semuanya terkendali. Karena panggung "kita akan menyelesaikannya, lalu sisir semuanya" tidak pernah datang.

F: Saya sendiri banyak bekerja dalam pengembangan bisnis - kami telah membangun kualitas kode dalam sekte. , — . , (, ). , , . — .

Di sini, tentu saja, produk dan indikatornya adalah yang utama. Terkadang ada situasi yang mirip dengan apa yang Anda gambarkan. Misalkan kita sedang melakukan proyek yang dikenal IP, kita tahu apa masa depannya. Dengan akurasi tertentu, kami dapat memperkirakan bahwa itu akan didukung selama 15 tahun. Jelas, kami segera memiliki nilai bisnis karena dukungannya tidak naik setiap tahun. Untuk melakukan ini, harus didokumentasikan dengan baik dan ditulis dengan jelas untuk programmer baru. Tetapi ada beberapa proyek yang didukung selama 15 tahun - spesifik industri. World of Warcraft berapa banyak? Dalam waktu 15 tahun akan segera. Secara teoritis ada ya. Tapi saya pikir 15 tahun yang lalu, para pengembang di Blizzard sedang terburu-buru untuk menyelesaikan produk dan tidak semuanya dilakukan dengan sempurna.

F: Kelihatannya lebih seperti di sini bahwa dalam proyek game Anda awalnya tidak dapat membayangkan berapa lama, tidak seperti proyek bisnis.

Tentu saja

F: Dalam bisnis, secara default mereka membuat kode yang harus didukung selama 15 tahun, dan Anda tidak melakukannya, kan?

Tidak selalu tugas utama programmer adalah membuat kode yang akan mudah didukung selama 15 tahun. Tapi saya bertemu dengan proyek yang sangat bersih di mana orang dan pengembang pusat sangat bertanggung jawab, mereka menyukai semuanya.

Jika Anda suka memantau kebersihan, maka proyek biasanya semua indah dan bagus. Tetapi jelas, bisnis tidak selalu membutuhkan kemurnian ini, tidak selalu memiliki korelasi dengan kesuksesan produk.

Pada saat yang sama, sangat sulit bagi saya untuk membayangkan situasi di mana kami membuat perangkat lunak perbankan dan tidak tahu apakah itu akan terbang atau tidak. Industri yang sangat berbeda.

Cara membuat game untuk diri sendiri dan penonton

Melihat permainan luden.io, bagi saya tampaknya dibuat seolah-olah untuk saya sendiri. Umumnya tidak bergantung pada hal-hal yang biasanya dikatakan pengusaha, tanpa bergantung pada audiens tertentu.

Ini selalu merupakan pertanyaan ganda. Bayangkan kita membuat perangkat lunak yang memecahkan masalah spesifik pengguna. Kami pergi ke pengguna ini, tanyakan padanya "apa masalahnya?" Kami memahami, menemukan, mempertimbangkan ekonomi - adalah orang yang siap membayar untuk menyelesaikan masalah ini. Kami membuat produk yang memecahkan masalah ini.

Gim ini juga dapat dianggap sebagai perangkat lunak yang memecahkan masalah pemain. Dia ingin bersenang-senang atau - seperti dalam kasus kami - belajar sesuatu. Tapi di sini tidak ada salahnya, saya mengambil perangkat lunak - itu berhenti sakit. Pengguna ingin memainkan sesuatu yang penuh perasaan dan menyenangkan. Penting bagi seseorang untuk memiliki chemistry dengan permainan. Dia harus berteman dengannya. Jika ada cara untuk mempelajari mekanisme pembentukan kimia ini dengan pemain serta mempelajari masalah di bidang bisnis, maka mungkin tidak penting untuk membuat game untuk diri sendiri.

Jika kami mengatakan bahwa kami tidak dapat melakukan penelitian ini dengan cukup detail, maka satu-satunya cara untuk mengetahui bahwa game tersebut benar-benar berteman dengan pengguna adalah menjadi pengguna itu. Jika permainan menurut kami bagus, indah, menarik, maka kami dapat berhipotesis bahwa ada lebih dari satu seperti kami, bahwa orang-orang seperti itu masih ada, dan mereka juga akan menyukainya.

Tapi ini garis yang bagus. Anda harus dapat melihat produk seperti untuk diri sendiri, tetapi dengan mata yang sedikit berbeda. Bagaimana persepsi orang yang belum bermain selama 5 tahun? Dan orang yang sekarang bermain hanya di Destiny? Seperti orang yang menghabiskan seribu jam di bunker akan melihat. Itu saja - tetapi dengan semangat bahwa Anda harus bermain sendiri - ini adalah motivasi bisnis.

Dan motivasi liris itu sederhana - dibutuhkan waktu yang sangat lama untuk membuat game, dan pada akhir pengembangan, setiap game akan memiliki perasaan yang dekat dengan kebencian. Anda sudah sering melihatnya, dia sangat bosan dengan Anda. Dan jika Anda masih tidak menyukainya, maka bagaimana cara meminumnya, pada akhirnya Anda akan melepaskan tangan Anda. Tidak ada cara lain selain membuat game yang Anda sukai. Kalau tidak, Anda tidak akan sampai pada akhirnya dengan motivasi yang baik, Anda akan terlalu lelah.

Nah, apakah Anda setuju bahwa game Anda masih niche?

Tentu saja!Ini adalah nilai tambah utama dari apa yang kami lakukan. Kami benar-benar ingin menjadi niche. Jangan mencoba menghibur pria berusia 20 hingga 40 tahun - seluruh dunia pria ini menghibur.

Kami ingin game untuk menyampaikan subjek baru kepada seseorang, menceritakan sesuatu kepadanya, menjadi teman yang berguna dalam hidupnya. Ceruk ini jelas tidak seluas permainan sepak bola, di mana ada audiens yang jauh lebih besar. Tapi kami tidak bertujuan ke arah itu.

Apakah mengerjakan prinsip ini menguntungkan?

Saya pikir ini menguntungkan (well, dalam contoh kita), tetapi ini membutuhkan penumpukan pasar. Selama empat tahun kami sampai pada titik ketika kami menyadari genre apa, dalam format apa dan bagaimana mengirimkan, sehingga itu akan menguntungkan. Kami melakukannya, tetapi tidak mengatakan bahwa ini adalah poin dari keuntungan terbesar yang dapat diekstraksi dari ceruk ini.

Hanya sekarang kami telah memperoleh pemahaman tentang bagaimana bekerja dengan pasar ini, bagaimana cara menciptakannya sama sekali. Ini dikembangkan dengan buruk. Sekarang, dalam 10-15 tahun lagi, kita harus mengubahnya menjadi sesuatu yang lebih terbuka bagi pengembang lain yang juga berbagi tujuan kita - bahwa game harus bermanfaat.

Tugas kita adalah memastikan bahwa setelah 20 tahun, dengan bantuan permainan, orang belajar dan melakukan hal-hal yang akan membuat mereka senang, akan relevan di dunia masa depan itu, dan di mana mereka akan seefektif mungkin. Kemudian universitas dan sekolah dapat terlibat secara eksklusif dalam kegiatan penelitian.

Secara umum, garis umum terlihat antara permainan, kelas Anda - gamesjam, kuliah, Anda tampaknya masih mengajar ...

Sangat jarang. 10 jam setahun, paling banter.

Mengapa ada minat dalam pendidikan, pengajaran?

Ada beberapa keindahan dalam membantu spesialis yang lebih muda untuk menjadi lebih keren dan lebih bahagia daripada kita, pengalaman seharusnya berhasil. Tetapi ada motivasi visioner yang kurang. Apa permainan favoritmu? Sekarang kami akan secara langsung mengidentifikasi seseorang berdasarkan genre.

Dari semuanya?

Dari semuanya. Setiap tahun. Nah, Anda masih ingat sesuatu.

Ayo Efek Massal.

Ok, Mass Effect itu bagus, saya juga suka. Dan yang kedua dari kita ...

F: Gotik, mungkin.

Sialan, Gothic juga cantik. Sekarang saya bertanya-tanya apakah saya harus menyebutkan nama mereka. Saya juga sangat suka Gothic, dan saya suka Mass Effect, tapi saya hanya penggemar gila dari genre simulator dan taikun. Mini Metro, secara umum, saya menganggap pencapaian brilian seni permainan modern. Tidak bermain?


Ya, ya, saya melihatnya.

Jika kita menggambar paralel dengan seni, maka ini adalah "bentuk nol" seperti Malevich - ketika lapisan besar sistem yang mendalam diumpankan dengan sedikit usaha.

Taikun dan simulator adalah model domain di mana kita secara interaktif melakukan sesuatu dan melihat konsekuensinya. Game, jika Anda melihat lebih dalam, adalah cara tepat untuk mendapatkan pengalaman tanpa risiko. Artinya, permainan adalah bentuk latihan yang paling alami. Di sini kami memiliki perusahaan bernama Luden.io. Jika terurai, Ludus dari bahasa Latin diterjemahkan dengan dua cara - permainan dan sekolah. Di dekat coliseum ada reruntuhan seperti itu, mereka disebut Ludus Magnus. Ini adalah tempat di mana para gladiator belajar, mereka bermain di sana, bertarung, dan bersiap untuk pertempuran di arena.

Dan di sini ada simulator, taikun - hanya dirancang untuk memberikan pengalaman di daerah di mana terlalu sulit atau terlalu mahal untuk mendapatkannya, atau tidak mungkin untuk sampai di planet Bumi. Mempersiapkan seseorang untuk situasi yang akan dia hadapi di masa depan, untuk melatihnya.

Pendidikan, yang dalam format 20-30 tahun yang lalu, menjadi kurang dipraktikkan. Anak itu memiliki telepon di tangannya, ada Youtube, Twitch, semacam permainan, dan semua ini jauh lebih menarik daripada membaca buku yang musykil dan tidak menyenangkan.
Jika kita menggabungkan formulir ini - mainkan dan pelajari, maka kita akan menang dari semua sisi.

Apa yang terjadi pada VR

Pada prinsip yang sama, proyek pertama punya ide untuk fokus pada VR?

Dengan VR, sebuah topik yang menarik ... ketika kami mulai, itu baru saja dimulai. VR, tentu saja, mengukur kekuatan permainan - pengalaman bebas risiko, menambah efek kehadiran. Otak bahkan lebih percaya bahwa ini benar-benar terjadi, walaupun ini hanya latihan ekstra. Tetapi pasar sedang mengalami beberapa kesulitan dengan tingkat pertumbuhan sekarang. Kami tidak dapat menemukan format VR yang ingin dimiliki semua orang di rumah.

Oleh karena itu, kami memutuskan bahwa kami akan terus bergerak ke arah tujuan kami, tetapi VR ... Kami telah merilis proyek di semua platform. Selain itu, kami memiliki proyek-proyek VR produksi yang terintegrasi ke sekolah-sekolah. Jika sesuatu bergerak di salah satu platform, dan itu akan menjadi kenyataan virtual yang akan membantu menghasilkan game yang bermanfaat, maka kami pasti akan memperkuat kehadiran kami di sana. Sementara itu, kami memiliki banyak pemain di sana, semua orang senang dan bahagia, tetapi sementara Benar: belajar () - tanpa realitas virtual.

Setelah E3, gambar ini baru saja muncul di Internet, bahwa ada lebih sedikit referensi ke VR di media daripada sebelumnya.

Sayangnya, ya.

Menurut Anda apa yang terjadi?

Ingin membeli helm realitas virtual untuk Anda sendiri?

Tidak.

Baik di sini. Inilah yang terjadi. Orang tidak mau. Jadi begitu Anda bangun dan menyadari bahwa Anda menginginkan VR untuk diri Anda sendiri, maka titik kritisnya sudah dekat.

Kenapa mereka tidak mau? Bagaimanapun, semuanya sangat keren. Ketika itu muncul, semua orang senang, semua orang berkata, dalam 5-10 tahun itu akan ada di mana-mana, kita umumnya akan pindah ke sana untuk hidup.

Anda tidak dapat mendengarkan jawaban analitis kompleks dari pebisnis, hanya jawaban khusus. Pelanggan akan menjawab pertanyaan ini dalam bahasa sederhana yang jauh lebih baik. Karena itu, teman-teman, jika Anda tidak ingin helm ke rumah Anda, motivasi Anda akan menggambarkan situasinya jauh lebih baik daripada semua kesimpulan bisnis saya yang muskil.

Ini selalu terjadi - jika game tidak dijual, pergi ke game stop dan tanyakan pada orang yang tidak membelinya. Dia akan menjelaskan jauh lebih baik daripada semua pemasar disatukan.

Saya pikir ada masalah ayam dan telur. Sebuah helm dapat dibeli di rumah, tetapi timbul pertanyaan tentang apa yang harus dilakukan dengannya. Dan orang yang memproduksi konten untuk helm ini, berpikir apa yang akan saya hasilkan untuknya, jika tidak ada orang di sana, saya akan menghentikan pengembangan uang. Masalah ini belum menemukan keseimbangan di pasar VR.

Tetapi segmen telah muncul, dan saya pikir mereka akan diperkuat. Pertama, pasar sempit, maka pasar yang lebih besar, lebih besar akan ditarik keluar. Seperti halnya pembentukan konsol di tahun 80-an, 90-an, sehingga pembentukan VR bisa terjadi. Tetapi selama tiga tahun itu tidak berhasil - tidak sampai ke skala ponsel.

Artinya, Anda yakin dia akan lepas landas, baru nanti?

Pertanyaannya adalah dalam format apa. Akan sulit untuk memprediksi apakah itu akan menjadi perangkat universal yang memungkinkan AR dan VR dibuat, atau perangkat terpisah.

Pendapat pribadi saya adalah bahwa ia akan menempati ceruk khusus, seperti, misalnya tablet hari ini. Banyak orang memiliki rumah di rumah, tetapi sedikit yang membeli rumah baru. Dan mereka masih memecahkan beberapa masalah. Dengan VR, mungkin sama. Dia pasti akan menempati beberapa segmen di pasar. Satu-satunya pertanyaan adalah ukuran segmen ini.

Ada satu kegunaan yang bagus, sepertinya, Sergei Galenkin, memberi tahu saya. Satu orang membeli helm untuk menonton film karena dia memiliki empat anak. Use case segera jelas.

Apakah sulit bekerja dengan realitas virtual? Secara teknis.

Dengan VR, ada masalah besar dengan kinerja, dan persyaratan platform seringkali mendukungnya. Kami sekarang keluar dengan game lama kami - VRobot - di Playstation VR. Di sana, misalnya, perlu untuk mempertahankan stabil 60 fps. Pada Oculus (termasuk ponsel), Anda harus mendukung 75 fps. Bahkan jika pada saat-saat tertentu jatuh oleh 20-30 frame - itu saja. Anda harus mengoptimalkan gim agar tidak jatuh.

Tetapi kami memiliki tim yang sangat kuat dalam hal optimasi grafis tingkat rendah. Kami memiliki Nikita, yang sangat profesional dalam hal ini.

F: Jadi, Anda memiliki Bung terpisah untuk optimisasi?

Yah, dia tidak hanya melakukan ini, tetapi itu adalah keahlian utamanya. Mereka masih bekerja sama dengan Dima, yang dapat merakit adegan 3D apa pun dengan indikator kinerja yang diinginkan. Oleh karena itu, bersama mereka semuanya baik dan indah.

Tentang pembelajaran mesin dalam pengembangan game

Bagi mereka yang tertarik dalam pengembangan game dan pembelajaran mesin, Oleg menunjukkan foto Demis Hassabis untuk inspirasi. Keajaiban catur, ahli saraf dan pendiri DeepMind, juga memulai karirnya sebagai pengembang game.

Dia memprogram kecerdasan buatan untuk Black & White oleh Peter Moulinje. Dan kemudian di perusahaannya sendiri Elixir Studios merilis, misalnya, simulator super-penjahat ikatan Jahat Genius.

Dan baru kemudian menjadi salah satu peneliti AI paling terkenal di dunia.

Apakah while True: learn () menampilkan pengalaman nyata Anda?

Ya, ya, semuanya dibangun di atasnya. Dalam industri game, bagaimana - jika Anda mulai melakukan sesuatu, Anda pasti harus memiliki referensi, titik referensi di mana Anda akan melihat ke belakang. Kami sedang melakukan simulasi, dalam simulasi ada banyak hal kecil, hal-hal kecil ini memerlukan titik referensi agar tidak terbang ke semacam abstraksi.

Dan sementara True: learn (), kami mengambil referensi bukan proyek lain - kami memiliki kenyataan. Jika Anda melakukan sesuatu dan tidak tahu bagaimana melakukannya - terlihat seperti dalam kehidupan nyata. Ekonomi permainan adalah penyewaan server komputasi. Jika Anda memecahkan masalah memproses sejumlah besar data, Anda menyewa server, mempertimbangkan, menyewa, berhenti menyewa.

Kami ingin menunjukkan dalam permainan kronologi pengembangan pembelajaran mesin dari 50-an, dari perceptron pertama dan berakhir dengan mobil self-driving modern, semua jenis jaringan kapsul dan sebagainya.

Kami meletakkan semua titik referensi ini, Vanya secara khusus mengumpulkan tabel Google - blok transisi utama pembelajaran mesin, bagaimana industri berubah, apa yang dibawa masuk yang baru. Dan dengan bantuan pencarian ini disajikan dalam urutan itu.

Dalam beberapa versi permainan, kami bahkan memiliki satu tahun yang ditentukan. Untuk sejumlah alasan, kami menghapusnya, mungkin kami akan kembali. Tetapi orang itu jalan - meluncurkan permainan, melewati beberapa pencarian dengan perceptron, menghasilkan uang untuk ini.

Setiap tahun, ada sesuatu yang menarik. Entah itu dibantah oleh perkembangan teknologi di masa depan, atau, sebaliknya, dikonfirmasi.



Anda dapat mengklik pada setiap blok, melihat cara kerjanya di game, cara kerjanya di kehidupan nyata.

Selalu ada dua tautan, satu ke video YouTube tentang blok ini, di mana seseorang membicarakan hal ini dengan menarik. Dan beberapa artikel untuk dipahami lebih dalam lagi, jika Anda ingin memahami sampai ke detail bagaimana hal ini bekerja.

Dalam sebuah tim, apakah orang-orang melakukan pembelajaran mesin sebelumnya?

Ya sementara True: learn () kami lakukan secara paralel dengan peluncuran VRobot, jadi tim VR kami fokus pada porting ke Playstation. Dan tim kecil yang baru terdiri dari para ahli pembelajaran mesin.

Dan beri tahu mereka tentang mereka, tim seperti apa, apa yang mereka kerjakan sebelumnya?

Ya, mereka entah bagaimana mengumpulkannya. Ketika ide itu muncul, saya mengambil tim dari teman, teman, dan siswa.

F: Apakah Anda mengambil spesialis ML?

Ya, tetapi di sana kita memiliki semua orang muda, mereka tentu saja tidak memiliki 20 tahun pengalaman dalam pembelajaran mesin. Semua orang bermain di Kaggle setidaknya beberapa kali, mereka memecahkan beberapa masalah. Banyak yang sudah melewati ini di institut.

F: Dan mereka membuat game. Tetapi pengembangan game bukan pembelajaran mesin, bukan? Yaitu, mereka fullstacks - Para ilmuwan dan pengembang produk semuanya digabung menjadi satu.

Nah, bagaimana Anda menjawab. Inilah orang-orang yang memahami pembelajaran mesin dan memahami cara kerjanya. Dan mereka mengembangkan game di Unity, menulis kode game, antarmuka typeset, dan sebagainya.

Hanya untuk datang dengan beberapa jenis pencarian dan memasukkan semuanya ke dalam kronologi Anda perlu memahami konteksnya. Tapi jelas mereka tidak memulai notebook ipython untuk setiap pencarian.

Kami memiliki perpustakaan khusus di sana yang mempertimbangkan jaringan konvolusional dan beberapa hal yang sangat mendasar tentang Sharpe yang berfungsi di Unity. Itu juga merilis game menggambar AIDraw kami. Di sana, pemain menggambar, dan jaringan saraf menebak apa yang dia gambar. Perpustakaan ini menghitung semuanya, dan di sekitarnya seluruh permainan terikat.

F: ML dan game dev baru-baru ini mulai tumpang tindih. Sebagai contoh, saya memiliki permainan dengan pembelajaran mesin. Tumpukan mana yang cocok?

Saya belum melihat banyak proyek yang memotong pembelajaran mesin dan game dev - khususnya penggunaan produk, sehingga terjadi sesuatu pada klien game.
Unity memiliki sistem pembelajaran penguatannya sendiri. Ini memungkinkan Anda untuk melakukan sejumlah kecil hal, tetapi itu dibangun langsung ke Unity, sehingga ambang entri rendah.

Ada sejumlah perpustakaan, sama seperti untuk daerah lain, ditambah kerangka kerja untuk jaringan saraf.

Dalam teknologi seluler, mereka sering menggunakan CoreML Apple, yang memungkinkan Anda menghitung perangkat langsung pada GPU. Kami mengambil model, melatihnya di TensorFlow yang sama atau di Yandex CatBoost, masukkan ke dalam file khusus - dan sekarang sudah dapat diluncurkan langsung pada GPU pada iPhone dan kami akan mendapatkan prediksi yang dihasilkan kembali kepada kami.

Kami menggunakannya, misalnya, dalam game ARrived dengan augmented reality, di mana perlu untuk mengenali gambar dari kamera dan mengatakan apa yang ada di dalamnya.

Jika kita tidak berbicara tentang penggunaan produk, bukan dalam game client - semuanya klasik di sana. Di server, orang mengendarai teknologi paling umum, yang semuanya di atas ML. Tetapi ada digunakan untuk analitik atau personalisasi penawaran.
Kasus terkenal - mereka mencoba memprediksi kapan pemain akan keluar dari World of Tanks, dan apa yang harus dilakukan dengan informasi ini.

Atau untuk memprediksi waktu ketika memberi pemain semacam penawaran - beli dua kuda dengan harga satu. Dia akan membeli dengan probabilitas tinggi dan akan bahagia nanti. Ini adalah hal-hal server, dan di sana tumpukan tidak terbatas.

Dan bisakah koleksi dataset berdiri di tengah-tengah desain game?

Nah, ini konsep dunia barat. Mungkin dia memiliki hak untuk hidup, tetapi saya tidak segera melihat jenis data apa dari tindakan para pemain yang bisa berguna.

Sebagai contoh, kami membuat game dengan Anda tentang mengemudi di lingkungan perkotaan, kami membuat model nyata jalan Moskow. Di sini kita melihat - banyak pemain di sini terus-menerus crash, di sini mereka melanggar mode kecepatan. Dari dataset ini Anda dapat memahami di mana masalahnya.

Dan jika ini adalah permainan abstrak, bukan simulator domain? Mungkin dataset akan membantu memecahkan masalah perusahaan. Jika dia membuat game dengan tipe yang sama, maka dataset perilaku pemain dalam game tersebut dapat berguna bagi mereka. Namun demi ini, proyek terpisah telah dibuat, saya belum pernah bertemu.

Apakah itu masalah di AIDraw?

Ah, ini dia. Kita bisa meninggalkan ini, jika kita memiliki skala 300 ribu kali lebih besar. Google, misalnya, mengumpulkan dataset pada game yang sama, ia melakukan sesuatu dengannya. Saya pikir untuk tujuan penelitian. Di sini mereka bisa menjadi tugas.

F: Katakanlah Anda membuat permainan yang entah bagaimana akan menggunakan ML, dan dalam proses pengembangan Anda memahami bahwa cara Anda menyusunnya tidak akan berhasil, tetapi ternyata sesuatu yang sama sekali berbeda. Pernahkah Anda memiliki kasus seperti itu?

Sebagai contoh, kami tahu bahwa sementara True: learn () akan menjadi pembaruan besar tentang mobil self-driving. Pemain akan mengajarkan mesin bagaimana cara mengendarai, berkeliling mobil lain, mengganti gigi, memberi gas, menerapkan rem.



Biasanya, dalam game dev, perancang game menulis dzdock; konten diproduksi di dzdok (yah, seperti dalam hal persyaratan teknis di bidang lain). Tetapi dengan mesin tik kami segera mengerti - kami akan memiliki beberapa tahap, beberapa teknologi. Genetika akan belajar. Pemain akan mengerti bahwa genetika sedang dipelajari, tetapi itu tidak terlalu baik. Maka akan ada penguatan dari berbagai jenis. Pemain akan mengerti bahwa penguatan tertentu untuk tugas ini lebih efektif.

Ini adalah hal-hal yang tidak dikelola dengan baik. Mengetahui bahwa semuanya bisa salah, pertama-tama kami menulis demo techno - mentah, jelek, tidak bisa dipahami. Berikan ke desainer game. Desainer game bermain dengannya, menulis dzdok, yang akan kami selesaikan dan poles.

Lebih tepatnya, tidak hanya pemain gamed, kami memiliki komunitas tertutup dari teman-teman terdekat di Discord, kami dapat memberi mereka fitur dalam keadaan apa pun, mereka akan bermain dan mengatakan apa yang mereka pikirkan. Sekarang mereka telah memainkan mobil-mobil ini selama lebih dari dua minggu dan menceritakan.

Dengan mobil kami datang ke apa? Awalnya, kami menunjukkan input data mana yang akan digunakan untuk mengajari mobil cara mengemudi, parameter apa yang dapat kami ubah (semua jenis ambang batas, kehilangan. Dalam genetika, misalnya, ukuran generasi, mutasi). Dan ternyata ada sesuatu yang tidak terlalu interaktif. Seorang pria masuk, mengubah beberapa parameter, dan kemudian dia menjadi bodoh, memperhatikan bagaimana mobil itu dikendarai. Untuk pengembang yang berada dalam konteks, ini menyenangkan. Dan bagi seseorang dari luar, entah bagaimana itu tidak interaktif.

F: Tidak merasakan kontribusinya?

Ya, tidak ada umpan balik instan. Karena itu, kami telah sedikit mengubah desainnya. Pemain akan mengemudi. Seperti mengajar mobil, menyetir sendiri. Dan dia mengulangi setelah Anda, saat Anda mengajarinya.

Jika seorang pemain terus-menerus dibangun kembali hanya ke kanan, maka mesin tidak dapat dibangun kembali ke kiri, karena ia tidak mengajarkannya seperti itu. Segera menjadi interaktif. Jadi, beberapa iterasi lagi, dan sesuatu bisa berhasil,

Artinya, kami yakin ada sesuatu yang selalu salah dengan ML. Hampir tidak mungkin untuk memikirkannya terlebih dahulu pada tahap desain.

F: Artinya, Anda meletakkan fakta bahwa Anda harus membuat prototipe, melihat bagaimana perilakunya dan pada dasarnya mengulanginya lagi?

Tentu saja ya

P: Tapi ini non-standar untuk pembangunan. Fitur ini adalah ML, bukan?

Anda bisa mengatakan ya. Karena di area dan game lain kita kira-kira bisa memprediksi. Ini bukan tahun pertama kami melakukan ini, jadi kami mengerti bahwa apa yang akan dilakukan pemain, emosi apa yang akan ia alami.

Basis prediktif kami, yang kami ingat, mengatasi tugas ini.
Tapi ML masih belum bisa mengatasinya.