"Permintaan telah matang": Alexei Fedorov tentang konferensi baru tentang sistem terdistribusi

Baru-baru ini, dua acara diumumkan sekaligus pada pengembangan sistem multithreaded dan didistribusikan: konferensi Hydra (11-12 Juli) dan sekolah SPTDC (8-12 Juli). Orang-orang yang dekat dengan topik ini memahami bahwa kedatangan di Rusia Leslie Lamport , Maurice Herliha dan Michael Scott adalah peristiwa besar. Tetapi pertanyaan lain muncul:

• Apa yang diharapkan dari konferensi: "akademik" atau "produksi"?
• Bagaimana sekolah dan konferensi membandingkan? Untuk siapa ini dirancang?
• Mengapa mereka berpotongan pada tanggal?
• Akankah mereka berguna bagi mereka yang belum mencurahkan seluruh hidupnya untuk sistem terdistribusi?

Semua ini diketahui oleh orang berkat Hydra muncul: kepada direktur kami Alexey Fedorov ( 23derevo ). Dia menjawab semua pertanyaan.

Format

- Pertanyaan pengantar untuk mereka yang jauh dari sistem terdistribusi: apa yang kedua acara tentang?

- Tantangan global adalah bahwa ada layanan di sekitar kita dengan volume operasi yang besar dan tugas komputasi yang rumit yang tidak dapat dilakukan pada satu komputer. Jadi, harus ada beberapa mobil. Dan kemudian muncul pertanyaan tentang bagaimana cara menyinkronkan pekerjaan mereka dengan benar dan apa yang harus dilakukan dalam kondisi yang tidak memiliki keandalan tertinggi (karena peralatan rusak dan jaringan jatuh).

Semakin banyak mobil, semakin banyak poin kegagalan. Bagaimana jika mesin yang berbeda menghasilkan hasil yang berbeda untuk perhitungan yang sama? Apa yang harus dilakukan jika selama beberapa waktu jaringan telah menghilang dan beberapa perhitungan menjadi terisolasi, bagaimana semua ini dapat digabungkan? Secara total, sejuta masalah terkait. Solusi baru - masalah baru.

Di area ini, ada area yang cukup diterapkan, tetapi ada yang lebih ilmiah - sesuatu yang belum menjadi arus utama. Saya ingin berbicara tentang apa yang terjadi baik dalam praktik dan sains, dan yang paling penting - di persimpangan mereka. Inilah yang akan menjadi konferensi Hydra pertama.

- Saya ingin memahami bahwa ada konferensi, dan ada sekolah musim panas. Bagaimana mereka membandingkan? Jika diskon untuk menghadiri konferensi dibuat untuk peserta sekolah, lalu mengapa mereka memotong menurut tanggal, sehingga Anda tidak dapat mengunjungi semuanya tanpa kehilangan sekaligus?

- Sekolah adalah acara kamar untuk 100-150 orang, di mana para pakar terkemuka dari seluruh dunia datang dan memberikan kuliah selama lima hari. Dan sebuah situasi muncul ketika tokoh-tokoh kelas dunia berkumpul di St. Petersburg selama lima hari, siap untuk mengatakan sesuatu. Dan dalam hal ini, keputusan itu menyarankan dirinya untuk mengatur tidak hanya sekolah bilik, tetapi juga konferensi yang lebih besar.

Sekolah semacam itu hanya dapat diadakan pada musim panas, pada bulan Juli, karena di antara para spesialis ini terdapat profesor universitas yang aktif, dan mereka sama sekali tidak siap di waktu lain: mereka memiliki siswa, diploma, kuliah, dan sebagainya. Format sekolah adalah lima hari kerja. Diketahui bahwa pada musim panas di akhir pekan orang suka pergi ke suatu tempat. Ini berarti bahwa kita tidak dapat mengadakan konferensi pada akhir pekan sebelum sekolah, atau pada akhir pekan setelah sekolah.

Dan jika itu masih diperpanjang selama beberapa hari sebelum atau setelah akhir pekan, maka secara ajaib lima hari spesialis yang tinggal di St. Petersburg berubah menjadi sembilan. Dan mereka belum siap untuk ini.

Oleh karena itu, satu-satunya solusi yang kami temukan adalah dengan mengadakan konferensi paralel dengan sekolah. Ya, ini menyebabkan beberapa masalah. Ada orang yang ingin menghadiri sekolah dan konferensi, dan mereka harus melewatkan bagian dari kuliah di sini atau di sana. Kabar baiknya adalah bahwa semua ini akan terjadi di aula tetangga, Anda dapat berlari bolak-balik. Dan satu sisi lagi yang baik adalah ketersediaan video yang nantinya bisa Anda tonton dengan tenang.

- Ketika dua acara diadakan secara paralel, orang-orang memiliki pertanyaan "yang mana yang saya butuhkan?" Apa sebenarnya yang diharapkan dari masing-masing, dan apa perbedaannya?

- Sekolah ini murni acara akademik, sekolah ilmiah klasik selama beberapa hari. Siapa pun yang terlibat dalam sains dan ada hubungannya dengan sekolah pascasarjana, mewakili apa sekolah akademis itu.



Biasanya, acara akademik seperti itu tidak terorganisir dengan baik karena kurangnya keahlian acara pada orang yang melakukan ini. Tapi kami masih cukup berpengalaman kawan, sehingga kami bisa melakukan semuanya dengan cukup kompeten. Saya pikir dari sudut pandang organisasi, SPTDC akan menjadi potongan di atas sekolah ilmiah atau praktis yang pernah Anda lihat.

Sekolah SPTDC adalah format seperti itu di mana setiap kuliah besar disampaikan dalam dua pasangan: "satu setengah jam - istirahat - satu setengah jam". Harus dipahami bahwa untuk pertama kalinya bisa menyulitkan peserta: ketika sekolah ini diadakan untuk pertama kalinya dua tahun yang lalu, saya sendiri tidak biasa, saya mematikan beberapa kali di tengah ceramah ganda, dan kemudian sulit untuk memahami apa yang terjadi. Tapi itu sangat tergantung pada dosen: dosen yang baik berbicara dengan sangat menarik selama tiga jam.

Hydra Conference adalah acara yang lebih terapan. Akan ada beberapa tokoh ilmu pengetahuan yang datang untuk memberikan kuliah di Sekolah: dari Leslie Lamport , yang karyanya mendasari teori sistem multithreaded dan terdistribusi, ke Maurice Herlichi , salah satu penulis buku teks konkurensi terkenal "The Art of Multiprocessor Programming". Tetapi pada konferensi kami akan mencoba untuk membicarakan bagaimana algoritma ini atau mereka diwujudkan dalam kenyataan, masalah apa yang dihadapi oleh para insinyur dalam praktiknya, siapa yang mendapatkan apa yang terjadi dan tidak berfungsi, mengapa beberapa algoritma diterapkan dalam praktik dan yang lainnya tidak. Dan tentu saja, mari kita bicara tentang pengembangan masa depan dari sistem multi-threaded dan terdistribusi. Yaitu, kita akan memberikan ujung tombak: apa yang dibicarakan sains dunia sekarang, di mana pemikiran para insinyur terkemuka berputar, dan bagaimana semua itu cocok satu sama lain.

- Karena konferensi lebih diterapkan, maka tidak hanya akan ada tokoh-tokoh akademis, tetapi juga pembicara "dari produksi"?

- Pasti. Kami mencoba untuk melihat semua yang "besar": Google, Netflix, Yandex, Odnoklassniki, Facebook. Ada masalah menyenangkan tertentu. Misalnya, semua orang mengatakan: "Netflix adalah sistem terdistribusi, hampir setengah dari lalu lintas AS sangat keren," dan ketika Anda mulai melihat laporan, artikel, dan publikasi mereka yang sebenarnya, ada sedikit kekecewaan. Karena, meskipun ini tentu saja tingkat kelas dunia dan ada jalan pintas, itu kurang di sana daripada tampaknya pada pandangan pertama.

Dilema yang menarik muncul: Anda dapat memanggil perwakilan dari perusahaan besar terkemuka, atau Anda dapat memanggil seseorang yang sudah dikenal oleh kami. Pada kenyataannya, ada keahlian baik di sana maupun di sana. Dan kami lebih berusaha untuk tidak menarik "orang dari merek yang sangat besar", tetapi spesialis yang sangat besar, orang-orang tertentu.

Misalnya, akan ada Martin Kleppman, yang pernah membuat keributan di LinkedIn, dan juga merilis buku yang bagus - mungkin salah satu buku dasar di bidang sistem terdistribusi.

- Jika seseorang bekerja bukan di Netflix, tetapi di perusahaan yang lebih mudah, dia mungkin berpikir: "Haruskah saya pergi ke konferensi seperti itu, atau adakah netflix berbicara satu sama lain, tetapi saya tidak ada hubungannya?"

- Saya akan mengatakan ini: ketika saya bekerja dengan Oracle selama lebih dari tiga tahun, saya mendengar hal-hal yang paling menakjubkan dan menarik di dapur dan di ruang merokok ketika rekan-rekan saya berkumpul di sana, mengerjakan bagian tertentu dari platform Java. Bisa jadi orang-orang dari mesin virtual, atau dari departemen pengujian, atau dari konkurensi kinerja - misalnya, Lesha Shipilev dan Seryozha Kuksenko.

Ketika mereka mulai membahas sesuatu dengan satu sama lain, saya biasanya hanya mendengarkan dengan mulut terbuka. Bagi saya, ini adalah hal-hal luar biasa dan tak terduga yang bahkan tidak saya pikirkan. Secara alami, pada awalnya saya tidak mengerti 90% dari apa yang mereka bicarakan. Kemudian menjadi 80% tidak bisa dipahami. Dan setelah saya mengerjakan pekerjaan rumah dan membaca beberapa buku, jumlah ini berkurang menjadi 70%. Saya masih tidak mengerti banyak tentang apa yang mereka bicarakan di antara mereka sendiri. Tetapi, duduk di sudut dengan secangkir kopi dan menguping, saya mulai mengerti sedikit apa yang terjadi.

Karena itu, ketika Google, Netflix, LinkedIn, Teman Sekelas dan Yandex saling berbicara, ini tidak berarti bahwa itu adalah sesuatu yang tidak dapat dipahami dan tidak menarik. Sebaliknya, kita harus mendengarkan dengan cermat, karena ini adalah masa depan kita.

Tentu saja, ada orang yang tidak membutuhkan semua ini. Jika Anda tidak ingin mengembangkan topik ini, Anda tidak harus pergi ke konferensi ini, Anda hanya akan kehilangan waktu di sana. Tetapi jika topiknya menarik, tetapi Anda tidak memahami apa pun di dalamnya, atau hanya melihat dengan saksama, itu berarti Anda harus datang, karena Anda tidak akan menemukan hal seperti itu di tempat lain. Dan saya pikir itu tidak hanya di Rusia, tetapi juga di dunia. Kami berusaha membuat konferensi yang tidak hanya akan menjadi pemimpin dalam topik ini di Rusia, tetapi umumnya nomor satu di dunia.

Ini bukan tugas yang mudah, tetapi ketika kami memiliki kesempatan luar biasa untuk mengumpulkan pembicara yang kuat dari seluruh dunia, saya siap memberikan banyak untuk mewujudkannya. Tentu saja, beberapa dari mereka yang kami panggil untuk Hydra pertama tidak akan bisa datang. Tetapi saya akan mengatakan ini: kami tidak pernah memulai konferensi baru dengan daftar yang begitu kuat. Kecuali, mungkin, JPoint pertama enam tahun lalu.

- Saya ingin mengembangkan kata-kata "ini masa depan kita": akankah topik nanti menyentuh mereka yang tidak memikirkannya hari ini?

"Ya, aku yakin itu." Karena itu, menurut saya sangat tepat untuk mulai membahasnya secepat mungkin. Sebagai contoh, teori multithreading muncul cukup lama (pada 70-an, pekerjaan sudah berjalan lancar), tetapi untuk waktu yang lama mereka adalah banyak spesialis, sampai komputer dual-core pengguna pertama muncul pada awal 2000-an. Dan sekarang kita semua memiliki server multi-core, laptop, dan bahkan telepon, dan ini adalah arus utama. Butuh waktu sekitar 10 tahun untuk ini menjadi luas, bagi orang-orang untuk memahami bahwa wacana ini tidak banyak dari lingkaran sempit spesialis.

Dan tentang hal yang sama sekarang kita lihat dengan sistem terdistribusi. Karena keputusan dasar seperti load balancing, memberikan toleransi kesalahan dan sejenisnya telah dibuat untuk waktu yang lama, tetapi sangat sedikit orang yang tahu apa, misalnya, didistribusikan konsensus atau Paxos.

Salah satu tugas paling penting yang saya tetapkan untuk acara ini adalah untuk lebih melibatkan insinyur dalam diskusi ini. Harus dipahami bahwa di konferensi tidak hanya beberapa topik dan solusi dibahas, tetapi juga tesaurus muncul - satu alat konseptual tunggal.

Saya melihat tugas saya untuk menciptakan sebuah platform di mana setiap orang dapat mendiskusikan semua ini, berbagi pengalaman dan pendapat. Sehingga Anda dan saya memiliki pemahaman yang sama tentang apa yang dilakukan oleh satu algoritma, apa yang algoritma lainnya lakukan, mana yang lebih baik dalam kondisi apa, bagaimana mereka terkait satu sama lain, dan seterusnya.

Suatu hal yang sangat menarik terkait dengan multithreading yang sama. Ketika teman-teman kami dari Oracle (pertama-tama, Lyosha Shipilev dan Sergey Kuksenko) mulai berbicara secara aktif tentang kinerja dan, khususnya, tentang multithreading, secara harfiah dua atau tiga tahun kemudian, pertanyaan-pertanyaan ini mulai ditanyakan pada wawancara di perusahaan, orang-orang mulai membahas hal ini di ruang merokok. Artinya, hal yang banyak dimiliki para spesialis sempit, tiba-tiba menjadi mainstream.

Dan itu sangat benar. Menurut saya, kami telah membantu orang-orang ini mempopulerkan semua masalah ini, yang sangat penting, bermanfaat, dan menarik. Jika tidak ada yang pernah berpikir tentang bagaimana server Java menangani permintaan secara paralel, sekarang orang setidaknya memiliki pemahaman pada tingkat tertentu tentang bagaimana semua ini bekerja. Dan ini luar biasa.

Tugas yang saya lihat sekarang adalah tentang hal yang sama dengan sistem terdistribusi. Sehingga setiap orang mengerti kira-kira apa itu, dari mana kaki tumbuh, apa tugas dan masalah yang ada, sehingga ini juga menjadi arus utama.

Perusahaan memiliki permintaan besar untuk orang yang memahami sesuatu tentang ini, tetapi ada beberapa orang seperti itu. Semakin banyak kita membuat konten ini dan kesempatan untuk mempelajari ini, semakin banyak kita memberi orang kesempatan untuk mengajukan pertanyaan yang ada di udara, semakin banyak peluang yang kita miliki untuk bergerak maju ke arah ini.

Latar belakang

- Konferensi diadakan untuk pertama kalinya, tetapi sekolah bukan yang pertama kalinya. Bagaimana semua ini muncul dan berkembang?

- Ini adalah kisah yang menarik. Dua tahun lalu, pada Mei 2017, kami berada di Kiev bersama Nikita Kovale ( ndkoval ), spesialis multithreading. Dan dia mengatakan kepada saya bahwa Sekolah Musim Panas dalam praktek dan teori komputasi bersamaan akan diadakan di St. Petersburg.

Topik pemrograman multi-utas dalam tiga tahun terakhir karier teknik saya telah sangat menarik. Dan kemudian ternyata orang-orang yang sangat terkenal datang ke St. Petersburg pada musim panas, Maurice Herlihi dan Nir Shavit yang sama, yang buku pelajarannya saya pelajari. Dan banyak teman saya yang terkait dengan ini - misalnya, Roma Elizarov ( elizarov ). Saya menyadari bahwa saya tidak bisa melewatkan acara seperti itu.

Ketika menjadi jelas bahwa program sekolah 2017 akan keren, timbul gagasan bahwa kuliah harus direkam dalam video. Di JUG.ru Group, kami memiliki pemahaman lengkap tentang bagaimana kuliah tersebut harus direkam. Dan kami masuk ke dalam SPTCC sebagai orang-orang yang membuat video untuk sekolah. Akibatnya, semua kuliah di sekolah ada di saluran YouTube kami.

Saya mulai berkomunikasi dengan Peter Kuznetsov, yang merupakan ideologis utama dan penyelenggara sekolah ini, dan dengan Vitaly Aksyonov, yang membantu secara organisasi melakukan semua ini di St. Petersburg. Saya menyadari bahwa ini luar biasa sehat dan menarik dan, mungkin, sangat buruk, bahwa hanya 100 peserta yang dapat menyentuh keindahan.

Ketika Peter memikirkan perlunya bersekolah lagi (pada 2018 tidak ada waktu dan upaya, jadi dia memutuskan untuk melakukannya pada 2019), menjadi jelas bahwa kita dapat membantunya dengan hanya menghapus semua hal organisasi darinya. Dan sekarang, Peter terlibat dalam konten, dan kita semua sisanya. Dan ini sepertinya skema yang tepat: Peter mungkin lebih tertarik pada program daripada "di mana dan kapan semua orang akan makan siang." Dan kami pandai bekerja dengan aula, tempat, dan sebagainya.

Kali ini, alih-alih SPTCC, sekolah itu disebut SPTDC, bukan "komputasi bersamaan", tetapi "komputasi terdistribusi". Dengan demikian, tentang perbedaannya adalah tentang ini: terakhir kali sekolah tidak berbicara tentang sistem terdistribusi, tetapi tentang ini kita akan secara aktif membicarakannya.

- Karena sekolah ini bukan yang pertama kali, sudah dimungkinkan untuk menarik beberapa kesimpulan dari masa lalu. Apa yang terjadi sebelumnya?

- Ketika sekolah pertama dibuat dua tahun lalu, diharapkan akan ada acara akademik, terutama menarik bagi siswa. Selain itu, siswa dari seluruh dunia, karena sekolah hanya dalam bahasa Inggris, dan diperkirakan bahwa sejumlah besar siswa asing akan datang.

Bahkan, ternyata banyak insinyur berasal dari perusahaan besar Rusia seperti Yandex yang sama. Ada Andrei Pangin ( apangin ) dari Odnoklassniki, ada orang-orang dari JetBrains yang aktif terlibat dalam topik ini. Secara umum, ada banyak wajah yang dikenal dari perusahaan mitra kami. Saya sama sekali tidak terkejut, saya mengerti mengapa mereka datang ke sana.

Sebenarnya, penyelenggara memiliki harapan bahwa akan ada orang-orang akademis di Sekolah, dan tiba-tiba orang-orang dari industri datang, dan kemudian menjadi jelas bagi saya bahwa ada permintaan di industri.

Jika acara, yang hampir tidak pernah dipromosikan di mana pun, pertama kali klik jari berkumpul audiens orang dewasa, maka sebenarnya ada minat. Sepertinya saya bahwa permintaan tentang topik ini telah matang.


^{Maurice Herlichi pada pertemuan JUG.ru}

- Selain sekolah, Maurice Herlichi berbicara pada pertemuan JUG.ru di St. Petersburg pada tahun 2017, berbicara tentang memori transaksional, dan ini sedikit lebih dekat dengan format konferensi. Lalu siapa yang datang - orang yang sama yang biasanya datang ke pertemuan JUG.ru, atau audiensi lain?

- Itu menarik karena kami mengerti bahwa Maurice akan memiliki laporan umum, dan tidak khusus untuk Jawa, dan membuat pengumuman yang sedikit lebih luas daripada yang biasanya kami lakukan untuk pelanggan berita JUG kami.

Banyak orang yang saya kenal berasal dari komunitas yang sama sekali tidak berbicara tentang Java: dari hangout .NET, dari hangout JavaScript. Karena topik memori transaksional bukan teknologi pengembangan spesifik. Ketika seorang spesialis kelas dunia datang untuk berbicara tentang ingatan transaksional, kehilangan kesempatan untuk mendengarkan orang seperti itu dan mengajukan pertanyaan kepadanya hanyalah sebuah kejahatan. Itu hanya membuat kesan yang kuat ketika orang yang bukunya Anda pelajari mendatangi Anda dan memberi tahu Anda sesuatu. Fantastis.

- Dan apa umpan baliknya berdasarkan hasil? Apakah pendekatannya terlalu akademis dan tidak dapat dipahami oleh orang-orang dari industri?

"Ulasan laporan Herlich bagus." Orang-orang menulis bahwa ia dengan sangat sederhana dan jelas menetapkan apa yang tidak diharapkan dari seorang profesor akademik. Tapi kita harus mengerti bahwa kita tidak hanya memanggilnya, ini adalah spesialis terkenal di dunia dengan pengalaman luas dalam berbicara dan dengan latar belakang dari tumpukan buku dan artikel. Dan, mungkin, ia menjadi terkenal dalam banyak hal karena kemampuannya menyampaikan materi kepada orang-orang. Karena itu, ini tidak mengejutkan.

Dia memiliki bahasa Inggris yang normal dan dapat dimengerti, dan dia, tentu saja, tahu banyak tentang apa yang dia bicarakan. Artinya, ia dapat ditanyakan sepenuhnya pertanyaan apa pun. Pada dasarnya, orang-orang mengeluh bahwa kami memberi Maurice terlalu sedikit waktu untuk laporan: dua jam untuk ini tidak cukup, kami membutuhkan setidaknya dua lagi. Ya, mereka berhasil dalam dua jam, lalu mereka berhasil.

Motivasi

- Biasanya, Grup JUG.ru terlibat dalam acara berskala besar, dan topik ini terlihat lebih terspesialisasi. Mengapa diputuskan untuk mengambilnya? Adakah kesediaan untuk mengadakan acara yang lebih kecil, atau bisakah banyak penonton berkumpul pada topik seperti itu?

- Memang, ketika Anda melakukan semacam acara dan menanyakan tingkat diskusi tertentu, pertanyaan selalu muncul dari seberapa besar diskusi ini. Berapa banyak orang - sepuluh, seratus atau seribu - menarik. Ada pertukaran antara massa dan kedalaman. Ini adalah pertanyaan yang sangat normal, dan semua orang memutuskannya secara berbeda.

Dalam hal ini, saya ingin membuat acara "untuk saya sendiri." Dalam multithreading, saya masih memahami sesuatu (di konferensi saya memberi ceramah tentang topik ini, mengatakan sesuatu kepada siswa beberapa kali), tetapi dalam sistem terdistribusi, saya adalah orang awam: Saya membaca beberapa artikel dan melihat beberapa kuliah, tetapi saya bahkan tidak memiliki satu buku penuh baca itu.

Kami memiliki komite program yang terdiri dari para ahli di bidang ini dan dapat mengevaluasi keakuratan laporan. Dan untuk bagian saya, saya mencoba membuat acara ini sehingga saya ingin pergi sendiri dengan kurangnya keahlian. Apakah ini akan menarik minat khalayak ramai, saya tidak tahu. Mungkin, pada tahap ini ini bukan tugas utama dari acara ini. Sekarang lebih penting untuk membentuk program yang paling kuat dalam waktu singkat.

, « », «, ». - , . .

. . Java- , . , , . , , , , , , — .

, . , , , .

70-80% . , ( , ) ( ). . .

, -. . , , , , -. , - . JavaScript, Java .NET , , , , , — , - .

: 70–80% . ? , . ? : , .

SPTDC , Hydra , .