Pada akhir Juni, Novosibirsk mengambil HighLoad ++ untuk kedua kalinya. Jika tahun lalu pengaruh kebaruan memainkan peran penting dalam kenyataan bahwa semua orang senang dengan segalanya, maka kali ini kami perlu mempersiapkan jauh lebih hati-hati untuk mempertahankan dan melampaui kesan. Pertama-tama, dengan kekuatan tiga kali lipat, kami mengambil hal utama - program. Sekarang setelah pidato telah berlangsung dan bahkan telah ditinjau secara selektif di babak kedua, umpan balik dari para peserta konferensi telah dikumpulkan dan diproses, kita dapat dengan yakin mengatakan bahwa itu adalah suatu keberhasilan.
Dasar dari HighLoad ++ Siberia adalah 38 laporan yang sangat baik, penuh pengalaman dan keahlian yang mendalam. Raksasa internasional dan perusahaan regional semuanya berbagi pengalaman mereka dalam bekerja dengan tugas-tugas untuk solusi yang alat standarnya tidak ada.
Konferensi khusus dibuat oleh orang-orang. Kami dengan jujur mencoba memahami apa masalahnya dan bagaimana melakukan acara tulus yang sama di tempat lain, tetapi tidak - untuk suasana persahabatan yang tak terlukiskan, kami harus pergi ke Siberia lagi, dan kami semua siap untuk itu. Selain itu, kami sudah memikirkan produk baru.
Mereka membawa beruang itu bersama mereka, tidak ada satu pun perwakilan fauna lokal yang terluka.Tetapi yang tidak akan kita ubah adalah pendekatan dalam memilih laporan. Kecuali jika kita mulai menyatakan topik sebelumnya bahwa kita sudah menerapkan: HighLoad ++ di Moskow dalam 4 bulan dan beberapa laporan telah
diumumkan . Sejauh ini, ini adalah satu-satunya konferensi di Siberia yang memuat banyak hal, dan jumlah informasi yang berguna dan detail teknis yang kasar adalah sekitar sepertiga dari saudara lelaki Moskow, dan jika kita beralih ke kepadatan pada jiwa peserta, itu jauh lebih tinggi. Beberapa laporan, menurut komite program, dapat ditambahkan dengan aman ke atas semua laporan tentang muatan tinggi selama dekade terakhir. Ini juga dikonfirmasi oleh peringkat audiens - skor rata-rata laporan adalah 4.2.
Agar Anda membuat kesan Anda tentang program
HighLoad ++ Siberia ,
kami memberikan beberapa abstrak singkat. Ini bukan yang teratas dari peringkat pemungutan suara, dan Anda tidak harus memperhatikan pesanan - itu hanya serangkaian topik menarik yang cukup berbeda untuk menjadi sampel representatif kecil. Kami secara bertahap akan memposting semua video untuk gambar lengkap di
saluran youtube (berlangganan, seperti, klik bel - ini semua adalah hal blogging untuk melihat pembaruan).
Panggilan video: dari jutaan per hari hingga 100 peserta dalam satu konferensi
Alexander Tobol (Teman Sekelas)Sekarang di semua pengirim pesan instan populer ada peluang untuk menelepon lawan bicara. Tentu saja, nyaman untuk menggunakan alat yang sama untuk komunikasi apa pun. Karena itu, jika Anda memiliki sarana komunikasi korporat, tetapi belum ada panggilan di sana, mereka perlu ditambahkan. Di mana untuk memulai, protokol dan teknologi apa yang digunakan, tahu Alexander Tobol (
alatobol ). Bahkan jika Anda tidak berencana untuk mengembangkan layanan panggilan video dalam waktu dekat, maka laporan Alexander penuh dengan detail hardcore tentang jaringan data secara umum. Ini mungkin mengapa laporannya menerima, tampaknya, rekor rating pendengar di 4,9 dari 5.
Tahun lalu, Alexander
berbicara secara rinci tentang perangkat panggilan P2P, tetapi kali ini ia hanya mengingat poin utama dan beralih ke fitur, misalnya, memberi sinyal dan mengkode panggilan satu ke banyak. Sangat mudah untuk dipahami bahwa jika salah satu peserta memiliki kualitas komunikasi yang buruk (dan sebagian besar lalu lintas ini melewati jaringan seluler), maka bit rate harus diturunkan untuk semua peserta dalam percakapan. Tetapi untuk memutuskan apa yang harus dilakukan dengan ini, masuk akal untuk melihat apa yang telah dicapai orang lain dalam arah ini, dan - jelas - untuk mengambil yang terbaik dan memperbaiki kekurangannya.
Dalam Odnoklassniki dipilih:
- Jangan gunakan codec perangkat lunak, tetapi enkode H.264;
- gunakan seluruh saluran dalam satu aliran, mis. Jangan menyandikan atau mengirim video dalam dua resolusi;
- gunakan pencampuran akhir untuk kualitas tinggi, dan sirkuit terpusat untuk rendah;
- hingga 3-4 peserta, opsi yang lebih disukai adalah Mesh.
Dalam perbandingan terakhir, solusi ini sebanding dengan Zoom in latency, konsumsi baterai dan kualitas, tetapi Zoom tidak kompatibel dengan WebRTC (dan kami semua membaca berita tentang itu). Ketika Anda memutuskan untuk mengulangi prosedur dan juga membandingkan pesaing - jangan lupa OK. Atau segera memanfaatkan saran Alexander, laporannya sekali lagi penuh dengan rincian teknis penting, yang tampaknya merupakan instruksi DIY.
Cara membuat sistem pemberitahuan acara yang sangat dimuat
Artyom Gashkin (CFT)Perusahaan CFT adalah perwakilan cerah dari spesifik TI regional - perusahaan fintech besar. Laporan ini membahas pekerjaan pusat pemrosesan CardStandard, yang - pikirkan saja - memproses pembayaran untuk setiap kartu ketiga di negara ini.
Segera setelah Anda membayar sesuatu, pemrosesan inilah yang memberi tahu Anda melalui SMS atau push. Bank yang menerbitkan kartu Anda - penerbit juga ingin menerima pemberitahuan secara online. Ini adalah tujuan proyek, yang dibicarakan oleh Artyom Gashkin: untuk mengimplementasikan modul pengiriman notifikasi yang akan mengatasi beban ganda. Sayangnya, Artyom tidak memiliki hak untuk menyebutkan data yang tepat, ia hanya mengatakan bahwa beban pada modul individu mencapai 200 transaksi per detik. Pada saat yang sama, pekerjaan sedang dilakukan untuk mengurangi beban dengan mengubah pengaturan sistem. Pengembang ingin membuat margin untuk kinerja agar tidak kembali ke masalah ini selama mungkin. Persyaratan untuk solusi ini cukup standar, tetapi yang paling penting, waktu pemrosesan otorisasi tidak boleh meningkat.
Secara tradisional, Oracle digunakan untuk perusahaan perusahaan, yang, jika mungkin, sangat sulit untuk diukur secara horizontal. Oleh karena itu, agar tidak menambah beban pada basis data, mis. menjaga jumlah minimum koneksi database, Apache Kafka terpilih.
Para insinyur mendekati pilihan opsi implementasi sebagaimana mestinya bagi para insinyur - kami mengukur waktu yang dibutuhkan untuk memindahkan 400.000 catatan dari satu topik ke topik lainnya. Data ini dapat diartikan sebagai waktu di mana pemrosesan akan mengembalikan kapasitas kerjanya setelah kegagalan. Kami berhenti di produsen dengan menunggu pengiriman yang tidak sinkron, yakin bahwa 20-30 detik adalah waktu pemulihan yang dapat diterima. Artyom juga berbicara tentang implementasi spesifik - di satu sisi, semuanya ada di permukaan, karena Kafka menjamin bahwa jika dua catatan dikirim ke partisi topik secara berurutan, mereka akan dikirim dalam urutan yang sama. Di sisi lain, para pengembang harus menyelami lebih dalam fitur-fitur pekerjaan dan dokumentasi. Saat ini, notifikasi transaksi dikirim ke bank dalam waktu sekitar 0,5 detik.
Melakukan penskalaan sistem yang dihasilkan mudah - jika beban bertambah, Anda perlu menambah jumlah penangan tertentu. Modul perutean dan pemberitahuan berfungsi tanpa perubahan, dan modul yang menghasilkan pemberitahuan bertanggung jawab atas logika bisnis. Ketika Anda juga perlu mengirim dengan cepat, misalnya, kata sandi satu kali, itu sudah cukup untuk menerapkan penangan baru. Perbaikan ini tidak akan mempengaruhi sistem yang ada, dan semua tes regresi akan berlalu tanpa masalah.
Karena CFT disebutkan, kami akan memberi tahu Anda bagaimana kemitraan mereka menghiasi konferensi. Mereka mengorganisir seluruh area lounge di mana kontes dan permainan diadakan selama dua hari. Tetapi acara utama adalah StudioCFT - studio di tempat untuk merekam podcast dengan pembicara dan guru konferensi. Di antara para tamu: Vladislav Blinov dan Valeria Baranova dari Tinkoff Bank, Sergey Sporyshev dari ITSumma, Viktor Yeremchenko dari Miro, Sergey Polovko dari Yandex, serta Oleg Bunin dan Alexey Obrovets (
percakapan tentang pria mana yang berbicara pada 2019). Wawancara diposting di
saluran youtube perusahaan.
GEODIST TERBAIK () Di sebelah barat Rio Grande
Andrey Aksenov (Avito, Sphinx)"Gunakan interpolasi linier, Nak."
Andrei mulai dengan gaya ironis yang biasa, kata mereka, jika ini bisa dimengerti, maka Anda bisa menyimpang. Dimengerti, ini bisa dimengerti, tetapi jika Anda juga menambahkan pengalaman pengembang Sphinx, tempat pencarian bekerja di Avito, maka semuanya akan lebih baik. Andrey memilih fungsi GEODIST (), yang digunakan khususnya untuk menyortir, memfilter, mencari di peta, dll., Sebagai tema untuk HighLoad ++ Siberia.
Tugas: temukan jarak antara dua titik yang diberikan oleh dua koordinat. Tampaknya kelas tujuh, kuartal kedua. Tetapi jika jarak dihitung tidak dalam batas-batas notebook, tetapi setidaknya pada skala satu wilayah Federasi Rusia, maka jarak harus dipertimbangkan pada "bola". Atau lebih tepatnya, ellipsoid. Dan tepatnya, geoid. Lagi pula, bagaimana tidak terlibat dengan geoid, perkiraan apa dan teknik optimasi kuno bekerja dalam produksi besar, kami tidak akan menceritakan kembali - lihat laporan.
Pengalaman modeling dari tim ComputerVision Mail.ru
Eduard Tyantov Mail.ru GroupTim visi komputer memecahkan masalah untuk proyek-proyek produk B2B khusus Cloud, Mail dan Vision. Pengenalan wajah dan atraksi untuk foto, teks dari foto untuk surat, dll. Eduard Tyantov (
EdT ) memulai bagian substansial dari laporannya dengan pernyataan yang cocok untuk bidang apa pun, tetapi terutama relevan untuk AI:
"Pernyataan masalah adalah tahap kritis."
Pada tahap ini, kolaborasi berkelanjutan antara Manajer Produk dan Spesialis Pembelajaran Mesin diperlukan. Jika Anda mencoba menghemat uang, maka Anda akan kehilangan sesuatu yang sangat penting, atau menghabiskan beberapa bulan mempelajari cara mengenali wajah yang dicat, dan model produksinya tidak akan pernah menemukan contoh seperti itu. Omong-omong, tentang fitur-fitur lain dari manajemen proyek, yang didasarkan pada teknologi pembelajaran mesin, Edward akan berbicara pada bulan September tentang
UseData Conf .
Dan hanya ketika pernyataan itu jelas bagi semua peserta dalam proyek, kita dapat mulai mengerjakan tugas yang dimulai dengan persiapan data. Jelas, mereka perlu dibersihkan, baik dari markup yang buruk dan sampah di dalam kelas, dan dari pembagian yang berlebihan atau tidak cukup ke dalam kelas. Dan kadang-kadang data harus dihasilkan, dan jika untuk tugas pengenalan karakter sudah cukup untuk mengambil PIL dan mengubah teks, maka dalam kasus lain Anda harus jauh lebih inventif.
Beralih langsung ke pelatihan, di bidang pembelajaran metrik, Eduard, mengandalkan pengalaman Mail.ru yang luas, secara tegas merekomendasikan
Angular Softmax untuk pengenalan pola dan klasifikasi pada prinsipnya, dan berbicara tentang trik yang membuatnya lebih efektif.
Dan dimasukkannya distil dan dekomposisi pengetahuan yang cukup sederhana hampir tidak memberikan + 0,5-1% untuk AP. Byte Pair Encoding bekerja sangat baik untuk teks, dan pelatihan di FP16 dengan Apex dari Nvidia menghemat 20% (dua puluh!) Waktu untuk praktis gratis.
Bagaimana membawa model ke produksi adalah percakapan besar yang terpisah, karena para ilmuwan data melalui PyTorch, dan tidak ada yang mau menggunakannya sama sekali. Pilihan yang baik, bagaimana menangani ini, telah muncul baru-baru ini. Pengembang PyTorch menyadari rasa sakit para penggunanya dan merilis TorchScript, yang membuat serial model Python menjadi grafik statis. Dengan konversi ini, semuanya berfungsi sama persis seperti di Python, dan gelombang bug pertama telah ditangkap - Anda dapat menggunakannya.
Penskalaan Amazon
Vasily Pantyukhin (Layanan Web Amazon)Laporan ini adalah contoh khas bagaimana kita mendapatkan pengalaman internasional dari perusahaan internasional. Itu benar - kami memanggil anak-anak berbahasa Rusia yang tumbuh dalam budaya rekayasa kami dan di konferensi kami. Penutur asing baik untuk iklan, tetapi pada kenyataannya, peserta biasanya menilai laporan mereka tidak terlalu tinggi. Kami, dalam arti umumnya di Rusia, konferensi profesional ditujukan untuk pertukaran pengalaman profesional. Dan di luar negeri, laporan populer di berita perusahaan bahwa tidak ada konferensi teknis khusus yang akan mengikuti program kami. Mengapa demikian adalah masalah yang terpisah, tetapi kami ceteris paribus mencoba memilih penutur berbahasa Rusia. Ini, dari sudut pandang tidak adanya hambatan bahasa dan perbedaan mentalitas, bagus untuk memahami materi.
Kembali ke AWS, jutaan pengguna secara bersamaan dilayani oleh layanan mereka, mencapai hasil yang diinginkan. Sistem secara otomatis menskala, menyesuaikan dengan tangguh untuk setiap pengguna sehingga tampak baginya bahwa ia sendirian di alam semesta ini. Begitu pikir Vasily Pantyukhin, hingga ia menjadi arsitek di Amazon. Sekarang, tentu saja, dia tahu apa yang ada di bawah naungan layanan cloud AWS, dan berbagi beberapa aspek menarik dengan para tamu konferensi. Apa server fisik di balik konsep singkat awan, yang digunakan optimasi untuk mereka, bagaimana layanan AWS Lambda diatur, bagaimana Amazon membangun database sendiri, dan bagaimana jaringan diatur.
Yang terpenting, pidato Vasily mengesankan dengan inspirasi yang digunakannya untuk berbicara tentang solusi, dan fakta yang disebutkan bahwa setelah terjun ke perangkat internal, ia hanya mulai lebih memercayai layanan perusahaan. Laporan ini bermanfaat baik sebagai ulasan bagi mereka yang baru memulai AWS, dan bagi mereka yang membutuhkan detail teknis - yaitu, semua orang.
Vasily juga mengadakan
pertemuan dengan topik "Charting ramah otak," yang, dilihat dari diskusi dalam
obrolan , sangat berguna. Tapi itu tidak akan dicatat, ini format khusus. Oleh karena itu, hack kehidupan masa depan: jika di konferensi kami Anda memilih antara laporan dan mitap, maka berikan preferensi untuk mitap, dan kemudian lihat laporan dalam rekaman, untungnya, kita semua merekam dan memberikan video dalam beberapa hari.
Backend NodeJS
Yuri Gavshin (Bolt)Bolt - bergerak cepat dari bahasa Inggris - sebuah platform untuk penyediaan layanan transportasi: taksi, angkutan pribadi, sepeda motor, dan penyewaan skuter listrik. Selama tiga tahun terakhir, perusahaan telah tumbuh lebih dari sepuluh kali dalam semua hal, sehingga persyaratan utama untuk backend adalah: keluaran cepat untuk produksi, toleransi kesalahan dan ketahanan (layanan yang jatuh tidak mempengaruhi kinerja yang tetangga), skalabilitas.
Basis tumpukan adalah NodeJS. Fitur khasnya adalah operasi input / output yang non-blocking dan asinkron dengan jaringan. Tidak ada pendapat yang jelas apakah ini ide yang bagus dan bagaimana layanan yang rumit dapat dilakukan pada NodeJS di komunitas. Tampaknya tidak ada banyak alasan untuk memilih Node daripada bahasa server yang matang, tetapi waktu singkat ke pasar hanyalah salah satunya, sehingga pengalaman produksi dalam mengembangkan backend yang sangat dimuat sangat menarik. Selain itu, Yuri memberi tahu secara rinci dan dengan contoh-contoh bagaimana cara menggunakan pro secara efektif dan menghilangkan kelemahan NodeJS, misalnya, ia merekomendasikan penggunaan TypeScript dan beralih ke async / menunggu. Dia memperhatikan fitur seperti ketidaknyamanan membangun monolit. NodeJS memaksa pengembang untuk membatasi ukuran layanan, dan ini, menurut tim Bolt, merupakan nilai tambah. Dia menyentuh pada topik pengujian dan pemantauan.
Segala sesuatu yang tertinggal di balik layar laporan, dan banyak lagi yang dapat ditemukan dari pengembang layanan di stand perusahaan. Selain tumpukan teknologi, mereka juga membahas relokasi ke Estonia - tetapi ini sudah dalam kerangka pertemuan, di mana secara tradisional ada tempat dan waktu. Pertemuan-pertemuan kecil yang spontan dan diskusi-diskusi yang hidup adalah alasan mengapa konferensi dibutuhkan. Di mana lagi Anda dapat menonton trik penyandian langsung Zabbix atau berbagi kesulitan dalam mendokumentasikan.
Secara umum, kali ini kami didukung oleh lebih banyak perusahaan. Kami pikir kami lulus ujian tahun lalu dan membuktikan kepada penduduk setempat bahwa kami bekerja untuk keuntungan mereka.
Di mana dia dilahirkan, di sana dia berguna
Jadi sepertinya bagi kita. Dan ini adalah ide utama yang kami kejar, membawa konferensi kami di luar Moskow. Agar pengembang yang keren tidak dipaksa untuk berbondong-bondong ke ibukota atau kantor perusahaan besar di luar negeri karena hanya akan ada tugas tantangan bagi mereka, perlu untuk mengembangkan komunitas regional profesional. Sebagai contoh, kami secara khusus mengundang aktivis komunitas dari Novosibirsk dan Krasnoyarsk, dan pada saat yang sama dari St. Petersburg dan Krasnodar, sehingga mereka akan berbagi pengalaman dan berhasil memompa wilayah mereka.
Benar bahwa patut dicatat bahwa kami masih merekomendasikan bepergian ke Moskow. Konten di konferensi kami tidak diulang, jadi jika Anda ingin mengetahui segala sesuatu yang terjadi di dunia yang penuh muatan, kami akan bertemu pada bulan November di Skolkovo.
Jaringan, dll.
Mereka mulai makan suasana yang bersahabat sehari sebelumnya di sebuah pertemuan para pembicara. Ini adalah tradisi kami sekarang - setelah berlari di situs, tetapi sebelum konferensi, mengatur pertemuan. Agar para pembicara dapat mengenal satu sama lain dan komite program, mereka melihat bahwa orang-orang di sekitar sama, berhenti mengkhawatirkan kinerja dan datang pada hari Senin dengan suasana hati yang baik, siap untuk berbagi pengalaman unik mereka.
Dan kemudian sudah selama konferensi, kami juga memiliki ruang untuk komunikasi dan bahkan hiburan. Tidak semua sama, terbenam dalam hardcore, terkadang Anda perlu beralih. Kepanjangan dari ini adalah yang paling itu.
Sberbank memiliki target pemotretan sebagai game luar ruang, plus video game yang lebih akrab bagi orang IT.
Sportsmaster tidak bisa menjauh - mereka memasang hoki meja, yang tidak kosong selama satu menit. Dan ketika Anda sedang menunggu pesta berakhir dan giliran Anda datang, Anda dapat bertanya kepada pengembang tentang produk Sportmaster, yang, tentu saja, tidak terbatas pada toko online.
Setelah rehat kopi terus menerus, yang sangat bagus untuk berkomunikasi dengan rekan kerja dan membuat kenalan baru, mengulurkan tangan dan memperkuat peserta, aula terkemuka meminta laporan.
Mereka yang tidak menyerah pergi ke mitaps.
Ketika setelah itu otak sudah beralih ke mode turbo, tugas apa pun di selembar kertas dan teka-teki menjadi tidak ada dan diselesaikan dengan dua cara.
Dan di malam hari, istirahat yang memang layak. Benar, sekali lagi dengan komponen intelektual yang kuat, kami menyiapkan kuis "Kuis, pliz" untuk para tamu.
Singkatnya, bersenang-senang. Hormat kami.
Apa selanjutnya
, , , HighLoad++ Siberia 2020 .
, , . , , . , .
, ,
.
DevOps ,
TeamLead Conf ,
KnowledgeConf — — , , .