Laporan terbaik dengan HighLoad ++ 2018

Teman-teman, kami sepakat dengan perusahaan Ontiko bahwa kami akan menerbitkan laporan terbaik dari konferensi mereka di saluran Youtube kami dan membaginya dengan Anda. Jadi kami tidak hanya ingin menyebarkan pengetahuan, tetapi juga membantu pembaca dan pemirsa kami untuk berkembang secara profesional. Tangkap 15 pilihan laporan terbaik yang dibuat di Highload ++ 2018.

Replikasi Tarantool: Konfigurasi dan Penggunaan

Georgy Kirichenko, Grup Mail.ru


Replikasi Tarantool digunakan untuk menyediakan ketersediaan tinggi dengan membuat cadangan server atau server clustering untuk penyeimbangan beban, dan juga dapat digunakan untuk melakukan operasi peningkatan. Versi terbaru dari Tarantool memiliki beberapa fitur tambahan yang membuatnya mudah untuk mengkonfigurasi dan menggunakan replikasi dalam sebuah cluster.

Laporan tersebut meneliti prinsip-prinsip dasar perangkat dan fitur replikasi asinkron di Tarantool. Kami memikirkan struktur internal vektor negara - jam. Mereka membahas cara-cara untuk memastikan konsistensi data dan memikirkan fitur-fitur baru. Prinsip dasar konfigurasi, penerapannya dan kesalahan paling umum dipertimbangkan, dan cara untuk menyelesaikan masalah dengan konfigurasi dan operasi dibahas.

Aspek teknis pemblokiran Internet di Rusia. Tantangan dan Prospek

Philip Culin, Hutan Dalam


Rincian teknis kunci. Sebagai mekanisme kunci sekarang diatur. Siapa, apa, di mana, kapan, dan bagaimana. Mengapa begitu terorganisir. Mengapa ILV memblokir seluruh jaringan. Apa masalah mekanisme penguncian saat ini dari sudut pandang teknis. Dalam arah apa kita harus bergerak dari sudut pandang teknis dalam kerangka kerja perubahan minimal ke kerangka kerja peraturan saat ini.

Memprediksi penjualan toko online menggunakan gradient boosting (lightGBM)

Alexander Alekseytsev, OZON.RU


Laporan ini adalah tentang sistem pengisian gudang otomatis. Otak sistem adalah ML untuk memprediksi penjualan: menetapkan tugas dan memilih fungsi kerugian, bekerja dengan atribut, menghasilkan kumpulan data, memilih model, jebakan proses pembelajaran lightGBM, mengevaluasi hasil. Kerangka sistem - Spark / Hadoop: pengiriman / validasi data harian, meningkatkan keandalan sistem. Realitas bisnis pengadaan barang: pemilihan pemasok, stok asuransi, berjuang dengan tingkat layanan pemasok.

Alexander juga berbicara tentang penggunaan model lightGBM terlatih untuk menilai elastisitas permintaan barang dengan harga perencanaan kampanye pemasaran dan efeknya. Berbagai jenis fungsi dari ketergantungan permintaan pada harga untuk berbagai jenis barang dan lebih banyak diterima sebagai efek "samping" dari tugas utama.

Bagaimana kami bekerja pada stabilitas implementasi Lua kami

Anton Soldatov, IPONWEB


IPONWEB telah menggunakan Lua untuk menggambarkan logika bisnis selama lebih dari 10 tahun. Pada 2015, mereka bercabang LuaJIT dan sejak itu bekerja dengan implementasi bahasa mereka sendiri. Komponen tumpukan teknologi ini sangat penting bagi bisnis, oleh karena itu, kestabilannya mendapat perhatian khusus.

Anton menceritakan bagaimana mereka menciptakan basis uji untuk implementasi dari awal; Saya memeriksa beberapa kasus ketika tes ternyata tidak berdaya sebelum kompleksitas sistem yang diuji, dan sebagai hasilnya, sesuatu pecah pada server pertempuran "tiba-tiba" dan "tidak teratur". Pengalaman yang mereka peroleh dalam memperbaiki kesalahan tersebut dapat diterapkan untuk bekerja dengan LuaJIT. Dan akhirnya, Anton membagikan alat dan trik yang digunakan perusahaan mereka ketika melakukan debugging.

Tempat keamanan tingkat baris dalam proyek beban tinggi

Alexander Tokarev, DataArt


Laporan tentang di mana dan bagaimana cara terbaik mengatur keamanan tingkat baris untuk proyek yang sangat dimuat. Dia menggambarkan pilihan bagaimana menerapkan keamanan tingkat baris dalam proyek perusahaan yang sangat dimuat (4000 pengguna, 10.000 permintaan pada saat yang sama, beban transaksional dan olap pada saat yang sama). Dia menganalisis tiga teknologi implementasi untuk keamanan tingkat baris dalam Oracle DBMS, dan mengapa itu dipilih keamanan dalam database, dan bukan pada server aplikasi. Dia berbicara tentang pilihan yang dibuat, tentang masalah dan rencana masa depan.

Bagaimana kami membuat Netfilter kami sendiri dengan Intel DPDK dan pohon awalan

Alexander Samoilov, Kode Keamanan


Linux Netfilter adalah jantung dari sejumlah besar ITU, baik terbuka dan komersial. Ini adalah solusi yang terbukti, andal, dan baru-baru ini, bahkan cukup produktif. Tetapi dalam kenyataan modern, ketika puluhan gigabit lalu lintas sering harus dilewati ITU, dan jumlah aturan penyaringan bisa melebihi seribu, Linux Netfilter adalah hambatannya.

Alexander berbicara tentang bagaimana mereka menulis ulang subsistem jaringan Linux, yang ternyata cepat - puluhan gigabit dari penyaringan stateful dan stateless, pelacakan sesi, NAT dan routing, mudah dikelola - mengajarkan subsistem untuk memahami perintah-perintah iproute2 terkenal dan utilitas nftables, berapapun jumlahnya aturan penyaringan.

VShard - penskalaan horizontal di Tarantool

Vladislav Shpileva, Tarantool


Hingga 2018, satu-satunya cara penskalaan horizontal DBMS Tarantool adalah Shard - modul yang menerapkan penembakan, kasus khusus penskalaan horizontal. Shard mengimplementasikan sharding berdasarkan fungsi dari primary key, mendukung perubahan topologi cluster, penyeimbangan kembali. Pada saat yang sama, ia memiliki tiga kelemahan signifikan yang mencegah penggunaan Shard di salah satu proyek penting.

Pada awal tahun, pengembangan modul VShard baru selesai - ini merupakan alternatif implementasi sharding. Di dalamnya, penyeimbangan ulang dilakukan secara bertahap, Anda dapat menentukan fungsi shard sewenang-wenang untuk memastikan lokalitas data terkait, hasil perhitungan fungsi shard disimpan di setiap catatan dan tidak dihitung ulang. Vladislav berbicara tentang perangkat internal VShard, tentang subsistem dan implementasinya dengan contoh penggunaan, dan tentang fitur-fitur baru VShard 0.2.

Pengguna 150M + BBM Oracle untuk migrasi Postgres tanpa downtime

Alvaro Hernandez, OnGres (bicara dalam bahasa Inggris)


BBM (Black Berry Messenger) adalah salah satu pengirim pesan instan terbesar di dunia dengan fungsi komunikasi teks, suara dan video, basis pelanggannya adalah lebih dari 150 juta pengguna. Dia bekerja pada DBMS Oracle on-premise. Kami membantu memigrasikannya ke PostgreSQL yang berjalan pada GCP dengan replikasi real-time dengan hampir tanpa downtime. Alvaro menjelaskan secara terperinci proses dan jebakan, teknik, teknologi, dan praktik terbaik untuk migrasi Oracle ke PostgreSQL tanpa downtime. Saat ini, banyak orang tertarik dengan migrasi seperti itu, tetapi membutuhkan kualifikasi tinggi dan keterlibatan dalam proses yang menghadapi banyak kesulitan.

Sistem kontrol terdistribusi tinggi dari pembangkit listrik tenaga nuklir modern

Vadim Podolny, Instrumen Fisik


Dari laporan ini, Anda akan belajar tentang platform baru dari sistem kontrol terdistribusi untuk pembangkit listrik tenaga nuklir dan bagaimana mengelola fasilitas otomasi paling kompleks di dunia. Kontrol real-time dari pekerjaan lebih dari 150 subsistem khusus yang bertanggung jawab untuk berbagai proses teknologi pembangkit listrik tenaga nuklir. Lebih dari 100 ribu sumber data dari sensor dan hingga 500 ribu parameter yang dihitung. 5 varietas proses fisik.

Dengan beberapa penyimpangan, seluruh sistem berubah menjadi sumber informasi diagnostik berguna DDoS yang besar, yang mengganggu kontrol normal objek. Anda akan belajar bagaimana kami "memecahkan" masalah seperti itu, belajar tentang arsitektur perangkat keras dan perangkat lunak dari sistem seperti cadangan dan replikasi, mengapa redundansi data dan keragaman teknologi diperlukan. Bagaimana manajemen beban disediakan, bagaimana QoS bekerja. Dan apa yang akan terjadi jika sistem operasi normal dimatikan, seperti, misalnya di Fukushima.

4K Juta Platform Streaming Online

Alexander Tobol, Teman Sekelas


Video Layanan di Odnoklassniki - situs kedua di Runet untuk penayangan video: 600 juta penayangan setiap hari. Platform streaming OK sekarang memungkinkan Anda untuk melakukan siaran profesional dalam 4K, streaming dari ponsel Anda ke FullHD dan memberi pengguna lebih dari 3 Tb / s lalu lintas.

Alexander menceritakan tentang:

• 4K pipa streaming video untuk jutaan online;
  
• Arsitektur Sistem Pengiriman Konten
  
• Tuning TCP untuk distribusi 4K;
  
• bagaimana dan mengapa Anda harus meninggalkan ffmpeg dan tentang memotong video pada GPU;
  
• apa yang harus dilakukan jika kapasitas habis dan pengguna terus berdatangan;
  
• masalah streaming pada TCP;
  
• masa depan streaming video.
  

Perubahan terbaru dalam Linux IO stack dari sudut pandang DBA

Ilya Kosmodemyansky, Data Egret


Masalah kinerja I / O telah menjadi agenda harian administrator database sejak ada database. Linux, mungkin sistem operasi basis data yang paling populer, telah merombak tumpukan IO selama beberapa tahun terakhir.

Ilya berbicara tentang apa yang terjadi, mengapa tumpukan IO perlu perbaikan segera, dan apa yang dapat menyebabkan ini untuk database. Bagaimana driver NVMe dan blk-mq baru akan ditingkatkan. Sebagai memo yang bermanfaat, Ilya mengusulkan daftar periksa pengaturan PostgreSQL dan Linux untuk memaksimalkan kinerja subsistem I / O di kernel baru.

FAQ tentang arsitektur dan pekerjaan VKontakte

Alexey Akulovich, VK


Alexey mengangkat banyak topik dan pertanyaan yang orang "dari luar".

Sebagai contoh:

• Arsitektur umum dari interaksi server kami.
  
• Apakah ada PHP "biasa" di VKontakte, di mana dan mengapa. Dan senjata nuklir apa lagi yang digunakan?
  
• Cara memperbarui kode pada puluhan ribu server dalam hitungan detik.
  
• Toleransi kesalahan cluster memcache dengan server yang terus-menerus rusak.
  
• Mengapa VKontakte memiliki mesin sendiri (DB), berapa banyak dari mereka, dan bagaimana mereka hidup dengan mereka.
  
• Bagaimana binlog berbeda dari snapshot, dan bagaimana "roll back DELETE".
  
• Bagaimana Anda bisa memonitor semua ini.
  

DNS Facebook

Oleg Obleukhov, Facebook


Oleg berbicara tentang bagaimana Facebook menyeimbangkan beban, dan apa hubungan infrastruktur DNS dengan itu, bagaimana catatan sumber daya jatuh ke dalam infrastruktur global Facebook, dan bagaimana perusahaan menggunakan DNS dalam organisasi makanan anjing.

Database dan KubernetesDevOps dan Operasi

Dmitry Stolyarov, Flant


Dmitry membagikan pengalamannya dan memberi tahu dengan contoh-contoh spesifik di mana kasus-kasus itu masuk akal untuk menempatkan basis data (dan, secara umum, aplikasi negara) di Kubernetes, dan di mana itu tidak dapat dibenarkan, atau bahkan berbahaya dan berbahaya.

---

Pilihan ini ada di saluran Youtube Technostream kami. Kami menciptakannya untuk berbagi berbagai materi pendidikan, termasuk kuliah proyek teknologi pendidikan kami. Kami sudah menulis di Habré tentang Technostream, jadi jika Anda belum pernah mendengarnya, bacalah . Dan sering kembali, sesuatu yang menarik terus muncul di sana.