Saat mengerjakan laporan tahunan tahun ini, kami telah memutuskan untuk tidak menceritakan kembali berita utama tahun sebelumnya dan, meskipun hampir tidak mungkin untuk mengabaikan ingatan sepenuhnya, kami ingin berbagi dengan Anda hasil pemikiran yang jernih dan pandangan strategis untuk titik di mana kita semua akan tiba dalam waktu terdekat - sekarang.
Meninggalkan kata pengantar di belakang, berikut adalah temuan utama kami:
- Durasi serangan DDoS rata-rata turun menjadi 2,5 jam;
- Selama 2018, kemampuan muncul untuk serangan pada ratusan gigabit per detik di suatu negara atau wilayah, membawa kita ke ambang "teori kuantum relativitas bandwidth";
- Frekuensi serangan DDoS terus bertambah;
- Pertumbuhan berkelanjutan dari serangan yang didukung HTTPS (SSL);
- PC mati: sebagian besar lalu lintas yang sah hari ini berasal dari smartphone, yang merupakan tantangan bagi aktor DDoS hari ini dan akan menjadi tantangan berikutnya bagi perusahaan mitigasi DDoS;
- BGP akhirnya menjadi vektor serangan, 2 tahun lebih lambat dari yang kami harapkan;
- Manipulasi DNS telah menjadi vektor serangan yang paling merusak;
- Vektor amplifikasi baru lainnya dimungkinkan, seperti memcached & CoAP;
- Tidak ada lagi "industri aman" yang kebal terhadap serangan siber apa pun.
Pada artikel ini kami telah mencoba untuk memilih semua bagian yang paling menarik dari laporan kami, meskipun jika Anda ingin membaca versi lengkap dalam bahasa Inggris,
PDF tersedia .
Retrospektif
Pada tahun 2018, perusahaan kami "merayakan" dua serangan pemecahan rekor di jaringannya. Serangan amplifikasi Memcached, yang kami jelaskan secara rinci selama akhir Februari 2018, mencapai 500 Gbps dalam hal platform pembayaran Qiwi, pelanggan Qrator Labs. Kemudian, pada akhir Oktober, kami menerima serangan amplifikasi DNS yang sangat terkonsentrasi pada salah satu pelanggan kami di Federasi Rusia.
Amplifikasi DNS adalah vektor serangan DDoS tua dan terkenal yang terutama volumetrik dan menimbulkan dua masalah, Jika terjadi serangan ratusan gigabit per detik, ada peluang besar untuk membebani saluran upstream kami. Bagaimana cara melawannya? Jelas, kami harus menyebarkan beban seperti itu di banyak saluran, yang mengarah pada masalah kedua - latensi tambahan yang dihasilkan dari mengubah aliran lalu lintas ke titik pemrosesan kami. Untungnya, kami berhasil memitigasi serangan khusus itu dengan hanya load-balancing.
Di sinilah keseimbangan beban yang fleksibel menunjukkan nilai sebenarnya, dan karena Qrator Labs mengelola jaringan BGP yang disiarkan, Radar memodelkan penyebaran lalu lintas di jaringan kami setelah kami menyesuaikan keseimbangan beban. BGP adalah protokol distance-vector, dan kita tahu status itu karena grafik jarak tetap statis. Menganalisis jarak tersebut dan mempertimbangkan LCPs dan Equal-Cost Multipath, kita dapat memperkirakan AS_path dari titik A ke titik B dengan keyakinan tinggi.
Ini bukan untuk mengatakan bahwa amplifikasi adalah ancaman paling berbahaya - tidak, serangan lapisan aplikasi tetap yang paling efektif, tegang dan tidak terlihat karena kebanyakan dari mereka adalah bandwidth rendah.
Ini adalah alasan utama Qrator Lab meningkatkan koneksi dengan operator berdasarkan titik kehadiran, sekaligus memperluas area kehadiran juga. Itu adalah langkah alami bagi operator jaringan apa pun akhir-akhir ini, dengan asumsi angkanya bertambah. Namun, dari sudut pandang penyerang, kami percaya bahwa mengumpulkan botnet biasa-biasa saja dan hanya setelah itu fokus mencari array terkaya dari amplifier yang tersedia untuk menyerang dari semua senjata yang mungkin, dengan kecepatan reload yang setinggi mungkin. Serangan hibrida ada di sini, tumbuh dalam bandwidth, kecepatan paket, dan frekuensi.
Botnet berevolusi secara signifikan pada tahun 2018 dan tuannya menemukan pekerjaan baru bagi mereka - penipuan klik. Dengan meningkatnya pembelajaran mesin dan mesin peramban tanpa kepala, penipuan klik menjadi jauh lebih mudah dilakukan daripada beberapa tahun yang lalu.
Situs web rata-rata saat ini menerima sekitar 50% hingga 65% dari lalu lintas dari perangkat seluler, browser ponsel cerdas, dan aplikasi. Untuk beberapa layanan Web, angka ini mendekati 90% atau 100%, sementara situs web desktop saat ini adalah hal yang jarang ditemui terutama di lingkungan perusahaan atau beberapa kasus batas.
PC pada dasarnya mati pada tahun 2019, yang membuat beberapa pendekatan yang dulu rapi, seperti pelacakan pergerakan mouse, sama sekali tidak berguna untuk pelacakan dan penyaringan bot. Faktanya, tidak hanya PC (dengan semua laptop yang mengkilap dan mesin desktop all-in-one) jarang menjadi sumber bagi lalu lintas utama dengan situs web tertentu, tetapi sering menjadi lebih dari sekadar pelaku. Kadang-kadang, hanya menolak akses ke apa pun yang bukan peramban ponsel cerdas yang memadai sudah cukup untuk mengurangi serangan botnet sepenuhnya yang menyebabkan pada saat yang sama tentang nol dampak negatif pada indikator kinerja bisnis utama.
Pembuat botnet digunakan untuk menerapkan atau meniru perilaku browser desktop dalam kode berbahaya mereka, seperti halnya pemilik situs web terbiasa meyakini bahwa browser PC benar-benar penting. Yang terakhir telah berubah baru-baru ini, jadi dalam beberapa tahun, harus juga terjadi perubahan pada yang pertama.
Kami sudah menyatakan bahwa tidak ada yang berubah secara signifikan selama 2018, tetapi perubahan dan kemajuan berlangsung dengan stabil. Salah satu contoh yang paling signifikan adalah Pembelajaran Mesin, di mana perbaikan khususnya terlihat, khususnya di bidang Generative Adversarial Networks. Perlahan, tapi pasti, ML mencapai pasar massal. Dunia pembelajaran mesin telah menjadi lebih mudah diakses dan, pada akhir tahun ini tidak lagi terbatas pada akademisi.
Kami memperkirakan akan melihat serangan DDoS berbasis ML pertama (atau yang terkait lainnya) pada awal 2019 tetapi masih belum terjadi. Kami mengharapkan perkembangan seperti itu karena biaya rendah dari data yang dihasilkan ML sekarang, tetapi tampaknya itu tidak cukup rendah.
Jika Anda memikirkan kondisi terkini dari industri “manusia otomatis”, menempatkan neuro-network di atasnya bukanlah ide yang buruk. Jaringan seperti itu akan mempelajari perilaku manusia nyata dalam konteks mengelola konten halaman web. Itu adalah sesuatu yang oleh setiap orang disebut "pengalaman pengguna AI" dan, tentu saja, jaringan yang dilengkapi dengan mesin peramban dapat menghasilkan persenjataan yang sangat menarik bagi kedua belah pihak, pelanggaran dan pertahanan.
Tentu, mengajar jaringan itu mahal, tetapi mendistribusikan dan mengalihdayakan sistem seperti itu bisa sangat terjangkau dan, mungkin, gratis, terutama jika malware, aplikasi yang diretas dan sebagainya dipertimbangkan. Berpotensi, perubahan seperti itu dapat mempengaruhi seluruh industri, cara yang sama GAN mengubah apa yang kita pikirkan tentang "realitas visual" dan "kepercayaan."
Karena ini juga merupakan perlombaan antara mesin pencari dengan Google di tempat pertama dan semua orang yang mencoba merekayasa balik algoritma, itu bisa mencapai situasi di mana bot akan meniru bukan manusia acak, tetapi orang tertentu, seperti yang biasanya duduk di belakang komputer rentan yang dipilih. Versi Captcha dan Recaptcha dapat berfungsi sebagai contoh bagaimana penyerang meningkatkan alat dan teknik serangan mereka.
Setelah memcached, ada banyak pembicaraan tentang kemungkinan kelas baru senjata serangan DDoS - kerentanan, bot, layanan yang dikompromikan, sesuatu yang selamanya dapat mengirim data tertentu ke alamat tertentu yang dipilih oleh penyerang. Satu perintah dari penyerang bisa melepaskan arus lalu lintas yang terus menerus, seperti syslog atau banjir besar. Itu hanya teori. Kita tidak bisa mengatakan apakah server, atau perangkat seperti itu benar-benar ada, tetapi jika mereka melakukannya, akan menjadi pernyataan yang meremehkan bahwa mereka bisa mewakili senjata yang sangat berbahaya di tangan yang salah.
Pada tahun 2018, kami juga melihat peningkatan minat dalam tata kelola internet dan layanan terkait dari semua jenis pemerintah dan organisasi nirlaba di seluruh dunia. Kami memandang ini sebagai perkembangan netral sampai pada titik di mana kebebasan mendasar dapat ditekan, yang kami harap tidak akan terjadi, terutama di negara maju.
Setelah bertahun-tahun mengumpulkan dan menganalisis lalu lintas yang menyerang secara global, Qrator Labs sekarang menerapkan blok permintaan pertama. Model yang kami gunakan untuk memprediksi perilaku jahat memungkinkan kami menentukan dengan keyakinan tinggi apakah pengguna sah atau tidak. Kami mematuhi filosofi utama kami tentang pengalaman pengguna yang tidak terputus, tanpa tantangan JavaScript atau captcha dan pada tahun 2019, kami berharap untuk mencapai kemampuan untuk memblokir permintaan jahat pertama dari melanggar pertahanan kami.
Mellanox
Kami memilih sakelar Mellanox 100G sebagai hasil dari pengujian internal kami di tahun-tahun sebelumnya. Kami masih memilih peralatan yang memenuhi kebutuhan kami dalam situasi tertentu. Pertama-tama, sakelar tidak boleh menjatuhkan paket kecil saat bekerja dengan laju garis - tidak mungkin ada degradasi sama sekali. Kedua, kami menyukai harganya. Namun, itu belum semuanya. Biaya selalu dibenarkan oleh bagaimana vendor bereaksi terhadap spesifikasi Anda.
Switch Mellanox bekerja di bawah Switchdev, mengubah porta mereka menjadi antarmuka Linux biasa. Menjadi bagian dari kernel Linux utama, Switchdev dijelaskan dalam dokumentasi sebagai "model driver di-kernel untuk perangkat switch yang membongkar pesawat data penerusan dari kernel". Pendekatan ini sangat mudah, karena semua alat yang kami gunakan tersedia di bawah satu API yang sangat alami untuk setiap programmer, pengembang, dan insinyur jaringan modern. Program apa pun, yang menggunakan API jaringan Linux standar, dapat dijalankan saat diaktifkan. Semua alat pemantauan dan kontrol jaringan yang dibangun untuk server Linux, termasuk yang buatan sendiri, tersedia. Misalnya, menerapkan perubahan pada tabel rute jauh lebih nyaman dibandingkan dengan bagaimana hal itu dilakukan sebelum Switchdev. Hingga tingkat chip jaringan, semua kode terlihat dan transparan, sehingga memungkinkan untuk mempelajari dan membuat modifikasi, hingga saat tertentu ketika Anda harus tahu persis bagaimana chip dibangun, atau setidaknya antarmuka eksternal.
Perangkat Mellanox di bawah kendali Switchdev adalah kombinasi yang kami temukan paling sesuai dengan kebutuhan kami, karena perusahaan memberikan dukungan penuh untuk sistem operasi open source yang sudah kuat.
Saat menguji peralatan sebelum menjalankannya dalam produksi, kami menemukan bahwa beberapa lalu lintas yang diteruskan dijatuhkan. Penyelidikan kami menunjukkan bahwa itu disebabkan oleh lalu lintas pada satu antarmuka yang dialihkan melalui prosesor kontrol, yang tentu saja tidak dapat menangani volume tinggi itu. Kami tidak tahu penyebab pasti dari perilaku tersebut, tetapi kami menduga itu terkait dengan penanganan pengalihan ICMP. Mellanox mengkonfirmasi penyebab masalahnya, dan kami meminta mereka untuk melakukan sesuatu tentang itu. Mellanox bereaksi dengan cepat, memberi kami solusi yang berfungsi dalam jangka pendek.
Kerja bagus, Mellanox!
Protokol dan sumber terbuka
DNS-over-HTTPS adalah teknologi yang lebih kompleks daripada DNS-over-TLS. Kita melihat yang pertama mekar dan yang kedua perlahan-lahan dilupakan. Ini adalah contoh yang jelas di mana "lebih kompleks" berarti "lebih efisien," karena lalu lintas DoH tidak dapat dibedakan dari HTTPS lainnya. Kami sudah melihat ini dengan integrasi data RPKI, ketika awalnya diposisikan sebagai solusi anti-pembajakan dan tidak berakhir dengan baik, tetapi kemudian muncul kembali sebagai senjata ampuh melawan kesalahan seperti kebocoran statis dan pengaturan rute yang salah. Kebisingan berubah menjadi sinyal dan sekarang RPKI didukung oleh IX terbesar, yang merupakan berita hebat.
TLS 1.3 telah tiba. Qrator Labs, serta industri TI secara keseluruhan, menyaksikan proses pengembangan dari draft awal hingga setiap tahap dalam IETF untuk menjadi protokol yang dapat dipahami dan dikelola yang siap kami dukung pada tahun 2019. Dukungan tersebut sudah jelas di antara pasar, dan kami ingin mengimbangi penerapan protokol keamanan yang kuat dan terbukti ini. Kita tidak tahu bagaimana produsen perangkat keras mitigasi DDoS akan beradaptasi dengan realitas TLS 1.3, tetapi, karena kompleksitas teknis dukungan protokol, ini bisa memakan waktu lama.
Kami juga mengikuti HTTP / 2. Untuk saat ini, Qrator Labs tidak mendukung versi terbaru dari protokol HTTP, karena basis kode yang ada di sekitar protokol ini. Bug dan kerentanan masih ditemukan agak sering di kode baru; sebagai penyedia layanan keamanan, kami belum siap untuk mendukung protokol semacam itu berdasarkan SLA yang kami sepakati bersama konsumen kami.
Pertanyaan sebenarnya dari 2018 untuk Qrator Labs adalah: “Mengapa orang sangat menginginkan HTTP / 2? Dan itu adalah topik perdebatan panas sepanjang tahun. Orang-orang masih cenderung menganggap digit “2” sebagai versi “lebih cepat, lebih kuat, lebih baik”, yang belum tentu demikian dalam setiap aspek protokol tertentu. Namun, DoH merekomendasikan HTTP / 2 dan di sinilah kedua protokol mungkin mendapatkan banyak momentum.
Salah satu kekhawatiran tentang pengembangan suites dan fitur protokol generasi berikutnya adalah bahwa hal itu biasanya sangat bergantung pada penelitian akademik, dan keadaan itu untuk industri mitigasi DDoS sangat buruk. Bagian 4.4 dari rancangan IETF “pengelolaan QUIC”, yang merupakan bagian dari rangkaian protokol QUIC di masa depan, dapat dilihat sebagai contoh sempurna dari hal itu: ia menyatakan bahwa “praktik terkini dalam pendeteksian dan mitigasi [serangan DDoS] umumnya melibatkan pasif pengukuran menggunakan data aliran jaringan ", yang terakhir ini sebenarnya sangat jarang terjadi dalam lingkungan perusahaan kehidupan nyata (dan hanya sebagian demikian untuk pengaturan ISP) - dan dengan cara apa pun bukan" kasus umum "dalam praktik - tetapi jelas merupakan kasus umum dalam makalah penelitian akademik yang, sebagian besar waktu, tidak didukung oleh implementasi yang tepat dan pengujian dunia nyata terhadap seluruh jajaran potensi serangan DDoS, termasuk yang lapisan aplikasi (yang, karena kemajuan dalam penyebaran TLS di seluruh dunia, jelas tidak pernah bisa ditangani dengan segala jenis pengukuran pasif). Menetapkan tren penelitian akademik yang tepat adalah tantangan lain bagi operator mitigasi DDoS pada 2019.
Switchdev sepenuhnya memenuhi harapan yang kami ungkapkan setahun yang lalu. Kami berharap kerja yang berkesinambungan untuk membuat Switchdev lebih baik lagi akan menguat di tahun-tahun mendatang, karena komunitasnya kuat dan berkembang.
Qrator Labs menindaklanjuti dengan mengaktifkan Linux XDP untuk membantu lebih meningkatkan efisiensi pemrosesan paket. Membongkar beberapa pola penyaringan lalu lintas berbahaya dari CPU ke NIC, dan bahkan ke switch jaringan, tampaknya cukup menjanjikan, dan kami berharap untuk melanjutkan penelitian dan pengembangan kami di bidang ini.
Menyelam dalam-dalam dengan bot
Banyak perusahaan mencari perlindungan bot, dan tidak mengherankan bahwa kami melihat kelompok yang bekerja di berbagai bidang pada tahun 2018. Yang kami temukan menarik adalah bahwa sebagian besar perusahaan ini tidak pernah mengalami serangan DDoS yang ditargetkan, setidaknya penolakan khas terhadap upaya layanan untuk menguras sumber daya yang terbatas seperti bandwidth atau kapasitas CPU. Mereka merasa terancam oleh bot tetapi tidak dapat membedakan mereka dari pengguna yang sebenarnya atau menentukan apa yang sebenarnya mereka lakukan. Mereka hanya tahu bahwa mereka ingin menyingkirkan bot yang dirasakan.
Masalah dengan bot dan pencakar juga memiliki komponen ekonomi yang penting. Jika 30% dari lalu lintas tidak sah dan berasal dari mesin, maka 30% dari biaya untuk mendukung lalu lintas tersebut terbuang sia-sia. Saat ini, ini dapat dilihat sebagai pajak tambahan yang tak terhindarkan pada bisnis Internet. Sulit untuk menurunkan jumlah tepat ke nol, tetapi pemilik bisnis lebih suka melihatnya serendah mungkin.
Identifikasi menjadi masalah penting di internet saat ini karena bot terbaik tidak harus meniru manusia lagi - mereka menempati ruang yang sama, seperti parasit. Kami telah mengulangi selama beberapa waktu bahwa setiap informasi yang tersedia untuk umum, tanpa otorisasi atau otentikasi, adalah dan akan berakhir sebagai milik bersama - tidak ada yang dapat mencegah hal itu.
Pada tahun 2018 kami berkonsentrasi pada masalah manajemen identitas dan bot. Namun, ruang lingkup yang lebih luas di sini berbeda; kita hidup di era ketika tidak ada cara pasti untuk mengetahui alasan klien meminta respons server. Anda membacanya dengan benar: pada akhirnya setiap bisnis menginginkan pelanggan untuk membeli sesuatu, itulah alasan keberadaan dan tujuannya, sehingga beberapa perusahaan ingin melihat lebih dalam tentang siapa yang meminta apa dari server - jika ada orang nyata di belakang.
Tidak heran jika pemilik bisnis sering belajar dari teknisi bahwa sebagian besar lalu lintas situs web mereka berasal dari bot, bukan pelanggan.
Manusia otomatis yang kami sebutkan sebelumnya juga dapat menargetkan beberapa sumber daya jaringan tertentu dengan add-on browser terpasang - dan kami percaya bahwa sebagian besar ekstensi itu dipasang dengan sengaja, untuk mengejar tujuan tertentu, yang hanya diketahui oleh pencipta jaringan tersebut. Penipuan klik, manipulasi iklan, penguraian - tugas seperti itu secara efisien diselesaikan dengan bantuan manusia nyata pada titik di mana otomatisasi gagal. Bayangkan saja bagaimana situasinya akan berubah jika pembelajaran mesin diterapkan pada tautan yang tepat dalam rantai.
Parser dan scraper, yang merupakan bagian dari masalah bot yang lebih luas, menjadi masalah yang kami selami selama 2018, pertama terima kasih kepada pelanggan kami, yang mendekati kami dengan pengalaman mereka dan memberikan pilihan untuk menyelidiki lebih lanjut apa yang terjadi dengan sumber daya mereka. Bot semacam itu mungkin bahkan tidak mendaftar pada metrik biasa, seperti bandwidth atau beban CPU server. Kami saat ini sedang menguji berbagai pendekatan, tetapi pada akhirnya jelas apa yang dibutuhkan pelanggan - untuk memblokir penyusup seperti pada permintaan pertama mereka.
Selama epidemi pengikisan yang kami lihat di Rusia & CIS, menjadi jelas bahwa bot yang terlibat mampu enkripsi. Satu permintaan per menit adalah tarif yang dapat dengan mudah diketahui tanpa analisis permintaan lalu lintas masuk. Menurut pendapat kami, pelanggan harus memutuskan langkah selanjutnya setelah mendapatkan analisis dan markup kami. Apakah akan memblokir mereka, membiarkan mereka melalui atau menipu (menyesatkan) mereka - itu bukan untuk kita putuskan.
Namun, ada masalah tertentu dengan otomatisasi murni, atau "bot," seperti yang biasa kita sebut sebagai mereka. Jika Anda yakin bahwa bot jahat menghasilkan permintaan tertentu, hal pertama yang paling diputuskan untuk dilakukan adalah memblokirnya, tidak mengirim respons dari server. Kami telah mencapai kesimpulan bahwa ini tidak masuk akal karena tindakan seperti itu hanya memberikan lebih banyak umpan balik ke otomatisasi, memungkinkannya untuk beradaptasi dan menemukan solusi. Kecuali jika bot berusaha menolak serangan layanan, kami sarankan untuk tidak segera memblokir otomatisasi semacam itu karena hasil dari permainan kucing dan tikus tersebut tidak lebih dari buang-buang waktu dan usaha.
Ini adalah alasan utama Qrator Labs memilih untuk menandai lalu lintas yang mencurigakan dan / atau berbahaya dan menyerahkan keputusan tentang langkah selanjutnya kepada pemilik sumber daya dengan mempertimbangkan audiens, layanan, dan tujuan bisnis mereka. Salah satu contohnya adalah ekstensi browser pemblokiran iklan. Sebagian besar iklan adalah skrip dan dengan memblokir skrip, Anda tidak harus memblokir iklan dan Anda dapat memblokir yang lain, seperti tantangan javascript. Sangat mudah untuk membayangkan bagaimana ini bisa meningkat, yang mengakibatkan hilangnya pendapatan untuk kelompok utama bisnis internet.
Ketika penyerang diblokir dan menerima umpan balik yang mereka butuhkan, mereka dapat dengan cepat beradaptasi, belajar dan menyerang lagi. Teknologi Qrator Labs dibangun di atas filosofi sederhana bahwa otomatisasi tidak dapat diberikan umpan balik apa pun yang dapat mereka gunakan: Anda tidak boleh memblokir atau melewati mereka, tandai saja. Setelah tanda tersebut dibuat, Anda harus mempertimbangkan tujuan mereka yang sebenarnya - Apa yang mereka inginkan? dan mengapa mereka mengunjungi sumber daya atau halaman web tertentu? Mungkin Anda bisa sedikit mengubah konten halaman web sedemikian rupa sehingga tidak ada manusia yang merasakan perbedaannya, tetapi kenyataan bot akan terbalik? Jika mereka parser, mereka bisa mendapatkan info parsing yang menyesatkan dalam bentuk data yang salah.
Saat membahas masalah-masalah itu sepanjang 2018, kami memberi label serangan seperti serangan metrik bisnis langsung. Situs web dan server Anda mungkin tampak baik-baik saja, tanpa keluhan pengguna, tetapi Anda merasakan sesuatu berubah ... seperti harga BPA iklan yang Anda ambil dari beberapa platform terprogram secara perlahan, tetapi terus mengarahkan pengiklan di tempat lain.
Membunuh insentif penyerang adalah satu-satunya cara untuk menangkal itu. Mencoba menghentikan hasil bot hanya membuang-buang waktu dan uang. Jika mereka mengklik sesuatu yang menguntungkan Anda, menjadikan klik itu tidak efisien; jika mereka menguraikan Anda, berikan informasi yang tidak dapat diandalkan mereka tidak akan membedakan dari data yang sah dan dapat dipercaya.
Clickhouse
Secara umum, layanan penyaringan Qrator Labs melibatkan dua tahap: pertama, kami segera mengevaluasi apakah permintaan berbahaya dengan bantuan cek tanpa kewarganegaraan dan status, dan, kedua, kami memutuskan apakah akan menyimpan daftar hitam atau tidak dan berapa lama. Daftar hitam yang dihasilkan dapat direpresentasikan sebagai daftar alamat IP unik.
Pada tahap pertama dari proses ini, kami meminta teknik pembelajaran mesin untuk lebih memahami aliran alami lalu lintas untuk sumber daya yang diberikan, karena kami parametrize layanan untuk setiap pelanggan secara individual berdasarkan data yang kami kumpulkan.
Di situlah Clickhouse masuk. Untuk memahami secara tepat mengapa alamat IP dilarang berkomunikasi dengan sumber daya, kita harus mengikuti model pembelajaran mesin ke Clickhouse DB. Ia bekerja sangat cepat dengan potongan besar data (pertimbangkan serangan DDoS 500 Gbps, berlanjut selama beberapa jam di antara jeda), dan menyimpannya dengan cara yang secara alami kompatibel dengan kerangka pembelajaran mesin yang kami gunakan di Qrator Labs. Lebih banyak log dan lebih banyak lalu lintas serangan mengarah ke hasil yang lebih baik dan lebih kuat dari model kami untuk digunakan dalam lebih menyempurnakan layanan secara real time, di bawah serangan paling berbahaya.
Kami menggunakan Clickhouse DB untuk menyimpan semua lalu lintas serangan (tidak sah) dan pola perilaku bot. Kami mengimplementasikan solusi khusus ini karena menjanjikan kapasitas yang mengesankan untuk memproses kumpulan data besar-besaran dalam gaya basis data, dengan cepat. Kami menggunakan data ini untuk analisis dan untuk membangun pola yang kami gunakan dalam penyaringan DDoS dan untuk, menerapkan pembelajaran mesin untuk meningkatkan algoritma penyaringan.
Keuntungan Clickhouse yang signifikan, dibandingkan dengan DB lain, adalah tidak membaca seluruh rangkaian data - hanya dibutuhkan segmen yang dibutuhkan, jauh lebih kecil, jika Anda menyimpan semuanya dengan pedoman.
Kesimpulan
Untuk beberapa waktu, kami telah hidup dengan serangan multifaktor yang mengeksplorasi beberapa protokol serangan untuk membuat target tidak tersedia.
Kebersihan digital dan langkah-langkah keamanan terbaru harus dan benar-benar dapat mencakup 99% dari risiko aktual yang mungkin dihadapi oleh suatu individu, kecuali untuk kasus-kasus yang ditargetkan secara ekstrem atau sengaja, dan menjaga agar layanan internet “rata-rata” tidak mengalami masalah.
Di sisi lain, serangan DDoS mampu memotong koneksi internet negara mana pun di dunia, meskipun hanya sedikit yang bisa ditargetkan secara efektif secara eksternal. Itu tidak terjadi di BGP, di mana dimungkinkan untuk hanya mematikan sejumlah titik pada peta yang ingin Anda gambar.
Pengetahuan tentang keamanan jaringan terus tumbuh, yang sangat bagus. Namun demikian, begitu Anda melihat angka-angka yang terkait dengan amplifikasi di jaringan atau opsi untuk menipu orang lain - mereka tidak akan turun! Ini karena setiap tahun jumlah waktu yang dihabiskan siswa di sekolah keamanan internet, yaitu orang-orang mulai peduli tentang bagaimana mereka menulis kode dan membangun aplikasi mereka, tidak sesuai dengan jumlah waktu yang dibutuhkan untuk memastikan mereka tidak membuat kerentanan yang akan memungkinkan seseorang untuk menggunakan sumber daya tersebut untuk mengatur serangan DDoS yang sukses, atau lebih buruk.
Salah satu temuan paling signifikan dari 2018 adalah bahwa kebanyakan orang masih mengharapkan lebih banyak dari teknologi daripada yang bisa disampaikan saat ini. Ini tidak selalu demikian, tetapi sekarang kita melihat kecenderungan kuat untuk bertanya terlalu banyak, terlepas dari fitur perangkat lunak atau perangkat kerasnya. Orang-orang terus berharap lebih banyak, yang mungkin tidak akan berubah karena janji yang dibuat dalam kampanye pemasaran. Namun, orang-orang membeli janji-janji itu, dan perusahaan merasa, bahwa mereka harus bekerja untuk memenuhinya.
Mungkin, itulah sifat kemajuan dan evolusi. Dewasa ini, orang merasa frustrasi dan kecewa karena tidak memiliki apa yang "dijamin", dan apa yang mereka bayar. Jadi, di sinilah masalah saat ini berasal, di mana kita tidak dapat "sepenuhnya" membeli perangkat dan semua perangkat lunaknya yang akan melakukan apa yang kita inginkan, atau di mana layanan "gratis" datang dengan harga tinggi dalam hal data pribadi .
Konsumerisme memberi tahu kita bahwa kita menginginkan sesuatu, dan kita harus membayarnya dengan nyawa kita. Apakah kita memerlukan jenis produk atau layanan yang meningkatkan diri untuk menjual kesepakatan yang lebih baik di masa depan berdasarkan data yang mereka kumpulkan kepada kita dengan cara yang mungkin tidak kita sukai? Kita dapat mengantisipasi bahwa pada tahun 2019, setelah kasus Equifax dan Cambridge Analytica, kita dapat melihat ledakan akhir dari akuisisi dan penyalahgunaan data pribadi.
Setelah sepuluh tahun, kami belum mengubah keyakinan inti kami tentang arsitektur jaringan yang saling berhubungan. Itulah alasan kami terus berdiri di belakang prinsip-prinsip paling mendasar dari jaringan penyaringan Qrator Labs - BGP-anycast, kemampuan untuk memproses lalu lintas terenkripsi, menghindari captcha dan hambatan lain, lebih banyak visibilitas bagi pengguna yang sah dibandingkan dengan menyerang bot.
Melihat apa yang terus terjadi dengan para ahli keamanan dunia maya dan perusahaan di bidang ini kami ingin menekankan masalah lain: ketika datang ke keamanan, tidak ada pendekatan naif, sederhana atau cepat yang berlaku.
Ini adalah alasan utama Qrator Labs tidak memiliki ratusan atau bahkan puluhan titik kehadiran, dibandingkan dengan CDN. Dengan mempertahankan sejumlah kecil pusat scrubbing yang semuanya terhubung ke ISP kelas Tier-1, kami mencapai desentralisasi lalu lintas yang sebenarnya. Itulah juga alasan mengapa kita tidak mencoba membangun firewall, yang sama sekali berbeda dari apa yang dilakukan Qrator Labs - konektivitas.
Kami telah menceritakan kisah tentang tes captcha dan javascript dan memeriksa untuk beberapa waktu dan di sini kita - jaringan saraf menjadi sangat berguna dalam memecahkan yang pertama, dan yang terakhir tidak pernah menjadi masalah bagi penyerang yang terampil dan gigih.
Tahun ini kami juga merasakan perubahan yang cukup menarik: selama bertahun-tahun, DDoS merupakan masalah bagi hanya sejumlah kecil area bisnis, biasanya, area di mana uang berada di atas permukaan air: e-commerce, perdagangan / saham, perbankan / sistem pembayaran. Namun, dengan pertumbuhan Internet yang berkelanjutan, kami mengamati serangan DDoS yang sekarang diterapkan ke semua layanan internet lain yang tersedia. Era DDoS dimulai dengan peningkatan bandwidth dan jumlah komputer pribadi yang digunakan di seluruh dunia; tidak mengherankan bahwa pada tahun 2018, dengan microchip silikon di setiap perangkat di sekitar kita, lanskap serangan berkembang begitu cepat.
Jika ada yang berharap kecenderungan ini berubah, mereka mungkin keliru. Seperti halnya kita, mungkin juga begitu. Tidak ada yang tahu bagaimana internet akan benar-benar berkembang dan menyebarkan dampak dan kekuatannya di tahun-tahun mendatang, tetapi menurut apa yang kita lihat pada tahun 2018 dan terus mengamati pada tahun 2019, semuanya akan berlipat ganda. Pada tahun 2020 jumlah perangkat yang terhubung di internet diperkirakan akan melebihi 30 miliar, di samping fakta bahwa kita telah melewati titik di mana umat manusia menghasilkan lebih banyak lalu lintas daripada otomatisasi yang dibuatnya. Jadi, segera, kita harus memutuskan bagaimana mengelola semua "kecerdasan" ini, buatan atau tidak, karena kita masih hidup di dunia di mana hanya manusia yang dapat bertanggung jawab atas sesuatu yang benar, juga salah.
2018 adalah tahun peluang bagi mereka yang berada di sisi gelap. Kami melihat pertumbuhan serangan dan peretasan dalam hal kompleksitas, volume dan frekuensi. Penjahat memperoleh beberapa alat yang kuat dan belajar bagaimana menggunakannya. Orang baik melakukan sedikit lebih dari sekedar menonton perkembangan ini. Kami berharap melihat perubahan itu tahun ini, setidaknya pada pertanyaan yang paling menyakitkan.