Internet tampaknya merupakan struktur yang kuat, mandiri dan tidak dapat dihancurkan. Secara teori, kekuatan jaringan cukup untuk bertahan dari ledakan nuklir. Pada kenyataannya, Internet dapat menjatuhkan satu router kecil. Semua karena fakta bahwa Internet adalah tumpukan kontradiksi, kerentanan, kesalahan dan video tentang kucing. Basis Internet - BGP - berisi banyak masalah. Sungguh menakjubkan bahwa dia masih bernafas. Selain kesalahan di Internet itu sendiri, semua orang melanggar itu: penyedia internet besar, perusahaan, negara dan serangan DDoS. Apa yang harus dilakukan dengan itu dan bagaimana hidup dengannya?
Alexey Uchakin (
Night_Snake ), pemimpin tim teknik jaringan di IQ Option, tahu jawabannya. Tugas utamanya adalah aksesibilitas platform untuk pengguna. Dalam menguraikan laporan Alexey di
Saint HighLoad ++ 2019, kita akan berbicara tentang BGP, serangan DDOS, putuskan koneksi internet, kesalahan penyedia, desentralisasi, dan kasus-kasus ketika router kecil mengirim Internet untuk tidur. Pada akhirnya - beberapa tips tentang cara bertahan hidup semua ini.
Hari internet rusak
Saya hanya akan memberikan beberapa insiden ketika konektivitas terputus di Internet. Ini akan cukup untuk gambaran lengkap.
"Insiden dengan AS7007 .
" Pertama kali Internet mogok pada April 1997. Ada kesalahan dalam perangkat lunak satu router dari sistem otonom 7007. Pada titik tertentu, router mengumumkan kepada tetangga tabel routing internal dan mengirim setengah jaringan ke lubang hitam.
Pakistan vs. YouTube . Pada 2008, orang-orang pemberani dari Pakistan memutuskan untuk memblokir YouTube. Mereka melakukannya dengan sangat baik sehingga setengah dunia dibiarkan tanpa segel.
"Capture of VISA, MasterCard, dan Symantec Prefixes oleh Rostelecom .
" Pada 2017, Rostelecom secara keliru mengumumkan awalan VISA, MasterCard, dan Symantec. Akibatnya, lalu lintas keuangan melewati saluran yang dikendalikan penyedia. Kebocoran itu tidak berlangsung lama, tetapi perusahaan keuangan tidak menyenangkan.
Google v. Jepang . Pada bulan Agustus 2017, Google mulai mengumumkan awalan penyedia besar Jepang NTT dan KDDI sebagai bagian dari uplink mereka. Lalu lintas pergi ke Google sebagai transit, kemungkinan besar karena kesalahan. Karena Google bukan penyedia dan tidak mengizinkan lalu lintas transit, sebagian besar Jepang dibiarkan tanpa Internet.
"DV LINK telah menangkap awalan Google, Apple, Facebook, Microsoft .
" Pada tahun 2017 yang sama, penyedia Rusia DV LINK untuk beberapa alasan mulai mengumumkan jaringan Google, Apple, Facebook, Microsoft dan beberapa pemain besar lainnya.
"US eNet telah meraih awalan AWS Route53 dan MyEtherwallet .
" Pada tahun 2018, penyedia Ohio atau salah satu pelanggannya mengumumkan jaringan Amazon Route53 dan dompet kripto MyEtherwallet. Serangan itu berhasil: bahkan meskipun sertifikat yang ditandatangani sendiri, peringatan tentang yang muncul kepada pengguna ketika mereka memasuki situs web MyEtherwallet, banyak dompet dibajak dan mencuri bagian dari cryptocurrency.
Ada lebih dari 14.000 insiden seperti itu di tahun 2017 saja! Jaringan masih terdesentralisasi, jadi tidak semua dan tidak semua rusak. Tetapi insiden terjadi dalam ribuan, dan mereka semua terhubung dengan protokol BGP, di mana Internet bekerja.
BGP dan masalahnya
Protokol BGP - Border Gateway Protocol , pertama kali dideskripsikan pada 1989 oleh dua insinyur dari IBM dan Cisco Systems pada tiga "serbet" - lembaran A4.
"Serbet" ini masih terletak di markas Cisco Systems di San Francisco sebagai peninggalan dunia jaringan.
Protokol didasarkan pada interaksi sistem otonom - Sistem Otonom atau dalam bentuk disingkat - AS. Sistem otonom hanyalah beberapa ID yang ditugaskan untuk jaringan IP dalam registri publik. Router dengan ID ini dapat mengumumkan jaringan ini ke dunia. Dengan demikian, setiap rute di Internet dapat direpresentasikan sebagai vektor yang disebut
AS Path . Vektor terdiri dari nomor sistem otonom yang harus diselesaikan untuk mencapai jaringan tujuan.
Misalnya, ada jaringan sejumlah sistem otonom. Anda perlu beralih dari sistem AS65001 ke sistem AS65003. Jalur dari satu sistem diwakili oleh AS Path dalam diagram. Ini terdiri dari dua otonomi: 65002 dan 65003. Untuk setiap alamat tujuan ada vektor AS Path, yang terdiri dari jumlah sistem otonom yang perlu kita lalui.
Jadi apa masalah dengan BGP?
BGP adalah protokol kepercayaan
Protokol BGP - berbasis kepercayaan. Ini berarti bahwa secara default kami mempercayai tetangga kami. Ini adalah fitur dari banyak protokol yang dikembangkan pada awal Internet. Mari kita cari tahu apa artinya "kepercayaan".
Tidak ada otentikasi tetangga . Secara formal, ada MD5, tetapi MD5 pada 2019 - yah, itu ...
Tidak ada penyaringan . BGP memiliki filter dan dijelaskan, tetapi tidak digunakan, atau digunakan secara tidak benar. Saya akan jelaskan mengapa nanti.
Sangat mudah untuk membangun lingkungan . Pengaturan lingkungan dalam protokol BGP di hampir semua router - beberapa baris konfigurasi.
Hak pengelolaan BGP tidak diperlukan . Tidak perlu mengikuti ujian untuk mengonfirmasi kualifikasi Anda. Tidak ada yang akan mengambil hak untuk mengkonfigurasi BGP saat mabuk.
Dua masalah utama
Pembajakan awalan - pembajakan awalan . Pembajakan awalan adalah pengumuman jaringan yang bukan milik Anda, seperti halnya MyEtherwallet. Kami mengambil beberapa awalan, setuju dengan penyedia atau meretasnya, dan melaluinya kami mengumumkan jaringan ini.
Rute kebocoran - rute kebocoran . Kebocoran agak sulit.
Kebocoran adalah perubahan dalam AS Path . Dalam kasus terbaik, perubahan akan menyebabkan penundaan yang lebih besar, karena Anda harus pergi rute yang lebih panjang atau kurang tautan yang luas. Dalam kasus terburuk dengan Google dan Jepang.
Google sendiri bukanlah operator atau sistem otonom transit. Tetapi ketika ia mengumumkan kepada penyedia jaringan operator Jepang, lalu lintas melalui Google melalui AS Path dipandang sebagai prioritas yang lebih tinggi. Lalu lintas pergi ke sana dan turun hanya karena pengaturan perutean di dalam Google lebih rumit daripada hanya filter di perbatasan.
Mengapa filter tidak berfungsi?
Tidak ada yang peduli . Ini adalah alasan utama - semua orang tidak peduli. Administrator penyedia kecil atau perusahaan yang terhubung ke penyedia melalui BGP mengambil MikroTik, mengkonfigurasi BGP di atasnya dan bahkan tidak tahu bahwa filter dapat dikonfigurasi di sana.
Kesalahan konfigurasi . Mereka memulai sesuatu, membuat kesalahan di topeng, memasang jaring yang salah - dan sekarang, sekali lagi, kesalahan.
Tidak ada kemungkinan teknis . Misalnya, penyedia komunikasi memiliki banyak pelanggan. Dengan cara yang cerdas, Anda harus memperbarui filter secara otomatis untuk setiap klien - pastikan ia memiliki jaringan baru, bahwa ia telah menyewakan jaringannya kepada seseorang. Melacak ini sulit, dengan tangan Anda bahkan lebih sulit. Karena itu, mereka hanya memasang filter santai atau tidak memasang filter sama sekali.
Pengecualian Ada pengecualian untuk pelanggan tercinta dan besar. Terutama dalam hal sambungan antar operator. Sebagai contoh, TransTeleCom dan Rostelecom memiliki banyak jaringan dan persimpangan di antara mereka. Jika sambungan diletakkan, itu tidak akan baik bagi siapa pun, sehingga filter menjadi rileks atau hilang sepenuhnya.
Informasi yang kedaluwarsa atau tidak relevan dalam IRR . Filter dibangun berdasarkan informasi yang dicatat dalam
IRR - Internet Routing Registry . Ini adalah pendaftar pendaftar Internet regional. Seringkali dalam registrasi informasi usang atau tidak relevan, atau semuanya bersama-sama.
Siapa pendaftar ini?
Semua alamat Internet dimiliki oleh
IANA - Internet Assigned Numbers Authority . Ketika Anda membeli jaringan IP dari seseorang, Anda tidak membeli alamat, tetapi hak untuk menggunakannya. Alamat adalah sumber daya tidak berwujud, dan dengan kesepakatan bersama semuanya milik badan IANA.
Sistem kerjanya seperti ini. IANA mendelegasikan pengelolaan alamat IP dan nomor sistem otonom ke lima pendaftar regional. Mereka mengeluarkan sistem otonom untuk
LIR - pendaftar Internet lokal . Selanjutnya, LIR mengalokasikan alamat IP untuk pengguna akhir.
Kerugian dari sistem adalah bahwa masing-masing pendaftar regional memelihara pendaftar sendiri dengan caranya sendiri. Setiap orang memiliki pandangan mereka sendiri tentang informasi apa yang harus terkandung dalam daftar, siapa yang harus atau tidak memeriksanya. Hasilnya berantakan, yang sekarang.
Bagaimana lagi Anda bisa mengatasi masalah ini?
IRR adalah kualitas yang biasa-biasa saja . Dengan IRR sudah jelas - semuanya buruk di sana.
Komunitas BGP . Ini adalah beberapa atribut yang dijelaskan dalam protokol. Misalnya, kita dapat melampirkan komunitas khusus ke pengumuman kami sehingga tetangga tidak mengirim jaringan kami ke tetangganya. Ketika kami memiliki tautan P2P, kami hanya menukar jaringan kami. Agar rute tidak sengaja menuju jaringan lain, kami menutup komunitas.
Komunitas tidak transitif . Ini selalu merupakan kontrak untuk dua orang, dan ini adalah kelemahan mereka. Kami tidak dapat bergaul dengan komunitas mana pun, kecuali komunitas yang diterima secara default oleh semua. Kami tidak dapat memastikan bahwa komunitas ini akan diterima dan ditafsirkan dengan benar oleh semua orang. Karena itu, dalam kasus terbaik, jika Anda setuju dengan uplink Anda, dia akan mengerti apa yang Anda inginkan darinya di komunitas. Tapi tetangganya mungkin tidak mengerti, atau operator hanya akan mengatur ulang tanda Anda, dan Anda tidak akan mencapai apa yang Anda inginkan.
RPKI + ROA hanya memecahkan sebagian kecil dari masalah . RPKI adalah
Infrastruktur Kunci Publik Sumber Daya - suatu kerangka kerja khusus untuk menandatangani informasi perutean. Merupakan ide bagus untuk meminta LIR dan klien mereka untuk mempertahankan basis data ruang alamat yang terbaru. Tapi ada satu masalah dengannya.
RPKI juga merupakan sistem kunci publik yang hierarkis. Apakah IANA memiliki kunci dari mana kunci RIR dihasilkan, dan dari mereka kunci LIR? yang dengannya mereka menandatangani ruang alamat mereka menggunakan ROA - Otorisasi Asal Rute:
"Saya yakinkan Anda bahwa awalan ini akan diumumkan atas nama otonomi ini."Selain ROA, ada objek lain, tetapi tentang mereka entah bagaimana nanti. Tampaknya hal itu baik dan bermanfaat. Tapi itu tidak melindungi kita dari kebocoran dari kata "sepenuhnya" dan tidak menyelesaikan semua masalah dengan pembajakan awalan. Karena itu, pemain tidak terburu-buru untuk mengimplementasikannya. Meskipun sudah ada jaminan dari pemain besar seperti AT&T dan IX besar yang awalan dengan catatan ROA yang tidak valid akan turun.
Mungkin mereka akan melakukan ini, tetapi sejauh ini kami memiliki sejumlah besar awalan yang tidak ditandatangani sama sekali. Di satu sisi, tidak jelas apakah mereka diumumkan secara sah. Di sisi lain, kami tidak dapat menjatuhkannya secara default, karena kami tidak yakin apakah ini benar atau tidak.
Apa lagi yang ada di sana?
BGPSec . Ini adalah hal keren yang dihasilkan oleh para akademisi untuk jaringan kuda poni merah muda. Mereka berkata:
- Kami memiliki RPKI + ROA - sebuah mekanisme untuk sertifikasi tanda tangan ruang alamat. Mari kita mendapatkan atribut BGP terpisah dan menyebutnya BGPSec Path. Setiap router akan menandatangani dengan tanda tangannya pengumuman yang diumumkan kepada tetangganya. Jadi kami mendapatkan jalur tepercaya dari rantai pengumuman yang ditandatangani dan dapat memverifikasinya.Secara teori, itu bagus, tetapi dalam praktiknya ada banyak masalah. BGPSec memecah banyak mekanik BGP yang ada dengan memilih next-hop dan mengelola lalu lintas inbound / outbound langsung pada router. BGPSec tidak berfungsi sampai 95% dari seluruh partisipan pasar memperkenalkannya, yang dengan sendirinya adalah utopia.
BGPSec memiliki masalah kinerja yang sangat besar. Pada perangkat keras saat ini, kecepatan memeriksa pengumuman adalah sekitar 50 awalan per detik. Sebagai perbandingan: tabel Internet saat ini dari 700.000 awalan akan diisi selama 5 jam, untuk itu akan berubah 10 kali lagi.
Kebijakan Terbuka BGP (BGP berbasis peran) . Penawaran baru berdasarkan model
Gao Rexford . Ini adalah dua ilmuwan yang terlibat dalam penelitian BGP.
Model Gao Rexford adalah sebagai berikut. Untuk menyederhanakan, dalam kasus BGP ada sejumlah kecil jenis interaksi:
- Pelanggan Penyedia;
- P2P;
- interaksi internal, misalnya, iBGP.
Berdasarkan peran router, sudah dimungkinkan untuk menetapkan kebijakan impor / ekspor tertentu secara default. Administrator tidak perlu mengonfigurasi daftar awalan. Berdasarkan peran yang disetujui router dan yang dapat ditetapkan, kami sudah mendapatkan beberapa filter default. Sekarang ini adalah konsep yang sedang dibahas di IETF. Saya berharap bahwa segera kita akan melihat ini dalam bentuk RFC dan implementasi pada perangkat keras.
Penyedia Layanan Internet Besar
Pertimbangkan contoh penyedia
CenturyLink . Ini adalah penyedia AS terbesar ketiga, yang melayani 37 negara bagian dan memiliki 15 pusat data.
Pada Desember 2018, CenturyLink berada di pasar AS selama 50 jam. Selama insiden itu, ada masalah dengan pengoperasian ATM di dua negara, 911 tidak bekerja selama beberapa jam di lima negara. Lotre Idaho hancur berkeping-keping. Komisi Telekomunikasi AS saat ini sedang menyelidiki insiden tersebut.
Alasan tragedi itu adalah dalam satu kartu jaringan di satu pusat data. Kartu gagal, mengirim paket yang salah, dan semua 15 pusat data penyedia turun.
Untuk penyedia ini, gagasan
"terlalu besar untuk jatuh" tidak berhasil. Gagasan ini sama sekali tidak berhasil. Anda dapat mengambil pemain utama apa saja dan melakukan sedikit hal sepele. Di AS, semuanya masih baik dengan keterhubungan. Pelanggan CenturyLink yang memiliki cadangan pergi ke sana secara massal. Kemudian operator alternatif mengeluh tentang kelebihan tautan mereka.
Jika Kazakhtelecom bersyarat terletak, seluruh negara akan dibiarkan tanpa Internet.
Perusahaan
Mungkin di Google, Amazon, FaceBook, dan perusahaan lain yang terhubung ke Internet? Tidak, mereka merusaknya juga.
Pada 2017 di St. Petersburg di konferensi ENOG13,
Jeff Houston dari
APNIC mempresentasikan
laporan "Kematian Transit" . Dikatakan bahwa kita terbiasa dengan kenyataan bahwa interaksi, arus kas, dan lalu lintas internet adalah vertikal. Kami memiliki penyedia kecil yang membayar konektivitas ke yang lebih besar, dan mereka yang sudah membayar konektivitas ke transit global.
Sekarang kita memiliki struktur yang berorientasi vertikal. Semuanya akan baik-baik saja, tetapi dunia sedang berubah - pemain besar membangun kabel lintas samudera untuk membangun tulang punggung mereka sendiri.
Berita tentang kabel CDN.Pada tahun 2018, TeleGeography merilis sebuah penelitian bahwa lebih dari setengah lalu lintas di Internet bukan lagi Internet, melainkan tulang punggung para pemain utama. Ini adalah lalu lintas yang terkait dengan Internet, tetapi ini bukan jaringan yang sama yang kita bicarakan.
Internet terpecah menjadi berbagai jaringan yang digabungkan secara longgar.
Microsoft memiliki jaringannya sendiri, Google memiliki jaringannya sendiri, dan mereka lemah satu sama lain. Lalu lintas yang berasal dari suatu tempat di AS melewati saluran Microsoft melintasi lautan ke Eropa di suatu tempat di CDN, kemudian menghubungkan ke penyedia Anda melalui CDN atau IX dan sampai ke router Anda.
Desentralisasi menghilang.
Kekuatan Internet ini, yang akan membantunya selamat dari ledakan nuklir, hilang. Ada tempat konsentrasi pengguna dan lalu lintas. Jika Google Cloud bersyarat terletak, akan ada banyak korban sekaligus. Sebagian, kami merasakan ini ketika Roskomnadzor memblokir AWS. Dan dengan contoh CenturyLink, jelas bahwa ada cukup detail untuk ini.
Sebelumnya, tidak semua dan tidak semua bangkrut. Di masa depan, kita dapat sampai pada kesimpulan bahwa dengan mempengaruhi satu pemain utama, Anda dapat memecahkan banyak hal, banyak di mana dan banyak dengan siapa.
Serikat
Negara bagian berikutnya, dan biasanya terjadi pada mereka.
Di sini, Roskomnadzor kami bahkan tidak pernah menjadi perintis. Praktik serupa penutupan Internet adalah di Iran, India, Pakistan. Di Inggris ada undang-undang tentang kemungkinan memutuskan koneksi Internet.
Negara besar mana pun ingin beralih untuk mematikan Internet, baik secara penuh atau sebagian: Twitter, Telegram, Facebook. Mereka tidak mengerti bahwa mereka tidak akan pernah berhasil, tetapi mereka benar-benar menginginkannya. Saklar pisau digunakan, sebagai suatu peraturan, untuk tujuan politik - untuk menghilangkan pesaing politik, atau pemilihan umum, atau peretas Rusia sekali lagi memecahkan sesuatu.
Serangan DDoS
Saya tidak akan mengambil roti dari kawan-kawan dari Qrator Labs, mereka melakukannya jauh lebih baik daripada saya. Mereka memiliki
laporan tahunan tentang stabilitas internet. Dan inilah yang mereka tulis dalam laporan untuk 2018.
Durasi rata-rata serangan DDoS turun menjadi 2,5 jam . Penyerang juga mulai menghitung uang, dan jika sumber daya tidak segera turun, maka dengan cepat dibiarkan sendiri.
Intensitas serangan semakin meningkat . Pada tahun 2018, kami melihat 1,7 Tb / s di jaringan Akamai, dan ini bukan batasnya.
Vektor serangan baru muncul dan yang lama menguat . Protokol baru muncul yang tunduk pada amplifikasi, serangan baru muncul pada protokol yang ada, terutama TLS dan sejenisnya.
Sebagian besar lalu lintas adalah perangkat seluler . Pada saat yang sama, lalu lintas internet ditransfer ke klien seluler. Dengan ini, Anda harus dapat bekerja baik untuk mereka yang menyerang maupun mereka yang membela diri.
Kebal - tidak . Ini adalah ide utama - tidak ada perlindungan universal yang tidak benar-benar melindungi terhadap DDoS.
Sistem tidak dapat dipasang hanya jika tidak terhubung ke Internet.
Saya harap saya cukup membuatmu takut. Sekarang mari kita pikirkan apa yang harus dilakukan dengannya.
Apa yang harus dilakukan ?!
Jika Anda memiliki waktu luang, keinginan dan pengetahuan bahasa Inggris - berpartisipasi dalam kelompok kerja: IETF, RIPE WG. Ini adalah milis terbuka, berlangganan buletin, berpartisipasi dalam diskusi, datang ke konferensi. Jika Anda memiliki status LIR, Anda dapat memilih, misalnya, di RIPE untuk berbagai inisiatif.
Untuk manusia biasa, ini adalah
pemantauan . Untuk mengetahui apa yang rusak.
Monitoring: apa yang harus diperiksa?
Ping Normal , dan bukan hanya pemeriksaan biner - ia berfungsi atau tidak. Tulis RTT ke riwayat untuk menonton anomali nanti.
Traceroute . Ini adalah program utilitas untuk menentukan jalur data dalam jaringan TCP / IP. Membantu mendeteksi kelainan dan penyumbatan.
HTTP memeriksa-memeriksa URL khusus dan sertifikat TLS akan membantu mendeteksi pemblokiran atau spoofing DNS untuk serangan, yang hampir sama. Penguncian sering dilakukan dengan menipu DNS dan membungkus lalu lintas pada halaman rintisan.
Jika memungkinkan, tanyakan kepada klien Anda penyelesaian asal Anda dari tempat yang berbeda, jika Anda memiliki aplikasi. Jadi, Anda akan menemukan anomali intersepsi DNS, yang terkadang penyedia dosa.
Pemantauan: di mana memeriksa?
Tidak ada jawaban universal. Periksa dari mana asal pengguna. Jika pengguna di Rusia, periksa dari Rusia, tetapi jangan membatasi diri Anda untuk itu. Jika pengguna Anda tinggal di wilayah yang berbeda, periksa dari wilayah ini. Tapi lebih baik dari seluruh dunia.
Pemantauan: bagaimana cara memeriksa?
Saya datang dengan tiga cara. Jika Anda tahu lebih banyak - tulis di komentar.
- Atlas RIPE.
- Pemantauan komersial.
- Jaringan virtualoks sendiri.
Mari kita bicara tentang mereka masing-masing.
RIPE Atlas adalah kotak kecil. Bagi mereka yang tahu "Inspektur" domestik - ini adalah kotak yang sama, tetapi dengan stiker yang berbeda.
RIPE Atlas adalah program gratis . Anda mendaftar, menerima router melalui surat dan tancapkan ke jaringan. Karena orang lain memanfaatkan kerusakan Anda, Anda akan diberikan sejumlah pinjaman. Untuk pinjaman ini, Anda dapat melakukan riset sendiri. Anda dapat menguji dengan berbagai cara: ping, traceroute, periksa sertifikat. Cakupan cukup besar, banyak node. Namun ada nuansa.
Sistem kredit tidak memungkinkan membangun solusi produksi . Pinjaman untuk penelitian berkelanjutan atau pemantauan komersial tidak cukup. Kredit cukup untuk studi singkat atau cek satu kali. Tingkat harian dari satu sampel dimakan oleh 1-2 cek.
Cakupan tidak merata . Karena program ini gratis di kedua arah, cakupannya baik di Eropa, di bagian Eropa Rusia dan di beberapa daerah. Tetapi jika Anda membutuhkan Indonesia atau Selandia Baru, maka semuanya jauh lebih buruk - 50 sampel per negara mungkin tidak dikumpulkan.
Anda tidak dapat memeriksa http dari sampel . Ini karena nuansa teknis. , http . . - http check RIPE Atlas, Anchor.
— . , ? , « ». , , .
, . , http- . — .
. — , , . .
custom- . - , «» url, .
— . : « !»
, . , , — , ? . , . , -, .
BGP- DDoS-
.
BGP- QRadar, BGPmon . full view- . , , , . — , , .
DDoS- . ,
NetFlow-based .
FastNetMon ,
Splunk . DDoS-. NetFlow .
— . , 14 2017 , .
— . , , . , , « ».
— , , : , , CDN. — -, . , , .
Itu saja. .
, HighLoad++ Siberia 2019 . , , . , , . 24 25 . !