Bagaimana kami merancang dan mengimplementasikan jaringan baru pada Huawei di kantor Moskow, bagian 1

Hari ini saya akan berbicara tentang bagaimana ide menciptakan jaringan internal baru untuk perusahaan kami muncul dan direalisasikan. Posisi manajemen - untuk Anda sendiri, Anda perlu membuat proyek yang lengkap untuk klien. Jika kita melakukannya dengan baik untuk diri kita sendiri, kita akan dapat mengundang pelanggan dan menunjukkan seberapa baik mengatur dan mengerjakan apa yang kita tawarkan kepadanya. Oleh karena itu, kami mendekati pengembangan konsep jaringan baru untuk kantor Moskow dengan sangat teliti, menggunakan siklus produksi penuh: analisis kebutuhan departemen → pilihan solusi teknis → desain → implementasi → pengujian. Jadi di sini kita mulai.

Pilihan solusi teknis: cadangan mutan

Prosedur untuk bekerja pada sistem otomatis yang rumit sejauh ini dijelaskan dalam GOST 34.601-90 “Sistem Otomatis. Tahap-tahap penciptaan ”, jadi kami mengerjakannya. Dan sudah pada tahap pembentukan persyaratan dan mengembangkan konsep, kami menghadapi kesulitan pertama. Organisasi dari berbagai profil - bank, perusahaan asuransi, pengembang perangkat lunak, dll - untuk tugas dan standar mereka, diperlukan beberapa jenis jaringan, yang spesifiknya jelas dan terstandarisasi. Namun, ini tidak akan bekerja dengan kami.

Mengapa

Jet Infosystems adalah perusahaan IT multidisiplin besar. Pada saat yang sama, departemen dukungan internal kami kecil (tapi bangga), memastikan ketersediaan layanan dan sistem dasar. Perusahaan ini berisi banyak divisi yang menjalankan fungsi berbeda: termasuk beberapa tim outsourcing yang kuat, dan pengembang sistem bisnisnya sendiri, dan keamanan informasi, dan arsitek kompleks komputer - secara umum, siapa pun yang tidak. Karenanya, tugas, sistem, dan kebijakan keamanan mereka juga berbeda. Apa yang diharapkan menciptakan kesulitan dalam proses analisis kebutuhan dan standarisasi mereka.

Misalnya, departemen pengembangan: karyawannya menulis dan menguji kode untuk sejumlah besar pelanggan. Seringkali ada kebutuhan untuk dengan cepat mengatur lingkungan pengujian, dan terus terang, tidak selalu memungkinkan bagi setiap proyek untuk membentuk persyaratan, meminta sumber daya dan membangun lingkungan pengujian terpisah sesuai dengan semua peraturan internal. Hal ini menimbulkan situasi yang aneh: begitu hamba Anda yang rendah hati melihat ke dalam ruang pengembang dan menemukan cluster Hadoop yang berfungsi dengan baik dari 20 desktop di bawah meja, yang entah bagaimana terhubung ke jaringan umum. Saya pikir tidak ada gunanya menyatakan bahwa departemen TI perusahaan tidak tahu tentang keberadaannya. Keadaan ini, seperti banyak yang lain, menjadi penyebab fakta bahwa selama pengembangan proyek, istilah "cadangan mutan" lahir, menggambarkan keadaan infrastruktur kantor yang telah lama menderita.

Atau inilah contoh lain. Secara berkala, bangku tes dipasang di dalam sebuah unit. Ini adalah kasus dengan Jira dan Confluence, yang secara terbatas digunakan oleh Pusat Pengembangan Perangkat Lunak di beberapa proyek. Setelah beberapa waktu, sumber daya yang berguna ini ditemukan di divisi lain, dievaluasi, dan pada akhir 2018, Jira dan Confluence pindah dari status "programmer mainan lokal" ke status "sumber daya perusahaan". Sekarang pemilik harus ditugaskan ke sistem ini, SLA, kebijakan akses / keamanan, kebijakan cadangan, kebijakan pemantauan, aturan perutean untuk menyelesaikan permintaan harus ditentukan - secara umum, semua atribut dari sistem informasi yang lengkap harus ada.
Setiap unit kami juga merupakan inkubator yang menumbuhkan produknya sendiri. Beberapa dari mereka mati pada tahap pengembangan, beberapa di antaranya kami gunakan selama periode mengerjakan proyek, sementara yang lain berakar dan menjadi solusi tiruan yang kami mulai terapkan sendiri dan dijual kepada pelanggan. Untuk setiap sistem seperti itu, diinginkan untuk memiliki lingkungan jaringan sendiri, di mana ia akan berkembang tanpa mengganggu sistem lain, dan pada titik tertentu dapat diintegrasikan ke dalam infrastruktur perusahaan.

Selain pengembangan, kami memiliki Pusat Layanan yang sangat besar dengan lebih dari 500 karyawan, dibentuk menjadi tim untuk setiap pelanggan. Mereka terlibat dalam pemeliharaan jaringan dan sistem lainnya, pemantauan jarak jauh, penyelesaian aplikasi, dan sebagainya. Artinya, infrastruktur SC , pada kenyataannya, infrastruktur pelanggan dengan siapa mereka saat ini bekerja. Keunikan bekerja dengan bagian jaringan ini adalah bahwa stasiun kerja mereka untuk perusahaan kami sebagian eksternal dan sebagian internal. Oleh karena itu, untuk SC kami menerapkan pendekatan berikut - perusahaan menyediakan unit terkait dengan jaringan dan sumber daya lainnya, mempertimbangkan workstation unit ini sebagai koneksi eksternal (mirip dengan cabang dan pengguna jarak jauh).

Desain jalan raya: kami adalah operator (kejutan)

Setelah mengevaluasi semua jebakan, kami menyadari bahwa kami mendapatkan jaringan operator telekomunikasi dalam satu kantor, dan mulai bertindak sesuai itu.

Kami menciptakan jaringan backbone, dengan bantuan internal apa saja, dan dalam perspektif jangka panjang, konsumen eksternal diberikan layanan yang diperlukan: L2 VPN, L3 VPN, atau perutean L3 konvensional. Beberapa departemen memerlukan akses Internet yang aman, sementara yang lain membutuhkan akses yang bersih tanpa firewall, tetapi dengan perlindungan sumber daya perusahaan dan jaringan inti kami dari lalu lintas mereka.

Dengan setiap divisi, kami secara informal “menyepakati SLA”. Sesuai dengan itu, semua insiden yang muncul harus dihilangkan dalam periode waktu tertentu yang disepakati sebelumnya. Persyaratan perusahaan untuk jaringannya ternyata sulit. Waktu respons kejadian maksimum untuk kegagalan telepon dan email adalah 5 menit. Waktu pemulihan jaringan selama kegagalan biasa tidak lebih dari satu menit.

Karena kami memiliki jaringan kelas operator, Anda dapat terhubung hanya sesuai dengan aturan. Departemen layanan menetapkan kebijakan dan menyediakan layanan. Mereka bahkan tidak memerlukan informasi tentang koneksi server tertentu, mesin virtual, dan workstation. Tetapi pada saat yang sama, mekanisme perlindungan diperlukan, karena tidak ada koneksi yang harus menonaktifkan jaringan. Ketika secara tidak sengaja membuat loop, pengguna lain seharusnya tidak memperhatikan hal ini, yaitu, respon jaringan yang memadai diperlukan. Setiap operator telekomunikasi secara konstan menyelesaikan tugas-tugas yang tampaknya rumit dalam jaringan intinya. Ini memberikan layanan kepada banyak klien dengan kebutuhan dan lalu lintas yang berbeda. Pada saat yang sama, pelanggan yang berbeda tidak boleh mengalami ketidaknyamanan dari lalu lintas orang lain.
Di rumah, kami memecahkan masalah ini sebagai berikut: kami membangun jaringan L3 dasar dengan redundansi penuh menggunakan protokol IS-IS . Jaringan overlay berbasis pada teknologi EVPN / VXLAN dibangun di atas tulang punggung, menggunakan protokol routing MP-BGP . Untuk mempercepat konvergensi protokol routing, teknologi BFD digunakan.


Struktur jaringan

Dalam pengujian, skema semacam itu terbukti sangat baik - ketika saluran atau sakelar apa pun dimatikan, waktu konvergensi tidak lebih dari 0,1-0,2 dtk, paket minimum (sering - bukan satu paket) hilang, sesi TCP tidak rusak, percakapan telepon tidak terputus.


Level Underlay - Routing


Level Overlay - Routing

Sebagai sakelar distribusi, sakelar Huawei CE6870 dengan lisensi VXLAN digunakan. Perangkat ini memiliki kombinasi harga / kualitas yang optimal, memungkinkan Anda untuk menghubungkan pelanggan dengan kecepatan 10 Gbit / s, dan terhubung ke bagasi dengan kecepatan 40-100 Gbit / s, tergantung pada transceiver yang digunakan.


Huawei CE6870 Berganti

Sebagai sakelar inti, sakelar Huawei CE8850 digunakan. Dari tugas - untuk mengirimkan lalu lintas dengan cepat dan andal. Tidak ada perangkat yang terhubung dengannya, kecuali untuk sakelar distribusi, mereka tidak tahu apa-apa tentang VXLAN, jadi model dengan port 32 40/100 Gbit / s dipilih, dengan lisensi dasar yang menyediakan perutean L3 dan dukungan untuk protokol IS-IS dan MP-BGP .


Yang terendah adalah saklar inti Huawei CE8850

Pada tahap desain, sebuah diskusi terjadi di dalam tim tentang teknologi yang dengannya Anda dapat menerapkan koneksi gagal-aman ke simpul-simpul jaringan inti. Kantor Moskow kami terletak di tiga gedung, kami memiliki 7 ruang silang, di mana masing-masing dua saklar distribusi Huawei CE6870 dipasang (hanya beberapa saklar akses yang dipasang di beberapa ruang silang). Saat mengembangkan konsep jaringan, dua opsi cadangan dipertimbangkan:

• Menggabungkan sakelar distribusi ke tumpukan gagal-aman di setiap ruang silang. Kelebihan: kesederhanaan dan kemudahan pengaturan. Cons: ada kemungkinan kegagalan yang lebih tinggi dari seluruh tumpukan ketika memanifestasikan kesalahan dalam firmware perangkat jaringan ("kebocoran memori" dan sejenisnya).
• Terapkan teknologi M-LAG dan gateway Anycast untuk menghubungkan perangkat ke sakelar distribusi.

Akibatnya, kami memilih opsi kedua. Agak lebih sulit untuk dikonfigurasikan, tetapi dalam praktiknya telah menunjukkan kinerja dan keandalan yang tinggi.
Pertimbangkan terlebih dahulu menghubungkan perangkat terminal ke sakelar distribusi:

Salib

Sakelar akses, server, atau perangkat lain apa pun yang memerlukan koneksi failover termasuk dalam dua sakelar distribusi. Teknologi M-LAG menyediakan redundansi tautan. Diasumsikan bahwa dua sakelar distribusi terlihat seperti satu perangkat untuk peralatan yang terhubung. Redundansi dan load balancing dilakukan menggunakan protokol LACP.

Teknologi gateway Anycast memberikan redundansi di tingkat jaringan. Masing-masing sakelar distribusi dikonfigurasikan dengan jumlah VRF yang cukup besar (masing-masing VRF dirancang untuk keperluannya sendiri - secara terpisah untuk pengguna "biasa", secara terpisah - untuk telepon, secara terpisah - untuk pengujian yang berbeda dan lingkungan pengembangan, dll.), Dan di masing-masing VRF mengkonfigurasi beberapa VLAN. Di jaringan kami, sakelar distribusi adalah gateway default untuk semua perangkat yang terhubung dengannya. Alamat IP yang sesuai dengan VLAN sama untuk kedua sakelar distribusi. Lalu lintas diarahkan melalui saklar terdekat.

Sekarang pertimbangkan untuk menghubungkan sakelar distribusi ke kernel:
Toleransi kesalahan disediakan di tingkat jaringan, sesuai dengan protokol IS-IS. Harap diperhatikan - antara sakelar, disediakan jalur komunikasi L3 terpisah, dengan kecepatan 100G. Secara fisik, jalur komunikasi ini adalah kabel Akses Langsung, dapat dilihat di sebelah kanan di foto switch Huawei CE6870.

Alternatifnya adalah dengan mengatur topologi bintang ganda yang sepenuhnya terhubung dan "jujur", tetapi, seperti disebutkan di atas, kami memiliki 7 ruang silang di tiga bangunan. Dengan demikian, jika kita memilih topologi "bintang ganda", maka kita akan membutuhkan transceiver 40G "jarak jauh" dua kali lebih banyak. Penghematan di sini sangat besar.

Saya perlu mengatakan beberapa kata tentang bagaimana VXLAN dan teknologi gateway Anycast bekerja bersama. VXLAN, jika tidak merinci, adalah terowongan untuk mengangkut frame Ethernet di dalam paket UDP. Interface loopback dari sakelar distribusi digunakan sebagai alamat IP tujuan terowongan VXLAN. Setiap switch memiliki dua switch dengan alamat antarmuka loopback yang sama, masing-masing, sebuah paket dapat datang ke salah satu dari mereka, dan sebuah frame Ethernet dapat diekstraksi darinya.

Jika switch tahu tentang alamat MAC tujuan dari frame yang diekstraksi, frame akan dikirim dengan benar ke tujuannya. Mekanisme M-LAG, yang menyediakan untuk sinkronisasi tabel alamat MAC (dan juga tabel ARP) pada keduanya, bertanggung jawab untuk memastikan bahwa kedua sakelar distribusi yang dipasang dalam satu silang memiliki informasi terkini tentang semua alamat MAC yang “tiba” dari sakelar akses. Pasangan M-LAG beralih.

Penyeimbangan lalu lintas dicapai karena keberadaan dalam jaringan garis bawah beberapa rute ke antarmuka loopback dari sakelar distribusi.

Alih-alih sebuah kesimpulan

Seperti disebutkan di atas, selama pengujian dan dalam operasi, jaringan menunjukkan keandalan yang tinggi (waktu pemulihan dengan kegagalan tipikal tidak lebih dari ratusan milidetik) dan kinerja yang baik - masing-masing saling terhubung dengan inti dengan dua saluran 40 Gbit / dtk. Sakelar akses di jaringan kami ditumpuk dan terhubung ke sakelar distribusi melalui LACP / M-LAG dengan dua saluran 10 Gb / s. Tumpukan biasanya memiliki 5 sakelar dengan masing-masing 48 port, hingga 10 tumpukan akses terhubung ke distribusi di masing-masing persilangan. Dengan demikian, tulang punggung menyediakan sekitar 30 Mbit / s per pengguna, bahkan pada beban teoritis maksimum, yang pada saat penulisan ini cukup untuk semua aplikasi praktis kami.

Jaringan ini memungkinkan Anda untuk dengan mudah mengatur pemasangan perangkat apa pun yang terhubung secara sewenang-wenang melalui L2 dan L3, memberikan isolasi lalu lintas yang lengkap (yang disukai oleh layanan keamanan informasi) dan domain kegagalan (yang disukai oleh layanan operasi).

Di bagian selanjutnya , kami akan menjelaskan bagaimana kami bermigrasi ke jaringan baru. Tetap disini!

Maxim Klochkov
Konsultan Senior, Audit Jaringan dan Proyek Terpadu
Pusat Solusi Jaringan
Jet Infosystems