Infrastruktur TI baru untuk Pusat Data Pos Rusia

Saya yakin bahwa semua pembaca Habr setidaknya pernah memesan barang di toko online di luar negeri dan kemudian pergi untuk menerima parsel di kantor pos Rusia. Bisakah Anda bayangkan skala tugas ini dari sudut pandang organisasi logistik? Lipat gandakan jumlah pelanggan dengan jumlah pembelian mereka, bayangkan peta negara kita yang luas, dan ada lebih dari 40 ribu kantor pos di sana ... Ngomong-ngomong, pada tahun 2018, Russian Post memproses 345 juta paket internasional.

Dalam artikel ini, kami akan memberi tahu Anda masalah apa yang dihadapi Mail dan bagaimana mereka ditangani oleh tim LANIT-Integration, menciptakan infrastruktur TI baru untuk pusat data.

Salah satu pusat logistik modern dari Pos Rusia

Sebelum proyek

Karena peningkatan tajam dalam jumlah paket dari toko luar negeri di Cina, Eropa Barat dan Amerika Utara, beban pada fasilitas logistik dari Post Rusia telah meningkat. Oleh karena itu, pusat-pusat logistik generasi baru dibangun yang menggunakan mesin sortasi berkapasitas tinggi. Mereka membutuhkan dukungan dari infrastruktur komputasi.

Infrastruktur pusat data sudah usang dan tidak memberikan kinerja dan keandalan yang diperlukan dalam pengoperasian sistem informasi perusahaan. Juga, Russian Post mengalami kekurangan daya komputasi untuk meluncurkan layanan baru.

Pusat data pelanggan dan masalahnya

Pusat data Rusia Post melayani lebih dari 40.000 objek dan 85 departemen teritorial. Ada puluhan layanan bisnis sepanjang waktu di pusat data, termasuk layanan e-commerce.

Sudah hari ini, perusahaan menggunakan sistem untuk menyimpan, menganalisis dan memproses data besar. Untuk sistem seperti itu, penggunaan kecerdasan buatan dan algoritma pembelajaran mesin memainkan peran penting. Saat ini, salah satu kasus terpenting bagi perusahaan adalah mengoptimalkan pengelolaan arus logistik dan mempercepat layanan pelanggan di kantor pos.

Sebelum proyek modernisasi, ada sekitar 3.000 mesin virtual di pusat data primer dan cadangan, jumlah informasi yang disimpan melebihi 2 petabyte. Pusat data memiliki struktur perutean lalu lintas yang kompleks terkait dengan pemisahan menjadi segmen yang berbeda sesuai dengan tingkat keamanan.

Dengan pengembangan aplikasi dan pengenalan layanan baru, bandwidth yang ada dari peralatan jaringan di pusat data menjadi tidak mencukupi. Transisi ke antarmuka dengan kecepatan baru diperlukan: 10 Gbit / detik, bukannya 1 Gbit / detik pada akses dan 40 Gbit / detik pada tingkat inti, dengan redundansi penuh peralatan dan saluran komunikasi.

Departemen Keamanan Informasi menerima permintaan untuk membagi infrastruktur menjadi segmen-segmen dengan tingkat keamanan informasi lalu lintas dan aplikasi yang tinggi (PN - Jaringan Swasta dan Zona Demiliterisasi DMZ). Lalu lintas melewati firewall (ITU), yang tidak perlu disaring. VRF pada sakelar tidak digunakan untuk lalu lintas semacam itu. Aturan di ITU bersifat suboptimal (puluhan ribu aturan di setiap pusat data).

Migrasi mesin virtual (VM) yang mulus antara pusat data dengan pelestarian alamat IP dan jalur lalu lintas yang optimal antar segmen, termasuk jaringan data perusahaan (KSPD), tidak mungkin.

Untuk cadangan, MSTP digunakan, beberapa port diblokir (siaga panas). Kernel dan sakelar akses tidak digabungkan ke dalam kluster failover, antarmuka agregasi (LAG) tidak digunakan.

Dengan munculnya pusat data ketiga, arsitektur baru dan konfigurasi peralatan diperlukan untuk mengoperasikan cincin di antara pusat data (EVPN diusulkan).

Tidak ada konsep tunggal untuk pengembangan pusat data, didokumentasikan dalam bentuk proyek dan disepakati dengan semua departemen pelanggan. Dokumentasi saat ini untuk mengoperasikan jaringan tidak lengkap dan ketinggalan jaman.

Harapan pelanggan

Tim proyek memiliki tugas-tugas berikut:

• menyiapkan konsep arsitektur dan pengembangan untuk membangun infrastruktur jaringan dan server pusat data ketiga;
• melakukan audit operasional dari jaringan pelanggan yang ada;
• memperluas kapasitas inti jaringan dengan lebih dari 1500 port Ethernet 10/40 Gbit / s di setiap pusat data (total 4.500 port);
• untuk memastikan pengoperasian cincin antara tiga pusat data dengan kemungkinan peningkatan kecepatan hingga 80 Gb / dt di setiap segmen untuk menggabungkan sumber daya komputasi pelanggan dari pusat data yang berbeda ke dalam satu sistem TI tunggal;
• menyediakan cadangan ganda 100% dari semua elemen jaringan untuk mencapai target Uptime di level 99,995%;
• meminimalkan penundaan lalu lintas antara mesin virtual untuk mempercepat aplikasi bisnis;
• kumpulkan statistik, lakukan analisis, dan lakukan optimasi selanjutnya dari aturan penyaringan lalu lintas di pusat data (awalnya ada sekitar 80.000 aturan);
• Kembangkan arsitektur yang ditargetkan untuk memigrasi aplikasi bisnis penting pelanggan dengan mulus ke salah satu dari tiga pusat data.

Jadi, kami memiliki sesuatu untuk dikerjakan.

Peralatan

Mari kita membahas lebih rinci tentang peralatan apa yang kita gunakan dalam proyek.

Firewall (NGWF) USG9560:

• pembagian ke dalam VSYS;
• hingga 720 Gbps;
• hingga 720 juta sesi bersamaan;
• 8 slot.

Router NE40E-X8:

• hingga 7,08 Tbit / s Kapasitas Switching;
• Kinerja Penerusan hingga 2.880 Mpps;
• 8 slot untuk kartu garis (LPU);
• hingga 10M BGP IPv4 rute per MPU;
• hingga 1500K OSPF IPv4 rute per MPU;
• hingga 3000K - IPv4 FIB (tergantung LPU).

Saklar Seri CE12800:

• Perangkat Virtualisasi: VS (virtualisasi 1:16), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
• Virtualisasi Jaringan: M-LAG, TRILL, VXLAN dan VXLAN bridging, QinQ di VXLAN, EVN (Ethernet Virtual Network);
• Dimulai dengan VRP V2, dukungan EVPN disertakan.
• M-LAG - analog vPC (virtual Port Channel) di Cisco Nexus;
• Virtual Spanning Tree Protocol (VSTP) - Kompatibel dengan Cisco PVST.

CE12804


CE12808

Perangkat lunak

Dalam proyek kami menggunakan:

• konverter file konfigurasi firewall vendor lain ke dalam format perintah untuk peralatan baru;
• skrip berpemilik untuk mengoptimalkan dan mengonversi konfigurasi firewall.

Penampilan konverter untuk mengkonversi file konfigurasi

Skema organisasi komunikasi antara pusat data (EVPN VXLAN)

Nuansa pengaturan peralatan

CE12808

• EVPN (standar) alih-alih EVN (hak milik Huawei) untuk komunikasi antara pusat data:
  
  ○ L2 di atas L3 menggunakan iBGP di bidang Kontrol;
  ○ Pelatihan MAC dan pengumuman mereka melalui keluarga iBGP EVPN (rute MAC, tipe 2);
  ○ pembangunan otomatis terowongan VXLAN untuk siaran / lalu lintas unicast yang tidak dikenal (Rute Multicast Inklusif, tipe 3).
• Dua mode pembagian pada VS:
  
  ○ berdasarkan port (port-mode port) atau berdasarkan ASIC (grup-port mode, tampilan port-peta perangkat);
  Interface antarmuka dimensi pemisahan port 40GE HANYA bekerja di Admin VS (terlepas dari mode port).

USG9560

• kemungkinan membagi menjadi VSYS,
• routing dinamis tidak mungkin antara VSYS dan rute bocor!

CE12804

Semua GW Aktif (VRRP Master / Master / Master) dengan filter MAC VRRP antara pusat data

acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit

interface Eth-Trunk1
traffic-filter acl 4000 outbound

Skema interaksi sumber daya antara pusat data (VXLAN EVPN dan All Active GW)

Tantangan Proyek

Kesulitan utama adalah kebutuhan untuk memesan aplikasi yang ada menggunakan infrastruktur komputasi. Pelanggan memiliki lebih dari 100 aplikasi yang berbeda, beberapa di antaranya ditulis hampir 10 tahun yang lalu. Misalnya, jika untuk Yandex Anda dapat dengan mudah mematikan beberapa ratus mesin virtual tanpa membahayakan pengguna akhir, maka di Russian Post, pendekatan ini akan memerlukan pengembangan sejumlah aplikasi dari awal dan perubahan dalam arsitektur sistem informasi perusahaan. Kami memecahkan masalah yang timbul dalam proses migrasi dan optimalisasi pada tahap audit gabungan infrastruktur komputasi. Semua teknologi jaringan baru untuk perusahaan (seperti EVPN) telah diuji sebelumnya di laboratorium.

Ringkasan Proyek

Tim proyek termasuk spesialis dari LANIT-Integration , pelanggan dan mitranya dalam pengoperasian infrastruktur komputasi. Tim dukungan khusus dari vendor (Check Point dan Huawei) juga dibentuk. Proyek ini memakan waktu dua tahun. Inilah yang telah dilakukan selama ini.

• Strategi untuk pengembangan jaringan pusat data, jaringan data perusahaan (DSP) dan lingkaran antara pusat data dikembangkan dan disepakati dengan semua departemen pelanggan.
• Ketersediaan layanan telah meningkat. Ini dicatat oleh bisnis pelanggan dan menyebabkan pertumbuhan lalu lintas yang lebih besar karena pengenalan layanan baru.
• Lebih dari 40.000 aturan telah dimigrasikan dan dioptimalkan dari FWSM / ASA ke USG 9560. Konteks ASA yang berbeda pada UGG 9560 digabungkan menjadi satu kebijakan keamanan.
• Throughput port pusat data meningkat dari 1G menjadi 10 / 40G melalui penggunaan CE12800 / CE6850. Ini menghilangkan kemacetan antarmuka dan kehilangan paket.
  
• Router kelas carrier NE40E-X8 sepenuhnya mencakup kebutuhan pusat data pelanggan dan KSPD dengan mempertimbangkan pengembangan bisnis di masa depan.
• Delapan Permintaan Fitur baru diminta untuk USG 9560. Dari jumlah tersebut, tujuh telah diimplementasikan dan termasuk dalam versi VRP saat ini. 1 FR - dijual di R&D Huawei. Ini adalah kelompok delapan sasis dengan kemampuan untuk mengkonfigurasi fungsionalitas yang diperlukan untuk menyinkronkan konfigurasi tanpa menyinkronkan sesi. Diperlukan jika penundaan lalu lintas ke salah satu pusat data terlalu besar (Adler - Moskow 1.300 km di jalan raya utama dan 2800 km di jalan raya cadangan).

Proyek ini tidak memiliki analog dibandingkan dengan perusahaan pos Rusia lainnya.

Modernisasi infrastruktur jaringan data center telah membuka peluang baru bagi perusahaan untuk mengembangkan layanan digital.

• Menyediakan akun pribadi dan aplikasi seluler untuk individu dan badan hukum.
• Integrasi dengan toko elektronik untuk menyediakan layanan pengiriman barang.
• Pemenuhan - penyimpanan barang, pembentukan dan pengiriman pesanan toko elektronik.
• Perluasan tempat pengiriman pesanan, termasuk menggunakan jaringan afiliasi.
• Alur kerja yang signifikan secara hukum dengan rekanan. Ini akan memungkinkan Anda untuk meninggalkan transfer dokumen kertas yang lambat dan mahal.
• Penerimaan surat terdaftar dalam bentuk elektronik dengan pengiriman baik dalam bentuk elektronik dan kertas (dengan segel pengiriman sedekat mungkin dengan penerima akhir). Layanan surat elektronik terdaftar di portal layanan publik.
• Platform untuk penyediaan layanan telemedicine.
• Penerimaan yang disederhanakan dan penyederhanaan pengiriman surat terdaftar menggunakan tanda tangan elektronik sederhana.
• Digitalisasi jaringan kantor pos.
• Memproses layanan mandiri (terminal dan kantor pos).
• Pembuatan platform digital untuk mengelola layanan kurir dan aplikasi seluler baru untuk pelanggan layanan kurir.