Di Awal ...
Pada awal 2000-an, pemain asing memasuki pasar otomatisasi perusahaan telekomunikasi di Rusia. Sistem vendor Barat sangat mahal dan tidak dapat diakses tidak hanya untuk pasar rata-rata, tetapi juga untuk sebagian besar perusahaan besar. Solusi domestik pada waktu itu kurang maju, tetapi pada saat itu diperlukan untuk mengadopsi pengalaman dan menciptakan sistem yang tidak kalah dengan rekan-rekan Barat.
Kami ingin menjadi sekeren dan secanggih teknologi seperti vendor Barat, tetapi lebih universal dan terjangkau untuk bisnis skala menengah, sehingga muncul ide untuk menciptakan perusahaan baru yang dapat mengatasi tugas ini. Itu terdaftar pada Desember 2005. Tulang punggung tim terdiri dari imigran dari vendor penagihan dan integrator terkemuka pada periode itu.
Tim pertama hanya memiliki 6 orang. Tidak ada spesialisasi yang kaku, semua orang terlibat dalam tugas terkait. Kami mengangkat tim pelaksana, menyelesaikan tidak lebih dari 1-2 proyek sekaligus. Satu proyek pada waktu itu bisa bertahan setahun, saya harus menambahkan banyak fungsi.
Kami mengembangkan inti dari sistem BSS, mulai menyimpulkan kontrak dengan pelanggan dan memperluas fungsionalitasnya. Lini produk kami sudah mulai tumbuh. Kemudian mereka mulai berurusan dengan komponen OSS untuk berinteraksi dengan peralatan jaringan dan sistem eksternal.
Arsitektur Server Klien dan Antarmuka Web
Awalnya, kami mengandalkan arsitektur client-server dan antarmuka web. Sebelum itu, kami harus memperkenalkan tagihan dalam dan luar negeri, jadi perbandingannya sangat jelas. Untuk memahami, kami memulai pengembangan saluran pada tahun 2005, dan bagi sebagian besar pesaing kode ini ditulis kembali pada akhir tahun 90-an, ini memberi kami sejumlah keuntungan.
Beban penagihan di antara pelanggan tumbuh. Kami telah berada di pasar selama beberapa tahun dan kepercayaan dari pelanggan potensial kami telah membawa kami ke jaringan yang semakin besar. Seorang klien datang dengan sejuta pelanggan dan bagi kami tampaknya kami bekerja lambat, kami membutuhkan lebih cepat. Kami terlibat dalam optimasi. Pelanggan datang dengan 5 juta pelanggan - situasinya diulang, sekali lagi mereka duduk untuk optimasi. Pengembangan terus menerus.
Kami memiliki artikel tentang kegunaan antarmuka -
"Antarmuka untuk layanan cloud di segmen B2B: antara keindahan dan utilitas" - baca jika topik ini menarik.
Pusat data sendiri
Besi untuk pengembangan awalnya berdiri di kantor perusahaan, tanpa ruang khusus. 5-7 server pada tahap awal - unit sistem biasa.
Setahun setelah dimulainya pekerjaan, kami mulai memulihkan ketertiban. Insinyur sistem dipindahkan ke ruang terpisah, dan mulai melengkapinya. Hasilnya adalah ruang server kantor kecil.
Perusahaan tumbuh, server tumbuh bersamanya. Ada perangkat keras server normal. Kami berganti kantor dan ruang server pindah bersama kami. Setiap kali, sebuah ruangan dialokasikan di kantor baru, dilengkapi dengan itu, disuplai dengan daya, ventilasi, mengorganisir sistem pemadam kebakaran, memasang pendingin udara industri. Dalam mode ini, kami hidup selama 7 tahun.
Pada 2012 ada langkah lain dan kami beruntung. Kami melaju ke ruangan yang dulu ditempati bank dan sudah ada ruang server yang dilengkapi khusus di sana - ini adalah pertama kalinya kami tidak harus membangunnya sendiri.
Penting bahwa kita tidak pernah menyimpan data pelanggan di pusat data kantor kita. Operator telekomunikasi, pelanggan utama kami, telah cukup mengembangkan layanan TI mereka, memiliki pusat data mereka sendiri, dan pusat komunikasi. Operator telekomunikasi besar harus memiliki tiga loop untuk sistem informasi penting seperti penagihan.
Jadi sebelum "era" pengujian SaaS, cukup mudah untuk melakukan sedekat mungkin dengan data nyata di sirkuit tes operator itu sendiri. Kami melakukan pengujian rilis internal di pusat data kantor kami, lalu menggulungnya ke loop uji operator.
Namun terlepas dari kemampuan pengujian di sirkuit operator, untuk laboratorium lokal kami, kami harus membeli peralatan dan menginstal perangkat lunak sedekat mungkin dengan apa yang digunakan oleh pelanggan kami. Apa yang populer di kalangan operator telekomunikasi, kami membeli jenis peralatan yang sama untuk kami.
Pada waktu yang berbeda, server Supermicro, peralatan HP, DELL dibeli, baru-baru ini HUAWEY dan besi dari produsen dalam negeri. Kami tetap berada dalam arsitektur x86, jadi terkadang vendor paling populer sendiri menyediakan beberapa jenis alat uji. Terkadang, berdasarkan hasil audit, kami membeli test stand. Dari sudut pandang sistem operasi server, kami selalu berorientasi pada Linux.
Perubahan Organisasi
Pada 2008, tim kami telah tumbuh, pada saat itu pemimpin tim berkembang menjadi seorang arsitek sistem, departemen penjualan diciptakan, dukungan, R&D tumbuh. Secara bertahap, kami menjalin kemitraan dengan integrator, mereka juga mulai menjual / mengimplementasikan sistem kami. Kebutuhan akan dukungan dan pelatihan pelanggan dan mitra tumbuh, dan inisiatif bisnis serta gagasan baru untuk memperluas lini produk muncul.
Sekarang kami adalah 70 orang, dalam proses tumbuh dewasa kami telah mengalami 3 perubahan yang cukup besar dalam struktur organisasi, dan beberapa krisis ekonomi. Jajaran produk yang kami tawarkan memungkinkan Anda untuk mengotomatisasi sepenuhnya operator telekomunikasi modern. Sejak 2019, kami telah memasuki pasar internasional dan mempromosikan produk kami bersama dengan integrator asing.
Ceruk Pasar Baru 2.0
5 tahun yang lalu, pertanyaan dari usaha kecil mulai muncul - "solusi Anda bagus, tetapi sulit dan mahal untuk dikirim." Kami mulai berpikir apa yang harus dilakukan dengan permintaan ini. Ditambah lagi, pada saat itu, proyek berbasis SaaS muncul dalam jumlah besar, dan kami memutuskan untuk mengikutinya.
Kami beralasan seperti ini: jika Anda menyederhanakan solusi, menghapus beberapa fungsi, membuatnya mudah dipelajari dan meminimalkan biaya commissioning, maka Anda dapat menjualnya sesuai dengan model berlangganan. Ini akan mengurangi fleksibilitas solusi, tetapi karena skala ekonomis, sekelompok pelanggan tertentu harus direkrut dan mengganti biaya layanan, agar hemat biaya.
Klien SaaS seharusnya adalah pelanggan yang tidak mampu membeli solusi Perusahaan kami, lisensi untuk itu, perangkat lunak server dan perangkat keras. Ya, dan pasar sudah merasa matang untuk produk cloud, bahkan untuk komponen yang sangat penting bagi operator seperti penagihan.
Jadi kita dapat mengatakan bahwa pada tahun 2014-2015 kami menciptakan divisi baru dan mulai bergerak menuju SaaS, sementara secara bersamaan mengimplementasikan proyek percontohan untuk menyediakan akses ke layanan BSS di cloud.
Kami memvirtualisasikan dan mentransfer infrastruktur TI ke pusat data eksternal
Pertama-tama, kami mencoba untuk menyebarkan layanan di pusat data kantor kami, tetapi setelah menerima 2-3 kecelakaan dan keluhan dalam proyek percontohan (terlepas dari kenyataan bahwa listrik dan komunikasi dilindungi secara kualitatif), kami menyadari bahwa untuk alasan di luar kendali kami, kami masih Kami dapat memastikan kualitas SaaS yang dinyatakan.
Bekerja dengan pangkalan tempur pelanggan dan mempertahankannya di fasilitas kami adalah tanggung jawab yang tinggi untuk kesinambungan pekerjaan dan ketersediaan layanan. Perbedaan dalam persyaratan yang kami buat untuk keandalan laboratorium, lingkungan pengujian, dan layanan internal kami sangat besar. Anda tidak dapat bekerja dan memenuhi persyaratan SLA di depan klien jika ada pembangun yang menginterupsi optik di dekat gedung atau ada gangguan listrik - karyawan klien tidak dapat memasuki sistem informasi, downtime dan denda terjadi, risikonya terlalu tinggi.
Plus, pada tahun 2014, kapasitas pusat data kami sendiri di kantor menjadi tidak cukup bagi kami. Investasi modal lain diperlukan dalam peningkatan perangkat keras untuk melakukan pengujian beban sistem berkinerja tinggi yang termasuk dalam lini produk, melakukan pengembangan paralel beberapa produk, menyediakan lingkungan uji untuk rilis yang berbeda, mempertahankan operasi normal dari layanan terkait - bugtracker, layanan meja, dll.
Pertama, kami pindah ke pusat data, di mana kami dijanjikan bahwa sertifikasi menurut Tier III akan dilakukan dalam waktu dekat, mereka memberi kami surat jaminan. Untuk uang, tawaran itu menarik, dan kami sepakat.
Kami menyewa tempat di pusat data, mengirimkan rak dan server kami, yang terhubung ke infrastruktur. Transfer dilakukan dengan layanan dihentikan, pelanggan diperingatkan sebelumnya, waktu muat minimum dipilih, dan mereka segera diangkut pada malam hari. Pertama-tama, semua layanan komersial dibawa ke pusat data untuk memastikan keandalan maksimum bagi pelanggan, dan kemudian bagian dari infrastruktur internal mereka.
Sayangnya, harapan itu tidak sepenuhnya terwujud - selama hampir dua tahun berada di pusat data eksternal pertama kami, sertifikasi untuk pusat data Tier III tidak diterima, dan kami mengalami 4 kecelakaan dalam 2 tahun. Karena itu, kami memutuskan untuk mengubah pusat data.
Kami mencari pusat data bersertifikat Tier III modern dan memulai kembali prosedur relokasi berdasarkan pengalaman sebelumnya. Saya menyukai layanan tambahan dari pusat data untuk bergerak - bantuan dengan kendaraan khusus untuk mengangkut rak server, penggerak, kesediaan untuk menyediakan akses ke ruang mesin selama jam-jam setelah jam kerja. Kali ini, kualitas layanan berada pada level yang baik. Selama beberapa tahun bekerja di pusat data baru ini, tidak ada kecelakaan serius, yang membuat kami bahagia dan memungkinkan kami untuk secara tak terputus memberi pelanggan akses ke solusi SaaS kami.
Perbandingan sederhana tanpa melihat peralatan khusus - gedung untuk pusat data kami sendiri di kantor harganya lebih murah daripada menyewa jumlah rak yang sama di pusat data. Faktanya, biaya menempatkan dan menyewa cloud di pusat data lebih mahal daripada pusat data kantor "buatan sendiri", tetapi keandalannya lebih tinggi dari itu. Sekarang harga relatif di pusat data telah menurun karena meningkatnya persaingan dan keseimbangan pengeluaran secara bertahap bergeser.
Pusat data virtual untuk penagihan SaaS kami
Setelah pindah ke pusat data Tier III, kami mulai meningkatkan kapasitas pusat data virtual kami karena jumlah klien korporat yang bermigrasi ke infrastruktur virtual dan munculnya klien baru menggunakan cloud kami untuk penagihan host dan sistem PRM meningkat. Biaya pusat data telah sepenuhnya menggantikan investasi dalam infrastruktur TI modal pusat data kantor kami.
Di antara klien korporat, operator MVNO terbesar adalah yang pertama masuk ke cloud kami di pusat data baru. Sekarang di SaaS kami tinggal lebih dari 20 perusahaan dengan kapasitas dasar sekitar 500 ribu pelanggan.
Dari sudut pandang pengujian ide bisnis baru, cloud pusat data sangat mudah - Anda dapat meningkatkan kapasitas selama beberapa bulan atau mengatur lingkungan virtual yang terpisah. Kami menguji, jika tidak, maka cukup mengurangi prototipe bisnis, memutar kembali perubahan dan menolak kapasitas tambahan. Hal yang sama dengan stress testing - kami mengambil kapasitas besar untuk disewa dalam waktu singkat dan bersukacita. Tidak perlu mengeluarkan biaya modal untuk pembelian peralatan.
Kami saat ini disertifikasi untuk membangun penagihan di jaringan hingga 25.000.000 nomor / pelanggan. Kami menyebarkan bagian server di lingkungan Linux / UNIX pada arsitektur x86. Bagian klien dapat digunakan pada OS modern apa pun, tempat browser web modern populer diluncurkan. Basis data dapat digunakan oleh Oracle dan PostgreSQL.
Secara alami, beban dapat sangat bervariasi tergantung pada fungsi. Dalam kehidupan, Anda perlu meletakkan cadangan, fokus pada beban puncak, meningkatkan kapasitas karena perhitungan menjadi lebih rumit dan volume data yang diproses dari peralatan meningkat. Dalam situasi di mana dinamika kuat untuk mengubah jumlah pelanggan ke atas (misalnya, akuisisi dan penyerapan operator lain) dimungkinkan, peluang untuk menggunakan fleksibilitas pusat data modern terlihat menguntungkan.
Cara kami bekerja sekarang dan saran untuk pindah ke pusat data eksternal
Sebelumnya, spesialis TI memilih penagihan saat membeli, sekarang bisnis, pemasar, penjual lebih sering terlibat dalam hal ini, dan TI terlibat dalam dukungan dan pemeliharaan, dengan kontrol minimal, agar tidak membuang sampah. Dan kriteria pemilihan oleh spesialis dan pemasar TI sangat berbeda, termasuk dalam hal persepsi visual dari sistem informasi.
Versi platform kami saat ini adalah 3.2. Versi pertama adalah pada 2005-2006. Yang kedua adalah 2006-2014. Yang ketiga - sejak 2014. Kami mencoba untuk tidak terjebak dalam usangnya solusi teknologi - kami memperbarui pengembangan dan alat evaluasi yang digunakan, kami terus-menerus memperbarui antarmuka web. Jika perlu, kami memperluas tumpukan teknologi yang digunakan. Dalam hal solusi, Tarantool, PostgreSQL, Hazelcast sekarang digunakan. Dan kami terus mencari perspektif baru. Ini membebankan sejumlah persyaratan pada peralatan yang digunakan dan kemungkinan konfigurasi ulang yang fleksibel.
Saat ini, kami dapat merekomendasikan perusahaan besar untuk memperhatikan skema hybrid, ketika server fisik dan cloud pusat data terlibat. Sebagai contoh, segala sesuatu yang berhubungan dengan basis data berjalan pada peralatan khusus yang khusus, dan proses paralelisasi dan virtualisasi ditransfer ke cloud pusat data.
Reservasi geo merupakan persyaratan wajib bagi operator besar. Sekarang, untuk beberapa pelanggan kami, kami mendukung bekerja dengan tiga pusat data di berbagai bagian negara besar kami. Pendekatan ini memungkinkan kami untuk memberikan klien dengan toleransi kesalahan maksimum dari layanan yang dipilih oleh klien.
Menurut pendapat kami, pusat data modern yang baik berbeda dari yang rata-rata karena dapat bekerja dengan cloud hybrid dan responsif teknis yang baik. Insinyur dari pusat data yang baik siap untuk mengetahui bagaimana perangkat lunak akan bekerja dengan cloud mereka. Masalahnya, sebagai suatu peraturan, dimanifestasikan di bawah beban yang tinggi, dalam praktik kami, tim gabungan yang dibentuk dari spesialis dan insinyur pusat data kami mengungkapkan anomali menarik yang terkait dengan penggunaan jenis peralatan tertentu dan beberapa versi OS di cloud.
Tanpa interaksi dengan insinyur pusat data, seringkali sangat sulit untuk memahami mengapa mungkin ada penurunan kinerja atau perilaku abnormal produk di cloud yang diberikan.
Variasi momen halus yang sulit diprediksi sangat besar. Kemampuan insinyur pusat data untuk menavigasi situasi dengan cepat dan membantu tim kami memahami di mana masalahnya adalah parameter yang sangat penting untuk memilih pusat data, setidaknya untuk perusahaan teknologi seperti kami. Jadi ketika pindah ke cloud, Anda harus menguji sistem Anda, melihat cara kerjanya di bawah beban, mengidentifikasi perbedaan dari operasinya pada peralatan Anda dan memahami alasannya, menjalin interaksi dengan spesialis pusat data.
Jika Anda ingin berbagi cerita tentang mentransfer infrastruktur Anda ke lingkungan virtual, berapa biaya yang harus Anda keluarkan, sistem atau persyaratan spesifik apa yang dimiliki perangkat lunak / layanan Anda dan bagaimana mereka selamat dari migrasi ke pusat data eksternal - selamat datang untuk berkomentar. Selalu menarik bagaimana orang lain memecahkan masalah yang sama :)