Pada 2008, BigData adalah istilah baru dan tren mode. Pada tahun 2019, BigData adalah objek penjualan, sumber keuntungan dan kesempatan untuk tagihan baru.
Musim gugur yang lalu, pemerintah Rusia memprakarsai undang-undang untuk mengatur data besar. Dilarang mengidentifikasi orang berdasarkan informasi, tetapi diizinkan melakukannya atas permintaan otoritas federal. Memproses BigData untuk pihak ketiga - hanya setelah pemberitahuan dari Roskomnadzor. Perusahaan yang memiliki lebih dari 100 ribu alamat jaringan berada di bawah hukum. Dan, tentu saja, di mana tanpa pendaftar - itu seharusnya membuat satu dengan daftar operator basis data. Dan jika sebelum BigData ini tidak dianggap serius oleh semua orang, sekarang harus diperhitungkan.
Saya tidak dapat mengabaikan database dan saya, sebagai direktur perusahaan pengembang penagihan yang memproses BigData yang sama ini. Saya akan memikirkan data besar melalui prisma operator telekomunikasi, yang melalui sistem penagihannya arus informasi harian tentang ribuan pelanggan.
Teorema
Mari kita mulai, seperti dalam masalah matematika: pertama, kami membuktikan bahwa data operator komunikasi dapat disebut BigDat. Data yang besar dan standar dicirikan oleh tiga tanda VVV, meskipun dalam interpretasi gratis jumlah "V" mencapai tujuh.
Volume MVNO Rostelecom sendiri melayani lebih dari satu juta pelanggan. Operator tuan rumah utama memproses data dari 44 hingga 78 juta orang. Lalu lintas tumbuh setiap detik: untuk kuartal pertama 2019, pelanggan telah menerima 3,3 miliar GB dari ponsel.
Kecepatan Tidak ada yang bisa memberi tahu dinamika itu lebih baik daripada statistik, jadi saya akan memeriksa prakiraan Cisco. Pada 2021, 20% lalu lintas IP akan menuju lalu lintas seluler - akan tumbuh hampir tiga kali dalam lima tahun. Sepertiga koneksi seluler akan menggunakan M2M - pengembangan IoT akan menghasilkan peningkatan koneksi enam kali lipat. Internet akan menjadi sesuatu yang tidak hanya menguntungkan, tetapi juga memakan sumber daya, sehingga beberapa operator hanya akan fokus pada hal itu. Dan mereka yang mengembangkan IoT sebagai layanan terpisah akan menerima lalu lintas ganda.
Berbagai Keragaman adalah konsep subjektif, tetapi operator telekomunikasi benar-benar mengetahui hampir semua hal tentang pelanggan mereka. Dari nama dan data paspor ke model telepon, pembelian, tempat yang dikunjungi dan minat. File media di bawah hukum Spring disimpan selama enam bulan. Jadi mari kita anggap sebagai aksioma bahwa data yang dikumpulkan beragam.
Perangkat Lunak dan Metodologi
Penyedia adalah salah satu konsumen utama BigData, sehingga sebagian besar teknik analisis data besar berlaku untuk industri telekomunikasi. Pertanyaan lain adalah siapa yang mau berinvestasi dalam pengembangan ML, AI, Deep Learning, berinvestasi di pusat data dan data mining. Pekerjaan penuh dengan database terdiri dari infrastruktur dan tim, biaya yang tidak semua orang mampu. Bertaruh pada BigData membebani perusahaan yang sudah memiliki repositori perusahaan atau sedang mengembangkan metodologi Tata Kelola Data. Bagi mereka yang tidak siap untuk investasi jangka panjang, saya menyarankan Anda untuk secara bertahap membangun arsitektur perangkat lunak dan menempatkan komponen pada gilirannya. Modul berat dan Hadoop dapat dibiarkan pada akhirnya. Hanya sedikit orang yang membeli solusi siap pakai untuk tugas-tugas seperti Kualitas Data dan Penambangan Data, terutama perusahaan yang menyesuaikan sistem dengan spesifikasi dan kebutuhan mereka - baik sendiri atau dengan bantuan pengembang.
Tetapi tidak setiap penagihan dapat dimodifikasi agar berfungsi dengan BigData. Sebaliknya, tidak hanya semua orang dapat memodifikasi. Sedikit yang bisa melakukan ini.
Tiga tanda bahwa sistem penagihan memiliki peluang untuk menjadi alat pemrosesan basis data:
- Skalabilitas horisontal. Perangkat lunak harus fleksibel - kita berbicara tentang data besar. Peningkatan jumlah informasi harus diperlakukan dengan peningkatan proporsional dalam "zat besi" dalam cluster.
- Toleransi kesalahan. Sistem prabayar yang serius biasanya toleran terhadap kesalahan secara default: penagihan digunakan dalam satu cluster di beberapa geolokasi, sehingga mereka secara otomatis saling mengasuransikan. Komputer di gugus Hadoop juga harus memadai jika satu atau lebih dari mereka rusak.
- Lokalitas. Data harus disimpan dan diproses di server yang sama, jika tidak, Anda bisa bangkrut saat transfer data. Salah satu skema pendekatan Map-Reduce yang populer: toko HDFS, proses Spark. Idealnya, perangkat lunak harus berintegrasi dengan mulus ke dalam infrastruktur pusat data dan dapat melakukan tiga dalam satu: mengumpulkan, mengatur, dan menganalisis informasi.
Tim
Apa, bagaimana, dan untuk tujuan apa program akan memproses data besar - tim memutuskan. Seringkali terdiri dari satu orang - seorang ilmuwan data. Meskipun, menurut pendapat saya, paket minimum karyawan untuk BigData termasuk manajer Produk, Insinyur Data, dan manajer. Yang pertama mengerti layanan, menerjemahkan bahasa teknis menjadi manusia dan sebaliknya. Insinyur Data menghidupkan model menggunakan Java / Scala dan bereksperimen dengan Machine Learning. Pemimpin berkoordinasi, menetapkan tujuan, mengendalikan tahapan.
Masalahnya
Justru pada bagian dari tim BigData masalah biasanya muncul ketika mengumpulkan dan memproses data. Program perlu menjelaskan apa yang harus dikumpulkan dan bagaimana memprosesnya - untuk menjelaskan ini, Anda harus terlebih dahulu memahaminya sendiri. Dan penyedia tidak begitu sederhana. Saya berbicara tentang masalah menggunakan contoh tugas untuk mengurangi churn pelanggan - itu justru operator telekomunikasi yang mencoba menyelesaikan menggunakan BigData di tempat pertama.
Pernyataan tugas. TK yang ditulis dengan benar dan pemahaman yang berbeda tentang istilah-istilah tersebut adalah rasa sakit selama berabad-abad, tidak hanya bagi pekerja lepas. Bahkan pelanggan yang "jatuh" dapat diartikan dengan cara yang berbeda - tidak menggunakan layanan operator selama sebulan, enam bulan atau setahun. Dan untuk membuat MVP pada data historis, Anda perlu memahami frekuensi pelanggan kembali dari arus keluar - mereka yang mencoba komunikasi operator lain atau meninggalkan kota dan menggunakan nomor yang berbeda. Pertanyaan penting lainnya: berapa lama sebelum keberangkatan yang diharapkan dari pelanggan, penyedia harus menentukan ini dan mengambil tindakan? Selama setengah tahun - awal, selama seminggu - sudah terlambat.
Pergantian konsep. Biasanya, operator mengidentifikasi pelanggan berdasarkan nomor telepon, jadi masuk akal jika tanda-tanda itu harus dibongkar. Bagaimana dengan akun pribadi atau nomor aplikasi layanan? Penting untuk memutuskan unit mana yang harus diambil untuk klien sehingga data dalam sistem operator tidak berbeda. Evaluasi nilai pelanggan juga dipertanyakan - pelanggan mana yang lebih bernilai bagi perusahaan, untuk mempertahankan pengguna mana yang lebih banyak upaya diperlukan, dan mana yang "jatuh" dalam hal apa pun, dan tidak ada gunanya membuang-buang sumber daya pada mereka.
Kurangnya informasi. Tidak semua karyawan penyedia dapat menjelaskan kepada tim BigData apa yang sebenarnya mempengaruhi arus keluar pelanggan dan bagaimana faktor-faktor yang mungkin dalam penagihan dipertimbangkan. Sekalipun Anda menyebutkan salah satunya - ARPU, - ternyata Anda dapat menghitungnya dengan cara yang berbeda: baik dengan pembayaran berkala klien, atau dengan penagihan tagihan otomatis. Dan dalam proses kerja, sejuta pertanyaan lain muncul. Apakah semua pelanggan dicakup oleh model, berapa harga untuk retensi pelanggan, apakah masuk akal untuk memikirkan model-model alternatif, dan apa yang harus dilakukan dengan pelanggan yang secara keliru disimpan secara buatan.
Pengaturan tujuan. Saya tahu tiga jenis kesalahan terkait hasil yang membuat operator kecewa dalam database.
- Penyedia berinvestasi dalam BigData, memproses informasi gigabyte, tetapi menerima hasil yang bisa diperoleh lebih murah. Skema dan model sederhana, analitik primitif digunakan. Biayanya berkali-kali lebih tinggi, tetapi hasilnya sama.
- Operator menerima data multifaset pada output, tetapi tidak mengerti bagaimana menggunakannya. Ada analitik - ini dia, bisa dimengerti dan banyak, dan pengertiannya nol. Hasil akhir, yang tidak dapat terdiri dari tujuan "untuk memproses data", belum dipikirkan. Untuk memproses sedikit - analytics harus menjadi dasar untuk memperbarui proses bisnis.
- Hambatan untuk menggunakan analitik BigData dapat menjadi proses bisnis yang ketinggalan zaman dan perangkat lunak yang tidak sesuai untuk tujuan baru. Jadi, mereka melakukan kesalahan pada tahap persiapan - mereka tidak memikirkan algoritma tindakan dan tahapan memperkenalkan BigData ke dalam pekerjaan.
Mengapa
Berbicara tentang hasilnya. Saya akan membahas metode menggunakan dan memonetisasi BigData, yang sudah digunakan oleh operator telekomunikasi.
Penyedia memprediksi tidak hanya arus keluar pelanggan, tetapi juga beban pada stasiun pangkalan.
- Informasi tentang pergerakan pelanggan, aktivitas, dan layanan frekuensi dianalisis. Hasil: mengurangi kelebihan karena optimasi dan modernisasi bagian infrastruktur yang bermasalah.
- Informasi tentang geolokasi pelanggan dan kepadatan fluks digunakan oleh operator telekomunikasi saat membuka outlet penjualan. Jadi BigData analytics sudah digunakan oleh MTS dan Vimpelcom untuk merencanakan lokasi kantor baru.
- Penyedia memonetisasi data besar mereka sendiri dengan menawarkannya kepada pihak ketiga. Pelanggan utama operator BigData adalah bank komersial. Dengan menggunakan basis data, mereka melacak aktivitas mencurigakan kartu SIM pelanggan, di mana kartu-kartu itu dilampirkan, menggunakan layanan penilaian risiko, verifikasi, dan pemantauan. Dan pada tahun 2017, menurut BigData, pemerintah Moskow meminta Tele2 untuk dinamika pergerakan untuk perencanaan infrastruktur teknis dan transportasi.
- BigData analytics adalah tambang emas untuk pemasar yang dapat membuat kampanye iklan yang dipersonalisasi untuk ribuan grup pelanggan jika mereka mau. Perusahaan telekomunikasi mengumpulkan profil sosial, minat konsumen, dan pola perilaku pelanggan, dan kemudian menggunakan BigData yang dikumpulkan untuk menarik pelanggan baru. Tetapi untuk perencanaan promosi dan PR skala besar, penagihan tidak selalu memiliki fungsi yang cukup: program harus secara bersamaan memperhitungkan banyak faktor secara paralel dengan informasi terperinci tentang pelanggan.
Sementara seseorang masih menganggap BigData sebagai frasa kosong, Big Four sudah menghasilkan uang darinya. Selama enam bulan, MTS menghasilkan 14 miliar rubel dari pemrosesan data besar, sementara Tele2 meningkatkan pendapatan proyeknya sebanyak tiga setengah kali. BigData berubah dari tren menjadi keharusan, di mana seluruh struktur operator telekomunikasi akan dibangun kembali.