Halo teman-teman.
Hari ini saya ingin berbagi kisah nyata tentang bagaimana penyimpanan DWH diatur di Tele2 sebelum pengenalan QCD (EDW).
Saya memasuki departemen TI Tele2 pada 2012 di departemen sistem pelaporan. Pada saat itu, repositori DWH sudah dibuat di perusahaan, di mana banyak proses pelaporan dan banyak lagi sudah berputar.
Sedikit tentang tumpukan teknis yang digunakan di sana pada waktu itu. Untuk penyimpanan, database Oracle digunakan dengan kapasitas 60-100 Tb T4-4 server dengan 1 TB operatif. Data dari berbagai sumber diunduh di sana. Tetapi yang utama adalah 4 basis penagihan Oracle, yang pada dasarnya adalah platform pengisian daya. Dan ada departemen yang terlibat dalam mendukung database ini dan menyediakan layanan. Pemisahan pangkalan-pangkalan ini adalah dengan wilayah makro. Alasan: volume terlalu besar. Yaitu, jika pelanggan menelepon, katakanlah, dari kartu SIM Moskow, maka biaya panggilan dihitung dalam penagihan yang sesuai.
Perangkat keras kelas atas selalu mengarah ke basis data penagihan, dan sumber daya dialokasikan ke sistem yang tersisa sesuai dengan prinsip residual. Biasanya untuk DWH server selalu sedikit lebih lemah. Yaitu penagihan memiliki perangkat T5-4, kemudian DWH memiliki bagian T4-4.
Tetapi sumber daya ini selalu cukup untuk mencakup tugas saat ini dan membatasi pelaporan. Data dari penagihan diunduh melalui tautan DB. Proses ETL klasik dibuat ketika unduhan data malam terjadi dengan konversi kecil (misalnya, menambahkan kunci pengganti). ETL terdiri dari 2 jenis: muatan penuh untuk volume kecil dan tambahan untuk tabel besar seperti, misalnya, detail panggilan, biaya, pembayaran, dll. Ada juga sumber besar seperti file teks yang mengunduh informasi panggilan dan lalu lintas Internet dari sakelar dan stasiun pangkalan. Data diunduh sebagai file teks menggunakan loader loader oracle sql. Peningkatan ke pangkalan biasanya 10-20 GB per hari.
Mempartisi tabel, indeks, mengoptimalkan rencana kueri, mengisyaratkan DWH harus digunakan terus-menerus. Tidak ada hari tanpa sesi gantung atau bermain lama di mana perlu naik ke rencana permintaan.
Struktur penyimpanan DWH di Tele2 sebelum pengenalan EDW.
Juga, salah satu tugas utama DWH adalah menghasilkan laporan keuangan bulanan (ETF). Itu dianggap di server DWH selama 4 hari penuh karena volume besar. Untuk membayangkan apa itu, saya akan mengatakan bahwa ini adalah paket Oracle 5 ribu baris kode PL / SQL dengan logika hiasan yang rumit dan semua ini diminimalkan dalam dinamika. Dan kemudian laporan tersebut diunggah ke FTP atau ke jaringan berbagi dalam bentuk file CSV. Dan semua ini tanpa menggunakan solusi kotak. Yaitu fungsionalitas yang ditulis tangan, dioptimalkan, dan otomatis selama bertahun-tahun.
Tetapi database DWH digunakan tidak hanya untuk menyediakan pelaporan rutin, tetapi juga sebagai penyimpanan operasional. Sebagai contoh, ini berkisar pada proses memberikan informasi yang berbeda kepada pelanggan dari akun pribadi di situs web Tele2.
Perlu disebutkan secara terpisah tentang sistem Oracle Application Express (APEX), yang memiliki tempat khusus untuk pelaporan. APEX adalah lingkungan untuk pengembangan antarmuka WEB yang cepat, baik untuk pelaporan atau untuk mengatur proses bisnis. Di atasnya dibuat, dengan tangan, fungsi tertulis "Unggah laporan", di mana pengguna dapat membuat laporan untuk diri mereka sendiri. Yaitu seseorang masuk, memilih satu set bidang untuk laporannya, jika diinginkan, ia dapat menarik sumber sebagai file excel, dan kemudian ia menerima laporan ke surat dalam bentuk file csv yang diarsipkan. Dan di dalam DWH, sejumlah besar prosedur dan fungsi PL / SQL ditulis yang pada dasarnya merupakan generator skrip bawaan untuk laporan. Selain itu, alat ini sangat populer di perusahaan sehingga lebih dari 8 tahun lebih dari setengah juta laporan dengan berbagai tingkat kepentingan dihasilkan di dalamnya.
APEX juga telah mengembangkan banyak hal menarik lainnya. Misalnya, fungsi tulisan tangan untuk alur kerja dan sistem otomasi pemasaran. Yang pertama, staf mendukung dokumen. Dan kedua, departemen pemasaran mengadakan berbagai acara untuk pelanggan. Misalnya, ia melakukan distribusi SMS massal kepada pelanggan tentang tarif dan layanan baru. Dan semua ini melewati DWH dan ada integrasi dengan saluran SMS.
Plus, beberapa sistem pelaporan seperti Crostal Reports dan IBM Lotus terhubung ke DWH melalui file RPT.
Dalam diagram terlampir di atas, Anda dapat melihat struktur repositori DWH lama dan aliran data untuk 2012. Dengan struktur saat ini, tidak ada hubungannya.
Semua ini kurang lebih berhasil bekerja sampai saat ketika bisnis menyadari bahwa pelaporan tidak lagi cukup dan memutuskan untuk memperkenalkan QCD, sistem BI dan BigData.
Secara umum, ada banyak hal menarik. Mungkin saya akan memikirkan hal ini. Sampai ketemu lagi.