Setahun tanpa Splunk - bagaimana sebuah perusahaan Amerika mengubah pasar untuk analisis data mesin di Rusia dan yang ditinggalkannya

Hampir setahun yang lalu, Splunk meninggal di Rusia. Artikel ini sebagian besar ditinjau. Ini tentang data mesin, ceruk pasar, dan contoh substitusi impor yang terjadi tanpa slogan profil tinggi - hanya karena pasar membutuhkannya. Secara eksklusif - versi penulis tentang alasan Splunk meninggalkan Rusia, tetapi mungkin saja semuanya salah.

Apa itu data mesin?

Meskipun banyak dari kita lebih sering mendengar istilah "Data Besar", kita akan berbicara tentang data mesin, mis. data yang dihasilkan secara digital dari berbagai sumber. Dan itu bukan masalah mempersempit domain, tetapi justru keakuratan definisi.

Data mesin adalah semua data yang dihasilkan oleh perangkat digital. Ini termasuk log dari server perusahaan dan perangkat jaringan, data dari sensor sistem industri dan perangkat IoT, pesan ke email perusahaan, aktivitas di server web, catatan karyawan yang masuk dan keluar dari akun mereka, transaksi keuangan digital, panggilan untuk dukungan perusahaan dan banyak lagi.

Penting bahwa, di antara pesan murni teknis, data mesin berisi sejumlah besar informasi yang mencerminkan proses bisnis organisasi - interaksi bisnis dengan rekanan dan perantara (bank, perusahaan asuransi dan layanan, otoritas pengatur). Statistik aktivitas karyawan dalam jaringan perusahaan dan selama pergerakan fisik di sekitar perusahaan, pergerakan barang di gudang, permintaan dan durasi layanan, dll. - semua ini juga data mesin.

Gagasan selanjutnya adalah: menganalisis data alat berat untuk mengidentifikasi kemacetan sistem dan bisnis TI, mengoptimalkan kualitas layanan pelanggan, menemukan kerentanan dalam keamanan informasi perusahaan dan jejak penipu.

Kompleksitas menggunakan data mesin terletak pada kenyataan bahwa mereka disajikan dalam jumlah format yang luar biasa.

Idenya benar, tetapi sulit diimplementasikan. Kompleksitas menggunakan data mesin terletak pada kenyataan bahwa mereka disajikan dalam jumlah format yang luar biasa, dan alat pemantauan dan analisis tradisional tidak dirancang untuk variasi, kecepatan penerimaan, volume atau variabilitas data ini.

Dimulai dengan sistem SIEM dan intelijen bisnis, dan berakhir dengan solusi Splunk.

Ketika 10 tahun yang lalu studi tentang penerapan data mesin dimulai, solusi perangkat lunak untuk pemrosesan dan analisis mereka mulai muncul di pasar. Dalam upaya menciptakan alat terbaik di kelas mereka, pengembang mulai mempersempit area subjek analisis data mesin.

Jadi muncul dan mencapai tingkat kematangan sistem SIEM (Informasi Keamanan dan Manajemen Acara) yang tinggi. Ini adalah produk perangkat lunak di bidang keamanan informasi (IS). Mereka memantau sistem informasi secara real time, mengumpulkan dan menganalisis data mesin yang terkait dengan keamanan informasi. Ruang lingkup sistem SIEM meliputi server, perangkat jaringan, sensor, perangkat desktop dan seluler, alat keamanan informasi, sistem dan infrastruktur aplikasi.

Cabang lain dari analisis data mesin telah menjadi sistem pemantauan infrastruktur TI. Ketiga - sistem intelijen bisnis (BI, Business intelligence), menganalisis proses bisnis berdasarkan serangkaian data yang terkait dengan aktivitas bisnis perusahaan.

Apa yang baik - kesuksesan signifikan telah dicapai di masing-masing cabang analisis data mesin yang terdaftar, dan solusi serta produk yang layak telah diperkenalkan ke pasar. Apa yang tidak begitu hebat - integrasi sistem heterogen untuk memantau infrastruktur TI, merekam dan mencegah insiden keamanan informasi dan menganalisis proses bisnis telah terbukti menjadi masalah yang agak rumit, kadang-kadang mengingatkan pada "melintasi landak dan ular".

Ketika masalah ini diakui oleh pasar, berbagai vendor mengarahkan upaya pengembang mereka untuk membuat sistem analisis data mesin universal. Yaitu, sistem yang sendirian akan dapat menjawab pertanyaan CIO - “Mengapa saya memiliki server yang tidak rata”, dan pertanyaan CEO - “Manakah dari proses bisnis perusahaan yang membawa kita pada laba, dan yang mengarah pada kebangkrutan”.

Secara umum, pasar setuju bahwa solusi universal paling sukses untuk analisis data mesin diusulkan oleh perusahaan Amerika Splunk.

Kebetulan bahwa solusi universal paling sukses untuk menganalisis data mesin diusulkan oleh perusahaan Amerika Splunk. Sementara Splunk memiliki pesaing seperti IBM, Perangkat Lunak BMC, Microsoft, Perangkat Lunak Quest, serta opsi untuk menerapkan analitik pada tumpukan ELK open-source. Tapi itu solusi Splunk yang menjadi pemimpin pasar. Splunk Enterprise - Produk dengan fungsi terluas telah menjadi standar industri de facto untuk sistem analisis data alat berat terintegrasi untuk perusahaan besar.

Pasar menerima produk Splunk, pertama-tama, untuk kombinasi yang sangat baik dari kemudahan pemasangan, fleksibilitas konfigurasi dan berbagai alat analitik. Splunk memiliki ekosistemnya sendiri yang disebut Splunkbase . Di sini, pengembang dan pelanggan dari komunitas Splunk memposting berbagai add-on, add-on teknologi, dan aplikasi yang menyelesaikan berbagai tugas. Misalnya, Anda dapat mengunduh aplikasi di sana, salah satunya mengumpulkan log dari perangkat Cisco, dan yang kedua dari perangkat jaringan pabrikan lain, dll. Interaksi ini bermanfaat bagi pengembang dan pelanggan.


Tampilan umum layar Splunkbase. Sumber: Splunk


Close-up adalah contoh dari add-on dan aplikasi di Splunkbase. Jumlah unduhan diindikasikan sebagai metrik popularitas. Sumber: Splunk

Jika Anda mempelajari sedikit ke dalam ekosistem Splunkbase, Anda dapat mengklarifikasi perbedaan - aplikasi berbeda dari add-on di mana aplikasi memiliki antarmuka grafis. Ini adalah panel visual, dasbor (cepat), formulir, diagram yang memungkinkan Anda melihat analitik pada pertanyaan yang ditujukan ke sistem dalam antarmuka grafis. Pengguna dapat membangun pencarian dan analisis pada berbagai parameter, menggali sebanyak mungkin ke dalam slot waktu peristiwa untuk mengidentifikasi penyebab dari apa yang terjadi.

Sejarah Splunk di Rusia cerah, tetapi berumur pendek

Sebuah produk yang begitu kaya fungsinya karena Splunk tidak dapat mengalihkan perhatian CIO dari perusahaan-perusahaan besar Rusia. Memang, semakin besar perusahaan, semakin sulit untuk mengelola dan mengidentifikasi faktor-faktor yang mempengaruhi kinerja bisnis, stabilitas infrastruktur TI dan alat keamanan informasi.


Presentasi ikhtisar mengenai solusi Splunk Enterprise ( https://www.volgablob.ru/en/solutions/splunk ). Sumber: VolgaBlob

Splunk datang ke Rusia pada pergantian tahun 2013 dan mulai membangun jaringan afiliasi sesuai dengan skema klasik - distributor lisensi (RRC) dan mitra pelaksana (VolgaBlob, TS Solution, Talmer). Mempertimbangkan bahwa biaya lisensi Splunk agak tinggi, dan vendor berfokus pada pelanggan dari bisnis besar (dan mereka semua menghitung), jumlah mitra kecil.

VolgaBlob adalah salah satu mitra pertama yang mulai bekerja dengan solusi Splunk. Pengalaman 10 tahun sebelumnya dalam pengembangan, penyesuaian dan implementasi alat keamanan informasi sangat berguna.

“Kami adalah pemain yang matang di pasar cybersecurity, tetapi Splunk adalah penemuan nyata (!) Bagi kami dan prospek baru yang menarik. Kami mulai mengembangkan keahlian kami di bidang analisis proses bisnis, termasuk di antarmuka dengan keamanan informasi, untuk membangun set konektor teknis dan aplikasi kami di ekosistem Splunk dan untuk menawarkan semuanya dalam kerangka kasus pengguna jadi khusus untuk perusahaan di tingkat federal, ” Alexander membagikan kesan-kesannya Skakunov , CEO VolgaBlob.

Pada 2018, di mana jumlah proyek terbesar berdasarkan Splunk Enterprise di Rusia selesai, jumlah klien yang menggunakan Splunk termasuk merek-merek seperti Rosneft dan SUEK, Sberbank dan Tinkoff Bank, MTS, Moscow Exchange dan Megafon. Puncak acara - Pada 0 Oktober 2018, konferensi Splunk Discovery Day Moscow 2018 mengesankan dalam hal jumlah peserta dan tingkat laporan. Aula penuh dan CIO dari banyak perusahaan. Yang mana dari para peserta kemudian dapat menyarankan bahwa hanya dalam 3 bulan pasar akan memiliki suasana hati yang sangat berbeda.


Foto dari konferensi Hari Penemuan Splunk Moskow 2018. Sumber: avleonov.com

Pada 19 Februari 2019, Splunk mengumumkan pintu keluar darurat dari pasar Rusia secara tak terduga untuk komunitas IT kami. Mitra dan klien yang tetap bingung hanya bisa membaca siaran pers yang tidak jelas di situs web vendor . Di dalamnya, penarikan dari Rusia samar-samar dijelaskan oleh "alasan investasi." Semua upaya oleh mitra untuk mendapatkan penjelasan yang lebih jelas telah sia-sia.

Sensasi yang tidak menyenangkan dialami tidak hanya oleh mitra Splunk, tetapi juga oleh pelanggan yang tiba-tiba dinonaktifkan akses ke akun mereka. Ketika setelah beberapa hari gairahnya sedikit tenang ( lihat detail tentang Habré ), Splunk mengatakan bahwa pelanggan dengan lisensi yang valid dapat menggunakan akun mereka hingga lisensi berakhir, dan mitra dapat terus melayani mereka dengan risiko sendiri, tetapi tanpa bantuan dari penjual

Versi penulis tentang Splunk meninggalkan Rusia, tetapi mungkin saja semuanya salah

Di bagian ini, kita akan memiliki antihero, bahkan ada dua di antaranya, dan keduanya Splunk adalah Doug Merritt (CEO) dan Carrie Palin (CMO, Direktur Pemasaran).

Perusahaan publik Amerika memiliki bagian yang luar biasa dari situs di mana mereka berkewajiban untuk mengungkapkan kepada investor situasi tentang urusan mereka. Di sini Anda dapat menemukan yang berikut: 19/02/2019, ketika Splunk (SPLK, NASDAQ) menerbitkan rilis tentang meninggalkan Rusia, itu adalah hari kerja pertama Carrie Palin, CMO - ia hanya disewa. Tetapi keputusan untuk meninggalkan Rusia mungkin dibuat sedikit lebih awal. Kemungkinan besar, ada konsultasi dengannya, negosiasi sebelum hari kerja resmi pertama dan pengurangan biaya untuk meninggalkan Rusia adalah usulannya tentang "ide-ide pemasaran baru", seperti kebiasaan dalam wawancara dengan manajer puncak.

CEO, Doug Merritt, ada kemungkinan bahwa ide itu disetujui, dan CFO (direktur keuangan) Splunk, yang sedang menyelesaikan irama pada saat itu dan meninggalkan perusahaan, tampaknya tidak keberatan (pada Mei 2019 mereka menyewa CFO baru).

Siapa pun yang berinvestasi di pasar Amerika - hal pertama yang harus dilakukan adalah melihatnya - bagaimana reaksi saham Splunk meninggalkan pasar Rusia? Jawabannya adalah tidak, netral (lihat grafik). Penurunan berikutnya dalam saham dari 1 Maret 2019 dikaitkan dengan Cisco - orang dalam dilemparkan bahwa mereka diduga menjualnya, kemudian tidak menjualnya (dan belum menjual sejauh ini).


Grafik saham harian SPLK untuk musim semi 2019. Sumber: Tradingview

Grafik menunjukkan bahwa alasan yang dinyatakan secara resmi untuk meninggalkan Rusia tentang "optimalisasi bagi investor" bukanlah alasan 100%, tetapi setidaknya sebagian benar. Anda dapat memahami logika mereka - kurva pertumbuhan saham pada waktu itu sangat mengesankan (dan tidak ada manfaat pasar Rusia dalam hal ini - ini memberi makan likuiditas pasar saham AS). Pada saat yang sama, dalam skala Splunk, bisnis di Federasi Rusia hanya dapat dilihat melalui mikroskop (terlepas dari semua upaya mitra di Federasi Rusia), dan ada banyak keributan dan kapan saja Anda bisa mendapatkan distribusi sanksi (yang pada awal 2019 merupakan risiko yang sangat nyata).

Contoh produk pengganti setelah perawatan Splunk

Meskipun Splunk tidak memiliki pesaing langsung dalam bentuk solusi komersial di pasar kami, pengembang Rusia berupaya membuat analog yang sesuai dengan mereka berdasarkan proyek-proyek open source ELK. Ini dilakukan terutama di perusahaan menengah yang tidak mampu membeli Splunk. Tetapi praktik itu tidak meluas, karena produk yang ditulis sendiri dipegang oleh antusiasme karyawan tertentu, dan ditinggalkan setelah mereka pergi.

Ada versi komersial untuk ELK, tetapi di Federasi Rusia permintaannya minimal dan dalam banyak hal bersaing dengan perangkat lunak bebas.

ELK adalah singkatan untuk tiga proyek sumber terbuka Elasticsearch, Logstash dan Kibana. Di sini, Elasticsearch adalah pencarian dan analitik, Logstash adalah pemrosesan data mesin dari beberapa sumber secara bersamaan, dan Kibana adalah proyek untuk membuat alat visualisasi hasil dari Elasticsearch dan Logstash. Meskipun pada awalnya ELK tidak ditujukan untuk menganalisis data mesin, ia segera mulai digunakan untuk memproses log dengan stempel waktu.

Penulis tidak berkewajiban untuk menceritakan tentang nasib semua perusahaan IT di Rusia terkait dengan implementasi Splunk, tetapi ada cerita yang menceritakan - bagaimana peristiwa 2019 mengubah bisnis VolgaBlob, mitra Splunk, menjadi bisnis.

Volgablob, serta mantan mitra Splunk lainnya, memiliki dua ceruk pasar setelah vendor pergi. Yang pertama adalah untuk terus melayani pelanggan dengan lisensi yang ada di platform Splunk (dan di antara mereka ada perusahaan dengan lisensi terus-menerus), yang kedua adalah memberikan pelanggan yang ingin bermigrasi ke platform lain sebagai alternatif berdasarkan produk open source.

Seperti yang Anda tahu, setiap krisis bukan hanya kerugian, tetapi juga peluang baru. VolgaBlob, ternyata berada dalam situasi yang sangat sulit, karena pengenalan dan penyesuaian kasus pengguna Splunk adalah sumber pesanan yang signifikan dan, tentu saja, pendapatan. Alih-alih menutup bisnis atau pergi ke ceruk lain, mereka menyusun kembali tim, merekrut pengembang baru dan mulai menyeret pengembangan aplikasi mereka dari platform Splunk ke ELK.

“Selama bertahun-tahun kehadiran Splunk di pasar Rusia, kami telah menciptakan rangkaian aplikasi kami sendiri untuk Splunk, yang kami namakan Smart Monitor. Ada dikumpulkan "fitur" yang paling dituntut oleh pelanggan Rusia. Ketika vendor tiba-tiba pergi, kami terbantu oleh wawasan dan keinginan untuk melakukan diversifikasi dalam memilih platform untuk bekerja dengan data mesin, ”kata Alexander Skakunov.

Seolah menanggapi komentar dari Habr tentang pengunduran diri vendor "... Mungkin ada pengrajin yang akan membuat alternatif", VolgaBlob berhasil mengimplementasikan dalam waktu singkat satu set alat analisis Smart Monitor, yang sebelumnya dikembangkan untuk Splunk, tetapi sekarang pada platform ELK. Solusi baru ini disebut Smart Monitor Open Source . Tidak ada ekosistem aplikasi dari pengembang independen lainnya. Tetapi ada beberapa modul pengumpulan dan analisis data yang dipilih oleh kasus saat ini dari klien yang ada, yaitu diminta di pasar Rusia.

Untuk pertama kalinya, Smart Monitor Open Source dipresentasikan pada konferensi VB-Trend 2019: Plan> B , yang diadakan pada 13 November 2019 di Moskow. Atas nama - keinginan untuk menawarkan produk pengganti dan mengungkapkan kartu pada topik yang mengkhawatirkan ratusan perusahaan di Rusia yang sebelumnya menggunakan Splunk.

Penulis tidak menganggap benar untuk menyalin materi dari konferensi di sini. Spesialis yang bekerja di bidang analisis data mesin akan mempelajari lebih lanjut tentang produk Splunk pengganti di halaman VB-Trend 2019. Dan semua orang, termasuk penulis, kami hanya bisa bahagia untuk pengembang Rusia.