Elasticsearch, Kibana dan Logstash (ELK) adalah alat yang sangat baik untuk mengumpulkan dan memvisualisasikan sejumlah besar data.
Log, majalah, acara - semua ini cukup mudah untuk dikumpulkan, dipetakan dan ditampilkan dalam satu toolkit. Logstash memetakan data, Elasticsearch menyimpannya, dan Kibana menampilkannya dalam grafik.
Dengan semua kekuatan bundel ini, tentu saja, ada tugas yang tidak dapat direalisasikan melalui fitur bawaan.
Sebagai contoh, Kibana dengan sempurna menampilkan data dalam satu tabel (indeks), tetapi segera setelah menggabungkan indeks yang berbeda menjadi satu sampel, ia tidak berdaya mengangkat tangannya.
Dan satu-satunya cara untuk memecahkan masalah dalam hal ini adalah membongkar data dari Kibana dan menggabungkannya dengan alat lain, misalnya, di Excel.
Contoh sederhana. Bayangkan pohon Natal Anda (ELK) mengumpulkan dan menyimpan acara Jira - untuk setiap perubahan dalam tugas pelacak tugas.
Dalam hal ini, indeks Elasticsearch akan menyimpan beberapa catatan untuk satu tugas:
Jika Anda ingin membuat jadwal acara Jira yang menunjukkan konversi tugas berdasarkan negara, maka dengan Kibana Anda tidak mungkin dapat melakukan ini. Karena kekhasan noSQL, Anda perlu semua peristiwa dari satu tugas untuk "mengarahkan" ke satu catatan Elasticsearch.
Agak sulit untuk melakukan ini tanpa melibatkan pengembang dan menulis ulang konfigurasi Logstash.
Hal pertama yang terlintas di pikiran Anda adalah membongkar data dari Kibana untuk memutar secara manual dalam Excel biasa.
Tetapi pencarian untuk tombol unggah, sangat mengejutkan Anda, akan gagal, terutama jika Kibana bersifat korporat dan memiliki batasan pada modul Pelaporan:
Jadi apa yang terjadi, ada data, tetapi Anda tidak bisa menggunakannya?
Sebenarnya ada satu cara rahasia. Melalui tabel standar, laporan Tabel Data.
Pada tab "Visualisasikan", Anda dapat membuat banyak laporan berbeda, tetapi hanya di Tabel Data apakah ada tombol untuk mengunggah data dalam format csv.
Jika Anda bekerja dengan Kibana, maka Anda mungkin menganggap Tabel Data sebagai agregat, mis. sebuah tabel di mana Anda dapat menghitung jumlah total sesuatu, tetapi tidak mungkin untuk membuat daftar semua catatan. Namun, ini tidak sepenuhnya benar.
Tabel ini memiliki fungsi yang luar biasa - Hitungan Unik (untuk menghitung jumlah elemen unik), yang dapat Anda gunakan untuk menampilkan seluruh daftar catatan dalam tabel.
Klik "+" di tab Visualisasikan, pilih "Tabel Data" dan tentukan indeks yang ingin Anda bongkar. Dalam tabel parameter tentukan agregat - "Hitungan Unik" dan tepat di bawah bidang dengan ID unik.
Jika Anda memulai penghitungan ulang, Kibana akan menampilkan jumlah entri unik dalam indeks.
Bagaimana mengubah satu nomor menjadi daftar catatan? Sangat sederhana - menggunakan tombol “Split Rows”
Klik dan pilih "Ketentuan" sebagai agregat (perincian berdasarkan nilai bidang).
Ini adalah titik kunci: di "Bidang", tentukan bidang dengan ID rekaman unik.
Dan, lihatlah, satu angka ketika menceritakan sebuah meja secara ajaib berubah menjadi sebuah tabel!
Ini dia, momen kebenaran.
Apa yang telah kamu lakukan Singkatnya, Anda memberi tahu Kibana bahwa Anda ingin menghitung jumlah rekaman unik dan juga menunjukkan pengelompokan catatan menurut atribut, yaitu, dengan nilai unik bidang yang Anda tentukan.
Sekarang Kibana secara terpisah menghitung jumlah elemen dalam setiap kelompok. sebagai nilai yang Anda tentukan ID rekaman unik, Kibana mulai menghitung jumlah catatan unik yang dikelompokkan berdasarkan ID unik, mis. pada kenyataannya, di sebelah setiap baris tabel metrik "Hitungan Unik" akan sama dengan "1".
Anda mendapatkan hasil yang diinginkan - menampilkan semua catatan dan juga menghitung berapa banyak baris yang Anda miliki dalam indeks dengan ID yang sama.
Sekarang, jika kolom dalam tabel tidak cukup, tambahkan bidang tambahan menggunakan tombol "Tambah sub-ember" dan kemudian "Baris Baris".
Di mana-mana, pilih "Ketentuan" sebagai agregat dan tentukan nama bidang yang ingin Anda tambahkan ke tabel.
Selesai Anda menerima unggahan lengkap indeks.
Yang masih harus dilakukan adalah menyimpan visualisasi dan mengklik tombol "Ekspor Mentah" atau "Ekspor Diformat".
Raw menurunkan semuanya mentah, dan memformat memformat ulang data sesuai dengan lokal yang ditetapkan di Kibana.
Itu saja.
Seperti yang Anda lihat, mengunggah dari Kibana ke orang sederhana yang tidak terbiasa dengan pemrograman masih dimungkinkan, meskipun solusinya tidak terletak di permukaan.
Saya harap trik kecil ini akan membuat hidup saya lebih mudah bagi seseorang dan memberi saya kesempatan untuk dengan cepat menganalisis data tanpa melibatkan pengembang dalam unduhan.
Jika pengalaman saya telah membantu Anda, saya akan senang melihat komentar Anda pada artikel ini.