👏 🎢 🍜 Business Intelligence dalam bahasa Rusia - Quintets 🧙🏼 🚚 👩🏾‍⚕️

Dalam salah satu catatan blog kami, kami membahas pendekatan untuk penyimpanan dan pemrosesan data , yang tentangnya kami menerima beberapa pertanyaan yang cukup diharapkan dari rencana semacam itu: "Secara umum, kami menunggu implementasi, sekarang terbang ...". Berdasarkan hasil beberapa implementasi, saya akan berbicara tentang pro dan kontra dari pendekatan ini menggunakan salah satu perkembangan kami sebagai contoh.

Kami biasanya menawarkan kepada pelanggan kami alat BI yang cukup kuat dan fleksibel yang dapat menyelesaikan semua masalah mereka, tetapi ini adalah produk komersial asing, dan pelanggan semakin tertarik dengan topik substitusi impor. Sebagai bagian dari mengeksplorasi prospek kami dalam hal ini, kami mulai menguji perangkat BI kami sendiri menggunakan solusi open-source dan platform pengembangan berbasis kuintet.

Kami mengambil produk komersial kami yang ada sebagai referensi, jadi kami akan melakukan perbandingan dengannya bila memungkinkan.

Tugasnya adalah membuat komponen-komponen berikut:

database untuk menyimpan data mart dan informasi layanan (pengguna, pengaturan, dll.);
antarmuka web dari sistem dan ORM-nya;
Fungsionalitas BI - pemuatan data, laporan khusus, grafik, tabel pivot.

Sebagai dasar, kami mengambil platform pengembangan yang mencakup model data, desainer kueri, mesin template, dan mendukung model peran untuk kontrol akses pengguna.

Subjek pesanan adalah rekonsiliasi laporan bank dan analisis data yang diakumulasikan selama 7 tahun terakhir. Sumber data disimpan dalam HDFS, laporannya sendiri dihitung di tempat yang sama, kemudian hasilnya jatuh ke jendela database relasional. Etalase berisi sekitar 300GB data untuk beberapa lusin formulir pelaporan yang berbeda dan beberapa ratus laporan terkait. Sistem harus melayani 20 pengguna pada beban puncak, waktu respons antarmuka harus dalam 1 detik.

Membuat struktur data tidak memakan waktu lama bagi kami: editor tipe platform memungkinkan Anda membuat dan mendeskripsikan objek bisnis apa adanya, tanpa perlu menyesuaikan persyaratan pengguna dengan spesifikasi lingkungan (tipe dan dimensi data, kunci, batasan, nama bidang data, pengidentifikasi, dll.). Ini adalah nilai tambah pertama dari kuintet yang dapat kita perbaiki.

Ini adalah bagaimana struktur data dibuat - kami mendefinisikan istilah yang diperlukan, dan dari mereka kami membentuk objek dari area subjek kami:

Setelah beberapa menit aktivitas dalam format salin / tempel, kami mendapatkan struktur data yang diperlukan untuk satu formulir dan beberapa direktori tambahan untuk itu. Struktur data formulir (setelah dekomposisi oleh analis) terlihat seperti ini:

Seorang analis yang akrab dengan naluri bisnis dari data yang disajikan di sini membaca yang berikut ini: Setiap instance F110 (Form 110 dalam terminologi CB) memiliki akurasi yang diberikan (bisa "tepat" atau "dibulatkan") dan mencakup serangkaian kode, untuk masing-masing jumlah dalam rubel dan mata uang ditunjukkan.

Di navigator data, di mana data disajikan sesuai dengan struktur yang ditentukan, kita melihat tabel seperti itu tentang bentuk contoh yang ada di sistem:

Nilai identifikasi formulir adalah tanggal pelaporannya, kode pelaporan disimpan dalam bentuk array yang lebih rendah, ukurannya kita lihat dalam tanda kurung.

Seperti disebutkan, kami mendekomposisi data sedikit, jika dibandingkan dengan struktur asli, agar tidak menyimpan baris panjang nilai berulang dalam database, seperti yang dilihat oleh programmer atau administrator database:

Tabel dengan data dalam sistem referensi:

Ngomong-ngomong, itu sebabnya kami memposisikan platform (selanjutnya kami akan menyebutnya Integral) sebagai alat pengembangan untuk analis, bukan programmer.

Struktur data tambahan jauh lebih besar, karena menyimpan semua data awal, pengaturan laporan, aturan untuk memeriksa integritas data di dalam laporan dan dalam laporan terkait, riwayat perhitungan dan rekonsiliasi, serta beberapa aturan untuk transformasi bisnis data selama konstruksi laporan:

(struktur tidak diberikan secara keseluruhan)

Ketika struktur data siap, Anda dapat memuat data ke dalamnya. Cara termudah di sini adalah mengunggah file yang disiapkan dalam format Integral (analog dengan .csv, tetapi dengan jenis markup). Format ini berisi deskripsi data dan data itu sendiri.

Lihat file

Pada contoh di bawah ini, 3 baris pertama file menggambarkan struktur formulir (jika tidak ada dalam sistem, maka akan dibuat), dan kemudian data itu sendiri - parameter bentuk dan parameter objek laporan yang berada di bawahnya.

268:110:DATE;277;270; 277::SHORT; 270:  :SHORT;  :SIGNED;   :SIGNED; 268::20121231;281;; 270::A/5.2;1233682389.47;; 277:281:; 270::A/5.3;622836720.22;; 270::A/6.4;19800;; 270::A/9.2;27125165.14;; 270::S16203/1.2;608607846.309999;; 270::S16305/4;2727510994.84;; 270::S16305/4.1;32049069.51;; 270::S16305/14;2737711.65;; 270::S25302/4;2725748122.98999;; 270::S25302/4.1;40952511.36;; 270::IL/2;87429694.5699999;62717458.21; 270::IL/4;33517212.95;; 270::IL/9;1423281.69;8278.24; 270::IL/11;86433534.5699999;519956.63; 270::IA/1;147792224.509999;4517060.94; 270::IA/2;737704.92;; 270::IA/3;27099836.07;2637.79; 270::IA/6;5607868.86;408410.4; 270::IA/8;103837028.49;48841202.69; 270::IA/10;112302573.56;; 268::20121231;280;; 270::A/5.2;1233682;; 277:280:; 270::A/5.3;622837;; 270::A/6.4;20;; 270::A/9.2;27125;; 270::S16203/1.2;608608;;

Untuk formulir ini, database memiliki 4470 tanggal pelaporan, yang, ketika dibongkar menjadi file datar, membutuhkan sedikit lebih dari 1 MB. Dalam database asli (Oracle), mereka menempati 3,1 MB (tanpa indeks) dalam bentuk normal dan 4,2 MB di etalase toko yang didenormalkan, yang kami coba ulangi sebagai kuintet. Kuintet diindeks dan dinormalisasi, dan dalam formatnya data ini sudah menempati 10MB.

Jumlah data untuk perbandingan dirangkum dalam tabel (dalam megabita):

	Teks	RDBMS	Kuintet
Data	1.1	3.1	5.1
Dinormalisasi		4.2
Indeks		6.2	5.1
Data + Indeks		9.3	10.2

Pada titik ini, perhatian harus diberikan pada ukuran yang ditempati oleh pangkalan untuk pendekatan yang dibandingkan. Karena normalisasi tambahan kwintet dan biaya untuk indeks komposit dalam basis referensi, ukuran total yang ditempati oleh database hampir sama.

Basis referensi:

Kwintet:

Selain itu, dalam Integral, kami segera mengindeks semua bidang tabel, dan dalam sistem referensi - hanya tanggal, kode, dan jumlah dalam rubel, yang akan memerlukan biaya tambahan ketika kebutuhan baru muncul.

Untuk referensi: dalam basis data, ukuran total formulir ini, termasuk laporan dan pengaturan pendukung, adalah sekitar 400 MB (ini relatif kecil).

Jadi, data diunggah dan bagian tersulit dari proyek ada di depan - membuat antarmuka. Antarmuka sistem referensi memungkinkan Anda untuk melihat data formulir, laporan pendukung, pengaturan dan siklus hidup formulir. Untuk mengelola akses dan berkomunikasi dengan database, kami menggunakan kemampuan dasar platform kami - model peran dan perancang laporan.

Daftar pengguna dengan perannya terlihat seperti ini:

Jika Anda mengklik nama peran (ditandai dengan oval merah pada gambar di atas), maka Anda dapat melihat isinya:

Objek peran dapat diatur ke 3 tingkat akses; topeng dapat digunakan:

Pengeditan data juga dilakukan melalui antarmuka dasar. Di sini, misalnya, adalah formulir pengeditan pengguna:

Kami meletakkan menu spesifik aplikasi kami dan tempat kerjanya dalam satu file yang ringkas, karena semuanya memiliki tipe yang sama: formulir permintaan 2-3 elemen dan tabel dengan hasil permintaan.

Arsitekturnya ternyata sangat sederhana: kami membuat banyak kueri data (tampilan) dan menulis plug-in yang mengimplementasikan sampel data sewenang-wenang dalam tabel dan bidang yang disertakan dalam tampilan ini.

Sebagai contoh, kami memiliki apa yang disebut laporan dekripsi untuk membentuk 110, ini berisi data yang tidak dikumpulkan di mana ia dibangun. Seperti inilah laporan ini:

Untuk memverifikasi kebenaran formulir, pengguna harus dapat membuat pilihan, menyortir, memfilter, mengelompokkan, mentransposisi, serta membuat bidang terhitung sendiri. Plugin kami disebut oleh tombol "Tindakan" di bagian atas tabel.

Plugin ini mengulangi fungsionalitas pembuat kueri Integral, tetapi selain pemilihan data, plugin ini dapat menggambar grafik dan tabel pivot. Sebagai contoh, kita perlu memfilter berdasarkan Bagian, menambahkan sepasang kolom terhitung dan membuat pilihan jumlah yang dikelompokkan oleh mereka. Kami mengatur semua ini:

Kolom baru ditambahkan ke daftar oleh tautan dengan nama yang sama. Dengan tombol "Perhitungan" kami mengatur rumus untuk mereka menggunakan konstruktor sederhana:

Kami menetapkan urutan kolom baru dan mengklik "Terapkan" dan laporan kami dimodifikasi sesuai kebutuhan - alih-alih 7 kolom dasar, kami melihat tiga, dua di antaranya baru saja kami buat:

Bagaimana cara kerjanya di bawah tenda?

Plugin berkomunikasi dengan layanan web dari aplikasi via api, itu melakukan permintaan berikut:

 api/neo/report/1392573?FR_date=20181231&FR_%D0%A0%D0%B0%D0%B7%D0%B4%D0%B5%D0%BB=&FR_%D0%9A%D0%BE%D0%B4_%D0%BE%D0%B1%D0%BE%D0%B7%D0%BD%D0%B0%D1%87%D0%B5%D0%BD%D0%B8%D1%8F=&SELECT=LEFT(\:1392578\:\,5),SUBSTRING(\:1392578\:\,6\,3),1392617:SUM&ORDER=1392617&FR_%D0%A0%D0%B0%D0%B7%D0%B4%D0%B5%D0%BB=1&TOTALS=1392617:SUM&LIMIT=10

Dan saya mendapat jawaban ini:

 { «columns»: [ «LEFT(:1392578:,5)», «SUBSTRING(:1392578:,6,3)», «1392617» ], «formats»: [ «SHORT», «SHORT», «SIGNED» ], «data»: { «LEFT(:1392578:,5)»: [ «60324», «40817», «47425», «47404», «60302», «47404» ], «SUBSTRING(:1392578:,6,3)»: [ «810», «810», «810», «840», «810», «978» ], «  »: [ «153 825.71», «527 901.11», «2 415 189.23», «3 000 000.02», «5 588 330.88», «58 000 000.00» ] }, «totals»: [ «„, “», «69 685 246.95» ] }

Jika ada yang tertarik pada apa yang sebenarnya dilakukan query SQL dalam database quintet, maka ini dia:

Lihat SQL

Analis tidak melihat SQL ini, ia menggunakan pembuat kueri yang dijelaskan di bawah ini.

 SELECT LEFT(a182088.val, 5) v13, SUBSTRING(a182088.val, 6, 3) v14, SUM(round(a182090.val, 2)) '  ' FROM neo a182081 LEFT JOIN neo a182083 ON a182083.up=a182081.id AND a182083.t=182083 LEFT JOIN neo a182088 ON a182088.up=a182083.id AND a182088.t=182088 LEFT JOIN neo a182090 ON a182090.up=a182083.id AND a182090.t=182090 LEFT JOIN neo a182091 ON a182091.up=a182083.id AND a182091.t=182091 LEFT JOIN neo a182092 ON a182092.up=a182083.id AND a182092.t=182092 LEFT JOIN neo a299 ON a299.t=299 AND a182083.val=a299.val LEFT JOIN neo a328 ON a328.up=a299.id AND a328.t=328 LEFT JOIN neo a303 ON a303.up=a299.id AND a303.t=303 LEFT JOIN neo a304 ON a304.up=a299.id AND a304.t=304 LEFT JOIN neo a182089 ON a182089.up=a182083.id AND a182089.t=182089 WHERE a182081.up!=0 AND length(a182081.val)!=0 AND a182081.t=182081 AND a182081.val='20181231′ AND a328.val ='1′ AND a303.val>='19000101′ AND a303.val<='20181231′ AND a304.val>='20181231′ AND a304.val<='20991231′ GROUP BY v13, v14 ORDER BY CAST(SUM(round(a182090.val, 2)) AS SIGNED) LIMIT 10

Permintaan mungkin tampak sedikit lebih rumit dari yang diharapkan, karena permintaan memilih data saat ini dari kode pelaporan berdasarkan validitasnya. Di pembuat laporan Integral, kueri ini terdiri dari kolom laporan, parameter, dan kondisi gabungan tabel, jika perlu.

Integral itu sendiri mampu menghasilkan kondisi tabel join, karena semuanya ditentukan oleh hubungan kuintet, namun, dalam kasus versi, kami harus menggabungkan tabel secara manual dan secara eksplisit menentukan kondisi untuk BERGABUNG. Kode dalam klausa ON adalah pengidentifikasi untuk objek kolom dan kueri.

Kueri menggabungkan tiga tabel, memilih dari mereka bidang data berikut (diperlukan "Kolom Kueri"):

(gambar ukuran penuh)

Kolom laporan, bidang terhitung, filter, dan sebagainya, yang membentuk kueri SQL, tercantum di sini. Report Builder memungkinkan Anda untuk menerapkan hampir semua desain bahasa SQL, termasuk menggabungkan kueri dan kueri bersarang.

Selain pilihan dengan pengelompokan, pengguna dapat menggunakan mekanisme tabel pivot. Kami telah menambahkan alat tabel pivottable.js.org yang populer ke plugin kami.
Pilih kolom yang menarik bagi kami dan beralih ke mode tabel pivot:

Di sini, menggunakan drag'n'drop, kami dapat menganalisis data yang diterima oleh sampel yang kami konfigurasi, termasuk bidang arbitrer kami. Selain itu, di sini Anda juga dapat memfilter data berdasarkan bidang apa pun.

Kami menggunakan produk gratis www.amcharts.com untuk menggambar grafik. Dengannya, seperti halnya pivottable, semuanya cukup sederhana: kami memilih jenis bagan dan menginisialisasi komponen dengan array data kami yang diperoleh dari Integral:

Dengan ini, kami, pada kenyataannya, menyelesaikan tugas sejauh yang memuaskan pengguna produk yang ada. Sekarang kami memiliki sistem yang memenuhi persyaratan substitusi impor: semua produk gratis dan dapat diganti. Ya, kami telah menyadari jauh dari semua kemungkinan yang disediakan oleh sistem yang ada, tetapi hanya yang diperlukan untuk pelanggan ini . Tapi kami baru saja mulai!

Jadi terbang atau tidak?

Kita juga harus membahas kinerja sistem yang dihasilkan. Dalam masalah ini, dengan jumlah data yang cukup besar (ratusan gigabytes), sampel mempengaruhi fragmen kecil, kuintet yang selalu dikumpulkan menggunakan indeks. Ini mengarah pada fakta bahwa, pada ukuran basis data apa pun, kueri diproses dengan kecepatan yang dapat diterima, tanpa mengarah pada penurunan kinerja seperti longsoran salju.

Kami mencatat 20 tindakan pengguna dalam skrip uji dan menjalankannya di layanan loadimpact.com . Ternyata 27 permintaan yang berbeda, karena beberapa tindakan dilakukan dalam 2 permintaan ke server (untuk membangun tampilan halaman, misalnya).

Script tes ternyata seperti ini

 import { group, sleep } from 'k6′; import http from 'k6/http'; // Version: 1.3 // Creator: Load Impact URL test analyzer export let options = { stages: [ { «duration»: «3m0s», «target»: 25 } ], maxRedirects: 0, discardResponseBodies: true, }; export default function() { group("page_1 — https://*****.ru/neo/dict«, function() { let req, res; req = [{ «method»: «get», «url»: «https://*****.ru/neo/info», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «upgrade-insecure-requests»: «1», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8» } } }]; res = http.batch(req); sleep(0.62); req = [{ «method»: «get», «url»: «https://*****.ru/neo/info», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «upgrade-insecure-requests»: «1», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8» } } },{ «method»: «get», «url»: «https://*****.ru/neo/report/1392573?FR_date=20181231&LIMIT=10», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «image/webp,image/apng,image/*,*/*;q=0.8», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/neo/report/1392573?FR_date=20181130&ORDER=1392617&LIMIT=10&RECORD_COUNT», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «text/css,*/*;q=0.1», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/neo/report/1392573?FR_date=20181031», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «text/css,*/*;q=0.1», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/neo/report/1392573?FR_date=20180930&RECORD_COUNT», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «*/*», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/neo/report/1387723?&LIMIT=10», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «*/*», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/neo/report/1387723?&LIMIT=10&RECORD_COUNT», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «*/*», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/neo/report/1392741?», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «image/webp,image/apng,image/*,*/*;q=0.8», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/neo/report/1392757?&LIMIT=10», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «image/webp,image/apng,image/*,*/*;q=0.8», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/neo/report/1392768?&LIMIT=10», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «text/css,*/*;q=0.1», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/download/neo/img/nav_dropdown_arrow.svg», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «image/webp,image/apng,image/*,*/*;q=0.8», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/download/neo/img/nav_detailed_report.svg», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «image/webp,image/apng,image/*,*/*;q=0.8», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/download/neo/img/nav_classifiers.svg», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «image/webp,image/apng,image/*,*/*;q=0.8», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/download/neo/img/nav_launch_report.svg», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «image/webp,image/apng,image/*,*/*;q=0.8», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/download/neo/img/nav_manage_form_status.svg», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «image/webp,image/apng,image/*,*/*;q=0.8», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/download/neo/img/nav_quality_management.svg», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «image/webp,image/apng,image/*,*/*;q=0.8», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/download/neo/img/nav_download.svg», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «image/webp,image/apng,image/*,*/*;q=0.8», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/download/neo/css/variables.css», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «text/css,*/*;q=0.1», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/neo/report/1392779?&LIMIT=10», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «text/css,*/*;q=0.1», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/neo/report/1392538?&LIMIT=10&RECORD_COUNT», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «text/css,*/*;q=0.1», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/neo/edit_obj/1392129», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «text/css,*/*;q=0.1», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/neo/edit_obj/1390552», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «text/css,*/*;q=0.1», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/neo/object/18», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «text/css,*/*;q=0.1», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/neo/report/1387723?&LIMIT=140,10», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «text/css,*/*;q=0.1», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/neo/report/1387723?&LIMIT=140,10&RECORD_COUNT», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «text/css,*/*;q=0.1», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/neo/report/1392573?FR_date=20180731&FR_%D0%A0%D0%B0%D0%B7%D0%B4%D0%B5%D0%BB=&FR_%D0%9A%D0%BE%D0%B4_%D0%BE%D0%B1%D0%BE%D0%B7%D0%BD%D0%B0%D1%87%D0%B5%D0%BD%D0%B8%D1%8F=&SELECT=1392576,1392617:SUM,1392589&LIMIT=100», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «text/css,*/*;q=0.1», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/neo/report/1392678?FR_date=20180831&FR_section=1&SELECT=1392698,1392685,1392690&LIMIT=10», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «text/css,*/*;q=0.1», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/neo/report/1392678?FR_date=20180630&FR_section=1&SELECT=1392698,1392685,1392690&LIMIT=10&RECORD_COUNT», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «text/css,*/*;q=0.1», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/neo/report/1392678?FR_date=20180531&FR_section=1&SELECT=1392698,1392685,1392690&LIMIT=500», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «text/css,*/*;q=0.1», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/neo/report/1392678?FR_date=20181231&FR_section=2&SELECT=1392698,1392685,1392690&LIMIT=500», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «text/css,*/*;q=0.1», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/neo/report/1392678?FR_date=20181231&FR_section=4&SELECT=1392698,1392685,1392690,1392694&LIMIT=20», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «text/css,*/*;q=0.1», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/neo/report/1392678?FR_date=20181231&FR_section=4&SELECT=1392698,1392685,1392690,1392694&LIMIT=20&RECORD_COUNT», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «text/css,*/*;q=0.1», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/neo/info», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «text/css,*/*;q=0.1», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/api/neo/report/1392678?FR_date=20190131&FR_section=1&FR_precision=280&SELECT=1392698,1392685,1392715&LIMIT=50», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «text/css,*/*;q=0.1», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/api/neo/report/1392678?FR_date=20190131&FR_section=1&FR_precision=280&SELECT=1392698,1392685,1392715&LIMIT=50&RECORD_COUNT», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «text/css,*/*;q=0.1», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/api/neo/report/1392573?FR_date=20190131&FR_section=1&FR_precision=280&FR_%D0%9A%D0%BE%D0%B4_%D0%BE%D0%B1%D0%BE%D0%B7%D0%BD%D0%B0%D1%87%D0%B5%D0%BD%D0%B8%D1%8F=A60302/9&LIMIT=10», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «text/css,*/*;q=0.1», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://*****.ru/api/neo/report/1392573?FR_date=20190131&FR_section=1&FR_precision=280&ORDER=1392617&FR_%D0%9A%D0%BE%D0%B4_%D0%BE%D0%B1%D0%BE%D0%B7%D0%BD%D0%B0%D1%87%D0%B5%D0%BD%D0%B8%D1%8F=A60302/9&LIMIT=10», «params»: { «headers»: { «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «text/css,*/*;q=0.1», «referer»: «https://*****.ru/neo/dict» } } },{ «method»: «get», «url»: «https://fonts.gstatic.com/s/roboto/v19/KFOmCnqEu92Fr1Mu4mxP.ttf», «params»: { «headers»: { «origin»: «https://*****.ru», «accept-encoding»: «gzip, deflate», «accept-language»: «en-US», «user-agent»: «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/62.0.3183.0 Safari/537.36», «accept»: «*/*», «referer»: «https://fonts.googleapis.com/css?family=Roboto» } } }]; res = http.batch(req); // Random sleep between 5s and 10s sleep(Math.floor(Math.random()*5+5)); }); }

Inilah yang kami lihat ketika kami menjalankan skrip - generator beban mengirimkan aplikasi kami semakin banyak permintaan per detik, kami mendapat tangga klasik untuk mencari kinerja maksimum / puncak:

Generator ini mengirimkan permintaan dalam batch, dan tidak merata, seperti halnya dengan pengguna simultan. Oleh karena itu, grafik menunjukkan lonjakan beban, dan kinerja keseluruhan juga terlihat lebih buruk dalam mode ini.

, - SQL-. , , 8 33 SQL- : , -, SQL- ( , ) .

, 20-25 ( 20 ), — 1 . , : 1 2.4 1 .

( 10 ) 0.1-0.3 , .

Business Intelligence dalam bahasa Rusia - Quintets

Arsitekturnya ternyata sangat sederhana: kami membuat banyak kueri data (tampilan) dan menulis plug-in yang mengimplementasikan sampel data sewenang-wenang dalam tabel dan bidang yang disertakan dalam tampilan ini.

Analis tidak melihat SQL ini, ia menggunakan pembuat kueri yang dijelaskan di bawah ini.

Jadi terbang atau tidak?

, .

More articles: