Tape recorder - alat untuk merekam autotest

Selamat siang, para pembaca yang budiman. Nama saya Victor Burov. Saya bekerja sebagai pengembang di ISPsystem dan ingin berbagi pengalaman saya dalam otomatisasi pengujian.

Kebetulan pengujian manual berlaku di negara kami, dan penguji menghabiskan banyak waktu untuk melakukan tindakan yang sama. Setelah kami berpikir: mengapa tidak mengajarkan panel untuk mengulangi tindakan penguji, karena, pada kenyataannya, semuanya berubah menjadi panggilan API tertentu. Ini akan memungkinkan orang untuk menulis tes bahkan tanpa keterampilan pemrograman.

Kami memutuskan untuk menulis modul untuk membuat tes otomatis. Sehingga tester hanya dapat menekan tombol untuk membuat tes, memenuhi persyaratan kasus uji, pada akhirnya klik "selesai" - dan hanya itu, tes siap! Ide yang sederhana, tetapi untuk mewujudkannya itu tidak mudah. Karena kami ingin modul ini diadaptasi secara maksimal untuk produk kami dan memanfaatkan antarmuka terpadu: sehingga video yang direkam akan terlihat seperti test case yang sudah jadi. Ini akan sepenuhnya menghilangkan pekerjaan manual dari tes menulis. Sistem yang dihasilkan disebut "tape recorder".


Antarmuka untuk melihat kondisi kasus uji

Prinsip kerja

Semua parameter permintaan (HTTP header, variabel lingkungan, data POST, jika ada) dan seluruh respons ditulis ke file xml. Setiap catatan diberi nomor seri. Semua permintaan dibagi menjadi modifikasi dan non-modifikasi. Setelah merekam tes, banyak permintaan non-modifikasi dipotong, karena mereka tidak mempengaruhi pelaksanaan tes dan hanya menunda dan membingungkan proses eksekusi (karenanya nomor urut yang hilang dalam tangkapan layar).

Selama perekaman, tape recorder memungkinkan Anda untuk mengatur pemeriksaan nilai di bidang pada formulir dan di kolom daftar dalam satu klik. Ini juga memungkinkan Anda untuk merekam tes negatif, mengingat kesalahan apa yang dikembalikan panel saat merekam tes.

Selama pemutaran, permintaan dikirim langsung ke API aplikasi tanpa menggunakan browser.

Sebenarnya, tape recorder adalah modul yang terintegrasi ke dalam semua produk kami dan memungkinkan Anda untuk menginstal prosesor yang responsif terhadap peristiwa. Ditulis menggunakan COREmanager.

Contoh merekam satu panggilan yang dilakukan oleh tape recorder:

Perbaikan (yang sebelumnya tidak kami pikirkan)

Menunggu

Seseorang bisa "tunggu", komputer - tidak. Salah satu masalah pertama yang seharusnya dipecahkan oleh tape recorder adalah penulisan para pemberi penghargaan. Apa yang tidak diciptakan oleh orang-orang untuk menunggu selesainya operasi. Harapan tugas-tugas latar belakang dan kemampuan untuk menambahkan berhenti pada langkah yang ditentukan untuk jumlah detik yang ditentukan diimplementasikan.

Merekam dan mengedit langkah uji

Mungkin, semua orang ingat saat mesin tik: satu kesalahan - dan Anda harus mencetak ulang seluruh halaman.



Agar tester tidak harus menulis ulang seluruh tes dengan tindakan yang salah, mekanisme ditambahkan untuk merekam ulang tes dari langkah apa pun setelah disimpan. Kemampuan untuk mengedit berguna ketika Anda perlu menyesuaikan tes dengan perubahan perilaku fungsi yang diuji.

Makro untuk Variabel

Selama pengujian, nilai-nilai dalam parameter yang dikirimkan dan diperiksa berubah tergantung pada server tempat mereka menjalankannya. Contoh dari data tersebut adalah alamat IP. Tidak mungkin mengenali mereka pada tahap rekaman pengujian, jadi saya menambahkan sistem makro. Ini memungkinkan kami untuk membuat tes yang tidak terikat dengan lingkungan. Kelemahan dari solusi ini adalah bahwa setelah merekam, makro harus ditentukan secara manual.

Masalah lain yang secara signifikan mempersulit pekerjaan dengan tape recorder adalah penggunaan kunci non-asli. Kami tidak langsung menyadarinya, karena kami menguji tape recorder pada ISPmanager, yang menggunakan pengidentifikasi asli. Tetapi di beberapa panel lain, catatan diidentifikasi oleh ID unik. Oleh karena itu, saya harus mengajarkan tape recorder tidak hanya untuk mendapatkan pengenal setelah membuat catatan atau objek (karena ID dapat berubah dari awal hingga awal), tetapi juga untuk menggantikannya dalam semua permintaan berikutnya.

Dukungan format JUnit

Tes yang dihasilkan tape dijalankan secara otomatis di lingkungan integrasi berkelanjutan Jenkins. Setelah tes selesai, file xml dibuat berisi data dalam format JUnit. Agar file dapat dibentuk dengan benar, pembatasan penamaan tes diperkenalkan. Sebagai contoh, test User.Create.xml jatuh ke dalam testuite dengan nama Pengguna dan, oleh karena itu, memiliki testcase yang disebut Buat. Dalam kasus kesalahan, simpul kegagalan dengan deskripsi lengkap kesalahan ditambahkan ke dalamnya.

Metrik

Jumlah fungsi yang disebut unik dihitung selama berlalunya tes dan rasio ditentukan sebagai persentase dari total fungsi, tidak termasuk yang tersedia hanya untuk penggunaan internal. Dengan demikian, cakupan tes paling sederhana diukur. Selain itu, metrik menunjukkan total waktu yang dibutuhkan untuk menyelesaikan tes dan jumlah tes yang berhasil dan gagal.

Repositori uji

Repositori pengujian pertama-tama menyelesaikan masalah pemindahan tes yang sudah jadi ke server lain. Ini juga sangat berguna ketika beberapa penguji menulis tes. Panel kecil untuk menyimpan tes Penyimpanan dikembangkan dan digunakan juga berdasarkan manajer CORE kami. Perekam kaset memiliki modul untuk menyinkronkan pengujian dengan penyimpanan. Saat menulis tes baru atau menurunkan tes dari repositori, mereka secara otomatis menjadi tidak tersedia untuk memuat ke repositori sehingga tidak ada kebingungan. Setelah mengubah tes, angka revisi ditingkatkan sehingga hanya tes setelah perubahan dimuat ke dalam repositori.

Kesulitan (yah, di mana tanpa mereka)

Menggunakan tape recorder menunjukkan bahwa tidak semua fungsi API mengikuti rekomendasi internal kami. Secara khusus, tidak semua fungsi mengembalikan pengidentifikasi catatan setelah pembuatannya. Saya harus kembali, termasuk ke kode yang berfungsi, dan membawanya sesuai dengan persyaratan.

Kebuntuan adalah masalah lain. Panel menyiratkan kinerja beberapa tindakan kritis dalam mode eksklusif. Dan tape recorder, menjadi bagian dari panel yang sama, menyebabkan fungsi-fungsi seperti itu, menyebabkan seluruh sistem membeku. Itu mungkin untuk menentukan ini hanya dengan bantuan GDB (tidak ada yang ingat fitur ini). Sayangnya, ada kruk, karena diputuskan ketika menjalankan tes dari tape recorder untuk melakukan fungsi-fungsi ini dalam mode multi-threaded. Secara teoritis, dimungkinkan untuk merancang alat perekam tidak dengan modul, tetapi dengan panel terpisah. Tetapi kami tidak mencoba.

Sayangnya, menulis dan melupakan juga gagal. Antarmuka produk kami berubah dan menjadi lebih rumit. Apalagi jumlah komponen antarmuka semakin aktif. Oleh karena itu, tape recorder harus dimodifikasi dari waktu ke waktu, sehingga ketika komponen-komponen baru muncul, ia dapat menganalisis struktur mereka dan memproses hasil dari permintaan.

Kesimpulan

Membuat tape recorder telah membantu meningkatkan kualitas produk yang diuji. Menghemat waktu dan sumber daya untuk penguji pelatihan. Sepanjang jalan, tape recorder memungkinkan kami untuk meninjau API kami untuk kepatuhan dengan rekomendasi internal, dan, oleh karena itu, membuat API sedikit lebih "logis."