Memilih sistem manajemen pengujian pada 2019

Terlepas dari kemampuan luar biasa dari editor tabel modern, bagi banyak tim pengembangan, cepat atau lambat muncul pertanyaan tentang memperkenalkan alat khusus (sistem) untuk mengelola proses pengujian dalam proyek mereka. Yang mana yang harus dipilih?



Pertanyaan seperti itu dalam latihan saya telah ditanyakan lebih dari satu kali. Ini mendorong saya untuk membuat artikel ulasan ini. Di masa depan, untuk menghemat sedikit waktu bagi diri kita sendiri dan semua orang yang juga menghadapi masalah ini. Dan bahkan jika tidak ada jawaban di akhir artikel (maaf untuk spoiler) , tetapi alam bawah sadar Anda, kemungkinan besar, akan ditentukan sekarang dan pada waktu yang tepat pada proyek tertentu akan memberi Anda jawabannya.

Dalam pencarian saya, saya menemukan banyak artikel serupa (di salah satunya saya meminjam struktur tabel perbandingan), tetapi mereka semua dengan mudah mencantumkan fungsi dari situs sistem ini dan 1-2 tangkapan layar antarmuka dan sering berisi iklan terbuka atau tersembunyi dari salah satu alat tersebut. Tetapi saya ingin menguji setiap sistem “pada diri saya” dan secara terbuka membagikan apa yang saya lihat, menceritakan tentang perasaan saya.


Di bawah ini adalah tabel perbandingan terakhir (dapat diklik), setelah itu pembaca, tidak terburu-buru untuk bertemu, akan menemukan beberapa kata tentang masing-masing sistem.

Alat berbayar:

Testral
QA Sentuh
Uji collab
qTest Manager
Tes Praktis
Zephyr Standalone
Pondok tes
Easyqa

Alat sumber terbuka:

Testlink
SquashTM
TCM Kiwi

---

Penting:
Tangkapan layar antarmuka dapat diklik dan disembunyikan di bawah spoiler. Anda dapat menemukan lebih banyak tangkapan layar di situs web saya . Tidak ada yang suka promosi diri, jadi jika ada contoh artikel atau cara untuk dengan cepat dan mudah menambahkan galeri gambar serupa ke artikel di Habré, beri tahu saya di komentar atau dalam pesan pribadi. Saya akan mencoba untuk mengulang dan kemudian menghapus komentar ini.

---

Testral

Situs web: www.gurock.com/testrail
Pengembang: Gurock Software GmbH
Harga: TestRail Cloud $ 30 per pengguna / bulan (1-20 pengguna)

Menyenangkan: antarmuka yang nyaman dan intuitif; penyisipan cepat gambar; Markup teks markdown; Menambahkan bidang khusus mengatur urutan tampilan bidang kasus; kemampuan untuk menetapkan setiap case (atau testran) untuk pengguna individu; menyalin dan memindahkan kasus dengan cepat; pengelompokan beberapa testran ke dalam rencana pengujian; integrasi cepat dengan bugtracker (dengan URL pelacak atau menggunakan plugin); ekspor kedua kasus dan laporan dalam format XML dan CSV; Kemampuan API yang luas untuk integrasi dengan sistem internal Anda (sinkronisasi informasi dalam kasus, menyimpan hasil tes, dll.); laporan visual; formulir pencetakan rapi; saat membuat proyek, Anda dapat memilih tiga jenis struktur untuk menyimpan kasus uji (salah satunya memungkinkan Anda untuk membagi kasus menjadi cabang yang sesuai dengan pengembangan).

Tidak senang: tidak ada persyaratan bawaan; tidak ada pelacak bug; harganya cukup tinggi (terutama untuk perusahaan kecil).

QA Sentuh

Situs web: www.qatouch.com
Pengembang: DCKAP
Harga: Profesional $ 69 untuk 50 pengguna / bulan

Menyenangkan: peluang luas yang tersedia dan terencana dengan harga yang memadai; UI yang bagus; bugtracker dan persyaratan bawaan; integrasi dengan pelacak bug eksternal JIRA, GitHub, GitLab; lepaskan perencanaan testran; ada kemungkinan membuat re-run (re-run) dengan kasus-kasus status tertentu; panggilan melalui suara dan penyelesaian teks dari judul case dan bug; langkah-langkah kasus dapat digunakan kembali.
Sayangnya, saya tidak dapat mencoba dan mengambil screenshot dari beberapa komponen produk, karena mereka hanya tersedia dalam paket berbayar.

Tidak senang: komponen kasing (bidang utama, langkah, lampiran) ditabulasi selama pengeditan; tidak ada format teks; gambar, meskipun dapat ditambahkan ke satu langkah, tetapi hanya untuk satu dan sebagai file yang dapat diunduh; tidak ada versi case; area teks langkah dan hasil yang diharapkan, ketika mengubah ukurannya secara manual, hilang selama pengeditan (bukan pada baris yang sama); bentuk pemilihan case untuk testran sedikit berbeda ketika membuat dan mengeditnya; daftar kasing dan bug hanya menyertakan nama dan ID mereka (untuk ikhtisar singkat daftar, bidang khusus tambahan tidak akan berlebihan); tanda status selama proses juga ditempatkan pada tab terpisah dari informasi umum kasus; ada beting kecil di data yang ditampilkan (jumlah total kasus di dasbor dan bidang "Ditugaskan untuk" yang aneh - Saya mengaitkan ini dengan fakta bahwa saya mendaftar tahun itu, sejak itu vendor telah secara substansial menambahkannya ).

Uji collab

Situs web: testcollab.com
Pengembang: Test Collab
Harga: Startup mulai dari $ 25 per pengguna / bulan (lebih dari 50 pengguna - $ 10)

Menyenangkan: konfigurasi luas notifikasi surat (dengan kemampuan untuk mengedit templat surat); menggabungkan testran ke dalam rencana pengujian; antarmuka yang bagus dengan petunjuk (yang dapat dimatikan); fungsi langkah yang dapat digunakan kembali; kemampuan untuk mengomentari kasus saat mengedit; tag pemilihan jenis pemformatan teks (Penurunan harga, HTML / WYSIWYG, Teks Biasa); Menambahkan bidang khusus template yang dapat disesuaikan untuk memilih case di testran; persyaratan bawaan; harga (untuk proyek kecil ada rencana gratis dengan 200 kas dan 400 kas yang diselesaikan).

Tidak senang: Anda tidak dapat mengedit bidang sistem (khususnya Prioritas); tidak ada cara untuk menyimpan bidang yang ditampilkan dalam daftar (saat memperbarui halaman diatur ulang secara default); ada kekurangan kecil pada tampilan elemen UI; tidak ada formulir cetak baik untuk kasus atau untuk laporan (mungkin sekarang mereka jarang digunakan, tetapi alat lain menawarkan fungsi seperti itu) ; data pada dasbor umum diperbarui dengan penundaan; ekspor kasus untuk hanya satu set tes (dalam kasus ini, set bersarang hanya memproses ekspor ke XML); penyisipan gambar yang tidak nyaman ke dalam langkah-langkah kasing (melalui tautan); tidak ada pelacak bug.

qTest Manager

Situs web: tricentis.com
Pengembang: Tricentis (mengakuisisi QASymphony pada 2018)
Harga: dari $ 99 per pengguna / bulan (harga perkiraan dan tergantung pada jumlah pengguna)

Senang: mengatur bidang sistem dan menambahkan bidang khusus ke berbagai objek (dengan kemampuan untuk melihat pratinjau objek ini dan bahkan mengubah warna untuk status pelarian); riwayat perubahan kasus yang informatif; built-in HTML-editor di bidang teks dari case; mengomentari satu kasus; Anda dapat berlangganan kasing terpisah dan menerima pemberitahuan melalui pos tentang perubahan; Implementasi case-versioning yang menarik (dengan komponen besar dan kecil); fungsi menjalankan cepat kasus ini (tanpa mengatur status untuk setiap langkah); persyaratan bawaan dengan pengikatan kasus dan indikasi rakitan target, ada juga pelacakan bug bawaan; kasus yang dapat digunakan kembali; konfigurasi testran yang dapat disesuaikan; banyak peluang untuk integrasi dengan bugtracker dan layanan CI / CD; API untuk interaksi yang lebih fleksibel; permintaan pencarian yang disimpan berdasarkan kasus, persyaratan, dll.; berbagai laporan; pengaturan fleksibel di sisi administrator (pengguna, pemberitahuan, hak, grup, dll.); proyek tertanam dengan semua data untuk membiasakan diri dengan kemampuan produk; rencana uji.

Tidak senang: tidak ada cetakan yang dicetak; hanya mengekspor kasus dalam format Excel (tetapi memiliki tampilan yang dapat dibaca); tampilan gambar yang sedikit tidak nyaman pada langkah case selama menjalankan; situs tidak memiliki informasi tentang harga produk (Anda perlu membuat permintaan terpisah) dan itu mengesankan.

Tes Praktis

Situs web: www.practitest.com
Pengembang: PractiTest
Harga: ENTERPRISE $ 49 per pengguna / bulan (minimal 3 pengguna)

Senang: kemampuan untuk mengomentari kasus (tes); tag (kata kunci) untuk pengujian; lompatan cepat ke nomor tes; generasi permutasi testran (untuk penguji yang berbeda, versi); penggunaan parameter dalam langkah-langkah kasus (dengan kemampuan untuk mengubah nilai untuk setiap proses); penyertaan langkah-langkah (ajakan untuk menguji) dari satu kasus ke yang lain (kadang-kadang itu benar-benar diperlukan dan Anda tidak harus melompat ke tautan ke kasus lain) ; integrasi dua arah dengan Jira dan YouTrack (dengan membuat token API); Menambahkan bidang khusus papan status kanban untuk kasus; pelacak dan persyaratan bug mereka (tetapi tidak mengambil tangkapan layar dengannya).

Tidak senang: UI / UX kompleks secara keseluruhan (khususnya, pembagian struktur kasus menjadi tab: deskripsi dan langkah-langkah pada tab yang berbeda); versi cetak yang sedikit dan tidak dapat disajikan untuk kasus itu sendiri maupun laporannya; meskipun ada dukungan untuk markdown markup, tetapi gambar ditambahkan ke langkah-langkah hanya sebagai lampiran; Anda tidak dapat mengubah status seluruh kasus jika beberapa langkah belum lulus (ini benar, tetapi kadang-kadang Anda perlu "hijau" seluruh tes) ; daftar pengguna tidak dapat diberi prioritas penyortiran (sortir secara alfabet); harga (terlalu mahal, bahkan mempertimbangkan fitur unik); mendukung widget obrolan di setiap halaman.
Situs web perusahaan pada saat publikasi tidak tersedia dari IP Rusia, sementara platform web dibuka.

Zephyr Standalone

Situs web: www.getzephyr.com
Pengembang: Perangkat Lunak SmartBear
Harga: dari $ 50 per pengguna / bulan (harga diambil dari masa lalu, sekarang tidak ditampilkan di situs)

Menyenangkan: perencanaan tahap pengujian yang menarik (mirip dengan bagan Gantt) dengan penambahan dan penyesuaian berbagai karya pengujian; persyaratan bawaan dan bugtracking, yang, dengan JIRA, terintegrasi secara mulus dengannya (dengan kemampuan untuk mencari dan melihat tiket langsung dari Zephyr); dimungkinkan untuk menambahkan bidang khusus ke objek (proyek, kasus, persyaratan), mengubah nama dan warna status proses (seluruh kasus dan satu langkah); Anda dapat menambahkan widget untuk proyek dengan berbagai karakteristik (diagram) yang akan diperbarui setelah waktu yang ditentukan; ekspor kasus dalam format HTML dan PDF dengan bidang yang diperlukan.

Tidak senang: antarmuka yang tidak biasa, Anda harus terbiasa dengan UX / UI untuk sementara waktu; tidak ada tautan langsung ke kasing terpisah (hanya melalui kueri penelusuran Anda dapat menghasilkan URL untuknya); dasbor dengan widget bantuan di bawah ini tidak dihapus; Anda tidak dapat mengubah bidang sistem; Gambar untuk langkah-langkah kasing hanya dapat ditambahkan sebagai lampiran untuk seluruh kasing; mengasah hanya di bawah JIRA; harga harus diketahui berdasarkan permintaan (dan hanya melalui telepon, informasi ini tidak disediakan dalam pesan elektronik) .

Pondok tes

Situs web: www.testlodge.com
Pengembang: TestLodge Limited
Harga: Dasar $ 49 untuk 600 kasus / bulan (berlangganan dengan jumlah data)

Menyenangkan: antarmuka ringkas; pembuatan dan pemilihan konfigurasi saat membuat testran; integrasi cepat dengan pelacak bug populer; membuat rencana pengujian (dengan templat default); matriks cakupan (jika persyaratan disimpan di dalam produk); model berlangganan dengan jumlah data (untuk beberapa proyek ini merupakan nilai tambah); atur ekspor ke HTML (ini juga bentuk cetak).

Tidak senang: tidak ada pembagian kasus menjadi langkah terpisah; bidang khusus tidak dapat dipindahkan di atas bidang sistem; gambar hanya bisa dimasukkan sebagai lampiran atau tautan ke sana; ekspor kasus hanya masing-masing ditetapkan secara terpisah; suatu test suite hanya dapat ditentukan untuk satu rencana pengujian; tidak ada pelacak bug.

Easyqa

Situs web: geteasyqa.com
Pengembang: ThinkMobiles
Harga: $ 10 per pengguna / bulan

Menyenangkan: kemampuan untuk memantau dan menguji perangkat seluler (file APK dan IPA), berintegrasi dengan repositori GitHub atau GitLab; pelacak bug sendiri dengan kemampuan untuk menambahkan plugin untuk integrasi dengan sistem lain (GitHub, GitLab, YouTrack, JIRA, RedMine, Pivotal Tracker, Trello); kemudahan penggunaan (kadang-kadang merupakan nilai tambah) dengan objek uji (paket, testran, kotak uji, laporan); perbandingan visual bidang ketika mengekspor kasus dari file CSV (tetapi membutuhkan perhatian, Anda dapat masuk ke siklus ekspor tanpa akhir).

Tidak senang: tidak ada cara untuk setidaknya menyesuaikan objek; tidak ada hasil yang diharapkan untuk setiap langkah kasus; dalam kasus Anda tidak dapat memformat teks dan melampirkan gambar; ada pertanyaan untuk UI di beberapa tempat (terutama saat menampilkan tabel); tidak menerima surat undangan untuk peserta kedua ke email dari domain pribadi; Anda tidak dapat mengubah hak untuk peran (+ tidak dapat mengubah peran proyek untuk pengguna yang tidak diakui).
Dilihat oleh aktivitas di jejaring sosial dan blog di situs, mereka menangguhkan pengembangan.

---

Sistem gratis menarik banyak orang karena kurangnya biaya bulanan. Tetapi mereka pasti akan membutuhkan biaya tertentu. Pertama, hosting hosting (sumber daya komputasi). Kedua, biaya tenaga kerja administrator sistem untuk menginstal, mengkonfigurasi dan memelihara kinerja sistem. Tetapi Anda sudah dapat memiliki server (atau mesin virtual kecil), dan ketersediaan gambar Docker yang sudah jadi mempermudah penyebaran, jadi memulai sistem gratis dari awal bisa lebih mudah daripada mendaftar dengan sistem berbayar (saya melebih-lebihkan, tentu saja, tetapi ada beberapa lelucon dalam setiap lelucon) ) Tambahkan ke ini tren "kontrol total" data, dan produk-produk open source menjadi semakin menarik untuk implementasi. Saya meninjau tiga sistem seperti: TestLink, SquashTM, dan Kiwi TCMS.

---

Testlink

Situs web: testlink.org
Bahasa Pengembangan: PHP

Menyenangkan: persyaratan bawaan dan melacak mereka melalui kasing; berbagai laporan teks; kemampuan untuk menambahkan bidang khusus; kustomisasi peran pengguna yang fleksibel; integrasi dengan bugtrackers (JIRA, YouTrack, GitLab, Bugzilla, dll.); testlid juga dapat mengatur urgensi untuk setiap kasus di testran, yang akan mempengaruhi urutan kasus; pengelolaan daftar platform yang diuji; persediaan host (agak, tapi bagus) ; Editor HTML dengan kemampuan untuk memasukkan gambar, tautan, tabel, daftar; menurut pendapat saya, alat Open Source paling populer dengan banyak instruksi dan artikel tentang pengaturan dan penggunaan; kehadiran sumber daya pengembangan dalam bahasa PHP memungkinkan Anda untuk mengubah produk sesuai kebutuhan Anda (jika fungsi standar tampaknya tidak mencukupi atau ternyata tidak begitu nyaman).

Tidak senang: sedikit antarmuka adiktif; Anda harus bermain-main dengan mengkonfigurasi beberapa komponen untuk operasi penuh (fine-tuning file konfigurasi, mengirim surat, integrasi dengan pelacak bug); di jendela teks editor HTML, pemeriksaan ejaan standar browser tidak berfungsi; tidak mungkin untuk mengedit bidang sistem dan urutan yang ditampilkan pada formulir kasus; perubahan manual urutan langkah (Anda harus memasukkan angka, bukan menyeret dan menjatuhkan); penugasan kasus untuk testran (build) setelah alat berbayar akan terasa tidak nyaman.

SquashTM

Situs web: www.squashtest.org
Bahasa Pembangunan: Jawa

Senang: manajemen persyaratan dengan mengacu pada kasus uji; Editor HTML penggunaan parameter dalam langkah kasus dan prasyarat; kemampuan membuat kasus uji dengan skrip Gherkin ( BDD ); Fungsi UI untuk melipat isi langkah-langkah kasing; ada mode untuk menjalankan kasing dengan tampilan situs web yang diuji dalam bingkai (dalam kebanyakan kasus tidak lagi relevan, tetapi ada kemungkinan demikian); penggunaan case yang ada (Call a test case); Menambahkan bidang khusus ke objek diferensiasi warna komponen produk, indikator status warna dalam perpustakaan kasus juga tampak nyaman; plugin untuk integrasi dengan pelacak bug JIRA dan Mantis; ada dokumentasi terperinci (meskipun beberapa bagian dalam urutan yang salah) .

Tidak senang: untuk melampirkan gambar di lampiran, Anda harus terlebih dahulu menambahkan ekstensi untuk file tersebut ke daftar putih pengaturan sistem (secara default png dan jpg tidak ada); bidang sistem (kategori dan prioritas) tidak dapat diedit; Anda tidak dapat mengedit tujuh peran hak akses yang tersedia (namun, 7 level ini cukup sering); Saya tidak dapat membuat beberapa laporan (saya mengetahui dari log bahwa ada masalah dengan inisialisasi kelas); terminologi yang tidak biasa untuk rencana pengujian dan testran (di sini mereka disebut Kampanye dan Iterasi); Tab UI.

TCM Kiwi

Situs web: kiwitcms.org
Bahasa Pengembangan: Python

Menyenangkan: konfigurasi fleksibel hak grup pengguna; integrasi dengan pelacak bug JIRA, Bugzilla, GitHub dan GitLab; operasi sistem yang cepat; Markup teks markup dengan kemampuan untuk melihat dengan cepat; kemampuan untuk menghubungkan plugin (beberapa, bagaimanapun, hanya dalam rencana pengembangan) untuk mengumpulkan hasil autotest; API eksternal dokumentasi produk terperinci; Pengembangan fitur dan rencana baru secara aktif untuk masa depan.

Tidak senang: dalam ujian tidak ada pembagian menjadi langkah terpisah; beberapa penghitung di UI tidak diperbarui setelah tindakan selesai (Anda perlu menyegarkan halaman); ejaan sendiri dalam editor teks; satu laporan tentang kasus yang dibuat (tetapi berencana untuk menambah beberapa lagi); tidak membagi proyek menjadi dalam sistem.

Kesimpulan

Ini hanya sebagian kecil dari sistem yang tersedia di pasar. Namun, review sudah agak lama. Plugin untuk JIRA ( TM4J , Zephyr , Xray , TestFLO , dll.) Tidak dimasukkan di dalamnya, karena ini adalah burung-burung dari penerbangan yang berbeda. JIRA, meskipun sekarang digunakan pada banyak proyek, tetapi tetap saja itu bukan obat mujarab. Oleh karena itu, ini adalah topik untuk artikel terpisah, tidak kurang. Juga, Uji IT tidak jatuh di bawah senjata, tetapi baru-baru ini keluar ketika bagian utama dari artikel ini sudah ditulis. Mungkin, selama waktu ini, lebih banyak sistem "lahir" atau sudah ada yang sudah layak ditinjau - tulis di komentar. Sepertinya orang suka acara TV - menulis sekuel!

Sementara itu, saya mengusulkan untuk berpartisipasi dalam diskusi "Apa sistem manajemen pengujian pada proyek Anda?".

(Saya mengerti bahwa ini tidak selalu merupakan sistem yang "diinginkan", kemudian bagikan kepedihan Anda: dengan mana Anda bekerja, dan dengan mana Anda ingin bekerja.)