Tetapi apakah saya tidak melakukan omong kosong lagi? Bagaimana dan mengapa menerapkan metrik kualitas

Halo, Habr! Setelah kami menggunakan metrik "Tampaknya lebih baik" untuk menilai kualitas rilis kami. Tapi kemudian kami memutuskan untuk mempercayai sesuatu yang lebih bisa diandalkan. Pada artikel ini, saya akan berbicara tentang bagaimana saya mencari panduan metrik, tidak menemukannya dan membuat panduan saya sendiri.



Apakah itu terjadi bahwa Anda melakukan pekerjaan yang tampaknya bermanfaat untuk suatu proyek, tetapi tidak mengerti apakah ini membawa manfaat? Jadi kami pernah menulis autotests, tetapi tidak bisa mengatakan secara objektif apakah rilis monolit dan layanan lain di mana pengembangan aktif lebih baik telah menjadi lebih baik.

Mencari metrik

Saya mencari di internet dan karena alasan tertentu tidak menemukan artikel atau panduan siap pakai tentang cara memilih metrik yang tepat, cara mengumpulkannya, dan apa yang harus dilakukan selanjutnya. Tetapi ketika saya sedang mencari informasi, saya menemukan video dan artikel yang berguna yang membantu saya mengatasi tugas yang sulit ini. Tautan ke sana akan muncul di artikel.

Saya harap artikel ini akan bermanfaat bagi mereka yang berpikir untuk mengukur apa pun pada proyek mereka, tetapi tidak tahu harus mulai dari mana. Artikel ini berisi pengalaman pribadi, informasi dari artikel, video, dan kursus berbayar.

Kami menerapkan sistem pengukuran kualitas dalam 11 langkah

Berikut adalah daftar 11 langkah yang akan membantu Anda menerapkan semuanya dan tidak ketinggalan apa pun.

Langkah 1. Tentukan tujuan pengukuran Anda

Pahami mengapa Anda ingin mulai mengukur sesuatu. Mengukur begitu saja, demi pengukuran, tidak masuk akal.

Sebagai contoh, kami ingin tahu bagaimana kami bergerak menuju sasaran kualitas yang telah kami tentukan sebelumnya. Kami juga ingin melihat dinamika indikator setelah upaya. Dengan sendirinya, angka-angka dari keadaan saat ini tidak berarti apa-apa. Ini hanya angka. Tetapi, mengamati angka-angka dalam dinamika, kita bisa melihat pengaruh tindakan kita.

Langkah 2. Tentukan Target

Anda perlu memahami apa yang Anda perjuangkan. Mengurangi waktu pengujian? Kurangi jumlah bug penting dalam produk? Meningkatkan cakupan tes?

Dalam kasus saya, tidak ada masalah dengan menetapkan indikator target, karena perusahaan kami memiliki sasaran kualitas. Sasaran ini menjadi dasar untuk metrik masa depan. Tujuan kami:

• Rilis monolit tidak lebih dari 4 jam.
• 0 hotfix dan rollback di aplikasi monolith, situs dan seluler.

Langkah 3. Tentukan metrik

Pikirkan bagaimana Anda menyadari bahwa Anda sedang bergerak menuju tujuan Anda.
Pada tahap pekerjaan ini, artikel " Metrik QA Paling Penting " membantu saya.


Penting! Jangan mengambil banyak metrik sekaligus. Tiga atau empat sudah cukup untuk memulai. Ketika proses membaik, Anda dapat menambahkan lebih banyak jika perlu.

Banyak metrik sulit dikelola. Probabilitas berkembang bahwa sistem tidak akan lepas landas. Dan jika prosesnya tidak lepas landas pertama kali, maka pada saat berikutnya akan lebih sulit untuk memulai, karena Anda dan karyawan akan memiliki pengalaman negatif.

Langkah 4. Tentukan unit

Indikator yang berbeda dapat dibaca dalam unit yang berbeda. Segera Anda harus memilih sehingga semua metrik memiliki satu unit ukuran, jika tidak, Anda mungkin mengalami kesalahpahaman dan salah tafsir.

Kami memiliki masalah dengan item ini. Kami menghitung waktu rilis dalam jam, termasuk jam malam, tetapi tidak termasuk akhir pekan. Pada saat yang sama, nilai target dirilis dalam 4 jam. Cukup sering ada situasi ketika kami membuat cabang rilis-xxx pada pukul 16:00 hari ini, dan berakhir pada 10:00 hari berikutnya. Dalam metrik kami, itu dianggap 18 jam, tetapi pada kenyataannya, tindakan aktif dilakukan hanya 3 jam, jika tidak kurang.

Jika kami terus menghitung dengan cara ini, kami tidak akan pernah mencapai indikator "4 jam" dalam metrik kami. Setelah menghadapi pilihan, meningkatkan target menjadi 12 jam atau hanya memperhitungkan jam kerja, kami memilih yang kedua.

Langkah 5. Analisis metrik yang dipilih untuk kesesuaian

Dalam video “ Simple Practice Testing Metrics, ” pembicara menyarankan cara yang keren untuk menganalisis metrik kesesuaian. Anda perlu menjawab 9 pertanyaan untuk setiap metrik dan membuat keputusan.


Setelah analisis sederhana seperti itu, segera menjadi jelas apakah Anda memerlukan metrik ini atau tidak. Ada pemahaman yang lebih dalam tentang metrik itu sendiri dan nilainya bagi perusahaan dan Anda.

Langkah 6. Sejajarkan metrik dengan pemangku kepentingan

Tampilkan metrik yang dipilih untuk yang akan mereka pengaruhi. Diskusikan keterbatasan yang Anda temukan selama fase analisis, serta cara untuk menghilangkannya, atau setidaknya menguranginya. Sangat penting untuk mendapatkan persetujuan dan persetujuan dari mereka yang akan mengumpulkan dan mengisi metrik ini.

Saya membahas metrik saya dalam 3 tahap: dengan penguji, pengembang, dan kelebihan produk. Hanya setelah semua orang setuju secara eksplisit bahwa metrik ini menunjukkan kualitas sistem, barulah saya dapat melanjutkan ke langkah berikutnya.

Langkah 7. Visualisasikan hasilnya

Orang tidak akan membaca tabel dan menonton dinamika sendiri. Karena itu, Anda perlu menjaga visibilitas.

Saya membuat tabel di Google Sheets, menulis formula, dan saya senang mempersembahkan tabel itu kepada kolega saya. CTO kami menyarankan memvisualisasikan metrik ini. Lebih tepatnya, untuk memastikan bahwa kondisi sistem saat ini jelas dalam 15 detik: menjadikannya lebih baik dibandingkan dengan sprint sebelumnya atau kualitasnya menurun.

Bersama-sama, kami memvisualisasikan indikator. Lalu saya meminta orang-orang untuk memberi tahu apa yang mereka lihat pada tabel ini. Menilai dari jawabannya, kami telah mencapai tujuan.



Beginilah visualisasi metrik kualitas rilis. Semuanya jelas, Anda bisa langsung melihat bagaimana sekarang dan bagaimana itu, apakah jumlah masalah melebihi jumlah rilis, sudah menjadi lebih baik atau lebih buruk dibandingkan dengan rilis sebelumnya. Dalam jadwal yang ideal, garis biru cenderung cenderung tanpa batas, dan garis merah harus ke 0.


Visualisasi hubungan "rilis bermasalah" dengan jumlah total rilis

Langkah 8. Amati frekuensi pengumpulan metrik

Penting untuk menetapkan proses pengumpulan metrik, untuk bekerja pada frekuensi. Jika tidak ada proses, maka dasbor Anda akan kehilangan relevansinya dan mati. Penting bahwa ada pemangku kepentingan yang akan melakukan ini. Tetapi jika Anda khawatir tentang ini, maka orang yang bersangkutan sudah ada di sana.

Langkah 9. Beritahukan berulang kali kepada orang-orang tentang hasilnya.

Tidak peduli seberapa cantik dasbor Anda, orang tidak akan pergi ke sana dan melihat metriknya. Begitu semua orang akan melihat, karena ini adalah sesuatu yang baru, tetapi tidak secara berkelanjutan.

Langkah 10. Analisis dan buat keputusan

Anda perlu melihat metrik, membuat keputusan berdasarkan pada metrik tersebut. Anda dapat menggunakan metrik sebagai argumen tambahan yang mendukung penulisan tes tambahan atau berfokus pada utang teknis, daripada fitur bisnis, dll.

Langkah 11. Otomatis

Mengotomatiskan koleksi metrik sebanyak mungkin. Jika Anda menggunakan sistem kontrol versi TaskMS dan TestMS, CI / CD yang populer, kemungkinan besar mereka semua memiliki API terbuka yang dengannya Anda dapat dengan mudah mengeluarkan informasi ini. Jika Anda tidak bisa melakukannya sendiri, minta bantuan pengembang. Anda mungkin perlu mengubah beberapa proses untuk ini. Ini normal. Dan ini adalah harga rendah untuk manfaat yang Anda dapatkan dengan mulai mengumpulkan metrik.

Sebagai contoh, kami memiliki bot yang membantu melepaskan rilis roll dan mengurangi rutinitas mereka.

Ringkasan dan Kesimpulan

Membuat keputusan yang memengaruhi kualitas produk berdasarkan perasaan batin Anda adalah ide yang buruk. Perasaan dapat menipu dan mendorong Anda ke keputusan yang salah. Jadi, dapatkan metrik dan sistem penilaian kualitas.

Tetapi ingat bahwa pendirian metrik seperti pendirian hewan peliharaan. Selain keuntungan dari berkomunikasi dengan teman baru, Anda mendapatkan tanggung jawab dan kewajiban tertentu kepadanya. Karena itu, mulailah metrik secara sadar, dengan pemahaman tentang kebutuhan dan kesiapan mereka untuk mengatasi kesulitan yang menanti Anda di jalan.