Terjemahan artikel disiapkan khusus untuk siswa kursus Python QA Engineer.
Pengujian lintas-browser adalah jenis pengujian yang persis membutuhkan banyak usaha dan waktu. Menguji aplikasi web di berbagai browser, pada sistem operasi, perangkat, resolusi layar yang berbeda untuk mengevaluasi rendering konten jaringan Anda ke khalayak luas adalah tugas yang serius. Apalagi jika Anda melakukannya secara manual. Pengujian lintas-browser otomatis dengan Selenium akan menghemat waktu pada aktivitas rutin dan mengurangi waktu pengujian regresi. Namun, orang tidak suka perubahan. Jika pengujian manual populer di organisasi Anda, manajemen mungkin akan memiliki pertanyaan ketika Anda mengusulkan untuk menerapkan otomatisasi pengujian.
Otomatisasi uji, meskipun usaha yang sangat menguntungkan, berpotensi mahal. Apakah game ini sepadan dengan lilin? Ini adalah salah satu masalah yang mungkin Anda hadapi ketika meyakinkan manajemen puncak. Saat Anda mengembangkan aplikasi web, Anda perlu memberikan pengembalian investasi (ROI) yang efektif dari pengujian otomasi dengan Selenium, dengan menekankan manfaat otomatisasi tersebut untuk pengujian lintas-browser aplikasi web, yaitu kerja yang lebih cepat dan lebih sedikit kerja manual.
Pada artikel ini, kita akan membahas berbagai metrik untuk menilai ROI dari otomatisasi uji dengan Selenium, serta metode untuk menghitung ROI, dimulai dengan dasar-dasar dan berakhir dengan metode canggih.
Metrik untuk mengevaluasi ROI dari otomatisasi uji menggunakan Selenium
Anda, serta anggota tim Anda, dapat memilih indikator dan pengukuran spesifik yang akan membantu Anda menganalisis ROI dari otomasi pengujian dengan Selenium, saat Anda berencana untuk memulai pengujian otomatis aplikasi web Anda dari awal. Kinerja dapat bervariasi menurut organisasi. Mengapa Ini adalah masalah prioritas, karena ada berbagai indikator, seperti jumlah cacat yang terdeteksi (kesalahan), waktu yang dihabiskan dan cakupan pengujian, yang secara langsung mempengaruhi risiko, biaya, kualitas dan jadwal pengiriman produk Anda. Beberapa organisasi dapat memprioritaskan jumlah cacat yang ditemukan karena mereka percaya bahwa kuantitas mengalir ke kualitas. Beberapa orang berpikir berbeda, karena kualitas adalah hal mendasar bagi mereka. Apa yang kamu pilih Menurut Anda apa yang lebih penting: kualitas atau kuantitas? Anda dapat menuliskan pemikiran Anda di komentar.
Nah, sekarang mendefinisikan metrik kunci untuk menghitung ROI dari otomatisasi uji dengan Selenium akan sangat penting bagi Anda, karena Anda perlu mengidentifikasi mereka sebelum Anda terlibat dalam diskusi dengan manajemen senior.
Area Otomasi Tes dengan Selenium
Sudah diketahui umum bahwa pengujian tidak dapat sepenuhnya otomatis. Seberapa banyak Anda dapat mengotomatisasi pengujian lintas-browser adalah pertanyaan yang sulit. Jika Anda memutuskan untuk menerapkan pengujian lintas-browser otomatis untuk aplikasi web Anda, Anda harus memutuskan prioritas, yaitu, browser dan sistem operasi mana yang harus mencakup pengujian. Bagaimanapun, Anda tidak dapat mencakup semua skenario. Jumlah total skenario yang memungkinkan bisa dalam ratusan atau ribuan pengujian. Jika skrip otomasi Anda membutuhkan banyak waktu, maka ini pasti akan berdampak semakin buruk untuk total waktu yang Anda habiskan setiap hari menguji aplikasi web atau situs web Anda.
Singkatnya, Anda harus membandingkan jumlah total kasus uji otomatis dan jumlah kasus uji di mana Anda dapat menerapkan otomatisasi.
Jika Anda ingin mengurangi waktu pelaksanaan suite pengujian yang kompleks, Anda dapat menggunakan pengujian paralel dengan Selenium Grid . Dengan cara ini Anda dapat menjalankan beberapa skrip pengujian sekaligus. Namun, di sini Anda harus berpikir tentang berapa banyak sesi simultan atau paralel akan cukup untuk memenuhi persyaratan yang diberikan. Anda dapat menghitung ini dengan kalkulator konkurensi .
Meningkatkan indikator ini berarti bahwa tim dapat dengan cepat menemukan kesalahan dan memperbaikinya, yang mengarah pada risiko yang lebih rendah dan ROI yang lebih tinggi dari pengujian otomatisasi dengan Selenium.
Berapa banyak waktu yang akan Anda hemat?
Agile ditandai dengan sprint mingguan dan dua minggu dan perubahan persyaratan yang sering. Dalam keadaan seperti itu, pentingnya pengujian regresi meningkat. Pengenalan tes regresi otomatis akan mengurangi waktu yang dibutuhkan untuk melakukan pengujian tersebut. Ini akan menambah jumlah waktu untuk mengembangkan atau mengembangkan sprint lain. Menghemat waktu adalah prioritas bagi setiap organisasi, terutama untuk startup yang perlu segera mengukur aplikasi web mereka. Apakah waktu merupakan salah satu minat Anda dalam mengevaluasi ROI dari otomatisasi uji?
Bandwidth sumber daya Anda
Kami tahu bahwa pengujian otomatis dengan Selenium akan membantu Anda meluncurkan aplikasi web dengan cepat ke pasar. Namun, tidak ada organisasi yang lebih suka karyawannya untuk duduk diam sepanjang waktu, menunggu skrip bekerja. Perhitungan ROI membutuhkan analisis menyeluruh dari upaya yang dilakukan oleh masing-masing penguji di tim Anda.
Anggaran investasi sumber daya dan alat
Otomatisasi uji menghemat waktu dan tenaga. Namun, ini menyiratkan kompromi dengan harga. Anda perlu memikirkan tentang berapa banyak anggaran yang dapat Anda keluarkan untuk memelihara alat untuk melakukan pengujian otomatis.
Jumlah total cacat
Jumlah cacat yang terdeteksi setelah setiap siklus pengujian regresi memberikan gambaran tentang kualitas produk dan seberapa efektif pengujian otomatis untuk produk khusus ini.
Menemukan ROI yang Tepat untuk Pengujian Otomatis
Bergantung pada jumlah siklus regresi yang harus dilakukan selama siklus hidup proyek, ROI dapat mengambil nilai positif. Biasanya, ROI dihitung menggunakan rumus berikut:
ROI = ( – ) /
Namun, dengan munculnya Agile dan DevOps, metode klasik tidak lagi berfungsi. Selain itu, pengukuran semacam itu tidak realistis, karena jumlah tes manual tidak boleh sama dengan jumlah tes otomatis. Menghitung nilai ROI yang benar dari otomatisasi uji dalam kasus Selenium berdasarkan kuantitas tidak disukai, tetapi masih digunakan.
Kualitas cacat
Ini, menurut saya, adalah indikator yang sangat penting untuk menghitung ROI dari pengujian otomatisasi dengan Selenium. Saya percaya bahwa seluruh titik pengujian otomasi bukan untuk menghilangkan kebutuhan penguji manual dalam proyek ini. Arti otomatisasi adalah untuk mengurangi waktu yang dihabiskan oleh tester dalam melakukan tes, dalam kondisi jadwal yang ketat, sehingga tester dapat menghasilkan lebih banyak kasus uji yang siap pakai. Meningkatkan kualitas kasus uji tentu akan membantu meningkatkan aplikasi web Anda.
Kesalahan umum saat menghitung ROI dari pengujian otomatis
Meskipun perhitungan ROI melibatkan perhitungan dasar menggunakan rumus sederhana, kesalahan dapat terjadi jika Anda melewatkan beberapa parameter penting. Mari kita bahas beberapa kesalahan umum yang dilakukan orang saat menghitung ROI.
sumber
Anda tidak sepenuhnya mengabaikan pengujian manual, bukan?
Salah satu kesalahan paling umum adalah hanya menggunakan metrik pengujian otomatis. Pengujian manual akan selalu menjadi sangat penting. Ketika kita berbicara tentang pengujian lintas-browser, kami memahami bahwa beberapa skenario dapat diotomatisasi, tetapi ada kalanya Anda perlu berinteraksi dengan aplikasi web secara real time, melakukan pengujian lintas-browser secara manual. Karena cacat visual, misalnya, lebih mudah dideteksi secara manual daripada menjalankan skrip otomatis. Hal-hal seperti daya tarik penampilan situs ketika ditampilkan di berbagai browser atau pengoperasian menu navigasi yang benar selalu diperiksa secara manual. Jika Anda mencoba mengotomatisasi tes semacam ini, tes tersebut tidak akan menghasilkan peningkatan ROI. Bahkan jika Anda tidak memperhitungkan “kerja manual”, Anda masih harus memperhitungkan waktu dan uang yang dialokasikan untuk ini.
Bayangkan gambaran besarnya
Saat mengukur ROI dari otomatisasi uji dengan Selenium, Anda perlu mempertimbangkan periode waktu yang lebih lama. Menguji bagaimana metodologi pengujian tertentu menguntungkan organisasi dalam waktu singkat tidak selalu memberikan gambaran yang lengkap. Anda harus mencari tahu bagaimana hal itu akan mempengaruhi organisasi dan tim dalam jangka panjang. Alih-alih mengambil bulan, pikirkan tentang bagaimana ROI akan berubah dalam 3-5 tahun. Misalnya, apakah pengujian shift-kiri layak digunakan dalam praktik Anda? Pengujian shift-kiri adalah metodologi yang berfokus pada pengujian sesegera mungkin, dimulai dengan tahap pengumpulan persyaratan. Idenya adalah untuk memikirkan kesalahan di muka dan menemukannya sedini mungkin, karena diyakini bahwa kesalahan yang ditemukan pada tahap selanjutnya dalam siklus hidup pengembangan sistem akan lebih mahal daripada kesalahan yang ditemukan pada tahap awal.
Sudahkah Anda menghargai kemampuan organisasi Anda?
Anda harus mencocokkan kemampuan organisasi Anda dengan setumpuk alat otomatisasi uji. Implementasi yang sukses dari strategi pengujian otomatis membutuhkan pengetahuan produk dan pengetahuan otomasi. Tim Anda harus memiliki pemahaman yang jelas tentang cara menggunakan alat otomasi yang dimaksud, serta cara kerja aplikasi.
Dukungan tes penting
Dukungan tes adalah faktor lain yang cenderung diabaikan saat mengukur ROI dari otomatisasi tes. Jika Anda menggunakan Selenium untuk pengujian lintas-browser otomatis, maka setelah implementasi strategi Anda berhasil, Anda perlu memperbarui dan memelihara kasus uji secara teratur. Kumpulan regresi dan kasus uji akan mulai bertambah jumlahnya ketika Anda menambahkan halaman baru, memperluas atau memperbarui fungsi aplikasi web. Menjaga suite tes ini dapat digunakan untuk jangka waktu yang lebih lama akan membutuhkan dukungan reguler.
Kurangnya dokumentasi kualitas yang tepat
Ini adalah kesalahan yang cukup umum, dan tidak hanya dalam hal otomatisasi, tetapi juga dalam hal manajemen. Dokumentasi harus mencerminkan standar organisasi. Ketika tester menulis skrip pengujian, ia harus menyiapkan dokumen yang menjelaskan tujuan skrip dan cara kerjanya. Basis pengetahuan umum harus dapat diakses oleh semua orang di dalam organisasi dan menyertakan dokumentasi untuk setiap skenario otomasi yang digunakan dalam organisasi Anda. Basis pengetahuan seperti itu akan berfungsi sebagai dukungan yang andal bagi setiap pendatang baru di tim Anda. Ini juga akan membantu menghilangkan masalah yang tak terhindarkan muncul dengan tidak adanya manajer proyek "senior" atau ketika tester berharga pergi ke perusahaan lain. Oleh karena itu, pada saat Anda menghitung ROI dari otomatisasi pengujian, pastikan untuk memperhitungkan jumlah upaya yang diperlukan untuk mempertahankan satu basis pengetahuan tersebut untuk karyawan internal.
Apa yang harus dilakukan untuk meningkatkan ROI dari otomatisasi uji dengan Selenium
Saat ini, kami menyadari kesalahan umum dan mengetahui indikator untuk menghitung ROI dari otomatisasi pengujian. Apa selanjutnya Pemenuhan. Bagaimana menemukan cara terbaik untuk mendapatkan ROI maksimum dari otomatisasi uji dengan Selenium? Nah, berikut adalah beberapa praktik yang patut dicatat untuk membantu Anda mendapatkan hasil maksimal dari otomatisasi pengujian.
Terapkan Otomasi untuk Tes Baru
Ini adalah faktor yang sangat penting, terutama jika Anda beralih dari pengujian manual ke pengujian otomatis. Misalkan Anda memperkenalkan penggunaan Selenium WebDriver di organisasi Anda untuk pengujian lintas-browser otomatis.
- Hitung jumlah kasus uji yang perlu diotomatisasi;
- Sekarang periksa mana yang benar-benar perlu diotomatisasi dan mana yang paling baik dilakukan secara manual;
- Jangan mengubah kasus uji sedemikian rupa sehingga dapat diotomatisasi! Ada beberapa hal yang perlu diperiksa secara manual; - Hitung biaya per jam dari tester yang melakukan uji kasus;
- Jika beberapa penguji tidak memiliki pengalaman otomatisasi, hitung biaya pelatihan.
Prioritas proses otomasi untuk kasus uji baru
Kita semua tahu bahwa pengujian regresi selalu menjadi prioritas, terutama ketika datang ke pengujian regresi visual aplikasi web di berbagai browser untuk memeriksa kompatibilitas lintas-browser .
Pengujian regresi terutama melibatkan pengeksekusian ulang kasus pengujian lama untuk memastikan bahwa fungsi-fungsi baru yang ditambahkan tidak mempengaruhi operasi fungsi lama dan tidak menyebabkan kesalahan baru. Seiring waktu, ketika aplikasi web Anda tumbuh secara arsitektural dan fungsional, secara manual melacak kemajuan pengujian regresi akan terbukti mahal. Implementasi pengujian regresi visual otomatis masuk akal jika Anda ingin menyimpan.
- Saat menghitung ROI, asumsikan bahwa setiap uji kasus baru akan segera menjadi bagian dari pengujian regresi. Perlakukan mereka sebagai bagian dari strategi pengujian regresi Anda.
- Urutkan test case berdasarkan kompleksitas dan lihat mana yang dapat diotomatisasi.
- Seperti yang dinyatakan sebelumnya, pertimbangkan biaya untuk mempertahankan tes lama.
Hampir 100% cakupan pengujian di bawah berbagai konfigurasi pengujian untuk browser dan OS
Tujuan utama otomatisasi pengujian adalah untuk meningkatkan kualitas aplikasi Anda. Saat menghitung ROI, Anda juga harus memperhitungkan bahwa jumlah cara untuk melihat situs web meningkat setiap hari. Ada ratusan browser dan perangkat di pasar tempat orang dapat melihat aplikasi web Anda, dan jumlah mereka terus bertambah. Tentukan matriks kompatibilitas peramban untuk Anda sendiri.
Rekomendasi Rasio Cakupan
Anda dapat meningkatkan cakupan tes dengan melakukan tes asap, tes unit, dan tes regresi yang mengarah ke sumber kesalahan.
Tes unit. Tes unit merupakan persentase tes terbesar saat menguji aplikasi web Anda. Itu selalu masuk akal untuk menggunakan mekanisme eksekusi paralel untuk menghemat waktu.
Tes asap Menjalankan tes asap secara paralel adalah cara terbaik untuk menutupi kasus uji saat mengirim perbaikan terbaru ke aplikasi. Tes asap otomatis adalah cara yang baik untuk menguji setiap hari untuk aplikasi web Anda.
Tes regresi. Di usia Agile, perkembangan pesat membutuhkan lebih banyak dan lebih banyak tes regresi, terutama untuk kontrol versi. Melakukan tes regresi paralel memastikan bahwa setiap perakitan berikutnya akan bekerja sama persis dengan yang sebelumnya, yang akan memungkinkan untuk menyesuaikan tes dalam periode waktu yang jauh lebih singkat.
Ingat tentang kebocoran cacat - jumlah kesalahan yang terjadi selama siklus produksi, karena fakta bahwa mereka tidak terdeteksi pada tahap pengujian awal. Ini dapat terjadi karena cakupan pengujian fungsional yang buruk atau lingkungan pengujian yang buruk.
Coba gunakan metodologi tes shift-kiri . Ini menyiratkan keterlibatan penguji dalam pengembangan. Pengembang juga berpartisipasi di dalamnya, melakukan pengujian unit setelah pengembangan modul tertentu. Gagasan utamanya adalah menemukan kesalahan sebelum hal itu muncul, dan akhirnya mengurangi biayanya.
Cari tahu jumlah kasus uji duplikat dan redundan
Duplikasi kasus uji merupakan faktor penting yang dapat menyebabkan peningkatan anggaran untuk pengujian. Tidak ada gunanya mengembangkan lagi kasus-kasus pengujian yang sudah Anda gunakan sebelumnya untuk modul lain. Penggunaan kembali kasus uji menyebabkan pengujian lebih cepat.
Perhitungan biaya termasuk:
- jumlah tes berulang;
- uji kasus dengan komponen berulang;
- waktu yang diperlukan untuk mendeteksi dan membuat semua kasus uji yang berlebihan ini;
- perhitungan biaya menggunakan alat manajemen kasus uji.
Rekomendasi untuk Mengurangi Redundansi:
- Gunakan alat manajemen kasus uji untuk menemukan skenario duplikat. Anda dapat menggunakan alat ini untuk menyimpan tes dengan bidang variabel, yang nantinya dapat dimodifikasi sesuai kebutuhan Anda. Menggunakan alat semacam itu akan membantu mendeteksi dengan cepat redundansi.
- Anda juga dapat mengembangkan kotak uji modular yang dapat digunakan kembali di masa mendatang. Sorot tes yang paling sering dijalankan. Misalnya, fungsi masuk dan keluar. Untuk memeriksa operasi yang benar dari fungsi-fungsi ini, Anda perlu melakukan serangkaian tes tertentu. Desain kotak uji modular yang dapat digunakan untuk masing-masing dari banyak variasi proses masuk dan keluar.
Lakukan pengujian lintas-browser otomatis dengan Selenium Grid On-Cloud tanpa masalah
Bagian penting dari perhitungan ROI dari otomatisasi uji dengan Selenium terletak di sekitar metode eksekusi. Selenium dikenal sebagai kerangka kerja otomatisasi pengujian terbuka yang dirancang untuk memfasilitasi pengujian aplikasi web. Anda dapat melakukan pengujian otomatis dengan Selenium baik secara lokal atau menggunakan salah satu alat cloud yang ditawarkan oleh Selenium Grid.
Saat Anda melakukan pengujian otomatis dengan Selenium di infrastruktur Anda sendiri, Anda perlu mempertimbangkan anggaran untuk mengukur suite pengujian Anda. Bagaimana Anda memperkenalkan perangkat baru? Versi browser yang lebih baru? Untuk mendukung eksekusi paralel, komputer Anda akan membutuhkan daya yang signifikan. Namun, jika Anda menguji dengan Selenium Grid di cloud , Anda dapat mengatur skala agar sesuai dengan persyaratan proyek Anda.
Selenium sendiri tidak menyediakan alat pelaporan. Laporan pengujian dapat diperoleh dengan menggunakan kerangka kerja otomatisasi uji berdasarkan bahasa yang digunakan. Jika Anda menggunakan Selenium Grid LambdaTest, Anda bisa mendapatkan laporan melalui Selenium API terbuka kami.
Perbedaan utama antara kedua metode ini adalah pengujian paralel. Menggunakan Selenium Grid pada mesin lokal Anda, Anda dapat menjalankan test case hanya di browser yang diinstal pada mesin ini. Namun, jika Anda menggunakan Selenium Grid berbasis cloud, seperti LambdaTest, Anda dapat menguji lebih dari 2000 browser nyata dan versinya.
Ingat bahwa jika pengujian paralel tidak dilakukan dengan benar, ada risiko kebocoran cacat. Semakin cepat Anda menemukan kesalahan, semakin mudah untuk memperbaikinya.
Metode Perhitungan ROI Lanjut
Sekarang kami telah mempelajari dasar-dasarnya, sekarang saatnya untuk berbicara tentang metode lanjutan yang digunakan untuk menghitung ROI.
ROI efektif
sumber
Karena kasus uji otomatis dapat dijalankan sepanjang hari, ROI dihitung dalam beberapa hari. Di sisi lain, dengan pengujian manual, hanya waktu kerja tester yang diperhitungkan, yang rata-rata 8 jam sehari. Rumus yang merupakan dasar untuk menghitung ROI:
- (A) Waktu untuk mengembangkan kasus uji untuk otomatisasi = (Waktu untuk mengotomatisasi satu tes dalam jam
* Jumlah kasus uji untuk otomatisasi * Periode ROI) / 8 - (B) Waktu pelaksanaan uji kasus otomatis = (Waktu pelaksanaan uji uji otomatis
* Jumlah kasus uji untuk otomatisasi * Periode ROI) / 18 - ( c ) Waktu analisis uji otomatis = (Waktu analisis uji
* periode ROI) / 8 - (d) Waktu layanan untuk uji otomatis = (Waktu layanan
* periode ROI) / 8 - (e) Waktu pelaksanaan manual = (Waktu pelaksanaan pengujian manual
* Jumlah kasus pengujian manual * Periode ROI) / 8
Catatan: Periode pengembalian investasi (Periode ROI) adalah jumlah minggu di mana ROI dibagi 8 harus dihitung, terjadi di mana-mana di mana tenaga kerja manual diperhitungkan. Pembagian dengan 18 terjadi di mana pun otomatisasi digunakan.
Dalam menghitung efektivitas, fokusnya adalah pada seberapa efektif pengujian otomatis untuk organisasi. Faktor moneter dianggap sekunder, oleh karena itu, tidak perlu memasukkan upah per jam untuk pekerjaan penguji.
ROI untuk mengurangi risiko
Seharusnya secara mandiri menghitung manfaat otomatisasi. Kami akan kembali mengambil contoh dengan pengujian lintas-browser dan menggunakan WebDriver untuk memahami cara kerjanya. Selama pengujian manual, seluruh tim menghabiskan banyak waktu melakukan hal yang sama berulang-ulang di beberapa browser. Setelah menerapkan otomatisasi, penguji memiliki banyak waktu tambahan untuk melakukan pekerjaan yang produktif, seperti mengembangkan kasus pengujian, menganalisis aplikasi, dll. Singkatnya, ROI untuk mengurangi risiko memecahkan masalah yang bahkan belum pernah dimunculkan sebelumnya.
Dengan diperkenalkannya otomatisasi, cakupan pengujian meningkat. Ketergantungan penuh pada pengujian manual akan menyebabkan kesalahan yang tidak perlu yang mungkin sudah terlihat pada produksi. Ini akan menyebabkan penurunan kualitas produk dan efisiensi pengujian. Kerugian yang mungkin seperti itu dianggap sebagai risiko. Tidak ada perubahan dalam nilai investasi. Hanya kerugian moneter yang mungkin dihadapi organisasi tanpa menerapkan otomatisasi yang dihitung.
Ini hanya pembungkus! (Asal. Ini Bungkus!)
Terima kasih telah membaca, saya harap Anda telah memperoleh pengetahuan yang diperlukan dan strategi yang berguna untuk meyakinkan manajemen menggunakan ROI dari pengujian otomatisasi dengan Selenium. Jangan membuat kesalahan dengan berpikir bahwa ROI hanyalah perbandingan waktu dan uang yang dihabiskan untuk menguji aplikasi web dan pengujian otomatis secara manual. Ada banyak faktor yang perlu dipertimbangkan, dan masing-masing memiliki kelebihan dan kekurangan. Selain itu, ROI tidak dapat dihitung dengan formula tunggal. Ada beberapa metode, dan Anda harus memilih apa yang Anda butuhkan tergantung pada persyaratan organisasi Anda dan proyek Anda. Semoga berhasil dalam pengujian!