Selamat siang, nama saya Alexander Ulanov, saya seorang insinyur pengujian di Odnoklassniki. Dalam artikel ini, saya ingin berbicara tentang salah satu proyek di mana saya berpartisipasi. Saya akan segera memperingatkan Anda: dalam artikel Anda tidak akan menemukan penemuan atau pendekatan kompleks apa pun terhadap metodologi pengujian. Namun, proses pengembangan dan pengujian yang dijelaskan dalam artikel ini mungkin menarik atau bahkan bermanfaat bagi seseorang.
Episode 1: Ketakutan dan Kebencian dalam OTRS
OTRS adalah sistem pemrosesan permintaan yang memungkinkan organisasi yang terlibat dalam dukungan teknis dari setiap proyek untuk bekerja sama untuk memecahkan masalah pengguna. Sistem ini ditulis dalam Perl dan didukung oleh pengembang hingga November 2017.
Itu adalah sistem OTRS yang kami gunakan selama bertahun-tahun untuk memproses semua panggilan dari pengguna. Keputusan untuk menggunakan OTRS dibuat bertahun-tahun yang lalu. Kemudian ada tugas sederhana: untuk menemukan solusi yang siap pakai dan cepat menyesuaikannya dengan tujuan kami. Dan itu mengerikan, saya akan menjelaskan alasannya:
- kami menggunakan versi khusus dari sistem OTRS untuk kebutuhan kami dan karenanya memperbaruinya (sampai musim gugur 2017), untuk membuatnya agak, sulit;
- seiring waktu, kami mulai memahami bahwa sistem ini bersandar pada beban "plafon" dan berhenti untuk mengatasi jumlah aplikasi yang berasal dari pengguna kami;
- sistem OTRS diintegrasikan ke dalam infrastruktur keseluruhan sedemikian rupa sehingga sepenuhnya bergantung pada pembaruan jaringan sosial OK.ru. Yang memungkinkan untuk memperbarui OTRS hanya seminggu sekali;
- staf yang terdiri dari 90 staf pendukung dapat memberikan jawaban atas keluhan hanya dalam beberapa jam;
- pengujian setiap pembaruan sistem dari pihak kami berubah menjadi mimpi buruk, karena bahkan perubahan terkecil dapat merusak sistem di salah satu node. Ketika datang untuk menambahkan fungsionalitas baru, proses pengembangan dan pengujian berubah menjadi minggu debug sistem;
- OTRS sendiri ditulis dalam Perl. Bahasa yang praktis tidak digunakan dalam proyek OK.ru, yang menimbulkan masalah tambahan;
- dan, mungkin, masalah utamanya adalah MAIL! OTRS menangani keluhan dalam bentuk email. Dan ini pada 2016-2017! Karenanya, berton-ton pengaturan, fitur-fitur bekerja dengan layanan surat dan lama menunggu jawaban bagi pengguna, yang tidak dapat dihindari ketika berkomunikasi dengan dukungan melalui surat.
Episode 2: Yang Kami Ingin Dapatkan
Gagasan keberangkatan penuh dari OTRS mulai berkembang di perusahaan sejak 2015. Tugas utama: untuk menyingkirkan penggunaan surat dan memberikan kemampuan untuk merespons dengan cepat dan tepat waktu kepada pengguna tanpa peningkatan ganda dalam jumlah staf pendukung. Solusi yang paling jelas adalah layanan dukungan online.
Juga, tidak ada yang mau menghabiskan sumber daya pada sistem yang sama sekali baru. Lebih logis menggunakan layanan internal Anda, yang fungsinya sudah memiliki pengalaman dan cakupan pengujian. Ditambah persyaratan teknis murni: untuk dapat melakukan pembaruan ke sistem baru kapan saja dan tidak bergantung pada tim lain. Apa yang menjanjikan kami fleksibilitas dalam pengembangan dan pengujian.
Sekitar periode yang sama, OK.ru melihat modernisasi global dari sistem pesan. Itu didasarkan pada pesan baru bahwa diputuskan untuk menerapkan sistem dukungan online baru (selanjutnya disebut "oSupp").
Episode 3: Perencanaan
Pada tahap awal pengembangan oSupp dan sebagai hasil dari banyak pertemuan, kami melihat sejumlah masalah. Yang utama adalah bahwa tidak mungkin untuk segera mengalihkan semua pekerjaan dari OTRS ke oSupp sekaligus:
- perlu untuk mengevaluasi sepenuhnya bagaimana sistem baru mengatasi beban teknis (ingat, kita berbicara tentang memproses 10-12 ribu keluhan per hari);
- Itu perlu untuk melatih karyawan untuk bekerja dalam sistem baru;
- Penting untuk melakukan pengujian A / B pada pengguna dan karyawan pendukung dan mengevaluasi bagaimana mereka akan mengatasi beban;
- batasan teknis: perpesanan OK.ru belum pernah bekerja dengan pengguna yang tidak sah sebelumnya. Dan dalam pekerjaan pendukung, komunikasi dengan pengguna yang tidak sah hampir sepertiga dari ribuan pengaduan;
- Untuk menguji sistem, Anda perlu meningkatkan lingkungan yang semirip mungkin dengan yang asli, tetapi tanpa akses ke pengguna langsung.
Kami memutuskan bahwa cara terbaik adalah menerapkan dan mengimplementasikan oSupp dalam tiga tahap:
- Pengembangan dan pengujian prototipe.
- Menerapkan oSupp untuk memproses panggilan dari pengguna OK.ru yang berwenang.
- Cakupan penuh semua panggilan dengan sistem oSupp baru.
Episode 4: Pengujian dan Commissioning
Untuk menguji prototipe, lingkungan pengujian dibuat dengan kemampuan untuk menghasilkan panggilan dari pengguna pengujian dan kemampuan untuk menghubungkan oSupp ke lingkungan pengujian OK.ru. Perlu dicatat di sini bahwa sistem baru dirancang sedemikian rupa sehingga tidak ada yang berubah pada bagian pengguna sampai saat komunikasi langsung dengan operator. Bagian "Bantuan" yang familier tetap ada, pengetikan topik yang dikenali di situs dan FAQ telah dilestarikan.
Hingga saat ini, tidak ada yang berubah dalam hal pengujian. Semua rencana pengujian dan cakupan oleh autotests tidak berubah. U - kenyamanan!
Setelah pengguna menemukan topik banding dan mengisi bidang yang diperlukan, pesan masuk ke sistem oSupp, dan pengguna mengobrol dengan salah satu karyawan pendukung tepat di bagian Pesan. Dialog dimulai secara instan ketika ada operator gratis dalam sistem. Jika tidak, obrolan juga dibuat, dan pengguna menerima pesan pertama otomatis "Operator akan segera menghubungi Anda."
Lagi - minimal perubahan dalam proses pengujian. Ini obrolan biasa, dan baginya tidak perlu membuat rencana pengujian baru. U - kenyamanan!
Tetapi untuk memastikan pekerjaan karyawan, sistem diciptakan dari awal. Yang dibutuhkan adalah sistem cepat yang akan memungkinkan pekerjaan simultan untuk beberapa lusin karyawan online dan yang akan dapat memproses ribuan panggilan per hari.
Pengembangan dan pengujian iteratif. Sekitar seminggu sekali kami menambahkan modul fungsional baru ke sistem, yang memungkinkan kami untuk tidak menyimpan tugas dan secara bertahap menutupi sistem dengan tes. Saya mengkompilasi kasus teks untuk pengujian, sementara secara bersamaan menyoroti yang bisa otomatis. Proses pengembangan prototipe yang berfungsi penuh membutuhkan waktu sekitar lima bulan.
Sebagai hasilnya, kami mendapat layanan web di mana operator-operator dapat masuk dan menerima permintaan dari pengguna untuk diproses. Untuk sekelompok karyawan pendukung, kami melakukan pengujian A / B beberapa kali untuk memahami pada tahap ini seberapa nyaman dan dapat dimengerti mereka bekerja dalam sistem baru. Itu adalah pengalaman yang berharga. Kami dapat menguji sistem oSupp pada beban yang dibuat secara buatan dari lingkungan pengujian kami. Namun, ini tidak menjamin bahwa di dunia nyata kita tidak akan mengalami masalah.
Pada bulan Februari 2017, kami mulai memperkenalkan sistem baru di lingkungan produk. Seperti yang saya tulis sebelumnya, ketika menghubungi dukungan pelanggan, pengguna harus memilih topik kontak. Untuk pengujian pertama sistem pada pengguna nyata, kami memilih beberapa topik yang bebannya minimal. Sistem bekerja dalam formulir ini selama sekitar satu minggu. Pengujian A / B tidak diperlukan untuk pengguna, karena praktis tidak ada perubahan pada fungsi portal. Di sisi oSupp, tiga operator online menangani beban. Kami dengan cepat melacak masalah yang dapat segera diperbaiki, seperti Sistem oSupp baru tidak lagi terikat pada pembaruan portal utama. Sekarang kita dapat memperbarui sistem dan memperbaiki masalah ketika kita mau. U - kenyamanan!
Secara bertahap, kami menambah jumlah topik yang diproses melalui sistem baru. Dengan penyebaran yang lancar, kami tidak hanya bisa mengendalikan beban, tetapi juga secara bertahap melatih staf pendukung untuk bekerja dengan sistem baru tanpa perlu mengalihkan perhatian mereka dari sisa pekerjaan. Pada pertengahan musim panas 2017, sekitar 35% dari permintaan ditransfer ke pemrosesan oleh layanan online. Sudah sepertiga dari staf kami telah bekerja melalui oSupp. Sistem ini ditutupi dengan dokumentasi, rencana pengujian, dan tes mandiri minimum yang diperlukan, yang diluncurkan ketika sistem diperbarui. Hingga Desember 2017, kami mentransfer semua aplikasi dari pengguna resmi secara online.
Langkah penting berikutnya adalah memberikan dukungan online untuk pengguna yang mengalami masalah otentikasi. Ini tentang mereka yang lupa kata sandi, diretas, diblokir, atau hanya pengguna dengan panggilan tidak standar. Masalah teknis utama pada tahap ini - sistem pesan OK.ru secara historis telah dirancang untuk korespondensi dari bentuk "pengguna OK (operator pendukung dalam kasus kami) - pengguna OK". Tapi kami perlu memastikan pekerjaan situasi "pengguna OK (operator) - pengguna tidak sah".
Tim pendukung mulai bekerja sama dengan tim pesan OK.ru. Akibatnya, solusi diciptakan yang memungkinkan secara langsung pada layar login OK.ru untuk menerima obrolan online dengan operator layanan dukungan. Pada saat yang sama, sistem oSupp yang sudah ada dan ditugaskan tidak memerlukan perubahan. Dan esensi baru dari obrolan online bekerja pada mesin pesan OK.ru yang dimodifikasi. U - kenyamanan!
Kami mulai menerapkan keputusan ini pada awal 2018. Dalam hal pengujian, juga tidak ada kesulitan khusus, seperti Obrolan semacam itu memiliki serangkaian fungsi minimal. Pertama-tama, kami meluncurkan dukungan untuk keluhan dari pengguna yang tidak sah dari web. Saat ini, dukungan untuk keluhan semacam itu dari aplikasi seluler sedang dilaksanakan.
Episode 5: Ringkasan
Dari keadaan prototipe ke layanan operasional penuh, oSupp pindah ke musim panas 2018. Pada Maret 2019, 60% permintaan diproses melalui dukungan online. Staf tidak berubah. 90 layanan dukungan karyawan online mencakup sekitar 6.000 keluhan dari pengguna setiap hari. Selama aktivitas puncak di portal, menunggu respons dari operator membutuhkan waktu hingga 10 menit. Di bawah beban kerja normal, operator merespons dalam 1-2 menit. Berkat beralih ke komunikasi online langsung, pemulihan sukses akses pengguna ke profil telah tumbuh sebesar 15%.
Sekarang kami memiliki 100% dari produk kami sendiri, kami bebas untuk memodifikasinya kapan saja. Tim tidak lagi bergantung pada pembaruan dari portal OK.ru. Sistem pemrosesan aplikasi baru ditulis dalam Java, yang mengimplementasikan banyak layanan OK.ru. Proses pengujian sistem oSupp sepenuhnya dicakup oleh uji kasus, dan dengan pembaruan itu diasuransikan dengan pengujian otomatis.
Saya harus mencatat bahwa kami belum sepenuhnya meninggalkan OTRS. Sistem dukungan offline dibekukan pada pertengahan 2017, dan sekarang memainkan peran asuransi. Ada panggilan dari pengguna yang tidak bermoral yang suka melakukan spam tanpa tujuan di layanan dukungan. OTRS juga memproses panggilan yang, untuk alasan tertentu, pengguna tidak dapat diproses secara online. Sekarang, rencana tim kami meliputi penerapan pemrosesan panggilan dari aplikasi seluler dan penerapan sistem chatbot.
Namun, tujuan utama kami tercapai - kami menjauh dari penggunaan surat. Sekarang, untuk menyelesaikan masalah, pengguna kami menerima jawaban cepat dan tepat waktu.
Prestasi utama kami: pengguna telah secara signifikan mengurangi waktu tunggu untuk respons dan menerima bantuan.