Ketika Anda mendengarkan wawancara teknis sepanjang hari, Anda mulai memperhatikan pola. Sebaliknya, dalam kasus kami, ketidakhadiran mereka. Saya berhasil menemukan hanya dua hal yang tetap tidak berubah. Saya bahkan datang dengan permainan alkohol berdasarkan pada mereka: setiap kali seseorang memutuskan bahwa jawaban atas pertanyaan adalah tabel hash, kita minum setumpuk, jika jawaban yang benar adalah tabel hash, kita minum dua. Tetapi saya tidak menyarankan untuk memainkannya, saya hampir mati.
Mengapa saya mendengarkan wawancara sepanjang hari? Karena beberapa tahun yang lalu saya menjadi salah satu pencipta layanan
interviewing.io , sebuah platform
wawancara di mana orang-orang dari bidang TI dapat mengembangkan keterampilan komunikasi dengan majikan dan mencari pekerjaan sementara itu.
Akibatnya, saya memiliki akses ke sejumlah besar data tentang bagaimana pengguna yang sama menunjukkan dirinya pada wawancara yang berbeda. Dan mereka berubah menjadi sangat tidak terduga sehingga Anda pasti akan berpikir tentang seberapa umum hasil dari satu pertemuan.
Bagaimana cara kami mendapatkan data
Ketika pengguna yang melakukan wawancara dan pengguna yang mencari pekerjaan menemukan satu sama lain, mereka bertemu dalam editor kode bersama. Di sana, kemampuan untuk berkomunikasi dalam suara dan melalui pesan teks terhubung, ada analog papan penanda untuk merekam keputusan - Anda dapat segera memulai masalah teknis.
Pertanyaan-pertanyaan pada wawancara kami biasanya dari kategori orang-orang yang ditanyakan selama wawancara telepon kepada pelamar untuk posisi pengembang perangkat lunak backend. Pengguna yang melakukan wawancara biasanya adalah karyawan perusahaan besar (Google, Facebook, Yelp) atau perwakilan startup dengan bias teknis yang kuat (Asana, Mattermark, KeepSafe, dan lainnya). Pada akhir setiap pertemuan, pengusaha mengevaluasi kandidat berdasarkan beberapa kriteria, salah satunya adalah keterampilan pemrograman. Peringkat ditempatkan pada skala dari satu ("biasa saja") hingga empat ("hebat!"). Pada platform kami, nilai dari tiga dan di atas dalam banyak kasus berarti bahwa kandidat cukup kuat untuk naik ke tahap berikutnya.
Di sini Anda dapat mengatakan: “Ini semua luar biasa, tetapi apa yang istimewa di sini? Banyak perusahaan mengumpulkan statistik seperti itu dalam proses seleksi. " Data kami berbeda dari statistik ini dalam satu hal: pengguna yang sama dapat mengambil bagian dalam beberapa wawancara, masing-masing dengan karyawan baru dari perusahaan baru. Ini membuka peluang untuk analisis komparatif yang sangat menarik di lingkungan yang kurang lebih stabil.
Kesimpulan # 1: Hasil sangat bervariasi dari wawancara ke wawancara
Mari kita mulai dengan beberapa gambar. Dalam grafik di bawah ini, setiap ikon dalam bentuk pria kecil menunjukkan peringkat individu rata-rata dari salah satu pengguna yang berpartisipasi dalam dua atau lebih wawancara. Salah satu parameter yang tidak ditampilkan pada grafik ini adalah periode waktu.
Anda dapat melihat bagaimana kesuksesan orang berubah dari waktu ke waktu, di sini. Ada sesuatu dalam semangat kekacauan primitif.
Sumbu Y menunjukkan penyimpangan tipikal dari nilai rata-rata - oleh karena itu, semakin tinggi kita naik, semakin tidak dapat diprediksi adalah hasil dari wawancara. Seperti yang Anda lihat, sekitar 25% dari peserta disimpan secara stabil di tingkat yang sama, sementara sisanya semua melompat-lompat.
Setelah mempelajari jadwal ini dengan cermat, Anda, terlepas dari setumpuk data, mungkin akan dapat secara kasar mengetahui pengguna mana yang ingin Anda undang untuk wawancara. Tapi di sini penting untuk diingat: kami mengambil nilai rata-rata. Sekarang bayangkan Anda perlu membuat keputusan berdasarkan satu penilaian tunggal, yang digunakan untuk menghitungnya. Di sinilah masalahnya dimulai.
Untuk kejelasan yang lebih besar, Anda dapat membuka
versi grafik drop mati interaktif . Di sana, setiap ikon terbuka saat Anda mengarahkan kursor dan Anda dapat melihat nilai apa yang diterima pengguna di setiap wawancara. Hasilnya mungkin sangat mengejutkan Anda! Nah, misalnya:
- Bagian terbesar dari mereka yang memiliki setidaknya satu empat setidaknya sekali menemukan diri mereka di "ganda"
- Bahkan jika Anda hanya memilih kandidat terkuat (skor rata-rata dari 3,3 dan lebih tinggi), hasilnya masih berfluktuasi secara signifikan
- The "rata-rata" (skor rata-rata - 2,6-3,3), hasilnya sangat bertentangan
Kami bertanya-tanya apakah ada hubungan antara tingkat kandidat dan amplitudo getaran. Dengan kata lain, mungkin bagi mereka yang lebih lemah, ada lompatan tajam yang khas, sementara programmer yang kuat stabil? Ternyata, tidak. Ketika kami melakukan analisis regresi dari penyimpangan khas sehubungan dengan estimasi rata-rata, kami tidak dapat membangun hubungan yang signifikan (R kuadrat adalah sekitar 0,03). Dan ini berarti bahwa orang mendapatkan nilai yang berbeda, terlepas dari tingkat umumnya.
Saya akan mengatakan ini: ketika Anda melihat semua data ini, dan kemudian membayangkan bahwa Anda perlu memilih seseorang berdasarkan hasil satu wawancara, rasanya seperti Anda sedang melihat kamar yang indah, diperaboti dengan mewah melalui lubang kunci. Dalam satu kasus, Anda beruntung melihat gambar di dinding, di yang lain - koleksi anggur, dan yang ketiga - Anda akan mengubur diri Anda di dinding belakang sofa.
Dalam situasi nyata, ketika kami mencoba memutuskan apakah akan memanggil pelamar untuk wawancara di kantor, kami biasanya mencoba menghindari kesalahan jenis pertama (yaitu, jangan secara acak memilih mereka yang kekurangan standar) dan kesalahan jenis kedua (yaitu, tidak menolak mereka yang Akan layak mengundang). Pemimpin pasar biasanya membangun strategi berdasarkan fakta bahwa kesalahan jenis kedua tidak terlalu merugikan. Tampaknya logis, bukan? Jika ada sumber daya yang cukup dan jumlah pelamar besar, bahkan dengan sejumlah besar kesalahan jenis kedua, masih akan ada seseorang yang cocok.
Tetapi strategi membuat kesalahan jenis kedua ini memiliki sisi bayangan, dan sekarang ia membuatnya terasa, meluas ke krisis perekrutan saat ini di bidang TI. Apakah wawancara tunggal dalam bentuk mereka saat ini memberikan informasi yang cukup? Apakah kita menolak, terlepas dari meningkatnya permintaan untuk pengembang berbakat, pekerja yang kompeten hanya karena kita mencoba untuk mempertimbangkan jadwal yang luas dengan perbedaan kuat melalui lubang intip kecil?
Jadi, jika kita mengabaikan metafora dan pembacaan moral: karena hasil wawancara sangat tidak terduga, apa kemungkinan bahwa kandidat kuat akan gagal dalam wawancara telepon?
Kesimpulan No. 2: Probabilitas kegagalan pada wawancara berdasarkan hasil dari upaya sebelumnya
Di bawah ini adalah distribusi persentase dari seluruh basis pengguna kami dengan perkiraan rata-rata.
Untuk memahami kemungkinan bahwa seorang kandidat dengan hasil rata-rata tertentu tidak akan menunjukkan dirinya dengan baik dalam sebuah wawancara, kami harus melakukan statistik.
Pertama, kami membagi orang yang diwawancarai ke dalam kelompok-kelompok berdasarkan peringkat rata-rata (sementara nilai-nilai dikumpulkan dalam 0,25). Kemudian, untuk setiap kelompok, probabilitas kegagalan dihitung, yaitu mendapatkan skor 2 atau lebih rendah. Selanjutnya, untuk mengkompensasi jumlah data yang sederhana, kami
mengambil sampel ulang .
Saat menyusun sampel ulang, kami menganggap hasil wawancara di masa mendatang sebagai distribusi multi-nominal. Dengan kata lain, kami mempresentasikan bahwa hasilnya ditentukan oleh gulungan dadu dengan empat wajah, dan untuk masing-masing kelompok pusat gravitasi dari kubus digeser dengan cara tertentu.
Kemudian kami mulai melempar dadu ini sampai kami membuat set data simulasi baru untuk setiap kelompok. Probabilitas kegagalan baru untuk pengguna dengan perkiraan berbeda dihitung berdasarkan data ini. Di bawah ini Anda dapat melihat grafik yang kami terima setelah 10.000 lemparan tersebut.
Seperti yang Anda lihat, ada banyak persimpangan. Ini penting: fakta tumpang tindih memberi tahu kita bahwa mungkin tidak ada perbedaan yang signifikan secara statistik antara beberapa kelompok (misalnya, 2,75 dan 3).
Tentu saja, ketika kita memiliki lebih banyak data (lebih banyak), batas-batas antara kelompok akan lebih jelas. Di sisi lain, fakta bahwa sampel besar diperlukan untuk menemukan perbedaan antara indikator tingkat kegagalan dapat menunjukkan variabilitas awalnya tinggi dalam hasil untuk pengguna rata-rata.
Pada akhirnya, dengan keyakinan kita dapat mengatakan yang berikut: perbedaan antara titik-titik ekstrem skala (2,25 dan 3,75) adalah signifikan, tetapi segala sesuatu di antaranya sudah jauh lebih jelas.
Namun demikian, berdasarkan distribusi ini, kami berupaya menghitung persentase probabilitas bahwa seorang kandidat dengan satu atau beberapa peringkat rata-rata akan menunjukkan hasil yang buruk dalam satu wawancara:
Fakta bahwa orang dengan tingkat umum yang baik (mis., Peringkat rata-rata sekitar 3) dapat gagal dengan probabilitas 22% menunjukkan bahwa skema seleksi yang kami gunakan sekarang dapat dan harus ditingkatkan. Hasil berkabut untuk "rata-rata" hanya mengkonfirmasi kesimpulan ini.
Jadi, apakah wawancara akan berakhir?
Secara umum, kata "wawancara" membangkitkan dalam benak kita gambaran tentang sesuatu yang informatif dan memberikan hasil yang dapat direproduksi. Namun, data yang kami kumpulkan berbicara tentang sesuatu yang sangat berbeda. Dan ini memiliki sesuatu yang sama dengan pengalaman pribadi saya dalam merekrut karyawan, dan dengan pendapat yang sering saya dengar di masyarakat.
Artikel Zack Holman
Startup Interviewing adalah F ***** menjelaskan perbedaan antara alasan untuk memilih kandidat dan pekerjaan yang harus mereka lakukan. Tuan-tuan yang terhormat dari TripleByte
sampai pada kesimpulan yang sama , setelah memproses data mereka sendiri. Platform
ditolak.us baru-baru ini memberikan bukti nyata ketidakkonsistenan dalam proses wawancara.
Dapat dikatakan bahwa banyak yang diskrining setelah wawancara telepon dengan perusahaan A menunjukkan hasil terbaik pada wawancara lain, berakhir di beberapa perusahaan yang dianggap layak - dan sekarang, enam bulan kemudian, mereka menerima tawaran untuk berbicara dari perekrut dari perusahaan A. Dan terlepas dari semua upaya kedua belah pihak, proses pemilihan yang cadel, tidak dapat diprediksi dan, akhirnya, secara acak ini berlanjut, seolah-olah dalam lingkaran sihir.
Jadi ya, tentu saja, salah satu kesimpulan yang dapat ditarik adalah bahwa wawancara teknis menemui jalan buntu, mereka tidak memberikan informasi yang cukup andal untuk memprediksi hasil wawancara individu. Wawancara dengan masalah algoritmik adalah topik yang sangat panas di komunitas, dan kami ingin menganalisisnya secara rinci di masa mendatang.
Ini akan sangat menarik untuk melacak hubungan antara keberhasilan kandidat dan jenis wawancara - kami memiliki semakin banyak pendekatan dan variasi yang muncul di platform kami. Sebenarnya, ini adalah salah satu tujuan jangka panjang kami: bagaimana menggali data yang dikumpulkan, memeriksa berbagai strategi pemilihan kandidat saat ini dan membuat beberapa kesimpulan serius yang didukung data tentang format wawancara yang menyediakan informasi yang paling berguna.
Sementara itu, saya cenderung pada gagasan bahwa lebih baik untuk melihat tingkat umum daripada dibimbing dalam keputusan penting oleh hasil sewenang-wenang dari satu pertemuan. Data yang digeneralisasi memungkinkan kita untuk melakukan koreksi tidak hanya bagi mereka yang dalam kasus yang terisolasi merespons secara tidak normal, tetapi juga bagi mereka yang meninggalkan kesan baik semata-mata karena keberuntungan atau akhirnya menundukkan kepala mereka di depan monster ini dan menghafal Cracking the Coding Wawancara.
Saya mengerti bahwa tidak selalu praktis atau bahkan mungkin bagi perusahaan untuk mengumpulkan bukti keterampilan kandidat lainnya di suatu tempat di alam liar. Tetapi jika, katakanlah, kasus perbatasan atau seseorang tidak menunjukkan dirinya sama sekali seperti yang Anda harapkan, mungkin masuk akal untuk berbicara dengan mereka lagi dan beralih ke materi lain sebelum membuat keputusan akhir.