tl; dr: Pertanyaan dan tugas saat wawancara pemrograman tampaknya terlalu rumit. Terkadang, yang menambah stres. Ini bukan satu-satunya argumen yang menentang mereka. Data kami menunjukkan bahwa tugas yang lebih kompleks sebenarnya memprediksi hasil akhir lebih buruk daripada yang lebih sederhana.

Sulit diprogram di bawah tekanan waktu. Terutama saat wawancara. Tugas, yang dalam kondisi normal tampak sederhana, entah bagaimana menyebabkan masalah besar dalam cahaya terang dari ruang wawancara. Hormon stres mengaburkan otak (sayangnya, perkelahian atau pelarian tidak akan menjadi jawaban yang efektif untuk masalah pembuat kode). Ada perasaan bahwa pertanyaan-pertanyaan itu tampaknya dirancang khusus dengan kompleksitas sesat. Saya pikir perasaan ini tidak muncul dari awal.

Padahal, tugas-tugas dalam wawancara itu sengaja rumit . Karena kesalahan perekrutan lebih mahal daripada kegagalan untuk insinyur yang baik, itu mendorong perusahaan untuk menetapkan standar yang tinggi. Itu berarti mengajukan pertanyaan yang sulit. Secara intuitif, ini masuk akal, karena pertanyaan yang lebih kompleks tampaknya menyingkirkan yang terlemah dan mengungkapkan yang terkuat. Tetapi intuisi di sini gagal. Data kami menunjukkan bahwa pertanyaan yang lebih kompleks sebenarnya menghasilkan hasil yang lebih mudah diprediksi daripada yang relatif mudah.

Pertanyaan sederhana

Tugas yang sulit menyaring insinyur yang buruk, tetapi juga menyaring yang baik (yaitu, banyak hasil negatif palsu). Sebaliknya, pertanyaan sederhana memiliki lebih sedikit hasil negatif palsu, tetapi lebih banyak hasil positif palsu (karena lebih banyak insinyur menjawab dengan benar, termasuk beberapa yang buruk). Kedua sinyal ini perlu diseimbangkan, entah bagaimana, ketika memilih tingkat kompleksitas pertanyaan yang optimal. Jika sebuah perusahaan berupaya menghindari kesalahan positif dengan cara apa pun, maka cenderung bersandar pada bagian yang lebih kasar dari spektrum ini.

Namun, jawaban yang benar bukan satu-satunya sumber sinyal selama wawancara . Anda dapat mengevaluasi keseluruhan proses: berapa lama untuk menyelesaikannya, seberapa bersih kodenya, dan berapa banyak upaya yang diperlukan solusinya. Analisis kami menunjukkan bahwa sumber sinyal kedua (proses) ini hampir sama pentingnya dengan yang pertama (kebenaran).

Tapi di sini ada kompromi tambahan . Pertanyaan-pertanyaan yang membawa sinyal terbesar dari proses itu jauh lebih sederhana daripada pertanyaan-pertanyaan yang membawa sinyal kebenaran terbesar. Alasannya menjadi jelas jika Anda mengurangi proses hingga seberapa besar upaya yang diperlukan solusi (aspek proses yang paling langsung terkait dengan kesulitan tugas). Jika pertanyaannya cukup kompleks, maka semua kandidat akan mengalami kesulitan (bahkan mereka yang pada akhirnya akan menjawabnya dengan benar). Jadi aspek ini hampir tidak membawa sinyal ketika mengevaluasi upaya.

Sebaliknya, tugas dengan sinyal proses yang kuat cukup mudah bagi sebagian besar kandidat, yaitu, jawaban yang benar saja tidak banyak berarti. Kompleksitas optimal adalah ketika sinyal dari proses dan kebenaran respon seimbang untuk mencapai sinyal maksimum, sedangkan sinyal tidak selalu puncak untuk kedua faktor.

Kami mewawancarai ribuan insinyur dan mengevaluasi jawaban mereka dalam banyak cara, termasuk proses dan akurasi, dan membandingkan perkiraan ini dengan kinerja selanjutnya. Dan setelah analisis regresi (melihat proses dan sinyal respons), data kami menunjukkan bahwa korelasi terbesar diberikan oleh pertanyaan yang sebenarnya jauh lebih sederhana dari yang kami harapkan (dan lebih sederhana dari pertanyaan yang diajukan banyak perusahaan pada wawancara) )

Ternyata tugas yang lebih kompleks pada akhirnya menyaring terlalu banyak kandidat yang memenuhi syarat. Jadi, jika Anda ingin membuat proses rekrutmen lebih akurat, Anda mungkin harus mengajukan pertanyaan yang lebih sederhana.

Tetapi saya ingin dengan jelas menyatakan bahwa ini tidak berarti menurunkan standar dan menerima lebih banyak kandidat. Menetapkan tugas yang lebih sederhana tidak berarti memfasilitasi wawancara . Tingkat kerumitan pertanyaan dan ambang pengambilan keputusan tidak tergantung satu sama lain. Proses perekrutan masih bisa sangat ketat jika Anda mengajukan pertanyaan yang relatif sederhana, tetapi Anda perlu mengevaluasinya. Kesimpulan kami adalah bahwa pertanyaan yang lebih sederhana memberikan lebih banyak sinyal. Dan apa yang akan Anda lakukan dengan sinyal ini terserah Anda.

Pertanyaan yang lebih sederhana juga mengurangi stres, yang merupakan manfaat penting. Stres membuat para kandidat meremehkan kemampuan mereka. Ketika seorang kandidat merasa lebih nyaman, ia menunjukkan potensi maksimal, yang membuat wawancara lebih mudah diprediksi. Tampaknya bagi saya bahwa pewawancara cenderung meremehkan efek stres pada kandidat, sementara pada saat yang sama terlalu melebih-lebihkan kemampuan mereka sendiri. Saat Anda menetapkan tugas, mudah untuk melupakan berapa banyak kode yang benar-benar dapat Anda tulis dalam 30-60 menit. Untuk mengatasi bias ini, kami di Triplebyte mengadopsi aturan: pewawancara harus memberikan waktu 3 kali lebih banyak untuk menyelesaikan masalah daripada waktu di mana mereka pikir mereka dapat memecahkan masalah. Biasanya ini sesuai dengan penilaian yang kurang lebih benar.

Tugas yang lebih panjang

Pertanyaan yang lebih sederhana bermanfaat untuk alasan penting lainnya. Mereka memungkinkan Anda memasukkan lebih banyak konten ke dalam tugas, yaitu, Anda dapat menggunakan tugas yang lebih lama dan lebih rumit, yang memiliki keuntungan tambahan dalam hal perkiraan. Anda dapat mengajukan pertanyaan yang menjadi lebih kompleks dari waktu ke waktu - dan lebih lama, pertanyaan yang lebih nyata lebih dapat diprediksi daripada yang pendek dan sulit . Secara logis, cara termudah untuk memprediksi kinerja kandidat adalah jika Anda menawarkannya untuk mengerjakan tugas yang mirip dengan apa yang akan dia lakukan di tempat kerja .

Ini sebagian disebabkan oleh fakta bahwa pertanyaan yang lebih panjang lebih dekat dengan pemrograman yang sebenarnya. Pemrograman yang sebenarnya melibatkan bekerja dengan basis kode yang relatif besar untuk periode waktu yang lama, dan pertanyaan yang lebih panjang hanya mendekati kenyataan ini.

Selain itu, pertanyaan yang lebih panjang memungkinkan Anda memberikan petunjuk saat kandidat macet. Saya pikir ini sangat penting karena bahkan insinyur yang kuat dapat tersandung pada suatu titik dalam solusi. Tugas yang lebih lama memberi kesempatan untuk pulih dari kesalahan dan kemudian menunjukkan keahlian Anda. Satu langkah yang salah seharusnya tidak merusak seluruh wawancara . Akhirnya, kesempatan untuk membantu menghilangkan stres dari wawancara, yang sekali lagi mengarah pada hasil yang lebih akurat.

Kesimpulan

Dengan meminta kandidat tugas-tugas sulit, perusahaan jatuh ke lingkaran setan . Pertanyaan-pertanyaan pada awalnya terlalu sulit dan singkat, yang mengarah pada keputusan perekrutan yang suboptimal. Keputusan ini didasarkan pada sinyal bising. Ketika sebuah perusahaan melihat hasil yang buruk, ia mencoba untuk memperbaiki situasi dengan membuat proses seleksi menjadi lebih ketat, yang biasanya berarti masalah yang lebih kompleks . Tetapi ini hanya mengurangi keakuratan wawancara, dan sebagainya. Baik perusahaan dan kandidat menderita dari lingkaran setan. Saya melihat bahwa perusahaan kehilangan bakat, dan para kandidat kehilangan pekerjaan - dan berusaha lebih dari yang diperlukan.

Saya harap pewawancara menarik kesimpulan. Mereka tidak hanya dapat meningkatkan keakuratan seleksi, tetapi juga menyederhanakan pekerjaan mereka. Jauh lebih mudah untuk menghasilkan masalah-masalah yang sederhana dan multi-tahap daripada pertanyaan-pertanyaan pendek yang sesat dan rumit.

Jadi inilah tip kami. Jika Anda benar-benar ingin membuat wawancara lebih akurat, Anda harus mulai menanyakan tugas pemrograman yang lebih sederhana. Ini tidak berarti menurunkan bilah. Ini hanya berarti meningkatkan sinyal agar lebih efektif menyingkirkan kandidat dan merekrut yang paling berbakat.