स्टोन, कैंची, पेपर, जॉब इंटरव्यू, स्पॉक

जब आप तकनीकी साक्षात्कार के लिए पूरे दिन सुनते हैं, तो आप पैटर्न को नोटिस करना शुरू करते हैं। बल्कि, हमारे मामले में, उनकी अनुपस्थिति है। मैं केवल दो चीजों को खोजने में कामयाब रहा जो अपरिवर्तित रहे। मैं भी उनके आधार पर एक मादक खेल के साथ आया था: हर बार जब कोई यह तय करता है कि प्रश्न का उत्तर हैश टेबल है, तो हम एक स्टैक पीते हैं, यदि सही उत्तर वास्तव में एक हैश टेबल है, तो हम दो पीते हैं। लेकिन मैं इसे खेलने की सलाह नहीं देता, मैं लगभग मर गया।

मैं पूरे दिन साक्षात्कार क्यों सुन रहा हूं? क्योंकि कुछ साल पहले मैं interviewing.io सेवा के रचनाकारों में से एक बन गया, एक साक्षात्कार मंच जहां आईटी क्षेत्र के लोग नियोक्ता के साथ संचार कौशल विकसित कर सकते हैं और इस बीच काम पा सकते हैं।

नतीजतन, मेरे पास बड़ी मात्रा में डेटा तक पहुंच है कि एक ही उपयोगकर्ता विभिन्न साक्षात्कारों में खुद को कैसे दिखाता है। और वे इतने अप्रत्याशित हो जाते हैं कि आप अनिवार्य रूप से इस बारे में सोचेंगे कि आम तौर पर एक बैठक के परिणाम कितने संकेत देते हैं।

हमें डेटा कैसे मिलता है

जब साक्षात्कार का संचालन करने वाले उपयोगकर्ता और काम की तलाश करने वाले उपयोगकर्ता एक दूसरे को ढूंढते हैं, तो वे एक संयुक्त कोड संपादक में मिलते हैं। वहां आवाज में संवाद करने और पाठ संदेशों के माध्यम से संपर्क करने की क्षमता होती है, रिकॉर्डिंग निर्णयों के लिए एक मार्कर बोर्ड का एक एनालॉग होता है - आप तुरंत तकनीकी मुद्दों को हल कर सकते हैं।

हमारे साक्षात्कार में प्रश्न आमतौर पर बैकेंड सॉफ्टवेयर डेवलपर की स्थिति के लिए आवेदकों को टेलीफोन साक्षात्कार के दौरान पूछे जाने वाले की श्रेणी से होते हैं। साक्षात्कार आयोजित करने वाले उपयोगकर्ता आमतौर पर बड़ी कंपनियों (Google, फेसबुक, येल्प) या एक मजबूत तकनीकी पूर्वाग्रह (आसन, मैटरमार्क, कीपसफे और अन्य) के साथ स्टार्टअप के प्रतिनिधि होते हैं। प्रत्येक बैठक के अंत में, नियोक्ता कई मानदंडों के अनुसार उम्मीदवारों का मूल्यांकन करते हैं, जिनमें से एक प्रोग्रामिंग कौशल है। रेटिंग्स को एक ("सो-सो") से चार ("महान!") के पैमाने पर रखा जाता है। हमारे मंच पर, ज्यादातर मामलों में तीन और ऊपर के ग्रेड का मतलब है कि उम्मीदवार अगले चरण में जाने के लिए पर्याप्त मजबूत है।



यहाँ आप कह सकते हैं: “यह सब अद्भुत है, लेकिन यहाँ क्या खास है? कई कंपनियां चयन प्रक्रिया में ऐसे आंकड़े एकत्र करती हैं। ” हमारा डेटा इन आंकड़ों से एक मामले में अलग है: एक ही उपयोगकर्ता कई साक्षात्कारों में भाग ले सकता है, उनमें से प्रत्येक नई कंपनी के एक नए कर्मचारी के साथ होगा। यह अधिक या कम स्थिर वातावरण में एक बहुत ही दिलचस्प तुलनात्मक विश्लेषण के अवसर खोलता है।

निष्कर्ष # 1: साक्षात्कार से साक्षात्कार तक परिणाम बहुत भिन्न होते हैं

चलिए तस्वीरों की एक जोड़ी के साथ शुरू करते हैं। नीचे दिए गए ग्राफ़ में, एक छोटे आदमी के रूप में प्रत्येक आइकन दो या अधिक साक्षात्कारों में भाग लेने वाले उपयोगकर्ताओं में से एक की औसत व्यक्तिगत रेटिंग दिखाता है। इस चार्ट पर प्रदर्शित न होने वाले मापदंडों में से एक समय अवधि है। आप देख सकते हैं कि समय के साथ लोगों की सफलताएं कैसे बदल जाती हैं। आदिम अराजकता की भावना में कुछ है।



वाई अक्ष औसत मूल्यों से एक विशिष्ट विचलन दिखाता है - तदनुसार, हम जितना अधिक ऊपर जाते हैं, उतना ही अप्रत्याशित साक्षात्कार के परिणाम होते हैं। जैसा कि आप देख सकते हैं, लगभग 25% प्रतिभागियों को समान स्तर पर रखा जाता है, जबकि बाकी के सभी ऊपर और नीचे कूदते हैं।

इस अनुसूची का ध्यानपूर्वक अध्ययन करने के बाद, आप, डेटा के ढेर के बावजूद, संभवतः किसी उपयोगकर्ता को साक्षात्कार के लिए आमंत्रित करना चाहेंगे। लेकिन यहां यह याद रखना महत्वपूर्ण है: हमने औसत मूल्य लिया। अब कल्पना करें कि आपको एक एकल मूल्यांकन के आधार पर निर्णय लेने की आवश्यकता है, जिसका उपयोग इसे गणना करने के लिए किया गया था। यहीं से समस्याएं शुरू होती हैं।

अधिक स्पष्टता के लिए, आप चार्ट का एक ड्रॉप डेड इंटरैक्टिव संस्करण खोल सकते हैं। वहां, जब आप ओवर करते हैं, तो प्रत्येक आइकन खुलता है और आप देख सकते हैं कि उपयोगकर्ता ने प्रत्येक साक्षात्कार में किस ग्रेड को प्राप्त किया। परिणाम आपको बहुत आश्चर्यचकित कर सकते हैं! खैर, उदाहरण के लिए:

• शेरों का हिस्सा जिनके पास कम से कम एक चार है वे कम से कम एक बार खुद को "युगल" में पाते हैं।
• यहां तक ​​कि अगर आप केवल सबसे मजबूत उम्मीदवारों का चयन करते हैं (औसत स्कोर 3.3 और उच्चतर से है), तो परिणाम अभी भी काफी कम हैं
• "औसत" (औसत स्कोर - 2.6 से 3.3 तक), परिणाम विशेष रूप से विरोधाभासी हैं

हमें आश्चर्य हुआ कि क्या उम्मीदवार के स्तर और कंपन के आयाम के बीच कोई संबंध था। दूसरे शब्दों में, शायद उन कमजोर लोगों के लिए, विशेषता तेज कूदता है, जबकि मजबूत प्रोग्रामर स्थिर हैं? जैसा कि यह पता चला है, नहीं। जब हमने औसत अनुमान के संबंध में एक विशिष्ट विचलन का एक प्रतिगमन विश्लेषण किया, तो हम कोई महत्वपूर्ण संबंध स्थापित नहीं कर सके (आर चुकता लगभग 0.03 था)। और इसका मतलब है कि लोगों को उनके सामान्य स्तर की परवाह किए बिना, विभिन्न ग्रेड मिलते हैं।

मैं यह कहूंगा: जब आप इस सभी डेटा को देखते हैं, और फिर कल्पना करते हैं कि आपको एक साक्षात्कार के परिणामों के आधार पर किसी व्यक्ति को चुनने की आवश्यकता है, तो ऐसा लगता है कि आप एक कीहोल के माध्यम से एक सुंदर, शानदार सुसज्जित कमरे को देख रहे हैं। एक मामले में, आप दीवार पर एक तस्वीर देखने के लिए भाग्यशाली हैं, दूसरे में - मदिरा का एक संग्रह, और तीसरे में - आप सोफे की पिछली दीवार में खुद को दफन करेंगे।

वास्तविक परिस्थितियों में, जब हम यह तय करने की कोशिश कर रहे हैं कि क्या किसी आवेदक को कार्यालय में साक्षात्कार के लिए बुलाया जाए, तो हम आमतौर पर पहली तरह की गलतियों से बचने की कोशिश करते हैं (यानी, उन लोगों का चयन न करें, जो बार से कम हैं) और दूसरी तरह की गलतियाँ (जो उन लोगों को नकारने के लिए नहीं हैं। यह आमंत्रित करने के लायक होगा)। बाजार के नेता आमतौर पर इस तथ्य के आधार पर रणनीति बनाते हैं कि दूसरी तरह की गलतियाँ कम नुकसान करती हैं। यह तर्कसंगत लगता है, है ना? यदि पर्याप्त संसाधन हैं और आवेदकों की संख्या बड़ी है, यहां तक ​​कि दूसरी तरह की गलतियों की एक बड़ी संख्या के साथ, तब भी कोई उपयुक्त होगा।

लेकिन दूसरी तरह की गलतियाँ करने की इस रणनीति का एक पक्ष है, और अब यह खुद को महसूस कर रहा है, आईटी क्षेत्र में मौजूदा काम पर रखने वाले संकट में फैल रहा है। क्या उनके वर्तमान रूप में एकल साक्षात्कार पर्याप्त जानकारी प्रदान करते हैं? क्या हम प्रतिभाशाली डेवलपर्स, सक्षम श्रमिकों की बढ़ती मांग के बावजूद अस्वीकार कर रहे हैं, क्योंकि हम एक छोटे से पीपल के माध्यम से मजबूत अंतर के साथ एक व्यापक कार्यक्रम पर विचार करने की कोशिश कर रहे हैं?

इसलिए, अगर हम रूपकों और नैतिक पढ़ने को नजरअंदाज करते हैं: चूंकि साक्षात्कार के परिणाम बहुत अप्रत्याशित हैं, तो क्या संभावना है कि एक मजबूत उम्मीदवार एक टेलीफोन साक्षात्कार में असफल हो जाएगा?

निष्कर्ष संख्या 2: पिछले प्रयासों के परिणामों के आधार पर साक्षात्कार में असफलता की संभावना

नीचे औसत अनुमानों द्वारा हमारे उपयोगकर्ताओं के संपूर्ण आधार का प्रतिशत वितरण है।



इस संभावना को समझने के लिए कि एक निश्चित औसत परिणाम वाला उम्मीदवार खुद को एक साक्षात्कार में अच्छी तरह से नहीं दिखाएगा, हमें आंकड़े करना था।

पहले, हमने साक्षात्कारकर्ताओं को औसत रेटिंग के आधार पर समूहों में विभाजित किया (जबकि मान 0.25 के भीतर गोल किए गए थे)। फिर, प्रत्येक समूह के लिए, विफलता की संभावना की गणना की गई, अर्थात, 2 या उससे कम अंक प्राप्त करना। इसके अलावा, डेटा की मामूली राशि की भरपाई करने के लिए, हमने पुन: नमूना लिया ।

पुन: नमूने का संकलन करते समय, हमने भविष्य के साक्षात्कार के परिणाम को बहु-नाममात्र वितरण के रूप में माना। दूसरे शब्दों में, हमने प्रस्तुत किया कि इसके परिणाम चार चेहरों के साथ एक पासा के रोल द्वारा निर्धारित किए जाते हैं, और प्रत्येक समूह के लिए क्यूब के गुरुत्वाकर्षण के केंद्र को एक निश्चित तरीके से स्थानांतरित किया जाता है।

तब हमने ये पासा तब तक फेंकना शुरू किया जब तक कि हमने प्रत्येक समूह के लिए नकली डेटा का एक नया सेट नहीं बना लिया। विभिन्न अनुमानों वाले उपयोगकर्ताओं के लिए नई विफलता की संभावनाओं की गणना इन आंकड़ों के आधार पर की गई थी। नीचे आप उस ग्राफ को देख सकते हैं जो हमें 10,000 ऐसे थ्रो के बाद मिला था।



जैसा कि आप देख सकते हैं, कई चौराहे हैं। यह महत्वपूर्ण है: अतिव्यापीता का तथ्य हमें बताता है कि कुछ समूहों के बीच कोई सांख्यिकीय महत्वपूर्ण अंतर नहीं हो सकता है (उदाहरण के लिए, 2.75 और 3)।

बेशक, जब हमारे पास अधिक डेटा (बहुत अधिक) होगा, तो समूहों के बीच की सीमाएं स्पष्ट हो जाएंगी। दूसरी ओर, बहुत तथ्य यह है कि विफलता दर संकेतकों के बीच अंतर को खोजने के लिए एक विशाल नमूना की आवश्यकता है, औसत उपयोगकर्ता के लिए परिणामों में प्रारंभिक रूप से उच्च परिवर्तनशीलता का संकेत दे सकता है।

अंत में, विश्वास के साथ हम निम्नलिखित कह सकते हैं: पैमाने के चरम बिंदुओं के बीच अंतर (2.25 और 3.75) महत्वपूर्ण है, लेकिन बीच में सब कुछ पहले से ही बहुत कम अस्पष्ट है।

फिर भी, इस वितरण के आधार पर, हमने प्रतिशत संभावना की गणना करने का प्रयास किया कि एक या किसी अन्य औसत रेटिंग वाला उम्मीदवार एक एकल साक्षात्कार में खराब परिणाम दिखाएगा:



यह तथ्य कि अच्छे सामान्य स्तर वाले लोग (यानी, लगभग 3 की औसत रेटिंग) 22% की संभावना के साथ विफल हो सकते हैं, यह दर्शाता है कि अब हम जिन योजनाओं का उपयोग करते हैं, उनमें सुधार हो सकता है और उन्हें सुधारना चाहिए। "औसत" के लिए धूमिल परिणाम केवल इस निष्कर्ष की पुष्टि करते हैं।

तो, साक्षात्कार बर्बाद कर रहे हैं?

सामान्य तौर पर, शब्द "साक्षात्कार" हमारे दिमाग में कुछ जानकारीपूर्ण और प्रतिलिपि प्रस्तुत करने योग्य परिणाम देने की छवि पैदा करता है। हालाँकि, हमने जो डेटा एकत्र किया है, वह पूरी तरह से अलग चीज के बारे में बोलता है। और यह कर्मचारियों को काम पर रखने में मेरे व्यक्तिगत अनुभव और आम तौर पर समुदाय में अक्सर सुनने वाले विचारों के साथ कुछ और है।

ज़ैक होल्मन का लेख स्टार्टअप इंटरव्यूइंग एफ ***** उम्मीदवारों का चयन करने और उन्हें जो काम करना है, उसके आधार पर इस विसंगति को स्पष्ट करता है। ट्रिपलबाइट के माननीय सज्जनों ने अपने स्वयं के डेटा को संसाधित करने के समान निष्कर्ष निकाले । अस्वीकृत .us मंच ने हाल ही में साक्षात्कार प्रक्रिया में असंगति के ज्वलंत प्रमाण प्रदान किए।

यह तर्क दिया जा सकता है कि जिन लोगों को कंपनी ए के साथ एक टेलीफोन साक्षात्कार के बाद बाहर निकाला गया था, उन्होंने एक अन्य साक्षात्कार में सबसे अच्छा परिणाम दिखाया, कुछ कंपनियों में समाप्त हो गए जिन्हें सभ्य माना जाता है - और अब, छह महीने बाद, उन्हें कंपनी ए के साथ भर्तीकर्ताओं से बात करने के लिए प्रस्ताव प्राप्त होते हैं। और दोनों पक्षों के सभी प्रयासों के बावजूद, प्रत्याशित, अप्रत्याशित और अंततः, उम्मीदवारों के यादृच्छिक चयन की यह प्रक्रिया जारी है, जैसे कि एक जादू के घेरे में।

तो हां, निश्चित रूप से, निष्कर्ष निकाला जा सकता है कि तकनीकी साक्षात्कार एक गतिरोध पर हैं, वे एक व्यक्तिगत साक्षात्कार के परिणाम की भविष्यवाणी करने के लिए पर्याप्त विश्वसनीय जानकारी प्रदान नहीं करते हैं। एल्गोरिथम समस्याओं के साथ साक्षात्कार समुदाय में एक बहुत ही गर्म विषय है, और हम भविष्य में इसका विस्तार से विश्लेषण करना चाहेंगे।

उम्मीदवारों की सफलता और साक्षात्कार के प्रकार के बीच संबंधों का पता लगाने के लिए यह विशेष रूप से दिलचस्प होगा - हमारे मंच पर दिखने वाले अधिक से अधिक दृष्टिकोण और विविधताएं हैं। वास्तव में, यह हमारे दीर्घकालिक लक्ष्यों में से एक है: एकत्रित डेटा में कैसे खुदाई करें, वर्तमान उम्मीदवार चयन रणनीतियों की सीमा की जांच करें और कुछ गंभीर, डेटा-समर्थित निष्कर्ष बनाएं जिनके बारे में साक्षात्कार प्रारूप सबसे उपयोगी जानकारी प्रदान करते हैं।

इस बीच, मैं इस विचार के लिए इच्छुक हूं कि एक सामान्य बैठक को एक बैठक के मनमाने परिणामों द्वारा एक महत्वपूर्ण निर्णय में निर्देशित किए जाने से बेहतर है। सामान्यीकृत डेटा हमें न केवल उन लोगों के लिए एक सुधार करने की अनुमति देता है जो एक अलग-थलग मामले में अनैच्छिक रूप से कमजोर प्रतिक्रिया व्यक्त करते हैं, बल्कि उन लोगों के लिए भी जो शुद्ध रूप से भाग्य से एक अच्छा प्रभाव छोड़ते हैं या अंततः इस राक्षस के सामने अपना सिर झुकाते हैं और कोडिंग क्रैकिंग साक्षात्कार को क्रैक करते हैं।

मैं समझता हूं कि किसी कंपनी के लिए हमेशा जंगली में कहीं उम्मीदवार कौशल के अन्य सबूत एकत्र करना व्यावहारिक या संभव नहीं है। लेकिन अगर, कहें, एक सीमावर्ती मामला या एक व्यक्ति खुद को बिल्कुल भी नहीं दिखाता है जैसा कि आपने उम्मीद की थी, तो संभवत: फिर से उनसे बात करने और अंतिम निर्णय लेने से पहले किसी अन्य सामग्री पर स्विच करने का मतलब है।