tl; dr: Fragen und Aufgaben bei der Programmierung von Interviews scheinen zu kompliziert. Manchmal ist es das, was Stress hinzufügt. Dies ist nicht das einzige Argument gegen sie. Unsere Daten zeigen, dass komplexere Aufgaben das Endergebnis tatsächlich schlechter vorhersagen als einfachere.

Es ist schwer, unter dem Druck der Zeit zu programmieren. Besonders beim Interview. Die Aufgabe, die unter normalen Bedingungen einfach zu sein scheint, verursacht im hellen Licht des Interviewraums große Probleme. Stresshormone trüben das Gehirn (leider sind weder Kampf noch Flucht eine wirksame Antwort auf das Kodiererproblem). Es besteht das Gefühl, dass die Fragen speziell mit perverser Komplexität gestaltet zu sein scheinen. Ich denke, diese Gefühle entstehen nicht von Grund auf neu.

Tatsächlich sind die Aufgaben beim Interview absichtlich komplex . Da ein Einstellungsfehler teurer ist als ein Versagen eines guten Ingenieurs, ermutigt er Unternehmen, die Messlatte hoch zu legen. Das bedeutet, schwierige Fragen zu stellen. Intuitiv ist dies sinnvoll, da komplexere Fragen die schwächsten auszusortieren und die stärksten aufzudecken scheinen. Aber die Intuition hier versagt. Unsere Daten zeigen, dass komplexere Fragen tatsächlich weniger vorhersehbare Ergebnisse liefern als relativ einfache.

Einfachere Fragen

Schwierige Aufgaben filtern schlechte Ingenieure heraus, aber auch gute ( dh viele falsch negative Ergebnisse). Im Gegenteil, einfache Fragen haben weniger falsch negative, aber mehr falsch positive Ergebnisse (da mehr Ingenieure richtig antworten, einschließlich einiger schlechter). Diese beiden Signale müssen bei der Auswahl des optimalen Komplexitätsniveaus der Fragen irgendwie ausgeglichen werden. Wenn ein Unternehmen um jeden Preis Fehlalarme vermeiden möchte, ist es wahrscheinlicher, dass es sich dem härteren Ende dieses Spektrums nähert.

Die richtige Antwort ist jedoch nicht die einzige Signalquelle während des Interviews . Sie können den gesamten Prozess bewerten: wie lange die Lösung dauert, wie sauber der Code ist und wie viel Aufwand die Lösung gekostet hat. Unsere Analyse zeigt, dass diese zweite Signalquelle (Prozess) fast genauso wichtig ist wie die erste (Korrektheit).

Aber hier ist ein zusätzlicher Kompromiss . Die Fragen, die das größte Signal des Prozesses tragen, sind viel einfacher als die Fragen, die das größte Signal der Korrektheit tragen. Der Grund wird klar, wenn Sie den Prozess auf den Aufwand reduzieren, den die Lösung erfordert (ein Aspekt des Prozesses, der am unmittelbarsten mit der Schwierigkeit der Aufgabe zusammenhängt). Wenn die Frage recht komplex ist, haben alle Kandidaten Schwierigkeiten (auch diejenigen, die sie letztendlich richtig beantworten). Daher trägt dieser Aspekt bei der Bewertung der Bemühungen fast kein Signal.

Umgekehrt sind Aufgaben mit einem starken Prozesssignal für die meisten Kandidaten recht einfach, dh die richtige Antwort allein sagt wenig aus. Optimale Komplexität liegt vor, wenn die Signale des Prozesses und die Richtigkeit der Antwort ausgeglichen werden, um das maximale Signal zu erreichen, während das Signal nicht unbedingt für beide Faktoren eine Spitze aufweist.

Wir haben Tausende von Ingenieuren befragt und ihre Antworten auf vielfältige Weise bewertet, einschließlich Prozess und Genauigkeit, und diese Schätzungen mit der späteren Leistung verglichen. Und nach der Regressionsanalyse (Betrachtung sowohl des Prozesses als auch des Antwortsignals) zeigten unsere Daten, dass die größte Korrelation durch Fragen gegeben ist, die tatsächlich viel einfacher sind als wir erwartet hatten (und einfacher als die Fragen, die viele Unternehmen bei Interviews stellen )

Es stellte sich heraus, dass komplexere Aufgaben letztendlich zu viele qualifizierte Kandidaten herausfiltern. Wenn Sie also den Rekrutierungsprozess genauer gestalten möchten, sollten Sie wahrscheinlich einfachere Fragen stellen.

Ich möchte jedoch klarstellen, dass dies nicht bedeutet, die Messlatte zu senken und mehr Kandidaten zu akzeptieren. Das Setzen einfacherer Aufgaben bedeutet nicht, ein Interview zu ermöglichen . Der Grad der Komplexität der Fragen und die Schwelle der Entscheidungsfindung sind unabhängig voneinander. Der Einstellungsprozess kann immer noch sehr streng sein, wenn Sie relativ einfache Fragen stellen, diese aber bewerten müssen. Unsere Schlussfolgerung ist, dass einfachere Fragen mehr Signale geben. Und was Sie mit diesem Signal machen, liegt bei Ihnen.

Einfachere Fragen reduzieren auch Stress, was ein wichtiger Vorteil ist. Stress lässt Kandidaten ihre Fähigkeiten unterschätzen. Wenn sich ein Kandidat wohler fühlt, zeigt er maximales Potenzial, wodurch das Interview vorhersehbarer wird. Es scheint mir, dass Interviewer dazu neigen, die Auswirkungen von Stress auf Kandidaten zu unterschätzen, während sie gleichzeitig ihre eigenen Fähigkeiten überschätzen. Wenn Sie eine Aufgabe festlegen, können Sie leicht vergessen, wie viel Code Sie tatsächlich in 30 bis 60 Minuten schreiben können. Um dieser Tendenz entgegenzuwirken, haben wir bei Triplebyte eine Regel verabschiedet: Interviewer sollten dreimal mehr Zeit zur Lösung eines Problems geben, als sie glauben, ein Problem lösen zu können. In der Regel entspricht dies einer mehr oder weniger korrekten Einschätzung.

Längere Aufgaben

Einfachere Fragen sind aus einem anderen wichtigen Grund nützlich. Sie ermöglichen es Ihnen, mehr Inhalt in die Aufgabe einzugeben, dh Sie können längere, komplexere Aufgaben verwenden, was zusätzliche Vorteile in Bezug auf die Prognose bietet. Sie können Fragen stellen, die mit der Zeit komplexer werden - und längere, realere Fragen sind vorhersehbarer als kurze und schwierige . Der einfachste Weg, die Leistung eines Kandidaten vorherzusagen, besteht logischerweise darin, ihm anzubieten, an einer Aufgabe zu arbeiten, die der Arbeit bei ihm ähnlich ist .

Dies ist teilweise auf die Tatsache zurückzuführen, dass längere Fragen der tatsächlichen Programmierung näher kommen. Bei der realen Programmierung muss über einen langen Zeitraum mit einer relativ großen Codebasis gearbeitet werden, und längere Fragen sind dieser Realität einfach näher.

Darüber hinaus können Sie bei längeren Fragen Hinweise geben, wenn der Kandidat feststeckt. Ich denke, das ist wichtig, weil selbst starke Ingenieure irgendwann in der Lösung stolpern können. Längere Aufgaben bieten die Möglichkeit, sich von Fehlern zu erholen und später Ihre Fähigkeiten unter Beweis zu stellen. Ein falscher Schritt sollte nicht das ganze Interview verderben . Schließlich die Möglichkeit, den Stress des Interviews abzubauen, was wiederum zu genaueren Ergebnissen führt.

Fazit

Indem das Unternehmen den Kandidaten schwierige Aufgaben stellt, gerät es in einen Teufelskreis . Die Fragen sind zunächst zu schwierig und zu kurz, was zu suboptimalen Einstellungsentscheidungen führt. Diese Entscheidungen basieren auf verrauschten Signalen. Wenn ein Unternehmen schlechte Ergebnisse sieht, versucht es, die Situation zu korrigieren, indem es den Auswahlprozess noch strenger gestaltet, was normalerweise noch komplexere Probleme bedeutet . Dies verringert jedoch nur die Genauigkeit der Interviews und so weiter. Sowohl Unternehmen als auch Kandidaten leiden unter einem solchen Teufelskreis. Ich sehe, dass Unternehmen Talente verpassen und Kandidaten Jobs verpassen - und sich mehr als nötig anstrengen.

Ich hoffe, die Interviewer ziehen Schlussfolgerungen. Sie können nicht nur die Genauigkeit der Auswahl erhöhen, sondern auch ihre Arbeit vereinfachen. Es ist viel einfacher, einfache, mehrstufige Probleme zu finden als perverse komplexe Kurzfragen.

Also hier ist unser Tipp. Wenn Sie Interviews wirklich genauer gestalten möchten, müssen Sie einfachere Programmieraufgaben stellen. Dies bedeutet nicht, dass die Stange abgesenkt wird. Es bedeutet einfach, das Signal zu verbessern, um Kandidaten effektiver auszusondern und die talentiertesten einzustellen.