tl; dr: Les questions et les tâches lors de la programmation des entretiens semblent trop compliquées. Parfois c'est le cas, ce qui ajoute du stress. Ce n'est pas le seul argument contre eux. Nos données montrent que les tâches plus complexes prédisent en fait le résultat final pire que les tâches plus simples.

Il est difficile de programmer sous la pression du temps. Surtout lors de l'entretien. La tâche, qui dans des conditions normales semble simple, provoque en quelque sorte d'énormes problèmes dans la lumière vive de la salle d'entrevue. Les hormones de stress troublent le cerveau (malheureusement, ni les combats ni la fuite ne seront une réponse efficace au problème du codeur). On a le sentiment que les questions semblent être spécialement conçues avec une complexité perverse. Je pense que ces sentiments ne viennent pas de zéro.

En fait, les tâches de l'entretien sont intentionnellement complexes . Puisqu'une erreur de recrutement coûte plus cher qu'un échec à un bon ingénieur, elle encourage les entreprises à placer la barre haute. Cela signifie poser des questions difficiles. Intuitivement, cela a du sens, car des questions plus complexes semblent éliminer les plus faibles et révéler les plus fortes. Mais l'intuition échoue ici. Nos données montrent que des questions plus complexes produisent en fait des résultats moins prévisibles que des questions relativement faciles.

Questions plus simples

Les tâches difficiles filtrent les mauvais ingénieurs, mais filtrent également les bons (c'est-à-dire beaucoup de résultats faussement négatifs). Au contraire, les questions simples ont moins de faux négatifs, mais plus de faux positifs (car plus d'ingénieurs répondent correctement, y compris certaines mauvaises). Ces deux signaux doivent être équilibrés d'une manière ou d'une autre lors du choix du niveau optimal de complexité des questions. Si une entreprise cherche à éviter à tout prix les faux positifs, elle est plus susceptible de pencher vers la partie la plus sévère de ce spectre.

Cependant, la bonne réponse n'est pas la seule source de signal lors de l'entretien . Vous pouvez évaluer l'ensemble du processus: combien de temps il faut pour le résoudre, à quel point le code est propre et combien d'efforts la solution a pris. Notre analyse montre que cette deuxième source de signal (processus) est presque aussi importante que la première (exactitude).

Mais voici un compromis supplémentaire . Les questions qui portent le plus grand signal du processus sont beaucoup plus simples que les questions qui portent le plus grand signal de correction. La raison devient claire si vous réduisez le processus à l'effort requis par la solution (un aspect du processus qui est le plus directement lié à la difficulté de la tâche). Si la question est assez complexe, tous les candidats auront des difficultés (même ceux qui finiront par y répondre correctement). Cet aspect ne porte donc presque aucun signal lors de l'évaluation des efforts.

À l'inverse, les tâches avec un signal de processus fort sont assez faciles pour la plupart des candidats, c'est-à-dire que la bonne réponse à elle seule en dit peu. La complexité optimale est lorsque les signaux du processus et l'exactitude de la réponse sont équilibrés pour atteindre le signal maximal, tandis que le signal n'est pas nécessairement en crête pour les deux facteurs.

Nous avons interrogé des milliers d'ingénieurs et évalué leurs réponses de nombreuses manières, y compris le processus et la précision, et comparé ces estimations avec les performances ultérieures. Et après l'analyse de régression (en regardant à la fois le processus et le signal de réponse), nos données ont montré que la plus grande corrélation est donnée par des questions qui sont en réalité beaucoup plus simples que ce à quoi nous nous attendions (et plus simples que les questions que beaucoup d'entreprises posent lors des entretiens). )

Il s'est avéré que des tâches plus complexes finissent par filtrer trop de candidats qualifiés. Ainsi, si vous souhaitez rendre le processus de recrutement plus précis, vous devriez probablement poser des questions plus simples.

Mais je veux dire clairement que cela ne signifie pas abaisser la barre et accepter plus de candidats. Fixer des tâches plus simples ne signifie pas faciliter un entretien . Le niveau de complexité des questions et le seuil de prise de décision sont indépendants les uns des autres. Le processus d'embauche peut toujours être très strict si vous posez des questions relativement simples, mais vous devez les évaluer. Notre conclusion est que des questions plus simples donnent plus de signaux. Et ce que vous ferez de ce signal dépendra de vous.

Des questions plus simples réduisent également le stress, ce qui est un avantage important. Le stress fait que les candidats sous-estiment leurs capacités. Lorsqu'un candidat se sent plus à l'aise, il montre un potentiel maximum, ce qui rend l'entretien plus prévisible. Il me semble que les intervieweurs ont tendance à sous-estimer l'effet du stress sur les candidats, tout en surestimant leurs propres capacités. Lorsque vous définissez une tâche, il est facile d’oublier la quantité de code que vous pouvez réellement écrire en 30 à 60 minutes. Pour contrer ce biais, nous, à Triplebyte, avons adopté une règle: les enquêteurs devraient accorder 3 fois plus de temps pour résoudre un problème que le temps pendant lequel ils pensent pouvoir résoudre un problème. Cela correspond généralement à une évaluation plus ou moins correcte.

Tâches plus longues

Des questions plus simples sont utiles pour une autre raison importante. Ils vous permettent de saisir plus de contenu dans la tâche, c'est-à-dire que vous pouvez utiliser des tâches plus longues et plus complexes, ce qui présente des avantages supplémentaires en termes de prévision. Vous pouvez poser des questions qui deviennent plus complexes au fil du temps - et plus longues, des questions plus réelles sont plus prévisibles que des questions courtes et difficiles . Logiquement, la façon la plus simple de prédire les performances d'un candidat est de lui proposer de travailler sur une tâche similaire à ce qu'il fera au travail .

Cela est dû en partie au fait que les questions plus longues sont plus proches d'une véritable programmation. La vraie programmation implique de travailler avec une base de code relativement grande pendant une longue période de temps, et les questions plus longues sont tout simplement plus proches de cette réalité.

De plus, des questions plus longues vous permettent de donner des indices lorsque le candidat est coincé. Je pense que cela est vital car même des ingénieurs solides peuvent trébucher à un moment donné de la solution. Les tâches plus longues permettent de se remettre des erreurs et de montrer plus tard vos compétences. Une mauvaise étape ne devrait pas gâcher toute l'interview . Enfin, l'occasion d'aider à soulager le stress de l'entretien, ce qui conduit à nouveau à des résultats plus précis.

Conclusion

En demandant aux candidats des tâches difficiles, l'entreprise tombe dans un cercle vicieux . Les questions sont initialement trop difficiles et courtes, ce qui conduit à des décisions d'embauche sous-optimales. Ces décisions sont basées sur des signaux bruyants. Lorsqu'une entreprise voit de mauvais résultats, elle essaie de corriger la situation en rendant le processus de sélection encore plus rigoureux, ce qui signifie généralement des problèmes encore plus complexes . Mais cela ne fait que réduire la précision des entretiens, etc. Les entreprises et les candidats souffrent d'un tel cercle vicieux. Je vois que les entreprises manquent de talents et que les candidats manquent d'emplois - et font plus d'efforts que nécessaire.

J'espère que les enquêteurs tireront des conclusions. Ils peuvent non seulement augmenter la précision de la sélection, mais aussi simplifier leur travail. Il est beaucoup plus facile de trouver des problèmes simples à plusieurs étapes que des questions courtes complexes perverties.

Voici donc notre conseil. Si vous voulez vraiment rendre les interviews plus précises, vous devez commencer à demander des tâches de programmation plus simples. Cela ne signifie pas abaisser la barre. Cela signifie simplement améliorer le signal afin d'éliminer plus efficacement les candidats et d'embaucher les plus talentueux.