tl; dr: As perguntas e tarefas nas entrevistas de programação parecem excessivamente complicadas. Às vezes é, o que aumenta o estresse. Este não é o único argumento contra eles. Nossos dados mostram que tarefas mais complexas realmente prevêem o resultado final pior do que as mais simples.

É difícil programar sob a pressão do tempo. Especialmente na entrevista. A tarefa, que em condições normais parece simples, de alguma forma causa grandes problemas à luz brilhante da sala de entrevistas. Os hormônios do estresse obscurecem o cérebro (infelizmente, nem lutar nem fugir será uma resposta eficaz ao problema do codificador). Há um sentimento de que as perguntas parecem ser especialmente projetadas com complexidade perversa. Eu acho que esses sentimentos não surgem do zero.

De fato, as tarefas da entrevista são intencionalmente complexas . Como um erro de contratação é mais caro do que o fracasso de um bom engenheiro, ele incentiva as empresas a estabelecer um padrão alto. Isso significa fazer perguntas difíceis. Intuitivamente, isso faz sentido, porque perguntas mais complexas parecem eliminar os mais fracos e revelar os mais fortes. Mas a intuição aqui falha. Nossos dados mostram que perguntas mais complexas realmente produzem resultados menos previsíveis do que perguntas relativamente fáceis.

Perguntas mais simples

Tarefas difíceis filtram os engenheiros ruins, mas também os bons (ou seja, muitos resultados falso-negativos). Pelo contrário, perguntas simples têm menos resultados falso-negativos, mas mais falsos positivos (uma vez que mais engenheiros respondem corretamente, incluindo alguns ruins). Esses dois sinais precisam ser equilibrados de alguma maneira ao escolher o nível ideal de complexidade das perguntas. Se uma empresa procura evitar falsos positivos a todo custo, é mais provável que incline-se para a extremidade mais dura desse espectro.

No entanto, a resposta correta não é a única fonte de sinal durante a entrevista . Você pode avaliar todo o processo: quanto tempo leva para resolver, quão limpo é o código e quanto esforço a solução levou. Nossa análise mostra que essa segunda fonte de sinal (processo) é quase tão importante quanto a primeira (correção).

Mas aqui está um compromisso adicional . As perguntas que carregam o maior sinal do processo são muito mais simples do que as perguntas que carregam o maior sinal de correção. O motivo fica claro se você reduzir o processo a quanto esforço a solução exigiu (um aspecto do processo que está mais diretamente relacionado à dificuldade da tarefa). Se a pergunta for bastante complexa, todos os candidatos terão dificuldades (mesmo aqueles que responderão corretamente). Portanto, esse aspecto não transmite quase nenhum sinal ao avaliar esforços.

Por outro lado, tarefas com um forte sinal de processo são bastante fáceis para a maioria dos candidatos, ou seja, apenas a resposta correta diz pouco. A complexidade ideal é quando os sinais do processo e a correção da resposta são balanceados para atingir o sinal máximo, enquanto o sinal não é necessariamente de pico para os dois fatores.

Entrevistamos milhares de engenheiros e avaliamos suas respostas de várias maneiras, incluindo processo e precisão, e comparamos essas estimativas com o desempenho subsequente. E após a análise de regressão (observando o processo e o sinal de resposta), nossos dados mostraram que a maior correlação é dada por perguntas que são realmente muito mais simples do que esperávamos (e mais simples do que as perguntas que muitas empresas fazem nas entrevistas )

Acabou que tarefas mais complexas acabam filtrando muitos candidatos qualificados. Portanto, se você quiser tornar o processo de recrutamento mais preciso, provavelmente faça perguntas mais simples.

Mas quero afirmar claramente que isso não significa baixar os padrões e aceitar mais candidatos. Definir tarefas mais simples não significa facilitar uma entrevista . O nível de complexidade das perguntas e o limiar da tomada de decisões são independentes entre si. O processo de contratação ainda pode ser muito rigoroso se você fizer perguntas relativamente simples, mas é necessário avaliá-las. Nossa conclusão é que perguntas mais simples dão mais sinais. E o que você fará com esse sinal é com você.

Perguntas mais simples também reduzem o estresse, o que é um benefício importante. O estresse faz com que os candidatos subestimem sua capacidade. Quando um candidato se sente mais à vontade, ele mostra o potencial máximo, o que torna a entrevista mais previsível. Parece-me que os entrevistadores tendem a subestimar o efeito do estresse nos candidatos, ao mesmo tempo em que superestimam suas próprias habilidades. Quando você define uma tarefa, é fácil esquecer a quantidade de código que você pode escrever em 30 a 60 minutos. Para combater esse viés, adotamos uma regra na Triplebyte: os entrevistadores deveriam dedicar 3 vezes mais tempo para resolver um problema do que o tempo em que pensam que podem resolver um problema. Geralmente isso corresponde a uma avaliação mais ou menos correta.

Tarefas mais longas

Perguntas mais simples são úteis por outro motivo importante. Eles permitem que você insira mais conteúdo na tarefa, ou seja, você pode usar tarefas mais longas e complexas, o que possui vantagens adicionais em termos de previsão. Você pode fazer perguntas que se tornam mais complexas ao longo do tempo - e perguntas mais longas e reais são mais previsíveis que perguntas curtas e difíceis . Logicamente, a maneira mais fácil de prever o desempenho de um candidato é se você o oferecer para trabalhar em uma tarefa semelhante ao que ele fará no trabalho .

Isso se deve em parte ao fato de que perguntas mais longas estão mais próximas da programação real. A programação real envolve trabalhar com uma base de código relativamente grande por um longo período de tempo, e perguntas mais longas são simplesmente mais próximas dessa realidade.

Além disso, perguntas mais longas permitem que você dê pistas quando o candidato está preso. Eu acho que isso é vital porque até engenheiros fortes podem tropeçar em algum momento da solução. Tarefas mais longas dão a chance de se recuperar de erros e depois mostrar suas habilidades. Um passo errado não deve estragar toda a entrevista . Finalmente, a oportunidade de ajudar a aliviar o estresse da entrevista, o que novamente leva a resultados mais precisos.

Conclusão

Ao pedir aos candidatos tarefas difíceis, a empresa entra em um círculo vicioso . As perguntas são inicialmente muito difíceis e curtas, o que leva a decisões de contratação abaixo do ideal. Essas decisões são baseadas em sinais ruidosos. Quando uma empresa vê resultados ruins, tenta corrigir a situação, tornando o processo de seleção ainda mais rigoroso, o que geralmente significa problemas ainda mais complexos . Mas isso apenas reduz a precisão das entrevistas, e assim por diante. Empresas e candidatos sofrem com um círculo tão vicioso. Vejo que as empresas estão perdendo talentos e os candidatos estão perdendo empregos - e estão se esforçando mais do que o necessário.

Espero que os entrevistadores tirem conclusões. Eles podem não apenas aumentar a precisão da seleção, mas também simplificar seu trabalho. É muito mais fácil apresentar problemas simples e de vários estágios do que perguntas curtas complexas e pervertidas.

Então aqui está a nossa dica. Se você realmente deseja tornar as entrevistas mais precisas, precisa começar a pedir tarefas de programação mais simples. Isso não significa baixar a barra. Significa simplesmente melhorar o sinal para eliminar de maneira mais eficaz os candidatos e contratar os mais talentosos.