TL; DR: Las preguntas y tareas en las entrevistas de programación parecen demasiado complicadas. A veces lo es, lo que agrega estrés. Este no es el único argumento en contra de ellos. Nuestros datos muestran que las tareas más complejas en realidad predicen el resultado final peor que las más simples.

Es difícil programar bajo la presión del tiempo. Especialmente en la entrevista. La tarea, que en condiciones normales parece simple, de alguna manera causa enormes problemas a la luz brillante de la sala de entrevistas. Las hormonas del estrés nublan el cerebro (desafortunadamente, ni pelear ni huir serán una respuesta efectiva al problema del codificador). Existe la sensación de que las preguntas parecen estar especialmente diseñadas con una complejidad perversa. Creo que estos sentimientos no surgen desde cero.

De hecho, las tareas en la entrevista son intencionalmente complejas . Dado que un error de contratación es más costoso que el fracaso de un buen ingeniero, alienta a las empresas a poner el listón alto. Eso significa hacer preguntas difíciles. Intuitivamente, esto tiene sentido, porque las preguntas más complejas parecen eliminar a los más débiles y revelar a los más fuertes. Pero la intuición aquí falla. Nuestros datos muestran que las preguntas más complejas en realidad producen resultados menos predecibles que las relativamente fáciles.

Preguntas más simples

Las tareas difíciles filtran a los malos ingenieros, pero también filtran a los buenos (es decir, muchos resultados falsos negativos). Por el contrario, las preguntas simples tienen menos falsos negativos, pero más resultados falsos positivos (ya que más ingenieros responden correctamente, incluidos algunos malos). Estas dos señales deben equilibrarse de alguna manera al elegir el nivel óptimo de complejidad de las preguntas. Si una empresa busca evitar falsos positivos a toda costa, es más probable que se incline hacia el extremo más duro de este espectro.

Sin embargo, la respuesta correcta no es la única fuente de señal durante la entrevista . Puede evaluar todo el proceso: cuánto tiempo lleva resolverlo, qué tan limpio es el código y cuánto esfuerzo tomó la solución. Nuestro análisis muestra que esta segunda fuente de señal (proceso) es casi tan importante como la primera (corrección).

Pero aquí hay un compromiso adicional . Las preguntas que llevan la mayor señal del proceso son mucho más simples que las preguntas que llevan la mayor señal de corrección. La razón queda clara si reduce el proceso a la cantidad de esfuerzo que requiere la solución (un aspecto del proceso que está más directamente relacionado con la dificultad de la tarea). Si la pregunta es bastante compleja, todos los candidatos tendrán dificultades (incluso aquellos que finalmente la responderán correctamente). Entonces, este aspecto casi no tiene señal cuando se evalúan los esfuerzos.

Por el contrario, las tareas con una fuerte señal de proceso son bastante fáciles para la mayoría de los candidatos, es decir, la respuesta correcta por sí sola dice poco. La complejidad óptima es cuando las señales del proceso y la corrección de la respuesta se equilibran para lograr la señal máxima, mientras que la señal no es necesariamente pico para ambos factores.

Entrevistamos a miles de ingenieros y evaluamos sus respuestas de muchas maneras, incluido el proceso y la precisión, y comparamos estas estimaciones con el rendimiento posterior. Y después del análisis de regresión (observando tanto el proceso como la señal de respuesta), nuestros datos mostraron que la mayor correlación está dada por preguntas que en realidad son mucho más simples de lo que esperábamos (y más simples que las preguntas que hacen muchas compañías en las entrevistas). )

Resultó que las tareas más complejas finalmente filtran demasiados candidatos calificados. Por lo tanto, si desea que el proceso de reclutamiento sea más preciso, probablemente debería hacer preguntas más simples.

Pero quiero decir claramente que esto no significa bajar el listón y aceptar más candidatos. Establecer tareas más simples no significa facilitar una entrevista . El nivel de complejidad de las preguntas y el umbral de la toma de decisiones son independientes entre sí. El proceso de contratación aún puede ser muy estricto si hace preguntas relativamente simples, pero debe evaluarlas. Nuestra conclusión es que las preguntas más simples dan más señales. Y lo que harás con esta señal depende de ti.

Las preguntas más simples también reducen el estrés, lo cual es un beneficio importante. El estrés hace que los candidatos subestimen su capacidad. Cuando un candidato se siente más cómodo, muestra el máximo potencial, lo que hace que la entrevista sea más predecible. Me parece que los entrevistadores tienden a subestimar el efecto del estrés en los candidatos, mientras que al mismo tiempo sobreestiman sus propias habilidades. Cuando configura una tarea, es fácil olvidar cuánto código puede escribir en 30-60 minutos. Para contrarrestar este sesgo, en Triplebyte adoptamos una regla: los entrevistadores deberían dar 3 veces más tiempo para resolver un problema que el tiempo en el que creen que pueden resolverlo. Por lo general, esto corresponde a una evaluación más o menos correcta.

Tareas más largas

Las preguntas más simples son útiles por otra razón importante. Le permiten ingresar más contenido en la tarea, es decir, puede usar tareas más largas y complejas, lo que tiene ventajas adicionales en términos de pronóstico. Puede hacer preguntas que se vuelven más complejas con el tiempo, y más largas, las preguntas más reales son más predecibles que las cortas y difíciles . Lógicamente, la forma más fácil de predecir el rendimiento de un candidato es si le ofrece trabajar en una tarea similar a la que hará en el trabajo .

Esto se debe en parte al hecho de que las preguntas más largas están más cerca de la programación real. La programación real implica trabajar con una base de código relativamente grande durante un largo período de tiempo, y las preguntas más largas simplemente están más cerca de esta realidad.

Además, las preguntas más largas le permiten dar pistas cuando el candidato está estancado. Creo que esto es vital porque incluso los ingenieros fuertes pueden tropezar en algún momento de la solución. Las tareas más largas le dan la oportunidad de recuperarse de los errores y luego mostrar sus habilidades. Un paso en falso no debería estropear toda la entrevista . Finalmente, la oportunidad de ayudar a aliviar el estrés de la entrevista, que nuevamente conduce a resultados más precisos.

Conclusión

Al pedirles a los candidatos tareas difíciles, la empresa cae en un círculo vicioso . Las preguntas son inicialmente demasiado difíciles y cortas, lo que lleva a decisiones de contratación subóptimas. Estas decisiones se basan en señales ruidosas. Cuando una empresa ve malos resultados, trata de corregir la situación haciendo que el proceso de selección sea aún más riguroso, lo que generalmente implica problemas aún más complejos . Pero esto solo reduce la precisión de las entrevistas, y así sucesivamente. Tanto las empresas como los candidatos sufren de este círculo vicioso. Veo que las empresas se están perdiendo talentos y los candidatos se están perdiendo empleos, y se esfuerzan más de lo necesario.

Espero que los entrevistadores saquen conclusiones. No solo pueden aumentar la precisión de la selección, sino que también simplifican su trabajo. Es mucho más fácil encontrar problemas simples y de varias etapas que preguntas cortas complejas pervertidas.

Así que aquí está nuestro consejo. Si realmente desea que las entrevistas sean más precisas, debe comenzar a realizar tareas de programación más simples. Esto no significa bajar la barra. Simplemente significa mejorar la señal para eliminar de manera más efectiva a los candidatos y contratar a los más talentosos.