Uma entrevista técnica moderna é um rito de passagem para engenheiros de software que (espero!) Precedem a obtenção de um excelente trabalho. Mas também uma enorme fonte de estresse, perguntas intermináveis ​​para os candidatos. Uma pesquisa simples, “Como se preparar para uma entrevista técnica”, traz milhões de postagens no Medium, blogs de treinamento em programação, discussões sobre o Quora e até livros inteiros.

Apesar de todas essas informações, as pessoas ainda estão lutando para descobrir como se comportar em uma entrevista. Em um artigo anterior, descobrimos que um número surpreendentemente grande de usuários de entrevistar.io subestima suas habilidades, o que aumenta a probabilidade de um resultado negativo da entrevista. Agora, recebemos muito mais dados (mais de 10.000 entrevistas com engenheiros de software reais), então queremos ir mais fundo: o que faz com que os candidatos diminuam sua auto-estima?

A partir de pesquisas científicas, são conhecidos alguns fatos gerais que interferem na autoestima adequada: por exemplo, as pessoas nem sempre avaliam ou sequer se lembram de seu desempenho em tarefas cognitivas complexas, como escrever código ¹ . As entrevistas técnicas são especialmente difíceis de avaliar se os candidatos não têm muita experiência em trabalhar com perguntas sem uma resposta correta. Como muitas empresas não discutem os resultados da entrevista com os candidatos, muitas nunca entenderão o que fizeram bem ou o que poderia ser melhor ^{2 3} . No final, remover a cortina de sigilo em torno de entrevistas de emprego em todo o setor tornou-se um dos principais motivos para a criação de entrevistas.io !

Até agora, havia poucos dados sobre como as pessoas se sentem após entrevistas reais em diferentes empresas de TI. Portanto, coletamos esses dados em larga escala, o que nos permitiu testar teorias interessantes sobre desenvolvedores e sua confiança em suas habilidades de programação.

Um dos principais fatores que nos interessaram foi a síndrome do impostor . Sabe-se que muitos programadores sofrem com isso ⁴ . Muitas pessoas se perguntam se realmente correspondem ao nível de seus colegas e consideram a evidência convincente de sua competência um acidente. A Síndrome do Impostor faz você se perguntar até que ponto pode confiar em críticas positivas sobre o desempenho e quantas oportunidades vêm dos esforços do próprio candidato, em comparação com a sorte. De particular interesse para nós foi o quanto as mulheres sofrem dessa síndrome. Existem muitos estudos mostrando que os candidatos de setores sub-representados da população têm maior probabilidade de não ter um senso de comunidade, o que alimenta a síndrome do impostor ⁵ , e isso pode distorcer a avaliação de suas próprias habilidades na entrevista.

Organização de pesquisa

Interviewing.io é uma plataforma na qual as pessoas passam anonimamente por entrevistas técnicas e, se tudo correr bem, conseguem empregos em empresas líderes. Lançamos o projeto porque o currículo não fornece uma imagem completa e porque acreditamos que qualquer pessoa, independentemente do currículo, deve ser capaz de se expressar.

Quando o entrevistador e o candidato coincidem, eles se reúnem em um ambiente de codificação conjunto com comunicação por voz, bate-papo por texto, um "quadro de escrita" e são imersos na tarefa técnica (você pode ver esse processo em ação na página com os registros da entrevista ). Após cada entrevista, eles deixam um feedback para o outro, e cada lado vê o que a outra pessoa disse sobre ele assim que os dois enviam feedback.

Aqui está um exemplo de formulário de feedback do entrevistador:


Formulário de Feedback do Entrevistador

Imediatamente após a entrevista, os candidatos avaliam na mesma escala de 1 a 4 quão bem, em sua opinião, conseguiram:


Formulário de feedback do candidato

Para este artigo, examinamos mais de 10 mil entrevistas técnicas realizadas por engenheiros de software reais das principais empresas. Durante cada entrevista, o entrevistador avaliou o candidato por sua capacidade de resolver problemas, habilidades técnicas e de comunicação e se é digno de passar para a próxima rodada. Isso nos dá um indicador de quão diferente é a auto-estima dos candidatos da classificação que o entrevistador realmente atribui a eles e de que maneira. Em outras palavras, quão distorcida é a auto-estima do candidato em comparação com suas verdadeiras qualidades?

Inicialmente, tínhamos algumas suposições sobre o que poderia afetar o resultado:

• Paul Será mais difícil para as mulheres avaliar suas habilidades de programação do que para os homens?
• Anteriormente, ele conduziu entrevistas . Parece razoável que, tendo visitado o outro lado, você demonstre uma auto-estima mais precisa na entrevista.
• Ele trabalhou em uma empresa de ponta . Semelhante ao parágrafo anterior.
• Ele mostrou um excelente resultado em entrevistas - as pessoas que mostram o melhor resultado em geral podem ter mais confiança e consciência sobre quando estão fazendo tudo certo (ou errado!).
• Acomodação na área da baía ou não. Como as empresas de TI ainda estão geograficamente concentradas na área do Golfo, sentimos que as pessoas que vivem em áreas com uma cultura de engenharia mais saturada estão mais familiarizadas com os padrões de entrevistas profissionais.
• A qualidade das perguntas e as qualificações do entrevistador diretamente na entrevista . Presumivelmente, o melhor entrevistador é melhor em se comunicar, e o entrevistador estúpido pode confundir a auto-estima do candidato. Também estamos considerando se essa foi uma entrevista de treinamento ou para uma posição específica.
• Para alguns candidatos, também podemos observar indicadores de sua marca pessoal no setor, como o número de seguidores no GitHub e no Twitter. Talvez as pessoas com forte influência na Internet estejam mais confiantes quando estão sendo entrevistadas?

O que encontramos?

As mulheres avaliam suas habilidades técnicas como os homens

Ao contrário das expectativas em relação ao gênero e à autoconfiança, não encontramos diferenças estatisticamente significativas entre os sexos. A princípio, as candidatas pareciam subestimar seus resultados com mais frequência, mas quando normalizamos o resultado para outras variáveis, como experiência e habilidades técnicas, verificamos que a principal diferença era a experiência . Engenheiros mais experientes avaliam com mais precisão os resultados de suas entrevistas, e os homens, em média, são mais experientes. No entanto, engenheiras experientes são igualmente precisas na avaliação de suas habilidades técnicas.

Com base em estudos anteriores, hipotetizamos que a síndrome do impostor e um déficit maior nos sentimentos de pertencimento à comunidade de TI podem levar as candidatas a subestimar sua avaliação na entrevista, mas não encontramos esse padrão ⁶ . Nossa conclusão ecoa o projeto de pesquisa do Instituto Stanford Clayman de Estudos de Gênero , com a participação de 1.795 trabalhadores técnicos de nível médio de empresas de alta tecnologia. Eles descobriram que as mulheres em TI não são necessariamente menos precisas na avaliação de suas próprias habilidades, mas são muito diferentes dos homens em suas idéias sobre o que é necessário para o sucesso (por exemplo, um longo dia de trabalho e correr riscos). Em outras palavras, as mulheres na área de TI podem não duvidar de suas próprias habilidades, mas imaginam o que é esperado delas . E a pesquisa da Harvard Business Review , na qual mais de mil profissionais perguntaram sobre suas decisões de contratação, também confirma esse ponto. Os resultados enfatizam que as diferenças de gênero no processo de avaliação de candidatos são mais baseadas em expectativas diferentes de como processos como entrevistas são considerados .

No entanto, encontramos uma diferença interessante: as mulheres passam por menos entrevistas de treinamento do que os homens. A diferença é pequena, mas estatisticamente significativa, e nos leva de volta à conclusão anterior de que, após uma má entrevista, as mulheres deixam as entrevistas.io cerca de 7 vezes mais que os homens .

Mas no mesmo artigo anterior, também descobrimos que disfarçar votos por gênero não afetou os resultados da entrevista. Todo esse conjunto de resultados confirma o que suspeitávamos e o que especialistas que realizam estudos aprofundados sobre a diferença de gênero na TI confirmam: tudo é complicado . A falta de persistência nas mulheres na entrevista não pode ser explicada apenas pela síndrome do impostor e pela subestimação de suas próprias habilidades. Mas ainda é provável que eles levem o feedback negativo mais a sério e sejam mais propensos a fazer suposições e conclusões diferentes após a entrevista.

O diagrama abaixo mostra a distribuição da distância da precisão da autoestima para mulheres e candidatos masculinos em nossa plataforma (zero indica uma classificação que corresponde à pontuação do entrevistador, enquanto valores negativos indicam uma pontuação baixa e valores positivos indicam uma superestimação). Dois grupos têm a mesma aparência:

O que mais importa?

Outra surpresa: a experiência do entrevistador não ajuda . Até ex-entrevistadores parecem não demonstrar auto-estima mais precisa por causa disso. Uma marca pessoal também não tem efeito . Pessoas com mais seguidores no GitHub não são mais precisas do que pessoas com vários seguidores. A classificação do entrevistador também não importa (ou seja, quão bem os outros candidatos classificaram o entrevistador), embora, para ser justo, os entrevistadores sejam geralmente classificados com uma classificação bastante alta no site.

Então, o que se tornou um incentivo estatisticamente significativo para julgamentos precisos sobre a eficácia da entrevista? Principalmente experiência

Especialistas experientes entendem melhor o quão bem eles passaram pela entrevista em comparação com os engenheiros no início de sua carreira ⁷ . E parece que o ponto não é apenas que as melhores habilidades de programação permitam avaliar melhor sua eficácia; embora exista uma ligeira correlação: os engenheiros que avaliam com mais precisão sua eficácia têm um nível de programação realmente mais alto. Mas se você olhar para programadores iniciantes, mesmo os melhores deles subestimam suas habilidades ⁸ .



Nossos dados refletem a tendência observada na pesquisa de desenvolvedores do Stack Overflow 2018 . Eles fizeram aos entrevistados algumas perguntas sobre autoconfiança e concorrência com outros desenvolvedores e observaram que engenheiros mais experientes se sentem mais competitivos e mais confiantes ⁹ . Isso não é surpreendente: no final, a experiência se correlaciona com os níveis de habilidade e é provável que pessoas altamente qualificadas sejam mais confiantes. Mas nossa análise nos permitiu normalizar a eficácia de entrevistas e habilidades de programação por grupos de carreira - e ainda descobrimos que engenheiros experientes preveem melhor seus resultados de entrevistas, independentemente de qualificações e resultados reais. Provavelmente, vários fatores são afetados aqui: engenheiros experientes já foram entrevistados, os conduziram por conta própria e têm um senso mais forte de comunidade, o que ajuda a combater a síndrome do impostor.

Parece que o conhecimento e o contexto interno também ajudam : os residentes da área da baía e os funcionários das principais empresas fazem uma avaliação mais precisa. Assim como a experiência, o conhecimento do contexto da indústria permite uma avaliação mais adequada da situação. Encontramos uma diferença pequena, mas estatisticamente significativa, de fatores como morar no Golfo e trabalhar em uma empresa líder. No entanto, o bônus de trabalhar em uma empresa líder, aparentemente, corresponde basicamente ao bônus de habilidades técnicas gerais: estar em uma empresa de topo é essencialmente um parâmetro de proxy, indicando um engenheiro mais experiente e com habilidades mais avançadas.

Por fim, à medida que você melhora os resultados das entrevistas e avança para as entrevistas da vida real nas empresas, melhora a precisão da sua auto-estima. As pessoas demonstram uma autoestima mais precisa nas entrevistas da vida real, em comparação às entrevistas de treinamento, e sua classificação geral no site também se correlaciona com a precisão da autoestima: Interviewing.io calcula a classificação geral dos usuários com base na sua eficácia em todas as entrevistas e ponderada em relação aos indicadores posteriores . As pessoas entre os 25% melhores na classificação têm maior probabilidade de serem precisas na avaliação de seus resultados em uma entrevista.

Como as pessoas geralmente avaliam sua eficácia em uma entrevista? Nós estudamos isso antes , em cerca de mil entrevistas, e agora, com um aumento de dez vezes na amostra, as conclusões são as mesmas. Os candidatos avaliam com precisão o resultado em apenas 46% das entrevistas, subestimam-se em 35% (e nos 19% restantes, superestimam o resultado). No entanto, geralmente os candidatos adivinham algo: não acontece que pessoas com quatro estrelas sempre se classifiquem como uma só ^. . A autoavaliação prevê estatisticamente de forma significativa o resultado real da entrevista (e se correlaciona positivamente com ela), mas há muito ruído nesses aspectos.

Valor

Um julgamento preciso sobre o resultado da sua entrevista é uma habilidade específica que vem com a experiência e o conhecimento do setor de TI. Porém, muitas das suposições que fizemos sobre a precisão da avaliação não se mantiveram: as engenheiras têm a mesma idéia exata de suas habilidades que os homens, e as engenheiras que realizaram mais entrevistas ou estão bem representadas no GitHub não são muito melhores avaliar seu resultado.

O que isso significa para a indústria como um todo? Em primeiro lugar, a síndrome do impostor parece ser um monstro sombrio que ataca engenheiros de qualquer gênero e habilidade, independentemente de sua fama e local de residência. A experiência ajuda a aliviar um pouco a dor, mas a síndrome do impostor afeta a todos, independentemente de quem eles são ou de onde vêm. Então talvez tenha chegado a hora de uma cultura de entrevista mais amável e receptiva. Uma cultura que é mais gentil com todos. Embora alguns grupos, com menos experiência em entrevistas técnicas, sofram mais com as deficiências do processo de entrevista , ninguém está imune à dúvida.

Anteriormente, discutimos as qualidades de um bom entrevistador, e a empatia desempenha um papel desproporcionalmente grande . E vimos que , para evitar a perda de candidatos, é realmente importante fornecer feedback imediato após a entrevista . Portanto, independentemente de você ser motivado por gentileza e princípios ou por um pragmatismo frio e duro, um pouco mais de gentileza e compreensão em relação aos candidatos não serão prejudiciais.

Anotações

1. A auto-avaliação foi estudada em várias áreas e tem sido frequentemente usada para avaliar o grau de treinamento. Uma crítica importante é que ela é fortemente influenciada pela motivação e estado emocional das pessoas durante a pesquisa. - Sitzmann, Eli, Brown, Bauer. (2010). Autoavaliação do conhecimento: aprendizagem cognitiva ou medição afetiva? .. Academy of Management Learning & Education , 9 (2), 169-191. ↑

2. Desenvolver uma boa entrevista técnica não é uma tarefa fácil para o entrevistador. Uma discussão informal deste tópico está disponível aqui . ↑

3. Raciocínio sobre auto-estima em uma entrevista . ↑

4. Por exemplo, este artigo e este . ↑

5. Alguma literatura adicional sobre pesquisa no campo das ciências sociais:

• Hood, Rattan, Dweck. (2012). Por que as mulheres vão embora? Um sentimento de pertença e a representação das mulheres na matemática. Jornal da personalidade e psicologia social , 102 (4), 700.
• Mestre, Cheryan, Meltzoff. (2016). Pertencer à TI: os estereótipos minam o interesse e o senso do envolvimento das meninas na ciência da computação. Jornal da psicologia educacional , 108 (3), 424. ↑

6. Um problema para o nosso conjunto de dados não é uma grande variedade de engenheiras experientes: isso corresponde à demografia real do setor de TI, mas também significa um possível viés nos resultados estatísticos ao avaliar as diferenças entre grupos. Queremos continuar coletando estatísticas com as mulheres para explorar completamente o tópico. ↑

7. Esses efeitos e a falta anterior de correlação são estudados em um modelo linear misto. Todos os resultados significativos para efeitos individuais têm p <0,05. ↑

8. Para engenheiros experientes, o desvio médio é de -0,14; entre juniores -0,22, entre graduados -0,25. ↑

9. Veja também aqui . ↑

10. Outra desvantagem do nosso conjunto de dados é que há uma classificação máxima e mínima: por exemplo, ao receber uma classificação real de 4 pessoas, não se pode superestimar de forma alguma , porque elas já estão no topo da escala. Corrigimos isso de várias maneiras: excluindo pessoas com resultados máximos e mínimos e re-analisando em um subconjunto médio, bem como dividindo-as em exatas ou imprecisas. Os resultados não foram alterados. ↑