Revisando a validade de diferentes ferramentas de contratação: Novas percepções sobre o que funciona melhor

Os materiais da série Ciência são trazidos a você pela equipe de especialistas em avaliação da TestGorilla: Um grupo de psicólogos I-O, cientistas de dados, psicometristas e especialistas em desenvolvimento de PI com um profundo entendimento da ciência por trás da contratação baseada em habilidades.

Os empregadores estão no ramo da previsão: Precisam prever se um candidato será bem-sucedido em um emprego com base em informações limitadas sobre suas capacidades. Para melhorar a precisão dessas previsões, é útil priorizar ferramentas de contratação (ex.: testes e avaliações pré-emprego) com boa validade relacionada aos critérios para obter o maior retorno sobre o investimento.

Neste artigo, discutimos os recentes avanços no campo da avaliação que reformularam nossa compreensão das práticas eficazes de contratação. Apresentamos uma visão geral das descobertas científicas recentes sobre as ferramentas de contratação mais preditivas e fornecemos conselhos práticos sobre como usá-las em seu processo de contratação.

O que é a validade relacionada aos critérios?

Embora existam vários tipos de validade (consulte este artigo para obter uma introdução mais geral à validade), a validade relacionada aos critérios geralmente ganha destaque nas aplicações práticas. A validade relacionada aos critérios refere-se ao grau em que podemos fazer previsões precisas sobre o desempenho esperado dos candidatos no trabalho com base nas pontuações obtidas em diferentes ferramentas de contratação. Nesse caso, as ferramentas de contratação referem-se a testes e avaliações pré-emprego, como testes de capacidade cognitiva, amostras de trabalho, entrevistas, verificações de referências e avaliações de personalidade.  

A validade relacionada aos critérios é normalmente avaliada pelo exame da relação entre as pontuações obtidas em um processo de contratação (chamadas de preditores) e as medidas de desempenho real no trabalho (chamadas de critérios). Ela é frequentemente expressa como um coeficiente de validade. Este é um coeficiente de correlação que varia de 0 a 1 e quantifica a força da relação entre as pontuações do teste e o desempenho no trabalho.

Valores mais altos indicam uma relação mais forte entre as pontuações nos testes pré-emprego e as medidas de desempenho no trabalho. Por exemplo, após a realização de um estudo de validação, a Empresa X pode descobrir que os candidatos que obtiveram pontuação mais alta no teste de Gestão de Vendas têm melhor desempenho em uma função de gerente de vendas (por exemplo, com um coeficiente de validade observado de 0,30).

Fig. 1: Explicação da validação relacionada aos critérios

O que sabíamos sobre a validade relacionada aos critérios de diferentes ferramentas de contratação até recentemente?

Profissionais e acadêmicos vêm estudando a eficácia de diferentes ferramentas de contratação há décadas. Estudos diferentes chegaram a conclusões diferentes: alguns descobriram que um método de contratação específico é altamente preditivo, outros descobriram que ele é apenas aceitável e outros descobriram que sua validade relacionada aos critérios é insignificante.

Quando isso acontece, os estudos meta-analíticos podem oferecer uma conclusão mais precisa e confiável sobre um tópico ou questão específica. Uma meta-análise é como um superestudo que reúne todos os estudos individuais sobre um tópico específico e os analisa coletivamente. Analisar todos os resultados juntos é como pedir a opinião de uma sala inteira de especialistas em vez de apenas um. Dessa forma, você obtém uma visão mais completa do que a ciência diz.

Durante muito tempo, um dos trabalhos mais importantes sobre a validade relacionada aos critérios de diferentes ferramentas de contratação foi a meta-análise realizada por Schmidt e Hunter (1998). Eles combinaram vários estudos e calcularam os coeficientes de validade média para diferentes ferramentas de contratação em relação ao desempenho geral no trabalho. Sua pesquisa forneceu alguns insights bastante inovadores sobre a eficácia de diferentes ferramentas de contratação. Mais especificamente, eles concluíram que os testes de amostra de trabalho, os testes de habilidade cognitiva e as entrevistas estruturadas são os melhores preditores do desempenho geral no trabalho. Os coeficientes de validade média relatados por Schmidt e Hunter (1998) podem ser encontrados na Figura 2.

Embora muitos novos estudos e meta-análises sobre o tema tenham sido publicados desde o artigo de Schmidt e Hunter em 1998, eles geralmente tinham um escopo mais restrito (por exemplo, com foco em tipos específicos de testes de julgamento situacional, testes de personalidade ou entrevistas) e não envolviam uma comparação tão abrangente de diferentes ferramentas de contratação. Dessa forma, décadas de pesquisa e práticas de contratação foram construídas com base nos resultados das meta-análises de Schmidt e Hunter.

O que diz a ciência mais recente?

Em 2022, uma nova meta-análise conduzida por Sackett e colaboradores (2022) foi publicada, contestando os resultados de Schmidt e Hunter (1998). Sackett e colaboradores (2022) descobriram que, em média, todos os coeficientes de validade são mais baixos do que na meta-análise original, com mudança na ordem de classificação de alguns dos procedimentos de contratação mais bem-sucedidos: Entrevistas estruturadas foram consideradas as mais preditivas do desempenho geral no trabalho, seguidas por testes de conhecimento do cargo e dados biográficos empiricamente registrados. Uma comparação dos coeficientes de validade encontrados por Schmidt e Hunter (1998) e Sackett e colaboradores (2022) é apresentada na Figura 2.

Figura 2. Comparação dos coeficientes médios de validade de diferentes ferramentas de contratação de Schmidt & Hunter (1998) e Sackett et al. (2022).

Por que os resultados desses dois estudos são tão diferentes?

A diferença nos resultados dos dois estudos se deve ao uso de diferentes ferramentas estatísticas com base em uma melhor compreensão da natureza dos estudos originais examinados. Além disso, novos estudos foram realizados desde Schmidt e Hunter (1998) e forneceram a Sackett e colaboradores (2022) dados novos e atualizados.

Por fim, o mundo do trabalho mudou substancialmente desde 1998. A digitalização resultou na criação de mais empregos de colarinho branco baseados em conhecimento em comparação com 30 ou 50 anos atrás. Os empregos de hoje exigem competências e habilidades diferentes das dos empregos na indústria. Eles também são avaliados de forma diferente. Por exemplo, enquanto o desempenho do trabalho de um operário de linha de montagem é bastante simples de ser medido pela contagem do número de peças montadas, avaliar a eficácia de um designer de UI/UX ou de um especialista em ética de IA é uma tarefa mais complexa.

As descobertas de Hunter e Schmidt foram a base sobre a qual construímos nossas práticas de avaliação por muitos anos. Mas como o mundo e nossa compreensão do mundo estão em constante evolução, essas bases estão sujeitas a mudanças e devem ser atualizadas à medida que surgem novas evidências.

Como a TestGorilla pode lhe ajudar a aplicar as práticas recomendadas com base nas pesquisas mais recentes?

As descobertas meta-analíticas mais recentes oferecem várias conclusões práticas importantes que você pode implementar para melhorar seu processo de contratação:

1. Combine várias medidas no processo de seleção

Embora cada procedimento de seleção ofereça alguma validade, eles funcionam melhor em combinação.

A TestGorilla recomenda uma abordagem holística, multimedidas para a contratação. Embora as validades acima se apliquem a ferramentas de contratação isoladas, as pesquisas mostram que, quando várias medidas são combinadas, o coeficiente de validade pode aumentar substancialmente. Por exemplo, Sacket et al. (2022) mostraram que o coeficiente de validade pode chegar a 0,47 em média com base na combinação de ferramentas de contratação que eles consideraram.

A recomendação acadêmica e prática é sempre combinar mais de um método de contratação no processo de seleção para obter resultados mais válidos e usar avaliações pré-contratação juntamente com outras informações obtidas durante o processo de contratação. Com a TestGorilla, isso é tão fácil quanto adicionar vários testes à avaliação e usar esses resultados para direcionar as perguntas da entrevista.

2. Use ferramentas de contratação relevantes para o cargo

O processo de contratação se beneficia mais das medidas relevantes para o cargo. Quanto mais relevante for o conteúdo do método de contratação para a função para a qual você está realmente contratando, maior será a probabilidade de uma forte relação com o desempenho futuro no trabalho. Isso significa que os testes e avaliações pré-contratação que você usa devem ser baseados em uma sólida compreensão das tarefas e habilidades necessárias para a função para a qual você está contratando (consulte nosso guia de análise de tarefas de trabalho).

A TestGorilla oferece uma biblioteca diversificada de testes com descrições claras que o ajudam a escolher os testes mais relevantes para suas funções. Além disso, oferecemos modelos de avaliação para que você comece a fazer testes relevantes para o cargo, mesmo quando não estiver familiarizado com a posição para a qual está contratando.

3. Use entrevistas estruturadas

Uma entrevista estruturada bem preparada é uma das melhores maneiras de avaliar seus candidatos. As entrevistas estruturadas devem ser cuidadosamente desenvolvidas com base em informações analíticas sobre o cargo e conduzidas por entrevistadores qualificados. Entretanto, elas exigem muito tempo para serem preparadas adequadamente e não são facilmente escaláveis. Usando as avaliações da TestGorilla e combinando-as com entrevistas estruturadas, você pode aumentar a validade de seu processo de contratação.

Mais especificamente, as entrevistas estruturadas podem ser particularmente eficazes quando complementadas por perguntas direcionadas com o objetivo de aprofundar os insights derivados da avaliação das habilidades e da personalidade dos candidatos.

4. Use testes de habilidades e de conhecimento do cargo

Os testes de conhecimentos e habilidades profissionais, como os que a TestGorilla oferece em nossa biblioteca de testes, são a melhor opção quando a velocidade e o volume são importantes. Em nossa biblioteca, você pode encontrar habilidades de conhecimento do trabalho avaliando habilidades específicas do cargo, habilidades de software, habilidades de programação, habilidades de linguagem, habilidades de digitação e muito mais. Ao contrário das entrevistas estruturadas, elas são rápidas de administrar e pontuar, facilmente escaláveis e podem ser implementadas com pouca preparação prévia. Fornecendo informações objetivas sobre o conhecimento e as habilidades do trabalho, eles também são fáceis de combinar com outras ferramentas de contratação, o que leva a um aumento geral na validade do processo de contratação.

5. Use criteriosamente os testes de habilidade cognitiva

Embora a capacidade cognitiva tenha sido elogiada por décadas como um dos mais importantes indicadores de sucesso no trabalho, novas descobertas sugerem que ela desempenha um papel mais modesto na previsão do desempenho geral no trabalho.

Ao incluir a capacidade cognitiva em uma avaliação, é importante ter um bom entendimento dos requisitos cognitivos de um cargo, e se a avaliação de outras habilidades, capacidades ou preferências pode gerar um retorno maior sobre o investimento e um impacto adverso menor. No entanto, avaliar a capacidade cognitiva ainda pode ser a melhor opção ao contratar para cargos em que os candidatos podem não ter experiência prévia e/ou treinamento em habilidades específicas que, de outra forma, seriam facilmente avaliadas com testes de conhecimento do cargo e de amostras de trabalho.

Além disso, há muito tempo se descobriu que a capacidade cognitiva é um forte indicador de desempenho em ambientes de aprendizagem (ex.: ensino superior, treinamento no trabalho, aquisição de conhecimento no trabalho). Portanto, os testes de habilidade cognitiva podem ser úteis para avaliar a capacidade de aprendizado de um candidato e permitir que você contrate pessoas com alto potencial de crescimento em seus cargos.

6. Ao usar medidas de personalidade e preferências, combine-as com o cargo e o contexto

Personalidade, preferências e interesses têm coeficientes de validade modestos, mas a validade desses testes aumenta substancialmente quando são usadas medidas contextualizadas (em oposição a medidas gerais). Contextualizado significa que as medidas foram adaptadas para funcionar melhor no contexto da seleção, e seu conteúdo geralmente faz referência específica ao ambiente de trabalho.

Os testes de personalidade atuais da TestGorilla (ou seja, os testes de personalidade Big Five, Eneagrama, 16 Tipos e DISC) são medidas gerais de personalidade. Esses testes podem ser usados para obter uma compreensão mais profunda das inclinações de personalidade dos participantes e podem ajudar a enriquecer as conversas sobre aprendizado e desenvolvimento.

Em contraste, nossos testes de Motivação, Afinidade cultural e o teste de Competência comportamental (disponível em breve) são medidas contextualizadas, que levam em consideração os requisitos de sua organização e/ou cargo específico. Esses testes podem oferecer insights valiosos sobre o comportamento de um candidato no local de trabalho e ajudar você a entender melhor seus candidatos antes de conhecê-los em uma entrevista.

Um bônus adicional é que nossa pesquisa interna também mostra que incluir um teste de personalidade ou um teste de motivação em suas avaliações é uma maneira fundamental de aumentar a satisfação dos candidatos com sua experiência de avaliação.

Qual é o próximo passo?

No reino da ciência, que está em constante evolução, a mudança é a única constante. O estudo de Sackett et al. (2022) exemplifica esse princípio, revolucionando nossa compreensão da validade nos procedimentos de seleção e fornecendo diretrizes práticas sobre como desenvolver um processo de contratação que produza os melhores resultados.

Munidos desse novo conhecimento, os recrutadores e profissionais de RH podem navegar pelo complexo cenário da contratação com mais precisão e confiança. Lembre-se de que, na busca pela identificação dos melhores talentos, uma abordagem multifacetada e baseada na ciência é a chave para desbloquear a excelência na contratação.

A Equipe de Avaliação trabalha constantemente para se manter a par dos últimos desenvolvimentos relacionados à ciência da contratação e, à medida que a conversa sobre esse tópico continuar a evoluir, estaremos à disposição para oferecer novos insights. Portanto, fiquem ligados.

Fontes

• Borneman, M.J. (2010). Criterion validity. In N.J. Salkind, B. Frey, & D. M. Dougherty (Eds.) Encyclopedia of research design (pp. 291-296). Thousand Oaks, CA: Sage Publications, Inc. doi: 10.4135/9781412961288

• Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology, 107(11), 2040. doi: 10.1037/apl0000994

• Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2023). Revisiting the design of selection systems in light of new findings regarding the validity of widely used predictors. Industrial and Organizational Psychology, 1-18. doi:10.1017/iop.2023.24