Revisando a validade de diferentes ferramentas de contratação: Novas percepções sobre o que funciona melhor - Parte 2

Os materiais da série Ciência são trazidos a você pela Equipe de Avaliação da TestGorilla: Um grupo de psicólogos I-O, cientistas de dados, psicometristas e especialistas em desenvolvimento de avaliações com um profundo entendimento da ciência por trás da contratação baseada em habilidades.

Prever o futuro é uma tarefa difícil, geralmente realizada apenas por oráculos, recrutadores e gerentes de recrutamento qualificados. Você leu certo. Os empregadores que procuram contratar os melhores candidatos têm como objetivo prever o sucesso futuro de um candidato em seu cargo. Embora não existam cartomantes para ajudar a fazer a contratação certa, há algo ainda melhor para você: ciência empírica sólida.

Em nosso artigo anterior sobre a validade relacionada aos critérios de diferentes ferramentas de contratação, relatamos e discutimos os coeficientes de validade média calculados a partir de vários estudos de diferentes ferramentas de contratação e discutimos o que os resultados nos disseram sobre a eficácia dessas ferramentas e o que isso significa para seu processo de contratação.

Neste artigo, vamos nos aprofundar na ciência e explicar como você pode usar esses insights para melhorar seu processo de contratação.

Há algo mais a saber nos coeficientes de validade média?

Embora muito úteis, os coeficientes de validade média não capturam a variabilidade dos resultados encontrados por estudos individuais. Por exemplo, a validade média de 0,42 encontrada para entrevistas estruturadas por Sackett et al. (2022) é a média dos valores do coeficiente de validade relatados por diferentes estudos incluídos em sua meta-análise. Uma meta-análise é um superestudo que resume os resultados de dezenas ou centenas de estudos diferentes. Alguns dos estudos analisados no artigo relataram coeficientes de validade maiores do que a média, e alguns relataram valores menores do que a média.

Um intervalo de credibilidade é útil para resumir com eficiência essa variabilidade entre os estudos. O intervalo de credibilidade é uma faixa de valores entre um limite superior e inferior que abrange a maioria dos resultados dos estudos incluídos em uma meta-análise. Um intervalo de credibilidade de 80% captura 80% dos valores em torno da média observada em muitos estudos diferentes.

Um exemplo pode ajudar a mostrar como esses intervalos de credibilidade oferecem um quadro mais abrangente. Imagine que você esteja tentando descobrir a altura das pessoas em sua cidade. Você pode fazer algumas medições e calcular que a altura média é de 1,70 m. Esse valor corresponderia ao valor médio relatado em um estudo meta-analítico.

Para obter um quadro mais abrangente, você pode realizar análises adicionais e concluir que 80% das pessoas têm entre 1,50 m e 1,90 m de altura. Essa faixa corresponderia ao intervalo de credibilidade de 80% relatado no estudo meta-analítico. Ao incluir esse intervalo e o valor médio, você pode obter uma imagem muito mais precisa e matizada.

Como essa nuance é comunicada em um estudo?

De forma semelhante ao nosso exemplo, Sackett et al. (2022) relataram os valores médios e os intervalos de credibilidade de 80% para fornecer uma imagem diferenciada dos coeficientes de validade de diferentes ferramentas de contratação. A Tabela 1 mostra os coeficientes de validade encontrados por Sackett e colegas, juntamente com seus intervalos de credibilidade de 80%.

Por exemplo, as entrevistas estruturadas, que estão no topo da lista em termos de validade média de 0,42, têm um intervalo de credibilidade de 80% que varia de 0,18 a 0,66. Portanto, a validade das entrevistas estruturadas deve ser vista como "o coeficiente de validade é 0,42, mais ou menos 0,24". Isso transmite uma mensagem diferente de simplesmente "o coeficiente de validade é 0,42".

Como você pode levar em conta essa nuance em seu processo de contratação?

A grande variabilidade em torno da média indicada por intervalos de credibilidade amplos geralmente significa incerteza. Quanto maior o intervalo de credibilidade, menos certeza podemos ter sobre o coeficiente de validade exato de uma ferramenta de contratação em nosso contexto. O contexto organizacional, a natureza do cargo e a meta geral do processo de seleção podem afetar o coeficiente de validade exato em sua aplicação da ferramenta de contratação.

Veja, por exemplo, entrevistas estruturadas. Essa ferramenta de contratação tem um intervalo de credibilidade de 80% entre 0,18 e 0,66, com uma estimativa média de 0,42.Para entender melhor a variabilidade da estimativa, vale a pena examinar atentamente essa ferramenta de contratação.

Uma única entrevista estruturada pode abranger várias habilidades e competências, desde as gerais, como comunicação ou domínio do inglês, até habilidades específicas de cargos, como negociação. Quando as habilidades pontuadas durante a entrevista são semelhantes às habilidades necessárias para o sucesso em uma função, é mais provável que essa ferramenta de contratação alcance estimativas de validade acima da média. Além disso, a validade das entrevistas estruturadas também pode variar dependendo de quão bem a entrevista foi projetada e implementada (como as perguntas são formuladas, como as entrevistas são pontuadas, quão bem os entrevistadores são treinados, etc.).

Outro bom exemplo da importância do contexto são os testes de personalidade. Mais especificamente, aqueles que avaliam o traço de Conscienciosidade (C) do teste de personalidade OCEAN.

Na Tabela 1, é possível ver que os pesquisadores relatam resultados de duas medidas diferentes dessa característica: geral e contextualizada. Uma medida de personalidade geral avalia a personalidade dos candidatos em geral, enquanto uma medida contextualizada avalia a personalidade dos candidatos no trabalho. Ao introduzir essa distinção, Sackett et al. (2022) conseguiram reduzir os intervalos de credibilidade de tal forma que a medida contextualizada de Conscienciosidade tem uma validade média de 0,25, com os limites inferior e superior do intervalo de credibilidade de 80% também em 0,25.

Outros pesquisadores demonstraram que o coeficiente de validade da Conscienciosidade pode mudar dependendo da complexidade do cargo para o qual a pessoa é contratada. Por exemplo, em cargos com alta complexidade, a Conscienciosidade é menos importante do que naqueles com complexidade moderada ou baixa.

O que deve ser considerado é que, embora esses coeficientes médios de validade meta-analítica possam fornecer percepções gerais sobre a eficácia de diferentes ferramentas de contratação, raramente há uma abordagem única para a contratação. Você deve misturar e combinar ferramentas de contratação para equilibrar os benefícios de cada ferramenta para o cargo e o contexto específicos para os quais está contratando.

Como você pode lidar com essa incerteza?

Você pode tomar algumas medidas para lidar com essa incerteza no processo de contratação.

Primeiro, ao comparar diferentes métodos de contratação, preste atenção tanto à extremidade inferior do intervalo de credibilidade de 80% quanto ao coeficiente de validade média. Essa abordagem pode ajudar a identificar os preditores que têm validades semelhantes em diferentes contextos ou aqueles com menor risco de queda.

Por exemplo, Sackett e seus colegas descobriram que as entrevistas estruturadas têm uma validade média mais alta do que os dados biográficos empiricamente digitados (0,42 contra 0,38). No entanto, os dados biográficos têm um valor mais alto para a extremidade inferior de um intervalo de credibilidade (.26 versus .18). Um empregador avesso a riscos pode preferir o preditor com menor risco de queda e, portanto, concentrar-se no valor de credibilidade mais baixo ao identificar preditores em potencial.

Em segundo lugar, você pode executar um estudo de validação relacionado a critérios por conta própria para examinar a relação entre as ferramentas de contratação que usa e os critérios de trabalho relevantes para cargos ou famílias de cargos específicos. Esse estudo pode lhe fornecer insights orientados por dados que são diretamente aplicáveis à sua situação específica. Entretanto, são necessárias amostras grandes para obter insights significativos desse tipo de estudo (leia mais aqui). As organizações que não têm um grande número de contratações em um cargo não poderiam fazer esse tipo de estudo. Para ajudar todos os nossos clientes, a TestGorilla tem uma série de iniciativas contínuas de validade relacionadas a critérios que incluem organizações de pequeno e grande porte. Você pode saber mais sobre a oportunidade aqui.

Por fim, você pode consultar os estudos meta-analíticos originais incluídos na meta-análise de Sackett et al. (2022) e encontrar estudos que descrevam mais de perto seu processo de contratação e sua situação. Esses estudos geralmente dividem os resultados com base no tipo de trabalho, diferentes tipos de critérios de desempenho e outros fatores que podem ajudar você a tomar decisões mais informadas sobre o melhor método de contratação para sua situação (veja, por exemplo, esta meta-análise sobre a validade preditiva da conscienciosidade). Ao generalizar a validade das ferramentas de contratação para situações mais próximas da sua, você pode ter mais certeza de que os testes pré-emprego que está usando são válidos para as posições para as quais está testando.

5 maneiras de maximizar a validade de seu processo de contratação

1. Invista no design de seus procedimentos de seleção

Elaborar um procedimento de seleção de alta qualidade não é tarefa fácil; ler este e outros artigos de nossa série científica é um bom ponto de partida. Criar propositadamente um processo de seleção de alta qualidade significa escolher cuidadosamente as ferramentas de contratação, planejar os diferentes estágios do processo e desenvolver uma forma padronizada de avaliar e classificar os candidatos. Depois que esse processo for implementado, ele garante que cada decisão no funil de contratação seja apoiada por uma justificativa e dados sólidos. Além disso, é provável que você se aproxime de estimativas de validade acima da média.

2. Use ferramentas de contratação confiáveis e válidas

Não é possível fazer um bom bolo com ingredientes ruins, assim como não é possível criar um processo de contratação de alta qualidade com ferramentas de contratação ruins. O uso de ferramentas de contratação psicometricamente sólidas ajuda a garantir que as decisões de contratação que você toma sejam baseadas em dados confiáveis.

Na TestGorilla, investimos muito tempo e recursos para desenvolver avaliações de alta qualidade. Aplicando uma ciência rigorosa em cada etapa do processo, podemos oferecer testes de contratação de alta qualidade, confiáveis e válidos. Você pode ler mais sobre nosso processo aqui.

Cada organização e função são únicas e, às vezes, pode ser necessário desenvolver seu próprio teste personalizado internamente para atender às suas necessidades. Ao criar uma ferramenta de contratação personalizada, a validade e a confiabilidade não são menos importantes do que quando se usa uma ferramenta existente. Seguir as práticas recomendadas no desenvolvimento de ferramentas personalizadas, como as que se referem à realização de uma entrevista estruturada, pode lhe ajudar a obter coeficientes de validade acima da média.

3. Certifique-se de que as ferramentas que você usa sejam relevantes para o cargo

Há muitas maneiras de avaliar a qualidade de uma pessoa em seu cargo. Ao pensar proativamente sobre o que o cargo implica e como o desempenho será avaliado, você pode garantir que está usando as ferramentas de contratação mais relevantes no processo de seleção. A ciência deixa claro que quanto mais relacionada uma ferramenta de contratação estiver com o trabalho real para o qual o candidato foi contratado, melhor será a diferenciação entre bons e maus candidatos. O uso de uma ferramenta de contratação relevante para o trabalho pode significar a diferença entre perder um bom candidato e contratá-lo. Além disso, o uso de ferramentas de contratação relevantes para o cargo é necessário para demonstrar a defensibilidade legal de seu processo de contratação.

4. Considere o cargo que está buscando preencher

Cargos com diferentes tarefas e responsabilidades podem se beneficiar de diferentes ferramentas de contratação. Dedique algum tempo para avaliar como será o trabalho cotidiano do novo contratado. Também vale a pena entender como serão os primeiros dias, semanas e meses para essas pessoas. Você pode usar uma análise de tarefas do cargo para obter uma visão abrangente do cargo para o qual está contratando. Depois de entender os requisitos, você pode combinar e selecionar diferentes ferramentas de contratação para maximizar a validade do processo e evitar uma sobreposição entre elas.

5. Considere o tipo de candidato que você busca para o cargo

Ao abrir uma função em que se espera que candidatos com muita experiência, conhecimento e habilidades relevantes se inscrevam, considere a possibilidade de incluir testes de conhecimento e habilidades específicos do cargo. Ao abrir uma vaga em que se espera que os candidatos sejam principalmente recém-formados, iniciantes, ou pessoas que estejam mudando de carreira, considere avaliar habilidades mais universais, como resolução de problemas, gerenciamento de tempo, ou comunicação. Com uma biblioteca de testes composta por quase 400 testes, temos tudo o que você precisa. Nosso futuro framework de competências comportamentais pode ajudar a identificar e avaliar as competências universais relevantes para muitas funções diferentes.

Por fim, adicionar uma avaliação de personalidade, como o teste OCEAN ou medidas contextualizadas, como testes de Afinidade cultural ou Motivação, pode lhe ajudar a entender a maneira única pela qual os candidatos podem contribuir para a sua organização.

Compreender a validade de suas ferramentas de contratação lhe ajudará a tomar melhores decisões de contratação

A ciência da contratação evoluiu para oferecer uma compreensão diferenciada da eficácia de diferentes ferramentas de contratação. O contexto organizacional, as metas de contratação e as maneiras pelas quais o desempenho é medido são fatores importantes que influenciam a validade e a utilidade de uma ferramenta de contratação. Ao selecionar cuidadosamente as ferramentas de contratação para atender às necessidades específicas da sua organização e às funções para as quais está contratando, você pode garantir que está tomando decisões certas de contratação.

Fontes

Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology, 107(11), 2040.

Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2023). Revisiting the design of selection systems in light of new findings regarding the validity of widely used predictors. Industrial and Organizational Psychology, 1-18.

Wilmot, MP, & Ones, DS (2019). A century of research on conscientiousness at work. Proceedings of the National Academy of Sciences, 116 (46), 23004-23010.