Überprüfung der Gültigkeit verschiedener Einstellungstools: Neue Erkenntnisse darüber, was am besten funktioniert - Teil 2

Die Materialien der Science-Reihe werden Ihnen vom TestGorilla Assessment Team zur Verfügung gestellt: Eine Gruppe von IO-Psychologen, Datenwissenschaftlern, Psychometrieexperten und Assessment-Entwicklungsspezialisten, die ein tiefes Verständnis für die Wissenschaft hinter kompetenzbasierten Einstellungen haben.

Die Zukunft vorauszusagen ist eine schwierige Aufgabe, die in der Regel nur von erfahrenen Orakeln, Personalvermittlern und Personalchefs erledigt wird. Sie haben richtig gelesen. Arbeitgeber, die Spitzenkandidaten einstellen wollen, versuchen, den künftigen Erfolg eines Bewerbers in seiner Position vorherzusagen. Es gibt zwar keine Wahrsager, die Ihnen dabei helfen, die richtige Einstellung zu finden, aber es gibt etwas noch Besseres - eine solide, empirische Wissenschaft.

In unserem letzten Blog-Beitrag über die kriterienbezogene Validität verschiedener Einstellungsinstrumente haben wir über die durchschnittlichen Validitätskoeffizienten berichtet, die aus zahlreichen Studien zu verschiedenen Einstellungstools berechnet wurden, und erörtert, was die Ergebnisse über die Effektivität dieser Tools aussagen und was dies für Ihren Einstellungsprozess bedeutet.

In diesem Blogbeitrag gehen wir näher auf die Wissenschaft ein und erklären, wie Sie diese Erkenntnisse nutzen können, um Ihren Einstellungsprozess zu verbessern.

Gibt es mehr als durchschnittliche Validitätskoeffizienten?

Die durchschnittlichen Validitätskoeffizienten sind zwar sehr nützlich, erfassen aber nicht die Variabilität der in den einzelnen Studien ermittelten Ergebnisse. Der von Sackett et al. (2022) für strukturierte Interviews ermittelte mittlere Validitätskoeffizient von 0,42 ist beispielsweise der Durchschnitt der Validitätskoeffizienten, die von den verschiedenen in ihrer Meta-Analyse enthaltenen Studien gemeldet wurden. Eine Meta-Analyse ist eine Super-Studie, die die Ergebnisse von Dutzenden oder Hunderten verschiedener Studien zusammenfasst. Einige der in der Studie analysierten Studien meldeten Validitätskoeffizienten, die höher als der Durchschnitt waren, und einige meldeten Werte, die niedriger als der Durchschnitt waren.

Ein Glaubwürdigkeitsintervall ist nützlich, um diese Variabilität zwischen den Studien effizient zusammenzufassen. Das Glaubwürdigkeitsintervall ist ein Wertebereich zwischen einer oberen und einer unteren Grenze, der die Mehrheit der Ergebnisse der in eine Metaanalyse einbezogenen Studien abdeckt. Ein Glaubwürdigkeitsintervall von 80 % erfasst 80 % der Werte, die um den aus vielen verschiedenen Studien beobachteten Durchschnitt liegen.

Ein Beispiel kann zeigen, wie diese Glaubwürdigkeitsintervalle ein umfassenderes Bild vermitteln. Stellen Sie sich vor, Sie wollen herausfinden, wie groß die Menschen in Ihrer Stadt sind. Sie können einige Messungen vornehmen und berechnen, dass die durchschnittliche Körpergröße bei 1,70 m liegt. Dieser Wert würde dem in einer meta-analytischen Studie ermittelten Durchschnittswert entsprechen.

Um ein umfassenderes Bild zu erhalten, können Sie zusätzliche Analysen durchführen und zu dem Schluss kommen, dass 80 % der Menschen zwischen 1,70 m und 1,70 m groß sind. Diese Spanne entspräche dem in der metaanalytischen Studie angegebenen Glaubwürdigkeitsintervall von 80 %. Wenn man sowohl dieses Intervall als auch den Durchschnittswert berücksichtigt, erhält man ein viel genaueres und differenzierteres Bild.

Wie wird diese Nuance in einer Studie vermittelt?

Ähnlich wie in unserem Beispiel haben Sackett et al. (2022) sowohl die Durchschnittswerte als auch die 80-%-Glaubwürdigkeitsintervalle angegeben, um ein differenziertes Bild der Validitätskoeffizienten der verschiedenen Einstellungsinstrumente zu vermitteln. Tabelle 1 zeigt die von Sackett und Kollegen ermittelten Validitätskoeffizienten zusammen mit ihren 80 %-Glaubwürdigkeitsintervallen.

So haben beispielsweise strukturierte Interviews, die mit einem mittleren Validitätskoeffizienten von .42 an der Spitze der Liste stehen, ein Glaubwürdigkeitsintervall von 80 %, das von .18 bis .66 reicht. Die Validität von strukturierten Interviews sollte also wirklich als „Validitätskoeffizient ist .42, plus oder minus .24" betrachtet werden. Dies vermittelt eine andere Botschaft als einfach „der Validitätskoeffizient beträgt .42".

Wie können Sie diese Nuance in Ihrem Einstellungsprozess berücksichtigen?

Eine große Schwankungsbreite um den Mittelwert, die durch breite Glaubwürdigkeitsintervalle angezeigt wird, bedeutet in der Regel Unsicherheit. Je breiter das Glaubwürdigkeitsintervall, desto unsicherer ist der genaue Validitätskoeffizient eines Einstellungsinstruments in unserem Kontext. Der organisatorische Kontext, die Art der Rolle und das Gesamtziel des Auswahlprozesses können sich alle auf den genauen Validitätskoeffizienten in Ihrer Anwendung des Einstellungsinstruments auswirken.

Nehmen wir zum Beispiel strukturierte Interviews . Dieses Einstellungsinstrument hat ein Glaubwürdigkeitsintervall von 80 % zwischen .18 und .66, mit einer durchschnittlichen Schätzung von .42.Um die Variabilität der Schätzung besser zu verstehen, lohnt es sich, dieses Einstellungsinstrument genau zu betrachten.

Ein einziges strukturiertes Interview als Vorstellungsgespräch kann mehrere Fähigkeiten und Kompetenzen abdecken, von allgemeinen wie Kommunikation oder Englischkenntnisse bis hin zu rollenspezifischen Fähigkeiten wie Verhandlungsgeschick. Wenn die im Interview abgefragten Fähigkeiten den für den Erfolg in einer Rolle erforderlichen Fähigkeiten ähneln, ist es wahrscheinlicher, dass dieses Einstellungsinstrument überdurchschnittliche Validitätsschätzungen erreicht. Darüber hinaus hängt die Validität strukturierter Interviews wahrscheinlich auch davon ab, wie gut das Interview konzipiert und durchgeführt wurde (wie die Fragen formuliert sind, wie die Interviews ausgewertet werden, wie gut die Interviewer geschult sind usw.).

Ein weiteres gutes Beispiel für die Bedeutung des Kontextes sind Persönlichkeitstests. Genauer gesagt, solche, die die Eigenschaft Gewissenhaftigkeit (C) des OCEAN Persönlichkeitstests bewerten.

In Tabelle 1 sehen Sie, dass die Forscher Ergebnisse für zwei verschiedene Messungen dieses Merkmals angeben: insgesamt und kontextbezogen. Eine allgemeine Messung der Persönlichkeit bewertet die Persönlichkeit der Bewerber im Allgemeinen, während eine kontextualisierte Messung die Persönlichkeit der Bewerber am Arbeitsplatz bewertet. Durch die Einführung dieser Unterscheidung konnten Sackett et al. (2022) die Glaubwürdigkeitsintervalle so weit einschränken, dass die kontextualisierte Messung der Gewissenhaftigkeit eine durchschnittliche Validität von .25 aufweist - wobei sowohl die untere als auch die obere Grenze des 80%igen Glaubwürdigkeitsintervalls ebenfalls bei .25 liegt.

Andere Forscher haben gezeigt, dass sich der Validitätskoeffizient der Gewissenhaftigkeit in Abhängigkeit von der Komplexität der Position, für die eine Person eingestellt wird, ändern kann. Zum Beispiel ist Gewissenhaftigkeit in Positionen mit hoher Komplexität weniger wichtig als in Positionen mit mittlerer oder geringer Komplexität.

Das Fazit ist, dass diese meta-analytischen Validitätskoeffizienten zwar allgemeine Einblicke in die Wirksamkeit verschiedener Einstellungsinstrumente geben können, es aber selten einen Einheitsansatz für die Einstellung gibt. Sie sollten verschiedene Einstellungsinstrumente kombinieren, um die Vorteile der einzelnen Instrumente für die jeweilige Rolle und den Kontext, für den Sie einstellen, abzuwägen.

Wie können Sie mit dieser Unsicherheit umgehen?

Sie können einige Maßnahmen ergreifen, um dieser Unsicherheit im Einstellungsverfahren zu begegnen.

Erstens: Achten Sie beim Vergleich verschiedener Einstellungsmethoden sowohl auf das untere Ende des 80 %-Glaubwürdigkeitsintervalls als auch auf den durchschnittlichen Validitätskoeffizienten. Dieser Ansatz kann Ihnen helfen, Prädiktoren zu identifizieren, die in verschiedenen Kontexten eine ähnliche Validität haben oder die ein geringeres Abwärtsrisiko aufweisen.

Sackett und Kollegen fanden beispielsweise heraus, dass strukturierte Interviews eine höhere mittlere Validität aufweisen als empirisch erfasste Biodaten (.42 gegenüber .38). Allerdings weisen die Biodaten einen höheren Wert für das untere Ende eines Glaubwürdigkeitsintervalls auf (.26 gegenüber .18). Ein risikoscheuer Arbeitgeber könnte den Prädiktor mit dem geringeren Abwärtsrisiko bevorzugen und sich daher bei der Identifizierung potenzieller Prädiktoren auf den Glaubwürdigkeitswert am unteren Ende konzentrieren.

Zweitens: können Sie selbst eine kriterienbezogene Validierungsstudie durchführen, um die Beziehung zwischen den von Ihnen verwendeten Einstellungsinstrumenten und den relevanten Stellenkriterien für bestimmte Stellen oder Stellenfamilien zu untersuchen. Eine solche Studie kann Ihnen datengestützte Erkenntnisse liefern, die direkt auf Ihre spezifische Situation anwendbar sind. Allerdings sind große Stichproben erforderlich, um aussagekräftige Erkenntnisse aus einer solchen Studie zu gewinnen. Unternehmen, die nicht über eine große Anzahl von Einstellungen in einer Position verfügen, wären nicht in der Lage, diese Art von Studie durchzuführen. Um allen unseren Kunden zu helfen, hat TestGorilla eine Reihe von laufenden kriterienbezogenen Validitätsinitiativen, die kleine und große Organisationen einschließen.

Schließlich können Sie sich die in der Meta-Analyse von Sackett et al. (2022) enthaltenen Originalstudien ansehen und Studien finden, die Ihren Einstellungsprozess und Ihre Situation am ehesten beschreiben. Diese Studien schlüsseln die Ergebnisse oft nach Art der Tätigkeit, verschiedenen Leistungskriterien und anderen Faktoren auf, die Ihnen helfen können, fundiertere Entscheidungen über die beste Einstellungsmethode für Ihre Situation zu treffen (siehe z. B. diese Meta-Analyse über die prädiktive Validität von Gewissenhaftigkeit). Durch die Verallgemeinerung der Validität von Einstellungsinstrumenten auf Situationen, die der Ihren ähneln, können Sie sicherer sein, dass die von Ihnen verwendeten Einstellungstests für die von Ihnen zu testenden Positionen gültig sind.

5 Wege zur Maximierung der Validität Ihres Einstellungsverfahrens

1. Investieren Sie in die Gestaltung Ihrer Auswahlverfahren

Die Ausarbeitung eines hochwertigen Auswahlverfahrens ist keine Kleinigkeit - und die Lektüre dieses Artikels und anderer Blogs in unserer Wissenschaftsreihe ist ein guter Anfang. Der gezielte Aufbau eines qualitativ hochwertigen Auswahlverfahrens bedeutet, dass Sie die Einstellungstools sorgfältig auswählen, die verschiedenen Phasen des Prozesses planen und ein standardisiertes Verfahren zur Bewertung und Einstufung der Bewerber entwickeln. Sobald dieser Prozess implementiert ist, stellt er sicher, dass jede Entscheidung im Einstellungstrichter durch eine starke Begründung und Daten unterstützt wird. Darüber hinaus bringt es Sie wahrscheinlich näher an überdurchschnittliche Validitätsschätzungen heran.

2. Verwenden Sie zuverlässige und gültige Einstellungsinstrumente

Mit schlechten Zutaten kann man keinen guten Kuchen backen, und mit schlechten Einstellungsinstrumenten kann man keinen hochwertigen Einstellungsprozess gestalten. Der Einsatz psychometrisch fundierter Einstellungsinstrumente trägt dazu bei, dass Ihre Einstellungsentscheidungen auf vertrauenswürdigen Daten beruhen.

Bei TestGorilla investieren wir viel Zeit und Ressourcen in die Entwicklung hochwertiger Tests. Durch die Anwendung strenger wissenschaftlicher Methoden bei jedem Schritt sind wir in der Lage, hochwertige, zuverlässige und gültige Einstellungstests zu liefern. Sie können mehr über unseren Prozess hier lesen.

Jedes Unternehmen und jede Rolle ist einzigartig, und manchmal müssen Sie vielleicht Ihren eigenen benutzerdefinierten Test intern entwickeln, um Ihren Bedürfnissen gerecht zu werden. Bei der Entwicklung eines benutzerdefinierten Einstellungsinstruments sind Validität und Zuverlässigkeit nicht weniger wichtig als bei der Verwendung eines bestehenden Instruments. Wenn Sie sich bei der Entwicklung eigener Instrumente an bewährte Verfahren halten, wie z. B. bei der Durchführung eines strukturierten Vorstellungsgesprächs, können Sie überdurchschnittliche Validitätskoeffizienten erzielen.

3. Stellen Sie sicher, dass die von Ihnen verwendeten Tools arbeitsrelevant sind

Es gibt viele Möglichkeiten, um zu beurteilen, wie gut jemand in seinem Job ist. Indem Sie proaktiv darüber nachdenken, was die Stelle beinhaltet und wie die Leistung bewertet werden soll, können Sie sicherstellen, dass Sie im Auswahlverfahren die relevantesten Einstellungsinstrumente verwenden. Es ist wissenschaftlich erwiesen, dass ein Einstellungsinstrument umso besser zwischen guten und schlechten Bewerbern unterscheiden kann, je mehr es sich auf die eigentliche Aufgabe bezieht, für die ein Bewerber eingestellt wurde. Die Verwendung eines arbeitsplatzrelevanten Einstellungsinstruments kann den Unterschied zwischen einem guten Kandidaten und seiner Einstellung ausmachen. Darüber hinaus ist die Verwendung arbeitsplatzbezogener Einstellungsinstrumente notwendig, um die rechtliche Vertretbarkeit Ihres Einstellungsprozesses zu demonstrieren.

4. Berücksichtigen Sie die Rolle, für die Sie jemanden einstellen

Rollen mit unterschiedlichen Aufgaben und Verantwortlichkeiten können von verschiedenen Einstellungsinstrumenten profitieren. Nehmen Sie sich etwas Zeit, um zu beurteilen, wie der Arbeitsalltag für den neuen Mitarbeiter aussehen wird. Es lohnt sich auch zu verstehen, wie die ersten Tage, Wochen und Monate für diese Personen aussehen werden. Sie können eine Job-Aufgabenanalyse durchführen, um sich ein umfassendes Bild von der Stelle zu machen, für die Sie jemanden einstellen. Sobald Sie die Anforderungen der Rolle verstanden haben, können Sie verschiedene Einstellungstools kombinieren und auswählen, um die Aussagekraft des Prozesses zu maximieren und Überschneidungen zwischen ihnen zu vermeiden.

5. Überlegen Sie, welche Art von Bewerbern Sie für eine Stelle ansprechen wollen

Wenn Sie eine Stelle zu besetzen haben, von der Sie erwarten, dass sich Bewerber mit viel Erfahrung, Wissen und relevanten Fähigkeiten bewerben, sollten Sie in Erwägung ziehen, rollenspezifische Kenntnisse und Fähigkeiten zu testen. Wenn Sie eine Stelle zu besetzen haben, bei der Sie davon ausgehen, dass es sich bei den Bewerbern hauptsächlich um frische Hochschulabsolventen, Berufsanfänger oder Quereinsteiger handelt, sollten Sie eher universelle Fähigkeiten wie Problemlösung, Zeitmanagement oder Kommunikation testen. Mit einer Testbibliothek, die fast 400 Tests umfasst, sind Sie bei uns gut aufgehoben. Unser zukünftiger Rahmen für Verhaltenskompetenzen kann Ihnen helfen, universelle Kompetenzen zu identifizieren und zu bewerten, die für viele verschiedene Rollen relevant sind.

Schließlich können Sie mit einem Persönlichkeitstest wie dem OCEAN-Test oder kontextbezogenen Messungen wie dem Culture Add oder Motivationstests die einzigartige Art und Weise, in der die Kandidaten zu Ihrem Unternehmen beitragen können, besser verstehen.

Wenn Sie die Aussagekraft Ihrer Einstellungstools verstehen, können Sie bessere Einstellungsentscheidungen treffen

Die Einstellungswissenschaft hat sich weiterentwickelt, um ein differenziertes Verständnis der Wirksamkeit verschiedener Einstellungsinstrumente zu ermöglichen. Der organisatorische Kontext, die Einstellungsziele und die Art und Weise, wie die Leistung gemessen wird, sind alles wichtige Faktoren, die die Gültigkeit und den Nutzen eines Einstellungsinstruments beeinflussen. Durch die sorgfältige Auswahl von Einstellungsinstrumenten, die auf die spezifischen Anforderungen Ihres Unternehmens und die zu besetzenden Positionen abgestimmt sind, können Sie sicherstellen, dass Sie fundierte Einstellungsentscheidungen treffen.

Quellen

Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Zeitschrift für angewandte Psychologie, 107(11), 2040.

Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2023). Revisiting the design of selection systems in light of new findings regarding the validity of widely used predictors. Arbeits- und Organisationspsychologie, 1-18.

Wilmot, M. P., & Ones, D. S. (2019). A century of research on conscientiousness at work. Proceedings of the National Academy of Sciences, 116(46), 23004-23010.