Überprüfung der Gültigkeit verschiedener Einstellungstools: Neue Erkenntnisse darüber, was am besten funktioniert

Die Materialien der Science-Reihe werden Ihnen von TestGorillas Team von Assessment-Experten zur Verfügung gestellt: Eine Gruppe von IO-Psychologen, Datenwissenschaftlern, Psychometrikern und IP-Entwicklungsspezialisten, die ein tiefes Verständnis für die Wissenschaft hinter kompetenzbasierten Einstellungen haben.

Arbeitgeber müssen Vorhersagen treffen: Sie müssen auf der Grundlage begrenzter Informationen über die Fähigkeiten eines Bewerbers vorhersagen, ob er in einer bestimmten Position erfolgreich sein wird. Um die Genauigkeit dieser Vorhersagen zu verbessern, ist es hilfreich, Einstellungsinstrumente (z. B. Einstellungstests und Assessments vor der Einstellung) mit guter kriterienbezogener Validität zu bevorzugen, um den größten Nutzen aus Ihrer Investition zu ziehen.

In diesem Blogbeitrag erörtern wir die jüngsten Fortschritte auf dem Gebiet der Personalbeurteilung, die unser Verständnis von effektiven Einstellungspraktiken neu geprägt haben. Wir geben Ihnen einen Überblick über die neuesten wissenschaftlichen Erkenntnisse zu den prädiktivsten Einstellungsinstrumenten und geben praktische Ratschläge, wie Sie diese in Ihrem Einstellungsprozess einsetzen können.

Was ist kriterienbezogene Validität?

Es gibt zwar verschiedene Arten von Validität (eine allgemeinere Einführung in das Thema Validität finden Sie unter in diesem Blog ), aber in der Praxis steht oft die kriterienbezogene Validität im Vordergrund. Die kriterienbezogene Validität bezieht sich auf das Ausmaß, in dem wir auf der Grundlage der mit verschiedenen Einstellungsinstrumenten erzielten Ergebnisse genaue Vorhersagen über die zu erwartende Arbeitsleistung der Bewerber treffen können. In diesem Fall beziehen sich die Einstellungsinstrumente auf Tests und Bewertungen vor der Einstellung, wie z. B. Tests der kognitiven Fähigkeiten, Arbeitsproben, Interviews, Referenzprüfungen und Persönlichkeitsbewertungen.

Die kriterienbezogene Validität wird in der Regel durch die Untersuchung des Verhältnisses zwischen den in einem Einstellungsverfahren erzielten Ergebnissen (den so genannten Prädiktoren) und den Messwerten der tatsächlichen Arbeitsleistung (dem so genannten Kriterium) bewertet. Sie wird häufig in Form eines Validitätskoeffizienten ausgedrückt. Ein Validitätskoeffizient ist ein Korrelationskoeffizient, der zwischen 0 und 1 liegt und die Stärke der Beziehung zwischen den Testergebnissen und der Arbeitsleistung angibt.

Höhere Werte deuten auf eine stärkere Beziehung zwischen den Ergebnissen von Einstellungstests und der Arbeitsleistung hin. Beispielsweise könnte Unternehmen X nach der Durchführung einer Validierungsstudie feststellen, dass Bewerber, die im Test Sales Management eine höhere Punktzahl erreichen, bessere Leistungen in einer Position als Vertriebsleiter erbringen (z. B. mit einem beobachteten Validitätskoeffizienten von .30).

Abb. 1: Kriteriumsbezogene Validierung erklärt

Was wussten wir bis vor kurzem über die kriterienbezogene Validität der verschiedenen Einstellungsinstrumente?

Praktiker und Akademiker untersuchen seit Jahrzehnten die Wirksamkeit verschiedener Einstellungsinstrumente. Die verschiedenen Studien kamen zu unterschiedlichen Ergebnissen: Einige fanden heraus, dass eine bestimmte Einstellungsmethode eine hohe Vorhersagekraft hat, andere, dass sie nur okay ist, und wieder andere, dass ihre kriterienbezogene Validität vernachlässigbar ist.

In diesem Fall können meta-analytische Studien genauere und glaubwürdigere Schlussfolgerungen zu einem bestimmten Thema oder einer bestimmten Frage liefern. Eine Meta-Analyse ist wie eine Super-Studie, die alle Einzelstudien zu einem bestimmten Thema zusammenfasst und gemeinsam analysiert. Wenn man alle Ergebnisse zusammen betrachtet, ist das so, als würde man die Meinung eines ganzen Raums von Experten einholen, anstatt nur die eines einzigen. Auf diese Weise erhalten Sie ein umfassenderes Bild der wissenschaftlichen Erkenntnisse.

Eine der wichtigsten Arbeiten zur kriterienbezogenen Validität verschiedener Einstellungsinstrumente ist seit langem die Meta-Analyse von Schmidt und Hunter (1998). Sie kombinierten mehrere Studien und berechneten die mittleren (d. h. durchschnittlichen) Validitätskoeffizienten für verschiedene Einstellungsinstrumente in Bezug auf die Gesamtarbeitsleistung. Ihre Untersuchung lieferte einige ziemlich bahnbrechende Erkenntnisse über die Wirksamkeit verschiedener Einstellungsinstrumente. Insbesondere kamen sie zu dem Schluss, dass Arbeitsprobentests, Tests der kognitiven Fähigkeiten und strukturierte Interviews die besten Prädiktoren für die Gesamtarbeitsleistung sind. Die von Schmidt und Hunter (1998) angegebenen mittleren Validitätskoeffizienten sind in Abbildung 2 dargestellt.

Seit der Studie von Schmidt und Hunter aus dem Jahr 1998 wurden zwar viele neue Studien und Meta-Analysen zu diesem Thema veröffentlicht, doch waren diese in der Regel enger gefasst (z. B. auf bestimmte Arten von situativen Beurteilungstests, Persönlichkeitstests oder Interviews) und beinhalteten keinen so umfassenden Vergleich verschiedener Einstellungsinstrumente. Daher basieren jahrzehntelange Forschung und Einstellungspraktiken auf den Ergebnissen der Meta-Analysen von Schmidt und Hunter.

Was sagt der neueste Stand der Wissenschaft?

Im Jahr 2022 wurde eine neue Meta-Analyse von Sackett und Kollegen (2022) veröffentlicht, die die Ergebnisse von Schmidt und Hunter (1998) in Frage stellt. Sackett und Kollegen (2022) stellten fest, dass alle Validitätskoeffizienten im Durchschnitt niedriger sind als in der ursprünglichen Meta-Analyse, wobei sich die Rangfolge einiger der erfolgreichsten Einstellungsverfahren änderte: Strukturierte Interviews haben die beste Vorhersagekraft für die allgemeine Arbeitsleistung, gefolgt von Tests zum Berufswissen und empirisch erfassten Personaldaten. Ein Vergleich der von Schmidt und Hunter (1998) und Sackett und Kollegen (2022) ermittelten Validitätskoeffizienten ist in Abbildung 2 dargestellt.

Abbildung 2. Vergleich der mittleren Validitätskoeffizienten der verschiedenen Einstellungsinstrumente von Schmidt & Hunter (1998) und Sackett et al. (2022).

Warum sind die Ergebnisse dieser beiden Studien so unterschiedlich?

Der Unterschied in den Ergebnissen der beiden Studien ist auf die Verwendung unterschiedlicher statistischer Instrumente zurückzuführen, die auf einem besseren Verständnis der Art der ursprünglich untersuchten Studien beruhen. Außerdem wurden seit Schmidt und Hunter (1998) neue Studien durchgeführt, die Sackett und Kollegen (2022) neue und aktualisierte Daten lieferten.

Und schließlich hat sich die Arbeitswelt seit 1998 erheblich verändert. Die Digitalisierung hat dazu geführt, dass es heute mehr wissensbasierte Angestelltenjobs gibt als noch vor 30 oder 50 Jahren. Die heutigen Arbeitsplätze erfordern andere Kompetenzen und Fähigkeiten als die Arbeitsplätze in der Produktion. Sie werden auch anders bewertet. Während zum Beispiel die Leistung eines Fließbandarbeiters recht einfach durch das Zählen der montierten Teile gemessen werden kann, ist die Bewertung der Effektivität eines UI/UX-Designers oder eines KI-Ethikers eine komplexere Aufgabe.

Die Erkenntnisse von Hunter & Schmidt waren die Grundlage, auf der wir unsere Assessment-Praktiken über viele Jahre hinweg aufgebaut haben. Da sich die Welt und unser Verständnis der Welt jedoch ständig weiterentwickeln, sind diese Grundlagen dem Wandel unterworfen und sollten aktualisiert werden, sobald neue Erkenntnisse vorliegen.

Wie kann TestGorilla Ihnen bei der Anwendung von Best Practices auf der Grundlage der neuesten Forschungsergebnisse helfen?

Die neuesten meta-analytischen Erkenntnisse bieten mehrere wichtige praktische Erkenntnisse, die Sie zur Verbesserung Ihres Einstellungsprozesses nutzen können:

1. Kombinieren Sie mehrere Maßnahmen im Auswahlprozess

Auch wenn jedes einzelne Auswahlverfahren seine Berechtigung hat, sind sie doch am besten in Kombination anzuwenden.

TestGorilla empfiehlt einen ganzheitlichen, mehrstufigen Ansatz bei der Personalauswahl. Während die oben genannten Validitäten für einzelne Einstellungstools isoliert gelten, zeigt die Forschung, dass der Validitätskoeffizient erheblich steigen kann, wenn mehrere Maßnahmen miteinander kombiniert werden. Sacket et al. (2022) haben beispielsweise gezeigt, dass der Validitätskoeffizient auf der Grundlage der von ihnen betrachteten Kombination von Einstellungsinstrumenten im Durchschnitt bis zu .47 erreichen kann.

Sowohl in der Wissenschaft als auch in der Praxis wird immer empfohlen, mehr als eine Einstellungsmethode im Auswahlprozess zu kombinieren, um validere Ergebnisse zu erzielen, und Assessments vor der Einstellung zusammen mit anderen Informationen zu verwenden, die während des Einstellungsprozesses gewonnen werden. Mit TestGorilla ist dies ganz einfach, so kann man etwa mehrere Tests zum Assessment hinzufügen und diese Ergebnisse für gezielte Vorstellungsgesprächsfragen verwenden.

2. Verwenden Sie arbeitsplatzrelevante Einstellungsinstrumente

Der Einstellungsprozess profitiert am meisten von arbeitsplatzrelevanten Maßnahmen. Je relevanter der Inhalt der Einstellungsmethode für die tatsächlich zu besetzende Stelle ist, desto größer ist die Wahrscheinlichkeit, dass ein enger Zusammenhang mit der künftigen Arbeitsleistung besteht. Das bedeutet, dass die von Ihnen verwendeten Einstellungstests und Assessments vor der Einstellung auf einem soliden Verständnis der Aufgaben und Fähigkeiten beruhen sollten, die für die von Ihnen angestrebte Stelle erforderlich sind (siehe unseren Leitfaden zur Analyse der Arbeitsaufgaben).

TestGorilla bietet eine vielfältige Bibliothek von Tests mit klaren Beschreibungen, die Ihnen helfen, die relevantesten Tests für Ihre Positionen auszuwählen. Darüber hinaus bieten wir Assessment-Vorlagen an, damit Sie mit arbeitsrelevanten Tests beginnen können, selbst wenn Sie mit der Position, für die Sie einstellen, nicht vertraut sind.

3. Führen Sie strukturierte Vorstellungsgespräche durch

Ein gut vorbereitetes strukturiertes Vorstellungsgespräch ist eine der besten Methoden zur Beurteilung Ihrer Bewerber. Strukturierte Vorstellungsgespräche sollten sorgfältig auf der Grundlage arbeitsplatzanalytischer Informationen entwickelt und von erfahrenen Interviewern durchgeführt werden. Sie erfordern jedoch viel Zeit für die Vorbereitung und sind nicht leicht zu skalieren. Durch den Einsatz von TestGorilla-Assessments und deren Kombination mit strukturierten Interviews können Sie die Validität Ihres Einstellungsprozesses erhöhen.

Strukturierte Vorstellungsgespräche können besonders effektiv sein, wenn sie durch gezielte Fragen ergänzt werden, die darauf abzielen, die aus der Bewertung der Fähigkeiten und der Persönlichkeit der Bewerber gewonnenen Erkenntnisse weiter zu vertiefen.

4. Setzen Sie Tests zu beruflichen Kenntnissen und Fähigkeiten ein

Berufsbezogene Wissens- und Fähigkeitstests, wie sie TestGorilla in unserer Testbibliothek anbietet, sind die beste Option, wenn Geschwindigkeit und Umfang wichtig sind. In unserer Bibliothek finden Sie berufsbezogene Wissenstests zur Bewertung rollenspezifischer Fähigkeiten, Softwarekenntnisse, Programmierkenntnisse, Sprachkenntnisse, Schreibfähigkeiten und mehr. Im Gegensatz zu strukturierten Vorstellungsgesprächen sind sie schnell durchzuführen und zu bewerten, leicht skalierbar und können mit wenig Vorbereitung im Voraus eingesetzt werden. Sie liefern objektive Informationen zu berufsbezogenen Kenntnissen und Fähigkeiten und lassen sich außerdem leicht mit anderen Einstellungstools kombinieren, was zu einer allgemeinen Steigerung der Validität des Einstellungsprozesses führt.

5. Setzen Sie Tests zu kognitiven Fähigkeiten sinnvoll ein

Während die kognitiven Fähigkeiten seit Jahrzehnten als einer der wichtigsten Prädiktoren für den beruflichen Erfolg gepriesen werden, deuten neue Erkenntnisse darauf hin, dass sie bei der Vorhersage der allgemeinen beruflichen Leistung eine eher bescheidene Rolle spielen.

Wenn die kognitiven Fähigkeiten in ein Assessment einbezogen werden, ist es wichtig, die kognitiven Anforderungen einer Stelle gut zu verstehen und zu prüfen, ob die Beurteilung anderer Fähigkeiten, Fertigkeiten oder Vorlieben einen höheren Return on Investment und weniger negative Auswirkungen haben kann. Nichtsdestotrotz kann die Bewertung der kognitiven Fähigkeiten immer noch die beste Option sein, wenn es um die Besetzung von Positionen geht, bei denen die Bewerber keine vorherige Erfahrung und/oder Ausbildung in berufsspezifischen Fähigkeiten haben, die sonst leicht mit Tests zu Berufskenntnissen und Arbeitsproben bewertet werden könnten.

Darüber hinaus hat sich gezeigt, dass die kognitiven Fähigkeiten ein sehr starker Prädiktor für die Leistung in Lernsituationen sind (z. B. Hochschulbildung, Ausbildung am Arbeitsplatz, Wissenserwerb am Arbeitsplatz). Tests der kognitiven Fähigkeiten können daher hilfreich sein, um die Lernfähigkeit eines Bewerbers zu beurteilen, und es Ihnen ermöglichen, Personen mit hohem Wachstumspotenzial für ihre Aufgaben einzustellen.

6. Passen Sie Persönlichkeits- und Präferenzmaße an die Rolle und den Kontext an

Persönlichkeit, Präferenzen und Interessen haben alle bescheidene Validitätskoeffizienten, aber die Validität dieser Tests erhöht sich erheblich, wenn kontextualisierte Messungen (im Gegensatz zu allgemeinen Messungen) verwendet werden. Kontextualisiert bedeutet, dass die Messungen so angepasst wurden, dass sie im Auswahlkontext am besten funktionieren, und dass ihr Inhalt oft einen spezifischen Bezug zum Arbeitsumfeld hat.

Die aktuellen Persönlichkeitstests von TestGorilla (d.h. die Big Five, Enneagramm, 16 Typen und DISC-Persönlichkeitstests) sind allgemeine Persönlichkeitsmessungen. Diese Tests können verwendet werden, um ein tieferes Verständnis der Persönlichkeitsneigungen der Testteilnehmer zu erlangen, und können dazu beitragen, Lern- und Entwicklungsgespräche zu bereichern.

Im Gegensatz dazu handelt es sich bei unserem Motivations-, Culture-Add- und dem kommenden Verhaltenskompetenztest um kontextbezogene Messungen, die die Anforderungen Ihres Unternehmens und/oder der spezifischen Rolle berücksichtigen. Diese Tests können Ihnen wertvolle Einblicke in das Verhalten eines Bewerbers am Arbeitsplatz geben und Ihnen helfen, Ihre Bewerber besser zu verstehen, bevor Sie sie zu einem Vorstellungsgespräch treffen.

Ein zusätzlicher Bonus ist, dass unsere interne Forschung auch zeigt, dass die Einbeziehung eines Persönlichkeitstests oder eines Motivationstests in Ihre Assessments ein wichtiger Weg ist, um die Zufriedenheit der Kandidaten mit ihrer Assessment-Erfahrung zu erhöhen.

Wohin als nächstes?

Im sich ständig weiterentwickelnden Bereich der Wissenschaft ist der Wandel die einzige Konstante. Die Studie von Sackett et al. (2022) veranschaulicht diesen Grundsatz, indem sie unser Verständnis der Validität von Auswahlverfahren revolutioniert und praktische Leitlinien für die Entwicklung eines Einstellungsverfahrens liefert, das die besten Ergebnisse liefert.

Mit diesem neuen Wissen können Personalvermittler und HR-Fachleute die komplexe Landschaft der Personalbeschaffung mit größerer Präzision und Zuversicht durchqueren. Denken Sie daran, dass ein vielseitiger und wissenschaftlich fundierter Ansatz bei der Suche nach Top-Talenten der Schlüssel zu einer exzellenten Personalauswahl ist.

Das Assessment-Team arbeitet ständig daran, mit den neuesten Entwicklungen im Bereich der Einstellungswissenschaft Schritt zu halten, und wenn sich die Diskussion zu diesem Thema weiterentwickelt, werden wir Ihnen neue Erkenntnisse bieten. Bleiben Sie also auf dem Laufenden.

Wenn Sie mehr über die Wissenschaft hinter TestGorilla lesen möchten, lesen Sie unsere anderen Blogs zur Wissenschaftsserie:

• Wie können gültige, zuverlässige Auswahltests für Mitarbeiter Auswahlfehler minimieren und Auswahltreffer erhöhen?

• Rechtliches Risiko und kompetenzbasierte Einstellung: Die rechtliche Vertretbarkeit von TestGorillas Assessments

• TestGorillas Wissenschaftsglossar

Quellen

• Borneman, M.J. (2010). Criterion validity. In N.J. Salkind, B. Frey, & D. M. Dougherty (Eds.) Encyclopedia of research design (pp. 291-296). Thousand Oaks, CA: Sage Publications, Inc. doi: 10.4135/9781412961288

• Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Zeitschrift für angewandte Psychologie, 107(11), 2040. doi: 10.1037/apl0000994

• Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2023). Revisiting the design of selection systems in light of new findings regarding the validity of widely used predictors. Arbeits- und Organisationspsychologie, 1-18. doi:10.1017/iop.2023.24