Bedankt voor dit down-to-earth-artikel. Het is verbazingwekkend dat P&O'ers niet de feiten, maar hun zogenaamde professionele inzicht laten spreken. Het is nog niet zo heel lang geleden dat deze beroepsgroep vrijwel blind voer op inktvlekkentesten en zelfs grafologische analyse.

Wel mis ik in de vergelijking de rol van de zo populaire 'assessment centers' waarvan, bij mijn weten, de voorspellende waarde ook extreem laag is. Wellicht kan de auteur hier nog iets over zeggen.

Interessant, zeker als je dagelijks met HR recr&sel te maken krijgt.
Ben benieuwd hoe mijn collega's hierop reageren.

We kennen ze allemaal de wetenschappers die hun kennis in de praktijk brengen. Vaak ontbreekt het hen aan persoonlijke competenties omdat zij geen tijd hebben gehad deze te ontwikkelen.
In de zakelijke wereld is het belangrijk hoe je met je kennis en kunde omgaat, hoe je het overdraagt op jouw klanten, jopuw medewerkers, enz. Daardoor is competentiemanagement ontstaan en assesment centers. Testen geeft geen beter resultaat dan de indrukken van een persoonlijk gesprek, waarbij je op basis van vertrouwen mensen werft.
Wel ben ik het eens met de stelling dat de persoonlijkheidstest minder garantie geeft dan de intelligentietest.
Daarna begint het ontwikkelen van competenties, waarbij het cognitieve deel beter te ontwikkelen is dan het persoonsgebonden deel. Vooral in het begin van een carrière geeft het ontwikkelen van kennisgebieden meer resultaat dan het ontwikkelen van sociale, communicatieve, enz. vaardigheden.
Deze laatsten leveren echter wel meerwaarde op het gebied van flexibiliteit en mobiliteit, hetgeen in de huidige economische markt verlangd wordt.

Beste John,
In jouw reactie keer jij je tegen de kennis die in de wetenschap is vergaard over de voorspellende waarde van beoordelingsmethoden. Je hebt meer vertrouwen in de ervaring die je zelf bij het beoordelen van mensen hebt opgedaan. Dat is natuurlijk je goed recht. Of het verstandig is je van die kennis af te sluiten waag ik echter te betwijfelen.

Beste Fred,
Bij mijn weten is er geen recenter grootschalig onderzoek naar assessment centers dan dat van Gaugler, Rosenthal, Thornton en Benson (1987). Meta-analysis of assessment center validity. Journal of Applied Psychology, 72, 493-511. De kenners van de AC-literatuur moeten mij maar corrigeren als ik ernaast zit. De gemiddelde validiteit gevonden door Gaugler et al. bedroeg .37

Het artikel van Paul van der Maesen de Sombreff

Overbenutting van persoonlijkheidsvragenlijsten bij Competentiemanagement

bracht mij tot de volgende additionele overwegingen:

Vanzelfsprekend is intelligentie veruit de beste predictor van prestatie in een veelheid van organisatorische settings. Daarom zou je natuurlijk idealiter altijd getrapte selectie moeten doen met intelligentie als de eerste voorspeller. Intelligentie is daarmee een soort knock out criterium: daaraan mag het in elk geval niet ontbreken. Verder impliceert getrapte selectie dat een “geschikte” persoonlijkheid nooit echt compenserend kan werken voor een onvoldoende intelligentieniveau. De vraag is dan wat de meting van persoonlijkheid nog kan bijdragen aan de verhoging van de validiteit binnen de groep die intellectueel voldoende aan de maat is.
Paul van der Maesen citeert onderzoek van Hough en Furnham op dit punt. Mijn educated guess zou zijn dat een validiteit binnen die groep van .40 mogelijk zou moeten zijn onder een paar nadere condities:
· Specificeer een set van relevante criteria. Die kunnen van twee categorieën zijn:
o Bedoelde prestaties, te meten door performance indicatoren, b.v. omzet, ook wel in de literatuur “ultimate criteria” genoemd
o Benodigde competenties om die resultaten te kunnen bereiken, b.v. ondernemerschap, ook wel in de literatuur “intermediate criteria” genoemd.
· Laat expert beoordelaars voorspellingsgewichten koppelen aan facetten van elk van de bekende Big Five persoonlijkheidsfactoren, zoals bij voorbeeld gemeten in persoonlijkheidsvragenlijsten als de NEO of de daarop gebaseerde Work Place Big Five vragenlijst als ontwikkeld door PiMedia. Dus niet aan een hoofdfactor, die is daarvoor te globaal. Facetten zitten dichter bij wat in een competentie bedoeld wordt. Een voorbeeld: "Afleidbaarheid" en "Systematisch werken" zijn beide facetten van "Consciëntieusheid" (een van de hoofdfactoren uit de Big Five), maar ze hangen onderling maar beperkt samen. De competentie “Kwaliteitsgerichtheid” kan wellicht beter voorspeld worden uit “Afleidbaarheid” en “Organiseren en plannen” beter uit “Systematisch werken” (voorlopig is dit ook een educated guess, maar wel een toetsbare hypothese). Beide competenties zouden onder deze conditie slechter voorspeld worden uit Consciëntieusheid als overkoepelende factor. Moraal van het verhaal: gebruik persoonlijkheidsvragenlijsten die op facetniveau facetten van de Big Five meten, en doe dan specifieke voorspellingen op competenties op basis van facetscores, en niet op het niveau van de vijf hoofdfactoren. Een en ander komt er op neer dat intelligentie een veel hogere gegeneraliseerde validiteit heeft dan persoonlijkheid: intelligentie draagt aan alle prestaties wel min of meer bij, bij persoonlijkheid hangt het er maar van af over welke combinatie van persoonlijkheidsfacet en prestatie- of competentiecriterium het gaat.
· De laatste conditie is natuurlijk dat een persoonlijkheidsvragenlijst in deze context wel lang genoeg moet zijn om ook op facetniveau betrouwbaar te kunnen meten. Minimaal een vijftal items per facet lijkt een redelijke schatting wanneer het facet goed gedefinieerd is en een niet te breed domein beslaat. Maar natuurlijk, dit hangt van de empirie af. Betrouwbaarheid moet je in een concrete set gegevens berekenen.

Blijft staan, zoals Paul van der Maesen terecht constateert, dat een goede intelligentietest het leeuwendeel doet en een persoonlijkheidsvragenlijst hooguit een goede additionele tweede kan zijn. Hoe kan het dan dat al die HR mensen in de zaal waar Paul van der Maesen het over had, toch massaal de persoonlijkheidsvragenlijst als beste predictor aanwezen?
Even los van de overweging dat niet iedereen binnen HR de empirische literatuur rond de validiteit van intelligentie goed kent, kan hier een zelfselectie proces te hulp worden geroepen. We weten uit de onderzoeksliteratuur dat een proeftijd van een jaar ten naaste bij net zo’n goede voorspelling levert als een goede intelligentietest. Eerstgenoemde is natuurlijk wel aanmerkelijk duurder. Wanneer er aan het begin niet of niet goed op intelligentie getest wordt, vallen onderweg de minder intelligente wel af op basis van het feit dat intelligentie feitelijk wel een goede voorspeller is. Vervolgens zijn degenen aan de beurt waarvan het gewenste gedrag om competent te kunnen functioneren aanmerkelijk veel energie kost omdat het niet bij hun persoonlijkheid past. De organisatie realiseert dan alsnog de getrapte selectie in de praktijk die hierboven werd voorgesteld maar tegen aanmerkelijke kosten. HR professionals zijn net als iedereen gewone mensen en maken dan doorgaans de verkeerde voorwaardelijke redenering: als het buiten regent worden de straten nat, welnu het is nat op de stoep dus dan zal het wel geregend hebben. Ze kijken dus naar de karakteristieken van de goed functionerende medewerkers in plaats van naar de fractie goed functionerende medewerkers binnen de mensen met een gewenst persoonprofiel. Bij oververtegenwoordiging van dat profiel ten opzicht van de fractie goed functionerende mensen (wat onder de zelfselectiehypothese gemakkelijk kan optreden, zeker bij een homogene organisatiecultuur) zal persoonlijkheid in hun ogen een sterke voorspeller blijken.
Dus dat hoeft niet te verbazen. Het wijst des te meer op de noodzaak om wat er empirisch bekend is ook breed bekend te maken, en dan ook door zorgvuldige constructie en gebruik de persoonlijkheidsvragenlijst de bescheiden additionele plaats te geven die hij zeker verdient. Bij onzorgvuldige constructie of een te globaal voorspellingsmodel kun je het gebruik van zo’n lijst in een selectiecontext zonder veel verlies van voorspellingskracht net zo goed laten zolang je maar wel de intelligentie meet.

Nico Smid

Intelligentie voorspelt mijns inziens of mensen in staat zijn complexe vraagstukken op te lossen.

Het zegt mij echter niets over hoe de aanpak is.

Mijn jarenlange ervaring met opdrachtgevers heeft mij geleerd dat, indien er sprake is van disfunctioneren, er geen twijfels worden geuit over intelligentie, maar over de persoonlijkheid in relatie tot de omgeving. Met andere woorden het succes van mensen is een resultante van opleiding, kennis, ervaring, motivatie, persoonlijkheid en omgeving.

Hte meten van intelligentie is zeker relevant, maar voorspelt mij nog niet genoeg over hun functioneren.

Graag reageer ik op de reactie van de heer Ten Doesschate.

In de besproken onderzoeken zijn uitslagen op tests en vragenlijsten van vele duizenden personen in verband gebracht met beoordelingen van hun functioneren, meestal door leidinggevenden.
Het feit dat intelligentietests een hoge voorspellende waarde hebben voor beoordelingen door leidinggevenden geeft ook aan dat die leidinggevenden verschillen in cognitieve capaciteiten van medewerkers sterk meewegen in hun geschiktheidsbeoordelingen. Verdergaand onderzoek (onder andere door Bertram, Anderson & Salgado in de UK, bij 13.000 personen, gepresenteerd op een bijeenkomst van het GITP, 8 april 2003) toont aan dat de voorspellende waarde van intelligentietests toeneemt naarmate de cognitieve complexiteit van functies hoger is. Het omgaan met complexiteit is een kernvariabele in hogere functies en de intelligentietest is daarvoor een uitstekende voorspeller.
Ondanks deze resultaten is het goed mogelijk dat leidinggevenden succes en falen niet verklaren met intelligentie maar met persoonseigenschappen. Daarmee komen we op het punt van de heer Ten Doesschate. Misschien wijten leidinggevenden slechte prestaties aan een tekort aan initiatief, zelfstandigheid of doorzettingsvermogen, terwijl intelligentie de ware oorzaak is.
Niettemin ben ik het helemaal met de heer Ten Doesschate eens dat intelligentie niet alles is. Er is bijvoorbeeld evidentie dat succes in veel soorten werk (vooral in hogere functies) een kwestie is van analytische intelligentie (IQ) én van sociale intelligentie (SQ), een deelgebied, zo men wil, van emotionele intelligentie. SQ is van belang bij het omgaan met collega’s, leidinggevenden en klanten, bij het aangaan en onderhouden van contacten, bij het beïnvloeden van anderen om doelen te realiseren en om conflicten op te lossen. De interactie van IQ en SQ is bovendien multiplicatief Succes = IQXSQ. Het is echter zeer de vraag of de persoonlijkheidsvragenlijst de beste methode is om een kenmerk (set van competenties) als SQ te meten. Ik zelf houd het erop dat SQ het beste met een multimedia prestatietest (situationele beoordelingstest) benaderd kan worden.

Van der Maesen de Sombreff breekt terecht een lans voor de intelligentietest als selectiemiddel. Onbekendheid met de predictieve validiteit van dit instrument kan een rol spelen bij zijn ondergeschikte plaats, maar ook de psychologische barrière. Je kunt als invuller bij een persoonlijkheidsvragenlijst altijd zeggen: "Zo ben ik nu eenmaal", maar een dergelijk excuus is pijnlijk bij een lage score op een intelligentietest.
Er is een soort aversie tegen intelligentiemetingen, omdat niemand voor "dom" versleten wil worden. Intelligentie is een relatief onwrikbaar en goed te meten attribuut, waarop scherp gediscrimineerd kan worden. Begin jaren zeventig kreeg Prof. A.D. de Groot in Amsterdam tomaten naar zijn hoofd, omdat hij stelde dat intelligentie aangeboren is. Dit paste niet in het toen heersende ideaalbeeld in linkse studentenkringen van de selectievrije klassenloze maatschappij.

Paul van der Maesen heeft een aantal zaken goed op een rijtje gezet. Maar ik zou er graag het volgende aan willen toevoegen.
Dat managers en adviseurs vaak kiezen voor persoonlijkheidstests kan naar mijn mening verklaard worden doordat de persoonlijkheid inderdaad belangrijker is voor succes dan intelligentie. Alleen lukt het niet goed om de persoonlijkheid in kaart te brengen, zeker niet als de persoon belang heeft bij bepaalde uitslagen. Vandaar dat persoonlijkheidstests slechter voorspellen dan intelligentietests.
Er is nog een derde factor die mogelijk nog belangrijker is dan persoonlijkheid en intelligentie, nl. motivatie. Uit recent onderzoek in het hoger onderwijs blijkt herhaaldelijk dat de motivatie studiesucces het best voorspelt. Het gaat daarbij niet zo zeer om de kracht van de motivatie maar om de kwaliteit ervan. Mensen die echt geinteresseerd zijn en warm lopen voor hun studie en werk zijn het best in staat om belemmeringen te overwinnen en competentie te ontwikkelen.

Natuurlijk is persoonlijkheid en natuurlijke aanpak een van de doorslaggevende succesfactoren. Ik vraag me alleen af waarom daar een prehistorische meetmethode voor gebruikt moet worden. Vragenlijsten zijn bedacht om redelijk te scoren bij een gemiddelde persoon en geven naar mijn eigen ervaring, vaak een fout beeld, want: "Je bent niet wat je denkt, maar wat je denkt, dat ben je" Daarnaast is de grootste fout dat het eenrichtingverkeer is en dat maakt de methode prehistorisch. Een goed gesprek zegt veel meer, maar dan moet je als selectieorgaan wel de goede mensen voor hebben natuurlijk.

Als kwaliteitsmanager ben je behept met het zoeken naar de bron van waarheid.
Ik onderken dat, welke test dan ook, gekleurd kan raken door de manier van invullen en de positie van je linker en rechterbeen op het moment dat het bed wordt uitgestapt.

De IQ test geeft een resultaat dat door slimme vragen en de antwoorden wordt samengesteld. Dat een studie over assessments in 1987 is afgerond en niet herzien is geeft mij te denken.

Is de betrouwbaarheid van deze testen dan zo laag?

Ik houd mij al zo'n 25 jaar bezig met selectie en de instrumenten die daar bij worden gebruikt. Mijn huidige rol is bedoeld ter bevordering van 'best test practice'. Professioneel testgebruik heeft te maken met de kwaliteit van het instrument, de test professional zelf en de praktijk waarbinnen dit testgebruik plaatsvindt. Het 4TP keurmerk probeert hierin te voorzien (zie www.4tp.nl).
Natuurlijk heeft Paul van der Maesen gelijk met zijn "overbenutting van persoonlijkheidsvragenlijsten". Dergelijke - zelfbeschrijvende - instrumenten hebben een (predictieve) validiteit van maximaal 0.25, voornamelijk gebaseerd op US-based onderzoek. Over de superioriteit van capaciteitentests heb ik echter OOK twijfels. Dit komt voornamelijk doordat niemand weet wat "intelligentie" precies is en nog minder of de huidige tests dit "job relevant" meten. In het algemeen zal het zo zijn dat mensen die hoger scoren op een capaciteitentest, het wat beter doen in de functie. Dat neemt niet weg dat een specifiek geconstrueerd "work sample" of arbeidsproef het vaak beter doet dan een capaciteitentest. Ikzelf heb diverse worksamples gemaakt en het voorspellend vermogen is - ook in een specifieke nederlandse situatie - niet slecht (www.psytech.nl).
Mijn mening over Assessment Centers komt een andere keer.

De afgelopen weken hebben de volgende personen interessante bijdragen aan de discussie over bovengenoemd onderwerp geleverd: Nico Smid, Jan van Weeren, Tom Luken, Frank Dotman, Paul Vriend, Wouter Schoonman.
Voor het gemak van de lezer bundel ik enkele opmerkingen naar aanleiding van die reacties in één bericht.

- Nico Smid adviseert om big five persoonlijkheidsdimensies uit te splitsen in facetscores om de voorspellende kracht van een vragenlijst te verhogen. Ik denk dat dit inderdaad kan helpen. Er is ook empirische steun geleverd voor het splitsen van twee big five dimensies, namelijk “Extraversie” in deeldimensies “Sociabiliteit” en “Sociale invloed” en van “Consciëntieusheid” in deeldimensies “Prestatiemotivatie” en “Gewetensvolheid”. Bij het opsplitsen ligt het gevaar van onbetrouwbaarheid op de loer, bij slechts vijf vragen per facet kom je volgens mij juist daarmee in de problemen.
Een methode die ook te overwegen is, is het toevoegen van functierelevante modules aan de vragenlijst, bijvoorbeeld een extra module voor facet “Sociale invloed” als het gaat om (aspirant) managers.

- Jan van Weeren noemt een belangrijk argument om intelligentietests niet te gebruiken, namelijk het risico om er “dom” uit te komen en daar niets (meer) aan te kunnen doen. Van de associatie met onwrikbaarheid heeft de competentiebenadering geen last en dat verklaart ook voor een deel het (commerciële) succes van die benadering. Ook de succesvolle opkomst van de eigenschap “emotionele intelligentie” is te beschouwen als tegenreactie op de beklemmende boodschap uit de Bell Curve (Hernstein & Murray, 1994), dat analytische intelligentie in sterke mate verantwoordelijk is voor succes en falen in studie, werk en daarbuiten (zie Matthews, Zeidner, Roberts, 2002: Emotional Intelligence: Science or Mythe, Cambridge, Mass: A Bradford Book).

- Tom Luken veronderstelt dat persoonlijkheid wel eens écht belangrijker zou kunnen zijn dan intelligentie, maar dat het ligt aan de ondeugdelijkheid van de meetinstrumenten dat dit niet tot uiting komt. Ook Frank Dotman lijkt dit standpunt in te nemen. Ik denk dat Luken en Doitman een overtuiging (of impliciete theorie) verwoorden die velen erop nahouden. Steun vanuit de wetenschap is voor die overtuiging echter (nog) niet aanwezig.

- Paul Vriend komt terug op het assessment center. Het toeval wil dat onlangs een meta-analytische studie naar het AC is verschenen: Arthur, Day, McNelly & Eden, 2003, in Personnel Psychology, 56, pp 125-154. Eerst zochten deze auteurs naar de dimensies waarover in de meeste AC’s uitspraken worden gedaan. Door uitslagen op de best voorspellende dimensies optimaal te wegen werd een predictieve validiteit van .45 bereikt (tegenover .37 van Gaugler et al., 1987). Opvallend is wel dat de dimensie “Probleemoplossen” de best voorspellende dimensie in AC’s is. En probleemoplossen in het AC wordt naar alle waarschijnlijkheid goed voorspeld door … een intelligentietest.

- Wouter Schoonman heeft zijn twijfels over de intelligentietest. De functierelevantie zou niet groot zijn. Ik zou juist beweren dat de relevantie op geen betere manier dan met een hoge predictieve validiteit is aan te tonen. Een tweede opmerking van Wouter is dat niemand weet wat intelligentie is. Volgens mij heeft hij geen gelijk, er is in toenemende mate consensus in de wetenschap over wat intelligentie is. Er wordt zeer veel onderzoek verricht om het drie-lagenmodel van intelligentie dat sinds 1993 door John Carroll is voorgesteld te verfijnen en verder te verankeren. Wouter Schoonman beveelt arbeidsproeven aan als alternatief instrument. Inderdaad hebben arbeidsproeven een met intelligentietests vergelijkbare validiteit. Nadeel van arbeidsproeven zijn de hoge ontwikkelkosten en de vaak beperkte bruikbaarheid, dus hoge afschrijvingskosten, ervan. Het zijn immers op maat van de functietaken ontworpen tools. Intelligentietests hebben juist een hoge validiteit die generaliseerbaar is over functies.

Paul van der Maesen

Ca 10 jaar geleden is Bruins Recruitment BV (Toen Bruins PersoneelsAdvizen BV geheten) te Sassenheim licentiehouder geworden van het door het toenmalige RPD Advies ontwikkelde video-assessment. Het psychologisch testcentrum is 4 jaar geleden verzelfstandigd. Ik ben mij nu aan het orienteren op de mogelijkheden van "digtale testafname" en ben zeer geinteresseerd in de situationele beoordelingstest. Ik stel het op prijs om daar nadere informatie over te ontvangen.