Wat heb je aan een valide test?

Regelmatig zie ik psychologische tests aangeprezen worden om hun hoge validiteit. Deze wetenschappelijke term suggereert dat de test werkt. Validiteit is echter een breed begrip. In de wetenschap wordt een onderscheid gemaakt tussen verschillende soorten validiteit. De soort die voor u als professional van belang is, is echter vaak afwezig.

Psychologische tests worden gebruikt om te voorspellen. Je probeert er bijvoorbeeld mee te voorspellen wat bij je zal passen of te voorspellen welke kandidaat het goed zal doen. Test moeten je zo helpen betere keuzes te maken. De belangrijkste vraag bij het beoordelen van een test is dus hoe goed de test je helpt met voorspellen.

Valide betekent volgens de Dikke van Dale ‘geldig' of ‘tot werken in staat'. Wanneer van een test validiteit wordt geclaimd, suggereert dit dus dat de test werkt waarvoor je deze wilt gebruiken. Een valide test zou je bijvoorbeeld helpen te voorspellen welke kandidaat het beter zal doen of welk type werk bij iemand past. Voorspellende waarde is echter slechts een vorm van validiteit en niet het soort waar men het meestal over heeft. Laten we eens kijken welke soorten validiteit er nog meer zijn (voor de bondigheid heb ik een aantal weggelaten die niet direct relevant zijn voor dit verhaal).

Constructvaliditeit is de mate waarin de test meet het wat het zegt dat het meet (het construct). Een grap onder psychologen is dat een IQ test meet wat een IQ test meet. Wat achter deze grap zit is dat psychologen geen flauw benul hebben wat IQ is en wat de test precies meet. Bij persoonlijkheidstests is het nog slechter gesteld met de constructvaliditeit (het feit dat er een mooie theorie is met ingewikkelde termen wil nog niet zeggen dat het enige waarde heeft).

Ecologische validiteit is de mate waarin de resultaten van een test overeenkomen met de alledaagse praktijk. Een testsituatie is meestal kunstmatig, en de vraag is of de resultaten in de praktijk vergelijkbaar zijn. Je kunt het bijvoorbeeld perfect doen op je theorie-examen voor het rijbewijs, maar een gevaar zijn op de weg. Ecologische validiteit is een groot probleem voor persoonlijkheidstests. Wat mensen invullen verschilt vaak sterk van hoe ze in de praktijk reageren.

Criteriumvaliditeit is de voorspellende waarde (ook wel predictieve validiteit). Dit is het type validiteit waar het natuurlijk om draait voor de professional. Maar waar tests het meest gebruikt worden (selectie en persoonlijke oriëntatie) is deze vorm van validiteit meestal afwezig of zo laag dat je er geen geld aan wilt uitgeven (zeker niet de bedragen die er voor gevraagd worden).

Interne validiteit is ten slotte de mate waarin het redeneren binnen het onderzoek correct is uitgevoerd. In de praktijk betekent dit of de test consistent is. Er zijn verschillende statistische procedures om dit te onderzoeken. Dit is het zogenaamde valideren van de test. Interne validiteit zegt echter niets over de andere vormen van validiteit. Het kan dus zomaar gebeuren dat een zwaar gevalideerde test geen enkele voorspellende waarde heeft.
Wanneer verteld wordt dat een test valide is gaat het over het algemeen alleen over de interne validiteit, niet over de andere vormen van validiteit. Krijg je het argument dat een test valide is, vraag dan eens naar de voorspellende waarde. Dat is immers waar je voor betaald. Criteriumvaliditeit is eenvoudig te onderzoeken en een ijzersterk verkoopargument. Toch heeft niemand mij ooit een onderzoek kunnen laten zien dat deze vorm van validiteit aantoont. Dat geeft natuurlijk te denken.

Max Wildschut.