Mooi onderzoek. Heb zelf net op discovery een aantal visuele trucs gezien. Men liet een kaartentruc zien, en bij elke camerawissel hebben de acteurs iets anders aan, en wisselt de kleur van de tafel en de achtergrond. Omdat je je richt op de kaarten, heb je dat niet in de gaten. Niet voor niets is een politiegezegde: het minst betrouwbare bewijs is een getuige....

Heerlijk stukje.

Psychomania = Tricky Bizznizz

Marco,
Met interesse je stuk gelezen. Interessante materie, zeker. Maar ik heb wel een paar opmerkingen over “loose ends”. Niet zozeer jouw stuk, alhoewel daar ook wel wat van te zeggen valt. Met name de voorbeelden.

Voorbeeld 1:
Die “Willekeurige groep”: IS die wel zo willekeurig?
Mensen die uit een bestand van een adresleverancier gebeld kunnen worden zijn bijna altijd mensen met een vaste lijn. Dat kan inhouden dat o6 nummers (jeugd) ondervertegenwoordigd zijn. Verder moeten ze “thuis” zijn. Dus ouderen, werklozen, gehandicapten en zieken kunnen oververtegenwoordigd zijn.

Regenachtige dag: wie zouden er méér thuis zijn? Mensen mèt of zònder auto? Dus lagere inkomens wellicht oververtegenwoordigd. En dan uitspraken doen over “hoe gelukkig”??? De diverse bias zijn zichtbaar zonder de steekproef te hoeven analyseren.

Voorbeeld 2
Twee groepen studenten. Wat: alfa / bèta studenten? Etniciteit? Enigst kind?

Voorbeeld 3: de panty’s
Ongeveer 85% van de mensen is rechtshandig. Is er gecorrigeerd voor dit fenomeen? Betrof het mannen, vrouwen of een mix (i.v.m. panties)? Is het welke winkeltype van invloed? (voorbeeld Zeeman wordt gedomineerd door allochtonen). En wellicht de etniciteit (bijvoorbeeld hand geven is niet per se rechts in elke cultuur). Wat is “over het algemeen?” Als dat “toevallig” 85% zou zijn denk ik onmiddellijk aan rechts / linkshandigen.

Voorbeeld 4:
Ik moest wel grinniken bij “Mond open doen”. Wat zou het mooi zijn als onze politici dit gedrag zouden vertonen: als zij hun mond zouden open doen als de kiezers dat éérst hebben gedaan.

Zo, ik hou op met mierendinges, alhoewel . . . zo onzinnig vind ik de vraagtekens niet.
Ik moet denken aan een hardnekkig verhaal over Coca- en Pepsi Cola (ergens 1950??). In een blindtest werd mensen gevraagd een keuze te maken tussen twee frisdranken. De ene met A gemerkt, de andere met Q. Een meerderheid (???) koos voor A. Juist, Coca Cola dus. Ze gingen ermee op TV: coast to coast. Pepsi liet het er niet mee zitten en draaide bij dezelfde test de bekers om en zie: ook de score draaide om. Wat gemeten werd was kennelijk de voorkeur voor een letter i.p.v. een frisdrank. Er zijn talloze voorbeelden van bias (gerichte afwijking) in onderzoek. Een klassiek voorbeeld is enquêteren bij benzine stations: oververtegenwoordiging van kilometervreters (bijvoorbeeld salesreps, vrachtwagenchauffeurs etc)

De test van Harvard
Ik ben er even voor gaan zitten. Je zou denken “Harvard” dat klinkt als een klok. Dat MÒÈT wel in orde zijn”. Toch? Maar . . . men heeft bij de vraagstelling gebruik gemaakt van ipsetieve vraagstelling (voor leken: een vraagstelling met een “waterbedeffect”: als je ergens “liegt” moet je dat ergens ander corrigeren en zo blijft de test valide uitkomsten geven, ook als je manipuleert.)

Ik ga niet zeuren over de onmogelijkheid van afvragen bij bepaald aantal variabelen. (sommige combinaties kunnen technisch gewoon niet, zie combinatoriek). Maar wèl over het feit dat ik gedwongen word onzin antwoorden te geven. Voorbeelden zijn toewijzing van intelligentie aan een ras, sexe of leeftijd. Ik snap wel hoe het werkt, maar ZEGT de uitkomst iets over mij? Neen, driewerf neen. Daar mis ik de antwoordmogelijkheid “neutraal” als ik dat ECHT meen. Verder bleek de test niet afgeschermd voor onbeperkt hergebruik, waardoor ik me afvraag WELKE van mijn 5 invullingen nu meetikt in de telling.

A-typisch gedrag
Ik behoor zelf tot de groep van “superkritische eikelige consumenten”. Als een reclame voor een produkt of dienst dom, stigmatiserend, schijtlollig, niet ter zake, niet integer, sexistisch of gewoon onwaar is, besluit ik zéér bewust het betreffend product NÓÓIT te kopen. Ja, dat zal wel een heel klein sigmaatje ergens uiterst links of recht opleveren, maar juist dáár gaat de win-loss matrix over.

Psychometrie
Het is een héél erg vertikaal vak. Praten met deskundigen is vrijwel onmogelijk vanwege de niet-overlap van begripswerelden. Als leek (maar WEL verantwoordelijk manager!!!) praten met specialistisch vak idioten als wiskundigen, statistici, Godgeleerden of Apple-fans is moeilijk. Het zijn gesprekken die zelden tot enig inzicht leiden. Maar . . . je moet er WEL je miljoenen verslindende campagne mee rechtvaardigen.

Met name in de reclame bakt men het wel héél erg bruin. ”Onderzoek heeft uitgewezen dat . . .”. Welk onderzoek? Door wie uitgevoerd? Waar kan ik de resultaten bekijken? Is de interpretatie juist? En over dat laatste wil ik nog wat zeggen.

Gebruik van de uitkomsten / interpretatie
Juist veel voorkomende manager-types als “pragmatici”, “geen-gelul-drie-bier-typetjes”, “grote-stappen-gauw-thuis- typetjes” en “popies” hebben de neiging om niet te veel tijd te besteden aan geneuzel. Niet gehinderd door ENIGE kennis van zeken volgt het motto: "Vooruit met de geit"of "We gáán er voor".

Analysis in Wonderland
Is er dan in het land van 1 miljoen commissies geen enkele instantie die hier toezicht houdt? Jawel. Het NOLOC en COTAN bijvoorbeeld. Maar als je dáár een vraag neerlegt duurt het vaak ettelijke jaren voordat de groep specialisten uitgeruzied is. Dat schiet dus óók niet op.

Hoe hiermee om te springen?
Het antwoord is: “als je het enigszins vermijden kan, dan liever NIET”. Dat scheelt karrevrachten geld en vooral tijd.

En als het TÒCH moet?
Schakel een drie specialisten in. Geef ze een afgemeten budget en dito mijlpaal in tijd. Vraag om een uitspraak. En dan wacht je gewoon op de winnende twee. Niet dat je dan zekerheid hebt, maar het VOELT héél anders.

Groet,

Jos Steynebrugh
Marketing & Innovatie Consulent
www.changeenhancement.nl