Dit artikel gaat in op 2 vragen:
1. Hoe de kwaliteit van de AI reacties op uw vragen beoordelen en verbeteren?
2. Wat gaat dat in de toekomst betekenen voor gebruikers, auteurs en uitgevers?
Iedere professional kan zijn vragen kwijt bij ChatGPT. Best handig! Zie bijvoorbeeld het resultaat op de vragen 'Hoe de bedrijfsmissie tot leven brengen?' en 'Hoe betrokkenheid en samenwerking in organisaties creëren?'.
Maar dan? Hoe beoordelen we de kwaliteit van ChatGPT teksten? Zekerheid dat je niet op een dwaalspoor gezet wordt is er niet.
Ben Kuiken vraagt het aan ChatGPT in Het digitale spiegelpaleis dat ChatGPT heet. Het antwoord van ChatGPT is: ‘de informatie is vaak nuttig en kan dienen als een startpunt voor verder onderzoek, maar het moet altijd met voorzichtigheid en kritisch denken worden gebruikt’.
Een wijze raad, maar dan? Ik heb de maatstaven die ik belangrijk vind op een rijtje gezet.
Beter managen en organiseren: AI geeft advies
Hier volgen de drie maatstaven die ik gebruik om de kwaliteit te beoordelen. De drie overlappen en versterken elkaar. De eerste twee zijn gericht op handelingskennis. Maatstaf drie, een wetenschappelijke basis, is een verhaal apart.
-
Toepasbaar
Zijn er collega professionals die de ervaringen en voorbeelden herkennen? Komen ook de missers en valkuilen aan de orde. Mijn motto in dit verband is ‘De wijsheid zit in het doen'. Als ‘het doen’ goed uit de verf komt dan kan de lezer de kennis beter beoordelen en gebruiken. Helemaal als er voortgebouwd wordt op gelijksoortige ervaringen van andere professionals. Wijze raad, een interessant idee, een fraai model, een indrukwekkend stappenplan.... We worden ermee bestormd. Maar waar zijn de ervaringen en voorbeelden?
Is de kennis gefundeerd in ervaringen en voorbeelden?
Voorbeeld van wat ik bedoel.
Zo zijn er in de praktijk veel vragen over het ontwikkelen van zelfsturing en zelforganisatie. Velen willen dat maar het gaat maar zelden vanzelf. Vaak is een bepaald soort sturing nodig. Dan ontstaat er meteen een pittig probleem. Zelforganisatie EN sturing? Dat bijt elkaar toch? We willen juist af van al die top-down sturing en toezicht. Toch blijkt sturing vaak nodig. Voorbeelden over hoe dat in tal van organisaties is gelukt, helpen dan. Op de pagina ‘Sturen op Verantwoordelijkheid’ hebben we een reeks van voorbeelden verzameld. Handelingskennis! Dat mis ik nog te vaak bij AI.
De kwaliteit van handelingskennis wordt ook bepaald door het volgende punt. -
Transparante aanpak
Twintig belangrijke factoren benoemen is geen kunst. De drie factoren benoemen waar het echt om gaat is andere koek. 'De essentie benoemen' maakt kennis transparanter en krachtiger. Zoek de factoren met de grootste hefboom-kracht.
Is de aanpak eenvoudig, concreet en gericht op de essentie
Komt ChatGPT met de essentie in 'De bedrijfsmissie slaat niet aan'. Ik heb het niet kunnen ontdekken. Voor mij is de essentie van het geschetste probleem niet ‘de communicatie van de leiding over de missie' of 'de zoektocht naar een betere missie' maar ‘de geloofwaardigheid van de leiding’.
Veel kennis is onnodig ingewikkeld en vaak te theoretisch om toe te passen. Ik huldig het motto ‘In de beperking toont zich de meester’. In dat licht vind ik de output van OpenAI met ChatGPt al gauw overdadig en vaak ook te abstract en oppervlakkig. Geen onzin wel weinig concreet.
Voorbeelden van wat ik zoek. Sommige kennisbank-pagina's in ManagemenSite lijden aan hetzelfde euvel. Essentie en eenvoud gaan verloren. Dat was voor mij aanleiding een serie van A4tjes te publiceren met de essentie van de boodschap. Zie bijvoorbeeld: Goed verandermanagement in 1A4tje of Cultuurverandering in één A4tje.
-
Wetenschappelijke fundament
Kennis over beter managen en organiseren is royaal beschikbaar. Hoe deugdelijk is die kennis? Zwalken we van hype naar hype? Welke inzichten en modellen helpen echt? Managementmodellen ontpoppen zich nog te vaak als ‘Gebakken lucht’. Zie Managementmodellen in 1 A4tje.
Is de kennis gebaseerd op een bruikbare theorie of concept
Komt AI met deugdelijke concepten? Ik heb er nog weinig van gemerkt maar ik blijf het proberen. Vooralsnog zie ik een grote kloof tussen theorie en praktijk. Jammer want een goed concept maakt wel degelijk een verschil.
Voorbeelden van bruikbare concepten
Een goed voorbeeld vind ik de werking van patronen van machts- en afhankelijkheidsrelaties. Deze patronen zijn nauw verbonden met houding en gedrag van mensen. Het zijn interactiepatronen met een eigen dynamiek.
Een begrip als systeemdwang wijst op hetzelfde verschijnsel. De hierboven aangehaalde ChatGPT tekst over 'betrokkenheid en samenwerking' maakt er geen melding van. Soms werken interactiepatronen blokkerend en destructief. Er zijn ook patronen die kracht en betrokkenheid oproepen. Ik vind het een concept met een grote verklarende kracht en goed verbonden met handelingskennis. Voor een overzicht van typen interactiepatronen en praktijkervaringen om ze te hanteren, zie Beheersen interactie-patronen onze organisaties?
Een tweede voorbeeld betreft het organisatie-ontwerp als een dynamisch netwerk van eenheden. Het ontwerp van ‘klein binnen groot‘ wint nog steeds aan kracht: een organisatie, niet meer als een steile piramide met een grote machtsafstand tussen top en basis, maar als een netwerk van relatief kleine eenheden met een duidelijke eigen resultaat-verantwoordelijkheid. Zie Organisatieontwerp & organisatieinrichting in 1A4tje.
Daar zou ik het bij kunnen laten maar een sterk concept biedt meer. Dat is te zien in deze 2 voorbeelden. Er is een duidelijke verbinding tussen interactie-patronen en organisatieontwerp. Ze vullen elkaar aan en vinden beide een basis in de machts- en afhankelijkheidsverhoudingen.
Reikwijdte en relevantie zijn de kenmerken bij uitstek van een goed concept.
Zo is er ook een duidelijke verbinding met concepten als 'Sturen op verantwoordelijkheid', de 'Balans Sturing-Zelforganisatie' en 'Zelforganisatie en zelfsturende teams'. 'Relevantie' zie ik verbonden met het motto van Kurt Lewin: 'Niets is zo praktisch als een goede theorie'.
Korte onderbreking
Hoe kom je aan goede concepten? Zoek en gij zult vinden.
- Geluk gehad?
Ik heb het geluk gehad dat verschillende van mijn leermeesters, met name Johan Goudsblom en Norbert Elias, mij met hun 'figuratie-theorie' alert maakten op de werking van patronen van machts- en afhankelijkheidsrelaties. 'Als de figuratie verandert, veranderen ook houding en gedrag.' Hun werk heeft mij geholpen bij vraagstukken zo divers als teamontwikkeling, emotie-management, gedragsverandering, conflicthantering, leiderschap, cultuurverandering. - Civilisatie en barbarisering
En dan te bedenken dat Goudsblom en Elias vooral gericht waren op processen van civilisatie en barbarisering. Op het eerste gezicht ver verwijderd van beter managen en organiseren. Maar toch weer niet, zie Beschaafde digitalisering is een bestuurskwestie of Leiderschap als civilisatieproces. Er is altijd de invloed en dwang vanuit het maatschappelijk netwerk. In onze samenleving in de richting van maatschappelijk verantwoord ondernemen, duurzaamheid, de menselijke maat, MeToo en moraliteit. Zo'n beschavingsproces is verweven met dwaasheden en ontsporingen zoals bijvoorbeeld het idee dat sturing niet meer nodig is. Of dat ‘moraliteit’ een angstige jacht op grensoverschrijdend gedrag rechtvaardigt. En wat te denken van de DOOMLOOP van regelgeving en systeemdwang die ons de toeslagen affaire heeft gebracht.
Conclusies
Hoe beter afgebakend het probleem hoe beter het resultaat. AI voorziet afgebakende specifieke problemen zoals de klantenservice verbeteren of een goede logistiek realiseren van tal van oplossingen en tips. Bij complexe vraagstukken waarbij de oplossing in hoge mate afhankelijk is van houding en gedrag van de betrokkenen, is meer sturing met prompts geboden.
De maatstaven 1 en 2 verwijzen naar goede handelingskennis. Maatstaf 3 kan meer begrip en houvast verschaffen; en daarmee ook de kwaliteit van de handelingskennis verbeteren.
In de praktijk vind ik de toets van 1 en 2 al voldoende: Goede voorbeelden en een transparante aanpak gericht op de factoren met de grootste hefboomkracht. Duidelijk beschreven vanuit de ervaringen van de auteur. Goede handelingskennis, herkend en bevestigd door andere professionals. Je schuift dan op naar 'evidence based'.
Gemakkelijk te vinden? Nog niet. Wat zijn de hindernissen en wat kunnen we van AI verwachten?
De toekomst. Wat betekent dit voor gebruikers, auteurs en uitgevers.
Gaat de kwaliteit van AI kennis omhoog?
Twee hindernissen
Vooral de ‘mainstream’ of ook recente ontwikkelingen
Wat niet al geruime tijd bekend is maakt minder kans om door AI gevonden te worden. De reeds gebaande wegen bepalen de route. Maar hoe komen we bij de vernieuwingen, de frisse impulsen en de creatieve vondsten? De mainstream is doorgaans ouwe koek. Een onderzoek van Richard Puyt stemt niet optimistisch. Zie de 'Conclusion' in Evaluating ChatGPT-4’s historical accuracy.
Daarbij komt nog dat de kennis over beter managen en organiseren een jungle is van mooie verhalen, indrukwekkende modellen & instrumenten en veelbelovende programma's' met een hoog hype gehalte. Een 'legacy' van rommel die rondzwerft op het net. Zie onze kennisbank-pagina Management modellen. Met de juiste prompts bestrijd je dit risico. Blijf je twijfelen dan is er nog de prompt 'Geef over dit vraagstuk de meest recente trends'.
Tegelijk denk ik dat juist AI zal helpen om de rommel op te ruimen. Zie het slot van dit artikel.
Theorie of handelingskennis
Dertig bulletpoints of de 3 tips met de grootste hefboomkracht? Chat GPT is niet erg kieskeurig en komt al gauw met een overvloed aan tips. Handelingskennis echter is gefocust, gericht op eenvoud en duidelijkheid. Hoe meer slaag- en faalfactoren worden opgesomd hoe groter mijn twijfel. Heel indrukwekkend al die kennis maar de essentie en het ‘hoe’ van de aanpak komen niet uit de verf. Bovendien is de kloof tussen theorie en praktijk in de wetenschap groot. Er is veel theorie en onderzoek maar de 'goede theorie' waar Kurt Lewin naar verwijst met zijn ‘Niets is zo praktisch als goede theorie’ is moeilijk te vinden. Daarbij komt dat de claim 'Wetenschappelijk getoetst' vaak als verkoopargument wordt gebruikt. Met prompts als 'hoe, waar, door wie en wanneer' kan je dit checken.
Hoe goede AI kennis vinden?
AI wordt steeds vaker gebruikt en het is belangrijk er handig in te worden in. Op zoek naar 'toepasbare kennis'? Gebruik de prompts zoals vermeld bij de maatstaven 1 en 2: 'voorbeelden met links naar de bron', 'essentie van de aanpak', 'ervaringen met de aanpak met links naar de bronnen', 'handelingskennis: transparant en eenvoudig', 'duidelijke relatie met het bedrijfsresultaat'.
Nieuwsgierig naar de 'wetenschappelijke basis'? Vraag dat met prompts als 'wetenschappelijk fundament', 'basisprincipes', 'onderliggend concept', 'praktijktheorie' en 'handelingskennis'.
Wilt u nog weten of er nog steeds over gepubliceerd wordt, prompt dan met 'recente trends'.
Met AI leren we sneller
Laten we niet vergeten dat kennis zich ontwikkelt in de praktijk. Zo leren we al millennia met of zonder theorie. De praktijk is een vorm van ‘evidence based’ die we moeten koesteren. Kennis over beter managen en organiseren komt tot wasdom in een sociaal en collectief leerproces van al doende, met vallen en opstaan, experimenteren en leren.
Een generatie terug noemde men dat actieonderzoek of kwalitatief onderzoek. Handelingsgericht onderzoek dus, oftewel kennisontwikkeling op basis van ervaringen.
De toets of kennis door ‘communities of practitioners’ met succes toegepast en al doende verbeterd wordt, zie ik als de toets waar het om gaat.
Ik zie geen reden waarom AI dat niet zou kunnen verschaffen. Er zijn genoeg vakmensen die goed toepasbare kennis en kunde verder ontwikkelen. Laten we daarop, mede dankzij AI, voortbouwen.
Auteurs en uitgevers
Ondertussen zitten auteurs en uitgevers met de vraag: ‘Wat gaat OpenAI voor ons betekenen?. Het zal ongetwijfeld de creativiteit en productiviteit van auteurs vergroten. Hoe OpenAI omgaat met de auteursrechten is de vraag. Zolang de bronnen van de kennis niet vermeld worden zijn uitgevers en auteurs de dupe. Ik signaleer een duidelijke trend bij AI-tools om de gebruikte bronnen te vermelden. Het helpt om dat expliciet in een prompt te vragen.
Komen er dan ook vormen van compensatie? Bijvoorbeeld op een manier zoals het met Spotify in de muziek gaat?
De hamvraag voor uitgevers is: ‘Hoe gaan we ervoor zorgen dat AI onze uitgaven vindt?’ Een goede inbedding in verwante kennisdomeinen wordt het nieuwe SEO. De ‘prompts’ wijzen de weg.
Er zullen AI-tools ontstaan gespecialiseerd in vraagstukken van business, managen en organiseren. Deze tools worden door de ontwikkelaars getraind op relevante prompts.
Een belangrijke vraag: 'Hoe vind je als uitgever of auteur de aansluiting op zo'n tool?'
AI tools: zelflerend en met elkaar in concurrentie
Met AI als hulpmiddel zal de productiviteit van auteurs alleen maar toenemen. Wat moeten we met al die informatie? Er komt alleen maar meer bij. Veel meer! Lezers, auteurs en uitgevers worden steeds kritischer. Ze moeten wel om niet te verzuipen in verwarring en chaos.
Toepasbare kennis, aansprekende voorbeelden en een solide concept zullen het winnen van rijtjes bulletpoints, geleerd geleuter en tralala-gejuich over een hype.
Toepasbare kennis. Wat men blijft zoeken gaat AI vinden!
Het zelflerend vermogen en de concurrentie tussen AI-tools zal leiden tot een voortdurende verbetering van de aangeboden kennis. Dit betekent een versnelling van de ontwikkeling van goede handelingskennis. Zelfs het dempen van de kloof tussen theorie en praktijk zie ik als mogelijkheid. Hoog tijd!
Te optimistisch? We zullen het zien.
Willem Mastenbroek, hoofdredacteur ManagementSite.
Noot
De concurrentie tussen AI tools mag er zijn. Zie het verschil in antwoorden van ChatGPT4 en Perplexity op dezelfde vraag met dezelfde PROMPTS.
VRAAG: Hoe betrokkenheid en samenwerking in organisaties creëren. Wat is de essentie van zo'n gedragsverandering.
PROMPTS: in maximaal 1200 woorden, zonder bullet-points in verhaalvorm met voorbeelden, gebruik als bron ManagementSite.nl
Waar vind ik toepasbare kennis en gedeelde ervaringen?
Probeer het Pro-abonnement een maand gratis
En krijg toegang tot de kennisbank. 110 onderwerpen, kritisch, wars van hypes, interactief en geselecteerd op wat wél werkt.
Word een PRO