Waarom AI-projecten mislukken

Ondanks de structureel tegenvallende resultaten van IT-projecten blijven mensen geloven in het positieve van IT en dat dit bijvoorbeeld hun werksituatie kan verbeteren. Eerder is deze paradox al toegelicht in het artikel ‘Fascinatie voor IT groter dan frustratie door IT’. Een ander artikel ‘Informatiegestuurd projectmanagement in de projecteconomie’ laat zien dat van veel uitgevoerde IT-projecten de geleverde waarde te klein is. Intussen zijn al de nodige AI-projecten uitgevoerd en worden er steeds meer gestart. Wat is het resultaat tot nu toe van deze AI-projecten? En hebben deze AI-projecten last van dezelfde problemen waardoor ook traditionele IT-projecten (vaak) tegenvallen?

Beoordelen van projectresultaat

Vooropgesteld: er is nog altijd veel stemmingmakerij als het aankomt op het beoordelen van het succes van IT-projecten. Veel consultancy bedrijven en adviseurs hebben er zelf belang bij om het vaak genoemde (ongenuanceerde) percentage van 70 voor het aantal mislukte projecten te blijven noemen. Het signaleren van problemen levert immers openingen op voor het slijten van hun adviezen en dienstverlening. Bij het definiëren van succes van een project is het belangrijk om niet alleen te oordelen op basis van tijd (binnen planning) en geld (binnen budget). Het gaat immers vooral om de gebruiks- of toepassingswaarde van een project. Ook Hans Mulder pleit voor meer nuancering bij het beoordelen van het slagen of falen van traditionele IT-projecten. Cijfers en definities zijn er inmiddels genoeg. De Standish Group bijvoorbeeld gebruikt naast ‘geslaagd’ en gefaald’ de term ‘challenged’ project. Dit betekent dat het project te maken heeft gehad met aanzienlijke obstakels en moeilijkheden (bijvoorbeeld langer geduurd, meer gekost, niet de complete functionaliteit), maar uiteindelijk toch is afgerond. Met deze nuancering is het aantal mislukte projecten 'slechts' 20 procent. Ook andere nuanceringen zijn mogelijk zoals het vergelijken tussen de verschillende sectoren en grootte van projecten.

Vergelijkingscriteria

AI-projecten zijn lastig te vergelijken met traditionele IT-projecten. Het succes van AI-projecten kan worden gemeten aan de hand van de nauwkeurigheid en effectiviteit van het AI-model, de mogelijkheid om waardevolle inzichten te genereren, en de acceptatie en bruikbaarheid van de oplossing door de eindgebruikers. Copilot in combinatie met een aantal persoonlijke aanvullingen geeft een interessant overzicht als je vraagt naar de vergelijkingscriteria tussen traditionele IT-projecten en AI-projecten.

Vergelijkingscriteria van projecten

Cijfers van AI-projecten

Cijfers over het slagen en falen van AI-projecten die een genuanceerde analyse mogelijk maken zijn (nog) moeilijk te vinden. Al in 2018 voorspelde Gartner dat 85% van de (toekomstige) AI-projecten zouden falen vanwege (zie ook aspect doelstelling in tabel) “foutieve uitkomsten als gevolg van vooringenomenheid (bias) in gegevens, algoritmen of de teams die hier verantwoordelijk voor zijn.” Een recenter artikel van Harvard Business Review bevestigt dit hoge percentage. 80% mislukt wordt hierin genoemd. Hoogleraar David de Cremer noemt een percentage van 60 tot 80 mislukte AI-projecten. Als een van de voorbeelden noemt hij McDonald’s dat stopte met de AI-robot die bestellingen opneemt:

“De machine begrijpt de klanten niet. Pijnlijk, want de technologie was al bij honderd drive-thru’s geïnstalleerd.”

De hoge faalpercentages die voor AI-projecten genoemd worden dienen kritisch te worden beschouwd. Wanneer falen daadwerkelijk stopzetten betekent is het aannemelijk dat het percentage, net zoals bij traditionele IT-projecten, lager ligt. Meer onderzoek en analysewerk is hiervoor nodig.

Het management issue

In het Harvard artikel wordt het (ontbreken van) strategische afstemming met de bedrijfsdoelen als eerste verbeterpunt genoemd. Een issue dat ook in veel andere artikelen wordt genoemd. Data-wetenschappers en andere techneuten doen hun werk te geïsoleerd van de bedrijfsvoering. De wijze van organiseren is een managementtaak. Het management schiet hierin dus tekort. David de Cremer wijst ook op de rol die leiders spelen bij het mislukken van AI-projecten. Te veel optimisme (net zoals bij traditionele IT-projecten), gebrek aan wijsheid, eenzijdige besluitvorming en geen aandacht voor soft skills zijn redenen die leiders en management zichzelf kunnen aanrekenen. Zijn hoofdboodschap is dat het management de regie terug moet pakken. In een recent interview in de Volkskrant noemt Aleid Wolfsen “naïviteit van techneuten en incompetentie van leidinggevers” als belangrijke oorzaken van problematiek bij het bouwen en gebruiken van AI-systemen. Aleid Wolfsen vindt dat dit “echt niet kan”. Gebrek aan managementbetrokkenheid is een oorzaak die ook vaak wordt genoemd voor het falen van traditionele IT-projecten. Zowel de voortschrijdende traditionele digitalisering als AI zijn een bestuurlijke kwestie is in een eerder artikel op ManagementSite benadrukt (zie tabel aspect risico’s). Zonder een duidelijke visie en richting kunnen projecten niet effectief worden uitgevoerd en kunnen ze niet bijdragen aan de strategische doelen van de organisatie. Bestuurlijk onvermogen wanneer het om technische middelen zoals digitalisering gaat is dus een klassiek en hardnekkig probleem.

De AI-verordening

De kans dat de managementbetrokkenheid groter wordt is aanzienlijk. De verwachting is dat de sinds 1 augustus in werking getreden AI-verordening hiervoor gaat zorgen. De AI-verordening is een Europese wet die regels stelt voor de ontwikkeling en het gebruik van AI-systemen. Het doel is ervoor te zorgen dat AI-systemen veilig zijn en fundamentele rechten respecteren. De verordening deelt AI-systemen in op basis van risiconiveaus, waarbij strengere regels gelden voor systemen met een hoger risico. Externe accountability speelt een cruciale rol in de AI-verordening door ervoor te zorgen dat AI-systemen transparant en verantwoord zijn. Dit betekent dat organisaties die AI-systemen ontwikkelen en gebruiken, verantwoording moeten afleggen aan externe toezichthouders en het publiek. Dit helpt om vertrouwen op te bouwen en ervoor te zorgen dat AI-systemen voldoen aan ethische en wettelijke normen. Blijkbaar is wetgeving nodig voor het oplossen van een klassiek managementprobleem bij de voortschrijdende digitalisering.

Het data issue

Behalve de discutabele rol die leidinggevers spelen komt een andere belangrijke les voor tegenvallende resultaten van een AI-project uit een artikel van Forbes:

“De populairste methodologie voor applicatieontwikkeling is Agile, dat zich richt op korte, iteratieve sprints die zijn gekoppeld aan de onmiddellijke behoeften van de zakelijke gebruiker in plaats van lange ontwikkelingscycli. Agile is echter niet geschikt voor AI omdat het je niet vertelt hoe je moet omgaan met gegevens, de kern van een AI-systeem.”

Het data issue (zie tabel aspect succescriteria) is dus ook een belangrijke oorzaak voor tegenvallende resultaten van AI-projecten. Ook dit heeft een verleden: in de jaren 90 van de vorige eeuw mocht ik als IT-manager/informatiemanager een ERP-implementatie begeleiden en later ook hiervan afgeleid een business intelligence oplossing ontwerpen en bouwen. Dit laatste heet(te) (toen) een Executive Information System. Het goed krijgen van de data kostte veel tijd en inspanning en ging gepaard met de nodige regels en afspraken. Procesdiscipline en gedragsdiscipline waren toen belangrijke succesfactoren om het ERP-systeem en business intelligence systeem gevuld te krijgen met complete en juiste data waardoor het ook mogelijk was om vanuit deze systemen werkstromen soepel te laten lopen (ERP) en waardevolle informatie te ontsluiten (business intelligence) om beslissingen op te baseren.

Verbeteren van AI-resultaat

Hoewel het issue met data dus al langer bestaat verschilt het omgaan met data aanzienlijk tussen een traditioneel IT-systeem en een AI-oplossing. Traditionele IT-systemen werken (vooral) met gestructureerde data (invoer) en volgen vooraf gedefinieerde regels om deze te verwerken, wat resulteert in voorspelbare en statische output. AI-systemen daarentegen kunnen zowel gestructureerde als ongestructureerde data verwerken en gebruiken lerende algoritmen die zich aanpassen op basis van de inputdata. Dit maakt de output van AI-systemen dynamisch en adaptief.  Een agile werkwijze voor het ontwikkelen van functionaliteit van een AI-systeem en een data-centrische aanpak als complementair hulpmiddel om beter om te gaan met datadynamiek van een AI-systeem lijken dan een gepaste combinatie van werkmethoden om de kans op succes van een AI-project te vergroten (zie tabel aspect ontwikkelingsproces). Een data-centrische werkmethode richt zich op het verbeteren van de kwaliteit van gegevens om het volledige potentieel van AI te benutten. Hierbij ligt de nadruk op het verzamelen, beheren en analyseren van data om betere beslissingen te kunnen nemen.

De combinatie van data-centrisch en agile werken en vergroten van managementbetrokkenheid (regie) lijken dan minimaal twee noodzakelijke voorwaarden om de volgens Aleid Wolfsen genoemde naïviteit en incompetentie bij AI-projecten te beteugelen en het succes van AI-projecten te vergroten.