Maar 13 procent haalt echt waarde uit AI, zegt Gartner

Gartner vroeg deze zomer 2.002 CIO's en IT-bestuurders hoe het gaat met AI. Maar 13 procent zegt dat hun organisatie er grote of transformerende waarde uit heeft gehaald. De rest zit nog te wachten.

Dat is geen gebrek aan proberen. Het aantal AI-toepassingen groeide de afgelopen twee jaar hard. De kans dat een toepassing slaagt bleef één op vijf.

Ik zie hetzelfde in het klein bij Nederlandse bedrijven. Er draait van alles: een chatbot hier, een Copilot-licentie daar, een agent die iemand in een weekend bouwde. Wat ontbreekt is de afspraak vooraf: wat moet dit opleveren, en wanneer stoppen we ermee?

Meer projecten leveren niet meer op

Volgens Gartner zit het probleem niet in de techniek.

"Volume is not value. AI is creating a reckoning for organizations that lack fundamental disciplines, such as defining use-case value ahead of time and establishing criteria for when to walk away."

Vrij vertaald: veel is niet hetzelfde als waardevol. Wie vooraf niet vastlegt wat een toepassing moet opleveren, kan achteraf ook niet zeggen of het gelukt is.

Let wel op wie hier antwoordt. Het zijn CIO's en IT-bestuurders, en "grote waarde" is hun eigen inschatting. Een MKB-bedrijf heeft meestal geen CIO. Het probleem is hetzelfde, alleen kleiner: een paar licenties die niemand meet in plaats van tien pilots die niemand meet.

De koplopers stoppen op tijd

Gartner noemt de kleine groep die het wel lukt "vanguards", koplopers. Dat zijn CIO's die betere bedrijfsresultaten halen én van hun CEO horen dat AI waarde oplevert. Ze doen een paar dingen anders, en het opvallendste is saai: ze leggen vooraf vast wanneer ze stoppen.

Dat gebeurt op twee momenten. Bij de pilot: wanneer gaat dit níet door naar productie? En in productie: wanneer zetten we iets uit dat te weinig oplevert?

Organisaties met een stopregel voor pilots zijn 2,3 keer zo vaak koploper. Met een stopregel voor wat al draait is dat 2,6 keer.

Een stopregel maakt van een mislukt project geen succes. Gartner ziet nog steeds dat één op de vijf AI-toepassingen slaagt. De regel zorgt er wel voor dat de andere vier niet maandenlang doorlopen.

Toch hebben weinig organisaties die regels. Maar 31 procent van de CIO's heeft een stopregel voor pilots, en 17 procent een voor wat al draait.

Die 17 procent zegt het meest. Iets stopzetten dat al draait is pijnlijk, want iemand heeft er tijd in gestoken en er hangt een licentie aan. Dus laat bijna iedereen het staan.

Een derde gewoonte van de koplopers is nog zeldzamer. Wie een plan heeft om functies opnieuw in te richten voor werk met AI-agents, is 2,4 keer zo vaak koploper. Maar 4 procent van de CIO's heeft zo'n plan. Gartner zegt er nadrukkelijk bij dat het verschil daar zit, niet in minder mensen.

Mullery noemt het stoppen "a team sport". De IT-afdeling kan een stopregel opschrijven, maar het is de afdeling die de tool gebruikt die moet durven zeggen: dit levert niks op, weg ermee.

AI-kosten gedragen zich niet als een abonnement

Het tweede deel van het onderzoek gaat over geld. 58 procent van de CIO's voelt meer druk om met AI kosten te besparen. Tegelijk verwacht 51 procent dat AI de totale IT-kosten juist opdrijft.

Volgens Gartner komt dat doordat organisaties AI begroten zoals ze cloud en software begroten: een vast bedrag per gebruiker per maand.

"Unlike traditional technology costs, which are largely predictable, AI costs are probabilistic and determined at run time."

AI-kosten ontstaan dus pas tijdens het gebruik. Een agent die een taak drie keer opnieuw probeert, kost drie keer zoveel.

Dat zie je nu al bij Microsoft. Met Copilot Credits betaal je per taak, uit een pot die de hele organisatie deelt. Zonder limiet per persoon bepaalt de zwaarste gebruiker de rekening.

Uber begon met 1.000 mensen

Uber zet deze week alle ruim 30.000 medewerkers op ChatGPT Work, de zakelijke agent van OpenAI (TechCrunch).

Daar ging een pilot met ongeveer 1.000 medewerkers aan vooraf. Zo'n 80 procent van die eerste gebruikers was geen engineer. Uber zegt het gebruik en de resultaten te blijven meten. Wat het kost, maakte Uber niet bekend.

Dat is de volgorde die Gartner beschrijft: klein beginnen, meten, en pas daarna opschalen. Of Uber ook een stopregel heeft, weten we niet. De pilot was in elk geval groot genoeg om te zien wat het oplevert, en klein genoeg om er zonder schade mee te stoppen.

Zo zet je een stopregel op in een klein bedrijf

Je hebt geen CIO nodig om te doen wat de koplopers doen. Je hebt een A4'tje nodig, per AI-toepassing, vóór je begint. Wat ik bedrijven laat opschrijven:

Het lastigste is de vijfde regel. Iedereen wil een doel opschrijven, bijna niemand wil vooraf opschrijven wanneer het mislukt is. Toch is dat precies wat de koplopers anders doen.

Volgende Stap

Wil je weten welke AI-toepassingen in jouw bedrijf iets opleveren, en welke je beter kunt stoppen? Neem contact op. We lopen samen je huidige tools langs en leggen per toepassing het doel en de stopregel vast.

Headerbeeld: Gartner. Animaties: AI Centrum Nederland, gemaakt met HyperFrames. Cijfers: Gartner en TechCrunch.