AI-kosten onder controle houden

Waarom AI-kosten ongemerkt oplopen

Bij de meeste taalmodellen betaalt u naargelang de hoeveelheid tekst die het model leest en schrijft. Een agent die in een lus werkt, roept het model niet één keer aan maar bij elke stap, en stuurt telkens de voorgeschiedenis opnieuw mee. Drie gewoontes maken dat erger. Elke stap gaat naar het zwaarste model, ook het sorteren van een mail of het herkennen van een datum. Er is geen bovengrens, zodat een agent die in een kringetje draait blijft verbruiken. En niemand volgt het op: de afrekening komt als één totaal, zonder dat zichtbaar is welk proces of welke taak het veroorzaakte. Het probleem is dus zelden de technologie zelf, wel het ontbreken van grenzen en inzicht.

Het lichtste model, en regels waar geen AI nodig is

De grootste hefboom is per stap de vraag stellen wat er werkelijk nodig is. Een bestelling uit een rommelige mail halen vraagt taalbegrip. Nagaan of een btw-nummer het juiste formaat heeft, een totaal narekenen of een dossier naar de juiste map verplaatsen vraagt dat niet: een regel of een script doet het sneller, goedkoper en elke keer identiek. Voor de stappen waar wel een model nodig is, volstaat vaak een licht model, bijvoorbeeld om te bepalen over welk soort document het gaat. De keerzijde is extra ontwerpwerk: iemand moet de stappen opsplitsen en testen of het lichtere model voldoende nauwkeurig blijft. Een te licht model dat fouten maakt, kost u die winst terug in correctiewerk.

Budget of plafond per agent en per taak

Een plafond is een afspraak die het systeem zelf bewaakt. Per taak kan dat een maximum aantal stappen of een maximale hoeveelheid verwerkte tekst zijn; per agent een budget over een periode. Wordt de grens bereikt, dan stopt de agent en zet hij het dossier klaar voor een medewerker in plaats van door te gaan. Dat vangt de twee duurste situaties op: de agent die blijft proberen zonder vooruit te komen, en de onverwachte piek in het aantal dossiers. Een plafond dat te krap staat, heeft een prijs: dossiers blijven liggen en medewerkers verliezen het vertrouwen. Stel de grens daarom eerst ruim in, bekijk het werkelijke verbruik en scherp daarna aan.

Verbruik zichtbaar maken en lokaal draaien

Wat u niet ziet, kunt u niet bijsturen. Laat het verbruik daarom registreren per proces, per agent en per afgehandeld dossier. Dan wordt duidelijk dat bijvoorbeeld de mailverwerking weinig verbruikt en het opstellen van rapporten veel. Een andere weg is een lokaal taalmodel op uw eigen server of in een private cloud. De kost verschuift dan van verbruik naar vaste rekenkracht, wat ze voorspelbaarder maakt, en uw gegevens blijven binnen het bedrijf. Daar staat tegenover dat u hardware en beheer nodig hebt en dat lokale modellen niet elke taak even goed aankunnen. Een combinatie komt vaak voor: lokaal voor het gewone en het vertrouwelijke werk, een zwaarder model voor de uitzondering.