VIBELAB
Een goedkeuring zonder test is een handtekening, en een handtekening is theater. IJk houdt bij welke agents in je bedrijf draaien, bewaart wat ze antwoordden, en legt twee versies naast elkaar met de cijfers erbij. Zo staat er bewijs onder je beslissing.
Een platform dat ik zelf gebouwd heb riep vanuit negen verschillende bestanden rechtstreeks een taalmodel aan, elk met een eigen model en een eigen temperatuur. Niemand had die negen ooit als agent aangemeld. Ze deden gewoon hun werk, dag na dag, zonder dat iemand kon zeggen wat ze kostten of hoe vaak ze ernaast zaten. Dat is de normale toestand in de meeste bedrijven die met AI werken.
Elke agent krijgt een eigenaar, een doel in gewone taal en een risicoklasse. Een agent die draait zonder ooit aangemeld te zijn, komt vanzelf bovenaan het register te staan als vondst.
Elke uitvoering wordt een boom van stappen met invoer, antwoord, kost en duur. Gevoelige invoer verdwijnt na de bewaartermijn, de stap zelf blijft staan, zodat een uitvoering controleerbaar blijft nadat de inhoud weg is.
Je bouwt een testset uit echte uitvoeringen, verandert een prompt of een model, en ziet per geval wat beter werd, wat slechter en wat stuk ging. Met de kost en de duur ernaast.
Ik heb IJk als eerste op mijn eigen platform gezet en één taak laten scoren door vier modellen. Negen taken uit de Vlaamse kmo-praktijk, met de categorie die een mens eraan geeft.
Het duurste model is het enige dat alles juist heeft, aan achtentachtig keer de kost van het goedkoopste. Of dat de moeite waard is, hangt af van wat er van die beslissing afhangt. Zonder deze tabel had ik erover gediscussieerd. Nu koos ik.
Het eerste echte experiment scoorde nul procent. Het model deed zijn werk: de agent leverde in productie strikte JSON en onder de meting proza, omdat het antwoordschema niet meeging. Dat verschil vind je nooit door naar één antwoord te kijken. Een tweede meting legde bloot dat een van de modellen negen keer op negen stukliep op een parameter die het niet meer aanvaardt.
IJk werkt met eender welk model en eender welke aanbieder. Elk systeem dat OpenTelemetry spreekt, kan rapporteren.
IJk hangt aan geen enkel platform vast. Elk systeem dat OpenTelemetry spreekt kan rapporteren, en voor code die je zelf schrijft is het één functie rond je modelaanroep.
Wil je zien wat jouw agents doen?
Ik zet IJk voor je op, meestal binnen een dag, en dan kijken we samen naar je eerste register.
De eerste agent die IJk als niet-aangemeld aanwees, was er een van mij.