Een nieuwe ontwikkeling maakt geavanceerde kunstmatige intelligentie plotseling veel toegankelijker en betaalbaarder voor kleinere bedrijven. Het gaat om de compressie van grote AI-modellen, waardoor ze minder rekenkracht nodig hebben om te draaien. Het bedrijf Multiverse Computing heeft volgens een aankondiging modellen van onder andere OpenAI, Meta en Mistral gecomprimeerd en deze nu beschikbaar gesteld via een app en een API. Voor ondernemers betekent dit concreet dat ze geavanceerde AI-taken kunnen uitvoeren op hun bestaande hardware, zonder dure investeringen in gespecialiseerde servers.

Wat is modelcompressie precies?

In essentie is het een techniek om een groot en krachtig AI-model te verkleinen, zonder dat de prestaties drastisch achteruitgaan. Denk aan het inpakken van een grote bestandsmap naar een zip-bestand. Het origineel is nog steeds aanwezig, maar het neemt minder ruimte in en is sneller te verplaatsen. Voor AI-modellen vertaalt dit zich naar minder geheugengebruik en minder rekenkracht (GPU/CPU) die nodig is om het model te laten werken. Dit maakt het mogelijk om modellen die normaal gesproken alleen op krachtige cloudservers draaien, lokaal op een bedrijfscomputer of een betaalbare server te gebruiken.

De praktische voordelen voor ondernemers

Het directe voordeel is financiëel. Het draaien van grote AI-modellen in de cloud kan kostbaar zijn, met prijzen per prompt of per uur voor rekenkracht. Door een gecomprimeerd model lokaal of op een eigen, goedkopere server te draaien, verdwijnen deze doorlopende cloudkosten. Een ander groot voordeel is snelheid en privacy. Omdat de data niet heen en weer hoeft naar een externe server, zijn antwoorden vaak sneller. Bovendien blijven alle gegevens, inclusief mogelijk gevoelige bedrijfsinformatie, binnen de eigen IT-omgeving. Dit kan een belangrijk argument zijn voor branches zoals de zorg, advocatuur of financiële dienstverlening.

De beperkingen en afwegingen

Het is belangrijk om te beseffen dat compressie bijna altijd een trade-off is. Volgens Multiverse Computing behouden hun gecomprimeerde modellen dezelfde kwaliteit, maar in de praktijk kan er bij extreme compressie soms een kleine afname in nauwkeurigheid of creativiteit van het model optreden. Voor veel zakelijke toepassingen, zoals het samenvatten van documenten, het categoriseren van data of het genereren van standaardteksten, is dit verschil vaak verwaarloosbaar. Voor kritieke of zeer creatieve taken zou een ondernemer de output nog steeds moeten controleren. De beschikbaarheid via een API maakt het wel eenvoudig om het gecomprimeerde model eerst te testen voor een specifieke use-case.

Hoe kun je dit vandaag toepassen?

Deze ontwikkeling opent deuren voor ondernemers die eerder werden tegengehouden door kosten of technische complexiteit. Het idee is niet dat je zelf modellen gaat comprimeren, maar dat je gebruik kunt maken van diensten die dit al doen. Hier zijn enkele manieren waarop je dit zou kunnen verkennen voor jouw bedrijf.

Als je een webshop runt met duizenden producten en moeite hebt met het consistent schrijven van unieke productbeschrijvingen, zou je kunnen onderzoeken of een gecomprimeerd taalmodel lokaal kan draaien op je bedrijfsserver. Dit model kan dan, zonder doorlopende cloudkosten, beschrijvingen genereren op basis van je productspecificaties, waarbij alle klant- en productdata veilig intern blijven.

Als je een klein advocatenkantoor of een accountantskantoor hebt waar veel documenten moeten worden geanalyseerd en samengevat, is privacy cruciaal. Een gecomprimeerd model dat op een beveiligde computer binnen je netwerk draait, zou kunnen helpen bij het snel doorzoeken en samenvatten van dossiers, zonder dat gevoelige cliëntinformatie ooit je eigen systeem verlaat.

Als je een productiebedrijf hebt met veel machine-onderhoudslogboeken, zou je kunnen kijken naar een gecomprimeerd model voor patroonherkenning. Het model kan lokaal op een industriële pc draaien en historische data analyseren om voorspellend onderhoud te suggereren, zonder afhankelijk te zijn van een internetverbinding of dure clouddiensten.

Als je een marketing- of communicatiebureau runt dat voor verschillende klanten content produceert, kan een lokaal draaiend model helpen bij brainstormsessies, het opstellen van eerste concepten of het herschrijven van teksten. Dit geeft je meer controle en voorspelbare kosten vergeleken met API-gebruik dat per woord of verzoek kan oplopen.

Als je als ZZP’er of freelancer werkt en AI wilt inzetten voor administratie, planning of contentcreatie, maar de maandelijkse kosten van premium AI-diensten te hoog vindt, zou een eenmalige investering in een krachtigere computer die een gecomprimeerd model aankan op de lange termijn voordeliger kunnen zijn. Je begint dan door de beschikbare apps van aanbieders zoals Multiverse Computing te testen voor je specifieke taken.

De kern is dat modelcompressie AI democratiseert. Het stelt je in staat om de kracht van geavanceerde modellen te benutten op een manier die past bij je budget en je technische infrastructuur. Een mogelijke eerste stap is het volgen van aanbieders op dit gebied en het testen van hun demo’s of API’s met een concrete, kleinschalige taak uit je dagelijkse praktijk.

Bron: Techcrunch