Google heeft een nieuw AI-model uitgebracht dat je op een gemiddelde zakelijke laptop kunt draaien, zolang die 16GB werkgeheugen heeft. Het model heet Gemma 4 12B en is bedoeld voor ondernemers die AI lokaal willen gebruiken, zonder afhankelijk te zijn van dure clouddiensten of speciale hardware.

Wat er aan de hand is

Google heeft de Gemma 4-familie uitgebreid met een nieuw model dat precies in het gat valt tussen de mobiele versies en de zware modellen. Waar de bestaande Gemma 4 26B en 31B modellen veel rekenkracht vragen, is de nieuwe 12B-versie ontworpen om te draaien op een laptop met 16GB RAM of VRAM. Volgens Google is het model bijna net zo capabel als de grotere varianten, althans volgens de benchmarks. De aankondiging past in een bredere trend: AI-bedrijven maken modellen kleiner en efficiënter, zodat ze lokaal kunnen draaien in plaats van in de cloud. Eerder dit jaar schakelde Google al over op een open Apache 2.0-licentie voor de Gemma-serie, wat betekent dat je het model vrij kunt gebruiken en aanpassen.

Wat dit betekent

Voor ondernemers betekent dit dat AI-toepassingen niet langer alleen weggelegd zijn voor bedrijven met dure servers of cloudabonnementen. Een model dat op een gewone laptop draait, opent de deur naar lokale AI zonder dat je gegevens naar een externe server hoeven. Dat is relevant voor wie werkt met vertrouwelijke klantdata, bedrijfsgeheimen of gevoelige documenten. Ook bespaar je op cloudkosten: je betaalt geen per-verzoek-tarieven meer. De 12B-versie heeft ongeveer de helft van het geheugen nodig van de 26B-variant, maar levert volgens Google vergelijkbare prestaties. Dat betekent dat je voor veel dagelijkse taken geen zwaarder model nodig hebt.

Hoe je dit kunt toepassen

Als je een consultancy- of adviesbureau runt en werkt met vertrouwelijke rapporten, kun je overwegen om Gemma 4 12B lokaal te draaien voor het samenvatten van documenten. Je hoeft geen data meer naar een clouddienst te sturen, wat de privacy waarborgt. Een mogelijkheid is om het model te gebruiken voor het genereren van eerste concepten van adviesnotities, die je daarna zelf finetuned.

Als je een webshop beheert en productbeschrijvingen moet schrijven voor honderden artikelen, kun je het model inzetten voor het genereren van unieke teksten. Omdat het lokaal draait, zijn er geen variabele kosten per gegenereerde beschrijving. Je zou kunnen experimenteren met het aanleveren van een paar voorbeeldbeschrijvingen en het model de rest laten invullen.

Als je een team aanstuurt en interne processen wilt stroomlijnen, kun je het model gebruiken voor het beantwoorden van veelgestelde vragen uit je personeelshandboek. Omdat het model op een laptop draait, kun je het eenvoudig testen zonder IT-afdeling. Een optie is om een paar veelvoorkomende vragen in te voeren en te kijken of de antwoorden accuraat genoeg zijn voor intern gebruik.

Als je in de juridische sector werkt en contracten moet analyseren, kun je het model lokaal draaien om clausules te markeren of samenvattingen te maken. De privacy van de documenten blijft gewaarborgd omdat ze je computer niet verlaten. Overweeg om te beginnen met een klein aantal proefdocumenten om de kwaliteit van de output te beoordelen.

Bron: Arstechnica