Google heeft een nieuw AI-model uitgebracht dat klein genoeg is om op een gemiddelde zakelijke laptop te draaien. De Gemma 4 12B heeft 12 miljard parameters en werkt op elke computer met 16GB RAM of VRAM. Dit betekent dat je AI-taken zoals data-analyse of klantinteractie lokaal kunt uitvoeren, zonder afhankelijk te zijn van clouddiensten of dure hardware.

Wat er aan de hand is

Google heeft de Gemma 4 12B aangekondigd, een nieuw model in de open-source Gemma 4-familie. Het model vult een gat in het bestaande aanbod: de eerdere modellen waren ofwel te licht (de mobiele E2B en E4B) of te zwaar (de 26B en 31B versies). De 12B is ontworpen om op consumentenlaptops te draaien, zolang die minimaal 16GB werkgeheugen hebben. Volgens Google is de 12B bijna net zo capabel als de grotere 26B Mixture of Experts, maar gebruikt hij ongeveer de helft van het geheugen. Het model valt onder de open Apache 2.0-licentie, wat betekent dat je het vrij kunt gebruiken en aanpassen.

Wat dit betekent

Voor het MKB is dit een belangrijke verschuiving. Tot nu toe waren krachtige AI-modellen vaak alleen toegankelijk via clouddiensten, met terugkerende kosten, datalekrisico’s en afhankelijkheid van een internetverbinding. Met een lokaal draaiend model zoals de Gemma 4 12B kun je gevoelige bedrijfsdata op je eigen machine verwerken, zonder dat deze naar externe servers gaat. Dit is vooral relevant voor bedrijven die werken met klantgegevens, financiële rapporten of concurrentiegevoelige analyses. De drempel is laag: de meeste zakelijke laptops van de afgelopen twee jaar hebben al 16GB RAM. Je hebt geen dure AI-versneller of cloudabonnement nodig.

Hoe je dit kunt toepassen

Als je een webshop runt en klantdata wilt analyseren zonder cloudkosten. Je zou het model lokaal kunnen inzetten om aankooppatronen te herkennen in je verkoopdata. Een mogelijkheid is om het model te voeden met een export van je orders en het te vragen naar trends, zoals welke producten vaak samen worden gekocht. Omdat alles op je eigen laptop blijft, hoef je geen klantgegevens naar een externe API te sturen.

Als je een team aanstuurt en interne documenten wilt doorzoeken. Overweeg om het model te gebruiken als een lokale zoekmachine voor je bedrijfshandleidingen, notulen of offertes. Je kunt het model vragen om samenvattingen te maken van lange documenten of om specifieke informatie te vinden, zoals ‘wat staat er in het contract over betalingsvoorwaarden?’ Dit werkt zonder dat je documenten naar de cloud uploadt.

Als je in de zorg of juridische sector werkt en privacygevoelige data verwerkt. Een optie is om het model te gebruiken voor het anonimiseren van patiëntendossiers of het extraheren van clausules uit contracten. Omdat het model lokaal draait, voldoe je aan strenge privacyregels zoals de AVG, zonder dat je een dure private cloudomgeving hoeft in te richten.

Als je een klein productiebedrijf bent en je voorraadbeheer wilt optimaliseren. Je zou het model kunnen vragen om historische voorraadgegevens te analyseren en voorspellingen te doen over welke onderwerpen of materialen je moet bijbestellen. Het model kan patronen herkennen in je eigen data, zonder dat je die met een externe partij deelt.

Als je een consultancybureau runt en snel rapporten wilt genereren voor klanten. Overweeg om het model te gebruiken om ruwe data om te zetten in een eerste opzet van een adviesrapport. Je voert de cijfers in, het model genereert een samenvatting en aanbevelingen. Omdat het lokaal draait, kun je dit doen zonder dat je concurrentiegevoelige inzichten naar een clouddienst stuurt.

Bron: Arstechnica