Het antwoord is dat Google een nieuw AI-model heeft uitgebracht dat klein genoeg is om te draaien op een gemiddelde laptop met 16GB RAM, zonder dat je clouddiensten of dure hardware nodig hebt. Dit betekent dat je als ondernemer taken zoals tekstanalyse of klantenservice lokaal kunt uitvoeren, zonder maandelijkse cloudkosten of afhankelijkheid van een internetverbinding.

Wat er aan de hand is

Google heeft de Gemma 4 12B aangekondigd, een nieuw model in de Gemma 4-familie dat specifiek is ontworpen om te draaien op consumentenlaptops. In april dit jaar bracht Google al vier modellen uit in deze familie, waaronder twee mobiele varianten (E2B en E4B) en twee zwaardere modellen voor serieus werk (26B Mixture of Experts en 31B Dense). Daartussen zat een gat, dat nu wordt opgevuld door de 12B. Volgens Google is dit model uniek omdat het werkt op elke computer met 16GB systeem-RAM of VRAM, zonder dat de kwaliteit eronder lijdt. De geheugenvoetafdruk is ongeveer de helft van die van de 26B MoE, en Google claimt dat de prestaties in benchmarks bijna even goed zijn. De overstap naar een open Apache 2.0-licentie maakt het model bovendien vrij beschikbaar voor gebruik en aanpassing.

Wat dit betekent

Voor ondernemers met een gemiddelde laptop – denk aan een zakelijke laptop uit de afgelopen twee jaar – opent dit de deur naar lokale AI-toepassingen zonder dure cloudabonnementen. Waar je eerder afhankelijk was van diensten zoals ChatGPT of Google Cloud voor tekstverwerking, kun je nu een model op je eigen machine draaien. Dat bespaart niet alleen maandelijkse kosten, maar geeft ook meer controle over privacy, omdat gevoelige data niet naar externe servers wordt gestuurd. Vooral voor kleine bedrijven die werken met klantgegevens of interne documenten is dat een voordeel. Het model is geschikt voor taken zoals samenvatten, classificeren en beantwoorden van vragen, zonder dat je een dure AI-versneller nodig hebt.

Hoe je dit kunt toepassen

Als je een webshop runt en klantvragen automatisch wilt beantwoorden, overweeg om Gemma 4 12B lokaal te draaien voor het genereren van standaardantwoorden op veelgestelde vragen. Je zou het model kunnen trainen op je eigen FAQ of productbeschrijvingen, zodat het specifieke antwoorden geeft zonder dat klantdata de deur uit gaat. Een mogelijkheid is om het model via een simpele Python-script te koppelen aan een chatwidget op je site, maar dat vereist wel enige technische basiskennis.

Als je een team aanstuurt en veel interne documenten hebt, kun je het model gebruiken om lange rapporten of notulen samen te vatten. Je zou een map met PDF’s of Word-bestanden kunnen inladen en het model vragen om per document een korte samenvatting te maken. Dit bespaart tijd en voorkomt dat je vertrouwelijke bedrijfsinformatie naar een clouddienst stuurt. Overweeg om te beginnen met een test van tien documenten om te zien of de kwaliteit voor jouw doeleinden voldoende is.

Als je in de consultancy of juridische sector werkt, kun je het model inzetten voor het classificeren van clausules in contracten of het extraheren van kernpunten uit lange teksten. Je zou een script kunnen schrijven dat het model vraagt om per alinea aan te geven of het om een verplichting, een uitzondering of een deadline gaat. Dit werkt het beste als je de output controleert, maar het kan de eerste ruwe analyse aanzienlijk versnellen.

Als je een freelancer bent die regelmatig content schrijft, kun je het model gebruiken om ruwe aantekeningen om te zetten in gestructureerde teksten. Je zou bijvoorbeeld een interviewtranscript kunnen inladen en het model vragen om een artikel van 500 woorden te schrijven op basis van de belangrijkste punten. Let wel: het model is niet getraind op jouw specifieke stijl, dus je zult de output altijd moeten redigeren. Een optie is om het model eerst een ruwe versie te laten maken en die daarna zelf aan te passen.

Bron: Arstechnica