Google heeft een nieuw AI-model uitgebracht dat klein genoeg is om lokaal te draaien op een gemiddelde zakelijke laptop. Dit betekent dat je AI-taken zoals data-analyse en tekstverwerking kunt uitvoeren zonder dat je daarvoor clouddiensten hoeft te gebruiken of dure hardware hoeft aan te schaffen.

Wat er aan de hand is

Google heeft de Gemma 4 12B aangekondigd, een nieuw model in de open-source Gemma-familie. Waar de eerdere modellen uit deze serie ofwel te licht waren voor serieus werk (de mobiele varianten) of juist zware hardware vereisten (de 26B en 31B modellen), vult de 12B het gat daartussen. Volgens Google draait dit model op elke laptop met 16GB aan systeemgeheugen of videogeheugen. De 12 miljard parameters tellende versie gebruikt ongeveer de helft van het geheugen van de grotere 26B-variant, terwijl de prestaties volgens de benchmarks van Google bijna even goed zijn. Het model wordt uitgebracht onder de open Apache 2.0-licentie, wat betekent dat je het vrij kunt gebruiken en aanpassen.

Wat dit betekent

Voor ondernemers en professionals betekent dit dat AI-toepassingen die voorheen alleen in de cloud of op dure werkstations mogelijk waren, nu lokaal op een gewone laptop draaien. Dat heeft twee grote voordelen. Ten eerste verdwijnen de maandelijkse cloudkosten voor API-gebruik. Ten tweede blijven je gegevens op je eigen apparaat, wat belangrijk kan zijn voor vertrouwelijke bedrijfsinformatie of klantdata. Het model is geschikt voor taken zoals het samenvatten van documenten, het beantwoorden van vragen over eigen data, het genereren van teksten en het uitvoeren van analyses. Omdat het lokaal draait, is er geen internetverbinding nodig tijdens het gebruik, wat het ook geschikt maakt voor situaties met een beperkte of onbetrouwbare verbinding.

Hoe je dit kunt toepassen

Als je regelmatig offertes of rapporten moet schrijven. Je zou het model kunnen gebruiken om op basis van een paar steekwoorden een eerste concept te genereren. Omdat het lokaal draait, kun je vertrouwelijke bedrijfsgegevens veilig verwerken zonder dat die een externe server passeren. Een mogelijkheid is om een map met eerdere offertes te gebruiken als voorbeeldmateriaal, zodat het model de stijl en toon van jouw bedrijf overneemt.

Als je veel klantvragen krijgt via e-mail of chat. Overweeg om het model in te zetten voor het samenvatten van lange e-mailconversaties of het voorstellen van antwoorden op veelgestelde vragen. Omdat het model op je eigen laptop draait, kun je het eenvoudig testen zonder dat je een IT-afdeling nodig hebt. Je zou kunnen beginnen met het verwerken van een set van honderd oude klantvragen om te zien of de antwoorden van voldoende kwaliteit zijn.

Als je data-analyse doet in Excel of Google Sheets. Het model kan helpen bij het interpreteren van cijferreeksen of het opsporen van patronen in verkoopdata. Een optie is om een CSV-bestand met je maandcijfers te importeren en het model te vragen naar trends of uitschieters. Omdat het lokaal werkt, kun je dit herhalen zonder dat elke analyse extra cloudkosten met zich meebrengt.

Als je een klein team aanstuurt en notulen of actielijsten moet maken. Je zou het model kunnen gebruiken om een gespreksopname of aantekeningen om te zetten in een gestructureerde samenvatting met actiepunten. Een mogelijkheid is om het model te trainen op een paar eerdere notulen, zodat het de gewenste opmaak en stijl leert herkennen.

De praktische toepassing hangt af van jouw situatie, maar de drempel is laag: zolang je laptop 16GB RAM heeft, kun je het model downloaden en uitproberen. Google heeft het model beschikbaar gesteld via de gebruikelijke kanalen voor open-source AI-modellen.

Bron: Arstechnica