Na tientallen jaren alleen ontwerpen te licentiëren, gaat chiparchitect Arm nu zelf processors maken. Het Britse bedrijf heeft zijn eerste eigen CPU voor datacenters aangekondigd, de Arm AGI CPU. Deze chip is specifiek ontworpen voor ‘inference’, het proces waarbij een getraind AI-model daadwerkelijk taken uitvoert, zoals het beantwoorden van vragen of het genereren van afbeeldingen. De eerste klant is Meta, dat volgens het artikel moeite heeft gehad met de ontwikkeling van eigen AI-chips. Meta is volgens Arm de belangrijkste partner en mede-ontwikkelaar en plant meerdere generaties van deze datacenter-CPU’s te gebruiken, naast hardware van andere leveranciers zoals Nvidia.

Wat betekent deze verschuiving voor de markt?

Arm’s architectuur staat bekend om zijn energie-efficiëntie en is de basis van bijna alle smartphones en een groeiend aantal laptops. Door nu zelf de productie op zich te nemen voor datacenters, stapt Arm direct de arena in met fabrikanten als Intel, AMD en Nvidia. Het doel is om een alternatief te bieden voor de huidige, vaak dure, AI-hardware. Voor cloudproviders zoals Meta betekent dit een extra keuze en potentieel meer onderhandelingsmacht over prijzen en prestaties. Meer concurrentie in de hardwaremarkt kan op de langere termijn leiden tot lagere kosten voor het draaien van AI-diensten.

Waarom is inference belangrijk voor ondernemers?

Inference is het moment waarop jij, als gebruiker, interactie hebt met AI. Of je nu ChatGPT gebruikt, een AI-tool voor beeldbewerking of een geautomatiseerde klantenservice, al deze acties vereisen inference-berekeningen in de cloud. De snelheid, betrouwbaarheid en kosten van deze diensten worden direct bepaald door de hardware waarop ze draaien. Snellere en efficiëntere chips voor inference kunnen betekenen dat AI-tools goedkoper worden om aan te bieden, sneller reageren en complexere taken aankunnen zonder dat de prijs voor de eindgebruiker omhoog gaat.

Hoe kun je dit vandaag toepassen?

De directe impact van een nieuwe chip in Meta’s datacenters is nu nog niet voelbaar. Maar de strategische verschuiving van Arm is een signaal van een bredere trend: de race om AI sneller en goedkoper te maken versnelt. Als ondernemer kun je hier je voordeel mee doen door bewust te worden van de infrastructuur achter de tools die je gebruikt.

Als je afhankelijk bent van cloud-gebaseerde AI-tools voor je dagelijkse operaties, zoals marketingautomatisering of data-analyse, is een mogelijkheid om in je evaluatiecriteria ook de leverancier zijn infrastructuurstrategie mee te nemen. Vraag bij aanbieders naar hun roadmap voor kostenbeheersing en prestatiesverbetering.

Als je een SaaS-dienst runt die zelf AI-functionaliteiten aanbiedt, zou je kunnen overwegen hoe je afhankelijkheid van specifieke cloudproviders of hardwareleveranciers is. Diversificatie van de onderliggende infrastructuur kan in de toekomst kosten besparen en flexibiliteit vergroten.

Als je investeert in de implementatie van een grote AI-oplossing, bijvoorbeeld voor klantenservice of productaanbevelingen, is een optie om niet alleen naar de softwarekosten te kijken, maar ook te vragen naar de inference-kosten op de lange termijn. Meer concurrentie in de hardwaremarkt kan gunstig zijn voor je total cost of ownership.

Als je simpelweg gebruikmaakt van diensten als ChatGPT of Midjourney, hoef je niets te doen. De voordelen van efficiëntere hardware zullen, als het goed is, vanzelf doorsijpelen in de vorm van lagere abonnementskosten, hogere gebruikerslimieten of snellere reactietijden bij de tools die je al gebruikt.

De praktische toepassing is vooral strategisch en bewustwording. De komst van nieuwe chips zoals die van Arm onderstreept dat de ontwikkeling van AI niet alleen om software gaat, maar ook om een fundamentele race in hardware die uiteindelijk de prijs en prestaties voor iedere gebruiker bepaalt.

Bron: The Verge