Het draaien van AI-software is duur en technisch complex, vaak omdat je vastzit aan de specifieke hardware van één leverancier, zoals NVIDIA. Volgens een aankondiging van startup Gimlet Labs is er nu een technologie die dit probleem aanpakt. Hun softwarelaag, genaamd Gimlet, zou het mogelijk maken om één AI-toepassing te laten draaien op chips van verschillende fabrikanten, zoals NVIDIA, AMD, Intel, ARM, Cerebras en d-Matrix, tegelijkertijd. Dit kan een manier zijn om de kosten en risico’s van AI-infrastructuur beter te beheersen.

Wat is het precies en waarom is het relevant?

In de praktijk betekent dit dat een bedrijf zijn AI-model, bijvoorbeeld voor het analyseren van klantfeedback of het genereren van content, niet meer per se hoeft te optimaliseren voor één type chip. De software van Gimlet Labs zou automatisch de rekenkracht van verschillende aanwezige chips in een server of datacenter kunnen benutten. Voor ondernemers die AI serieus inzetten, gaat het hier om de fundamenten: de rekencapaciteit (inference) die nodig is om getrainde modellen daadwerkelijk te gebruiken. Een bottleneck of hoge kosten op dit vlak kunnen innovatie remmen.

De relevantie ligt in flexibiliteit en onderhandelingspositie. Als je software niet meer afhankelijk is van één chipfabrikant, kun je mogelijk goedkopere of beter beschikbare chips inkopen. Het vermindert ook het risico om door schaarste of prijsstijgingen van één leverancier getroffen te worden. Het is een stap naar een meer open en concurrerende markt voor AI-hardware, wat op termijn kosten kan drukken.

De belofte versus de praktijk

Het is belangrijk om te benadrukken dat dit een aankondiging is van een startup die net 80 miljoen dollar heeft opgehaald. De technologie klinkt veelbelovend, maar moet zich in de praktijk nog op grote schaal bewijzen. Het concept zelf—het abstract maken van software van de onderliggende hardware—is niet nieuw, maar de toepassing op het complexe terrein van AI-inference op verschillende chiparchitecturen wel. Voor grote cloudproviders en bedrijven met eigen datacenters kan dit een interessante ontwikkeling zijn om te volgen.

Voor de gemiddelde ondernemer die AI gebruikt via een clouddienst zoals OpenAI, Azure of Google Cloud, verandert er direct niets. Die betaalt voor een eindservice en de onderliggende hardware is abstract. De impact van dit soort technologie wordt eerst zichtbaar voor bedrijven die hun eigen AI-modellen hosten of zeer gespecialiseerde, compute-intensieve toepassingen hebben waar elke euro en elke watt aan stroom telt.

Hoe kun je dit vandaag toepassen?

De directe toepassing van deze specifieke technologie is nu nog weggelegd voor grote spelers. Maar het onderliggende principe—het vermijden van vendor lock-in en het streven naar kostenefficiënte, flexibele AI-infrastructuur—is voor elke ondernemer relevant. Je kunt hier nu al op anticiperen in je keuzes.

Als je een AI-model laat ontwikkelen voor een specifieke taak, zoals voorspellend onderhoud of beeldherkenning, overweeg dan om in je gesprekken met ontwikkelaars of bureaus te vragen naar de portabiliteit van het model. Vraag of het model gebouwd is met frameworks (zoals ONNX) die het makkelijker maken om het later op verschillende soorten hardware te draaien, mocht dat kostenvoordelen opleveren.

Als je clouddiensten gebruikt voor AI, kijk dan verder dan alleen de maandelijkse kosten. Onderzoek de uitgangsopties (egress fees) en hoe gemakkelijk het is om je data en modellen mee te nemen naar een andere provider. Vendor lock-in ontstaat niet alleen door hardware, maar ook door data en workflows die vast komen te zitten in één ecosysteem.

Als je groeit en overweegt om AI-workloads naar je eigen servers te halen vanwege kosten of controle, maak dan infrastructuur-flexibiliteit een onderdeel van je eisenpakket. Vraag je IT-partner of ze oplossingen kennen die onafhankelijkheid van specifieke chipfabrikanten ondersteunen, zodat je toekomstige opties openhoudt.

Als je een softwarebedrijf runt dat een AI-functie aanbiedt, denk dan na over de schaalbaarheid en kosten van de inference. Het kunnen benutten van verschillende soorten hardware in de cloud kan een concurrentievoordeel worden als het je in staat stelt dezelfde service tegen lagere kosten aan te bieden. Houd dit soort platformonafhankelijke technologieën in de gaten.

De kern is bewustzijn. De keuzes die je nu maakt in software-architectuur en leveranciers bepalen je flexibiliteit en kosten over een jaar. Door nu al na te denken over onafhankelijkheid van specifieke hardware, bouw je aan een toekomstbestendigere en mogelijk voordeligere AI-strategie.

Bron: Techcrunch