Het antwoord is dat je voor een AI-assistent in je bedrijf niet één geheugenstrategie hoeft te kiezen, maar een combinatie van twee benaderingen: een snelle, directe variant voor korte gesprekken en een externe opslag voor langdurige of complexe taken. De truc zit in het herkennen welk type werk je assistent moet doen en daar de juiste mix op los te laten.

Wat er aan de hand is

De blog van n8n, een platform voor workflowautomatisering, legt uit dat AI-geheugen in de praktijk veel complexer is dan een simpele aan-uitknop. In plaats van één soort geheugen onderscheiden ontwikkelaars twee hoofdcategorieën: in-context memory en external memory. In-context memory is het korte-termijngeheugen dat in de prompt zelf zit. Het is razendsnel en accuraat, maar heeft een harde capaciteitsgrens. External memory slaat informatie op in een aparte database, zoals een vector database, en haalt alleen relevante stukken op wanneer nodig. Dit is trager, maar schaalt veel beter voor grote hoeveelheden data. Volgens de blog gebruiken de meeste productiesystemen een combinatie van beide om de balans te vinden tussen snelheid en capaciteit.

Wat dit betekent

Voor ondernemers en professionals betekent dit dat de keuze voor een AI-assistent niet alleen draait om welk taalmodel je gebruikt, maar ook om hoe je het geheugen inricht. Heb je een assistent die alleen korte, eenmalige vragen beantwoordt, zoals een chatbot voor veelgestelde vragen, dan is in-context memory voldoende. Maar zodra je assistent langere gesprekken voert, klantgeschiedenis onthoudt of werkt met documenten, dan heb je external memory nodig. De fout die veel bedrijven maken is dat ze één type geheugen kiezen en hopen dat het werkt. In de praktijk leidt dat tot assistenten die details vergeten, foutieve antwoorden geven of vastlopen bij lange gesprekken. Voor een MKB’er die een AI-assistent wil inzetten voor klantenservice, interne kennisdeling of verkoopondersteuning, is het essentieel om vooraf te bepalen welk type werk de assistent doet en daar de geheugenstrategie op aan te passen.

Hoe je dit kunt toepassen

Als je een webshop runt en een AI-chatbot wilt inzetten voor klantvragen. Je chatbot krijgt vragen over bestellingen, retouren en productinformatie. De meeste vragen zijn kort en eenmalig. Gebruik dan in-context memory: de chatbot leest de hele gespreksgeschiedenis in één keer. Dit werkt snel en accuraat, zolang gesprekken niet langer worden dan een paar berichten. Een mogelijkheid is om de chatbot na elk gesprek te resetten, zodat hij niet verzandt in oude context. Overweeg om alleen voor terugkerende klanten een eenvoudige externe opslag toe te voegen die hun bestelnummer en eerdere vragen onthoudt.

Als je een team aanstuurt en een AI-assistent wilt gebruiken voor interne kennisdeling. Je assistent moet vragen beantwoorden over bedrijfsprocessen, handleidingen en projectdocumentatie. Dit vraagt om external memory. Je zou kunnen overwegen om een vector database te gebruiken waarin je alle bedrijfsdocumenten opslaat. De assistent haalt alleen de relevante stukken op bij elke vraag. Dit is iets trager, maar voorkomt dat hij informatie vergeet of door elkaar haalt. Een optie is om te beginnen met een kleine set documenten en uit te breiden naarmate de assistent vaker wordt gebruikt.

Als je in de zorg werkt en een AI-assistent wilt inzetten voor het samenvatten van patiëntendossiers. Dit is een complexe taak waarbij de assistent lange, gestructureerde informatie moet verwerken. Een combinatie van beide geheugentypes is hier het beste. Gebruik external memory om de dossiers op te slaan en in-context memory voor het directe gesprek met de zorgverlener. Overweeg om de assistent zo in te richten dat hij eerst de relevante dossiers ophaalt en die vervolgens in de context plaatst voor een nauwkeurige samenvatting. De praktische toepassing hangt af van jouw situatie, maar het principe blijft hetzelfde: bepaal eerst wat de assistent moet onthouden en kies dan de juiste mix.

Bron: n8n blog