Lokale AI in de praktijk: lessen van onze eigen AI-server

Lokale AI betekent dat een taalmodel op een computer in je eigen netwerk draait, in het Engels local AI of local LLM. Wil je AI inzetten voor documenten of klantcontact, dan kom je al snel bij vragen als deze:

• Mag onze klantdata wel naar een externe AI-dienst?
• Wat kost het als we het op grote schaal gebruiken?
• Worden we afhankelijk van één leverancier?

Wij draaien zelf een open taalmodel op een videokaart uit 2016. Je leest hier wat die opstelling kan en welke fouten we onderweg maakten. Lokaal draaien is één optie naast cloud-AI, dus we laten ook zien wanneer de cloud beter past.

Wat zijn lokale AI-modellen, en wat is er veranderd?

Lokale AI-modellen zijn taalmodellen die je downloadt en op eigen hardware in je eigen netwerk draait. Je vragen en documenten blijven dan op een computer die je zelf beheert, zonder externe AI-dienst ertussen. Onderhoud en beveiliging regel je ook zelf.

Open source taalmodellen zijn veel beter geworden

Parameters zijn de getallen waarin de “kennis” van een model zit. Open modellen van ongeveer 4 tot 35 miljard parameters halen voor taken als samenvatten en het uitlezen van documenten een niveau dat een paar jaar geleden alleen grote cloudmodellen bereikten. Bekende families zijn Qwen (Alibaba), Llama (Meta), Mistral, Gemma (Google), Phi (Microsoft) en DeepSeek.

In de volksmond heten ze open source LLM’s. Formeel zijn de meeste “open-weight”: je mag het model downloaden en draaien, terwijl de trainingsdata vaak niet openbaar zijn. De licentie verschilt per model.

Groot model, klein deel aan het werk (Mixture-of-Experts)

Ons model, Qwen3.6-35B-A3B, heeft 35 miljard parameters. Per token, een stukje tekst van vaak minder dan een woord, gebruikt het er ongeveer 3 miljard: 8 van de 256 “experts” (bron: modelkaart Qwen3.6-35B-A3B). Daardoor is het, zelfs grotendeels op een gewone processor, veel sneller dan een even groot “dicht” model, dat voor elk token al zijn parameters inzet.

Quantisatie: een jpg in plaats van een raw-foto

Een jpg is veel kleiner dan een raw-foto en voor de meeste doelen goed genoeg. Quantisatie doet iets vergelijkbaars met een taalmodel: de getallen gaan van 16 bits naar 3 tot 5 bits. Een model van 35 miljard parameters neemt op 16 bits ongeveer 70 GB in, op 4 bits in theorie nog ongeveer 17,5 GB. De kwaliteit gaat daarbij beperkt achteruit.

Software die je met één commando start

Met Ollama of llama.cpp start je een model met één commando. Beide bieden een API (een aansluiting voor andere software) die grotendeels compatibel is met die van OpenAI, dus bestaande software kan er vaak direct mee praten.

Begrippen in gewone taal

Begrip	Uitleg
VRAM en RAM	Het geheugen van de videokaart en van de computer. Het model moet erin passen, en videokaartgeheugen is veel sneller.
Contextvenster	Hoeveel tekst het model tegelijk overziet. Groter kost meer geheugen.
Prompt caching	Wat in de vraag gelijk blijft, hoeft het model niet opnieuw te lezen.
Agent	Een model dat zelf stappen zet met gereedschap, zoals bestanden lezen en tests draaien. Lees meer over wat een AI-agent is.

Onze eigen AI-server: een videokaart uit 2016

Alles in deze sectie draait bij ons, en de cijfers hebben we zelf gemeten.

De opstelling

Het is één bescheiden server: een AMD-processor met 10 cores voor AI, 16 GB werkgeheugen en een NVIDIA GTX 1070 met 8 GB videogeheugen. Die kaart kwam in 2016 uit en is tweedehands goedkoop te krijgen.

De virtualisatiesoftware Proxmox verdeelt de machine in afgeschermde containers. Naast het model draaien daar Open WebUI (een chatscherm), n8n (automatisering) en ons kantoordashboard. Het model draait in Ollama 0.40: Qwen3.6-35B-A3B, gequantiseerd door Unsloth (~3-bit), met een context van 64.000 tokens. Ook een tekst-naar-spraakmodel (Supertonic) draait lokaal: het maakt live gesproken zinnen voor de mascotte op onze kantoor-tv.

Waarvoor we hem gebruiken

Zonder cloud-AI beoordeelt het model de antwoorden bij onze dagelijkse kantoorquiz en levert het teksten voor het dashboard. Ons dashboard kan door middel van het lokale model ook de agenda en de taken uit Jira weergeven. Op basis van wat urgent is spreekt onze tv (waar het dashboard op te zien is) een uniek gegenereerde tekst uit. Voor ons is ons dashboard echt een speeltuin. We testen de limieten van wat een lokaal AI-model wel en niet kan/mag doen. Elke nacht om 04:30 bedenkt het bijvoorbeeld op basis van de codebase een paar verbeterideeën voor onze interne app. Teamleden keuren die ideeën goed of af.

De AGI-loop: een AI-agent die zelf kleine bugs oplost

Ons sprekendste voorbeeld heet intern de “AGI-loop”, een naam die groter klinkt dan hij is: met algemene kunstmatige intelligentie heeft het niets te maken. Het is een autonome ontwikkelaar, oftewel een AI-agent die zelf kleine codewijzigingen maakt en test.

1. Een teamlid (of het model zelf) stelt een nieuwe feature voor, bijvoorbeeld “Ik wil 10 minuten voor een meeting een melding krijgen met de belangrijkste informatie voor die meeting in vier zinnen”.
2. Het model maakt een plan en werkt als coding agent (Qwen Code) in een afgeschermde kopie van de code.
3. De code-controle en de tests draaien. Bij fouten krijgt het model de meldingen terug en probeert het opnieuw.
4. Het model controleert zijn eigen werk en dient een pull request in (een wijzigingsvoorstel). Een beheerder beoordeelt dat voorstel en rolt het uit.

Het agenda-idee was na 18 agent-stappen in ongeveer 4 minuten opgelost, met goedgekeurde controles en zonder dat een mens de code schreef of testte. Een beheerder keurde het voorstel goed, daarna stond de aanpassing live. Grotere wijzigingen kunnen tot ruim een uur duren op goedkope systemen en lukken niet altijd als je de omgeving (de processen, context en de skills eromheen) niet goed instelt. Wil je dit uitproberen? Lees dan hoe je zelf een lokale AI-coding agent bouwt.

Gemeten: zo snel is hij

Indicatief, eigen metingen oktober 2026:

Meting	Waarde
Modelgrootte in geheugen (incl. 64K context)	ca. 18 GB, waarvan 7,5 GB op de videokaart en de rest in werkgeheugen
Lezen van een prompt van 31.000 tokens (koud, zonder cache)	ca. 130 seconden, dus ~240 tokens/s
Schrijfsnelheid antwoord	orde van grootte 5-10 tokens/s (grof gemeten)
Deel van de prompt uit cache bij agent-runs	74-89% (bv. 152.439 van 172.162 tokens)
Laadtijd model na wisselen/herstart	ca. 1 minuut
Stroomverbruik videokaart	~16 W in rust, ~100-116 W onder belasting
Ter vergelijking, eerder dicht 27B-model	~2,7 tokens/s schrijven, ~100 tokens/s lezen

Het dichte model was kleiner en toch trager, omdat het voor elk token al zijn parameters inzette.

Onze opstelling is langzamer dan ChatGPT, maar voor achtergrondtaken ruim snel genoeg: denk aan nachtelijke batches en interne tools waar een antwoord binnen seconden tot minuten prima is. Voor live chat met veel gelijktijdige gebruikers is betere hardware nodig.

Wat heb je nodig om AI lokaal te draaien?

Om AI lokaal te draaien heb je nodig:

• een computer/server met genoeg geheugen, liefst met een videokaart;
• een open model dat daarin past;
• software zoals Ollama of llama.cpp;
• iemand die het beheert: updates en monitoring.

Geheugen weegt het zwaarst: reken vooraf uit wat model, context en de rest van de server samen nodig hebben. Bij ons staat een deel van het model in het tragere werkgeheugen (zie de meettabel), en dankzij MoE is dat goed werkbaar.

Voor de hardware hanteren we een grove indeling:

• S: vergelijkbaar met onze server (instap).
• M: één moderne videokaart met 16 tot 24 GB videogeheugen.
• L: meerdere of professionele videokaarten.

Om te testen op een pc is LM Studio handig. Op een server draai je Ollama of llama.cpp, met Open WebUI als chatscherm.

Zes toepassingen voor een lokaal taalmodel

Per toepassing staat de hardware uit de S/M/L-indeling erbij.

Gegevens uit facturen, offertes en contracten halen

Typt je binnendienst facturen en inkooporders nog over? Het model kan de inhoud omzetten in vaste velden (JSON) voor je ERP of boekhouding, en twijfelgevallen gaan naar een mens. Lokaal past bij klant- en prijsgegevens, en bij veel volume betaal je niet per pagina. Hardware: S tot M, als nachtelijke batch. Let op: bouw validatieregels in en doe steekproeven. Zie documenten verwerken met AI.

Een interne kennisbank op basis van je eigen documenten (RAG)

Nieuwe collega’s stellen vaak dezelfde vragen. Een interne chat zoekt de relevante stukken in je handleidingen en procedures op (dat heet RAG) en antwoordt met bronvermelding, terwijl vertrouwelijke documenten binnen blijven. Hardware: S voor een klein team, M bij veel gelijktijdige gebruikers. Let op: regel wie wat mag zien, en laat het model “weet ik niet” zeggen. Zie AI voor kennismanagement.

E-mail en tickets sorteren en een concept klaarzetten

Denk aan een gedeelde inbox die elke maandag vol zit. Het model sorteert op onderwerp, urgentie en afdeling, vat samen en schrijft een concept. Een medewerker controleert en verstuurt. Klantmails bevatten persoonsgegevens, en lokaal betaal je niet per mail. Hardware: S. Let op: verstuur niets automatisch.

Verslagen van vergaderingen

Lokale spraakherkenning, bijvoorbeeld Whisper, maakt de transcriptie, en het taalmodel maakt er een verslag met actiepunten van. Juist gesprekken bevatten vaak de gevoeligste informatie, over personeel of klanten. Hardware: S tot M. Let op: vraag de deelnemers om toestemming en controleer of de spraakherkenning de sprekers goed uit elkaar houdt.

Productdata voor je webshop verrijken

Denk aan duizenden producten met magere leveranciersteksten. Het model haalt kenmerken uit de leveranciersdata, verrijkt en vertaalt omschrijvingen en schrijft metateksten, ’s nachts en in grote aantallen. Bij zulke aantallen worden vaste kosten interessant. Hardware: S tot M. Let op: het model mag geen specificaties verzinnen, plan daarom een redactieslag. Wij doen al 18 jaar WordPress-projecten en kunnen dit koppelen aan WooCommerce, WordPress of een PIM-systeem.

Een stap in je bestaande workflow

Je workflow heeft misschien een handmatige stap, zoals een contactformulier dat iemand elke dag leest, beoordeelt en doorzet. Een lokaal model kan die stap overnemen in een workflowtool die je zelf host, zoals n8n, die bij ons op dezelfde machine draait als het model. Je betaalt niet per stap, en de data blijft binnen. Hardware: S. Zie ook n8n vs Zapier.

Herken je een van deze processen? Dan is de volgende vraag of lokaal bij jouw situatie past.

Private AI of cloud: wanneer kies je wat?

Private AI betekent dat het model draait op infrastructuur die jij beheert, of bij een partij die jij kiest. Lokale AI op je eigen server is daar de meest directe vorm van. Wat past, hangt vooral af van je data en je volume.

Lokaal ligt voor de hand als …	Cloud-AI ligt voor de hand als …
de data niet naar externe clouddiensten mag of wil, bijvoorbeeld door beroepsgeheim of geheimhoudingsplicht in zorg, advocatuur of accountancy, of bij de overheid	je topkwaliteit nodig hebt voor complexe redeneringen, lange juridische analyses of moeilijke programmeertaken; daar zijn de grootste cloudmodellen duidelijk beter
je structureel veel volume hebt, want de vaste kosten blijven gelijk, hoeveel verzoeken je ook doet	je volume laag is: een paar honderd verzoeken per maand zijn via een cloud-API vaak goedkoper
je niet afhankelijk wilt zijn van één leverancier	je pieken of veel gelijktijdige gebruikers hebt
er beheercapaciteit is	niemand tijd heeft voor updates en monitoring

Ons advies is vaak een combinatie: gevoelige data en grote volumes lokaal, zware of zeldzame taken via een cloud-API, desgewenst bij een Europese aanbieder. Laat je software via één eigen tussenlaag met de modellen praten, dan kun je later van model of aanbieder wisselen.

Zo werken we zelf ook: veel klantwerk loopt bij ons via cloud-API’s zoals Claude, en lokaal zetten we in waar dat past. Voor gevoelige sectoren kan het model ook in een Nederlands of Europees datacenter draaien.

Lessen uit de praktijk: dit kom je tegen

Een demo heb je zo staan. Bij dagelijks gebruik liepen we tegen deze dingen aan.

Geheugen is de harde grens

Met een contextvenster van 128.000 tokens paste het model niet meer in RAM en VRAM. De computer ging van de schijf lezen, en een antwoord van één woord duurde 34 seconden. Met de juiste contextgrootte werkte alles weer normaal.

Daarna testten we hoeveel modellagen op de videokaart passen. Standaard zette de software er ongeveer 14 van de 40 op, bij 19 liep de kaart vol, en met 17 is het model nu iets sneller. Het model staat ook vast in het werkgeheugen, zodat het besturingssysteem het niet stilletjes kan wegzetten.

Les: reken het geheugenbudget vooraf uit en meet zelf wat je hardware aankan.

Elk model heeft zijn eigen instellingen

Met te voorzichtige instellingen raakte het model in een lus. We gebruikten een lage temperatuur, waardoor het steeds de voorspelbaarste woorden koos, en hadden geen herhalingsstraf ingesteld (een rem op herhaling). Het schreef 17 minuten lang steeds dezelfde alinea. Met de aanbevolen instellingen van de modelmaker en een maximum aantal tokens per antwoord lukte dezelfde taak daarna in 4 minuten.

Les: begin met de aanbevolen instellingen en bouw altijd een noodrem in.

Een modelwissel is een klus

Na een modelwissel faalde elke run direct: de agent-software stuurde gereedschapsdefinities mee (beschrijvingen van de tools die de agent mag gebruiken) die de nieuwe modelmotor weigerde. Op kleine hardware past ook maar één groot model, en wisselen kost steeds ongeveer een minuut laden. We gebruiken daarom één taalmodel voor alle taken, en zware achtergrondtaken krijgen voorrang.

Les: test na elke wissel de hele keten opnieuw, en ontwerp rond wat je hardware kan.

Geef een AI-agent zo min mogelijk rechten

Onze agent schrijft code en voert commando’s uit. Daarom draait hij:

• als aparte gebruiker, zonder toegang tot de data of geheimen van de applicatie;
• achter een firewall die het interne netwerk afsluit;
• met een lijst bestanden die hij nooit mag aanpassen (beveiliging, uitrol);
• en hij levert alleen een voorstel (patch) in, dat via tests en review gaat.

Les: houd een mens of een harde controle in de lus.

Zonder wachtwoord staat de deur open

Ollama luistert standaard alleen naar de eigen computer (Ollama FAQ), en de lokale API vraagt geen wachtwoord (Ollama over authenticatie). Op een server zet je de API meestal open voor het netwerk, en dan kan iedereen in dat netwerk het model gebruiken en zelfs modellen toevoegen of verwijderen.

Les: regel bij elke installatie meteen de netwerkafscherming.

Wat kost een eigen AI-server, en hoe beveilig je hem?

Zo maak je de kostenafweging

Lokaal betaal je vooral vooraf en vast, de cloud naar gebruik.

• Lokaal: hardware (eenmalig, reken met een gebruiksduur van 3 tot 4 jaar), stroom, beheer en inrichting.
• Cloud: de prijs per miljoen tokens, maal je volume. Reken ruim: één agent-run is bij ons al snel 100.000 tot 600.000 tokens, opgeteld over alle stappen (eigen meting).

Reken het door: documenten per maand x tokens per document x cloudprijs, tegenover afschrijving + stroom + beheer per maand. Het omslagpunt ligt meestal bij structureel hoog volume.

Stroom maten we alleen voor de videokaart: ~16 W in rust en ~100-116 W onder belasting. Reken dat om met je eigen kWh-prijs.

Buiten die som vallen nog twee voordelen: de data blijft in eigen beheer en de kosten zijn voorspelbaar.

Checklist: beveiliging en AVG

• Scherm de model-API af in je netwerk.
• Regel wie welke data via de AI mag bevragen.
• Geef agents minimale rechten, een afgeschermde omgeving, tests en menselijke goedkeuring.
• Log wat het model doet, zodat je het kunt herleiden.
• Controleer per model de licentie: open-weight is niet altijd vrij commercieel bruikbaar.
• AVG: dataminimalisatie, bewaartermijnen en een DPIA bij gevoelige verwerking.

Lokaal draaien helpt bij de AVG, al blijven inrichting en beleid nodig. Een DPIA (risicoanalyse vooraf) is volgens Ondernemersplein verplicht bij een grote kans op een hoog privacyrisico. Ook NIS2 en de AI Act kunnen eisen stellen: NIS2 afhankelijk van je sector en de omvang van je organisatie, de AI Act vooral afhankelijk van waarvoor je AI inzet. Laat je jurist of FG meekijken; de basis lees je in wat de AVG is.

Zo pakken we het aan

Wil je onderzoeken of lokale AI bij jouw bedrijf past? Zo gaan wij te werk:

1. Verkennen: welk proces, welke data, welk volume en welke eisen?
2. Proof of concept: op bestaande of goedkope hardware, met een meetbaar doel, zoals we met onze eigen server deden.
3. Inrichten: hardware, model, koppelingen (API, workflow, website of webshop) en beveiliging.
4. Beheren en verbeteren: monitoring, modelupdates en fijnafstemming.

We beginnen klein en breiden pas uit als het werkt. Bij de oplevering krijgt je team uitleg, en na livegang meten we wat de automatisering je brengt. Workshops en trainingen op maat kunnen ook.

Lokaal, cloud of een combinatie bepalen we per situatie. Moet je data in Europa blijven, dan kan dat ook op Europese infrastructuur.

Een kleinere AI-automatisering, zoals een n8n-workflow, kost vanaf ongeveer € 1.000, een groter proces inclusief procesanalyse vanaf € 5.000 (excl. btw). Benieuwd wat bij jou past? Plan een verkennend gesprek over AI-automatisering.

Veelgestelde vragen over lokale AI

Heb ik een dure videokaart nodig?

Niet voor elke toepassing: wij draaien op een kaart uit 2016. Een taak duurt dan seconden tot minuten, wat voor achtergrondwerk vaak prima is. Voor veel gelijktijdige gebruikers is zwaardere hardware nodig.

Is een lokaal model net zo goed als ChatGPT?

Voor afgebakende taken vaak goed genoeg. Voor complexe redeneringen zijn de grootste cloudmodellen beter.

Kan ik ChatGPT of Claude lokaal draaien?

De modellen achter die diensten kun je niet downloaden. OpenAI bracht wel aparte open-weight modellen uit (gpt-oss), en voor afgebakende taken kan een open model vergelijkbaar werk doen.

Werkt een lokaal model zonder internet?

Ja. Is het model eenmaal gedownload, dan kan het offline draaien. Internet heb je dan alleen nodig voor updates en nieuwe modellen.

Is lokaal automatisch AVG-proof?

Het helpt, omdat de data binnen blijft. Inrichting en beleid blijven nodig. Laat je jurist of FG meekijken.

Kan het koppelen met onze systemen?

Vaak wel: de API is grotendeels compatibel met die van OpenAI, dus veel software en workflowtools zoals n8n werken er direct mee.