Tien dingen die GenAI mij leerde (naast geduld en indrukwekkend diep zuchten)

Ja, ik zat direct aan de ChatGPT zodra het beschikbaar was en ja, ik sloeg direct aan het experimenteren. Of ik het ding goede artikelen  voor mij kon laten schrijven (neuh), hoe prompts nou werken en waarom. En natuurlijk hoe ik hem voor de gek kon houden (lange tijd kon je hem alles laten zeggen, als je maar zei dat het een thought experiment was). 

Maar de echte inzichten kwamen niet van de experimenten waar ik mezelf mee vermaakte. Die kwamen pas echt en op hoog tempo toen ik startte met prompten voor anderen, van de weeromstuit een prompt framework ontwikkelde en uiteindelijk meedraaide in het GenAI & Content strategie programma.

Nu deze klus afloopt en ik eindelijk even tijd heb om te ademen en met relatieve rust terug te kijken, is het een goed moment om dat wat ik leerde op te typen. We maken er een listicle van, want dat heb ik alweer een tijdje niet meer gedaan. And I do I love me a good listicle. Speciaal voor jou houd ik het bij een zeer ronde 10. Niemand heeft ooit beweerd dat ik kort van stof ben, maar met een beetje doorzetten, heb je misschien zomaar wat aan mijn reis.

1. AI fixt geen slechte processen

Om goed te automatiseren (AI of anderszins) moet je serieus inzicht hebben in alle relevante stappen van een proces. 

Je kunt geen proces automatiseren dat je niet begrijpt.  Maar in de praktijk zie ik regelmatig mensen die denken: we gooien er AI tegenaan, dan komt het wel goed. Dat komt het dus niet.

Als je zelf niet precies weet uit welke stappen een proces bestaat dat je wilt automatiseren, kan AI die stappen ook niet op enig zinnige manier voor je uitvoeren. Je mist dan automatiseringskansen, of erger: je automatiseert fouten die je nu al maakt, maar dan op grote schaal.

De oplossing hiervoor begint niet bij AI, maar bij jou. Breng je je proces in kaart: beschrijf welke stappen je doorloopt, welke normen bij elke stap van belang zijn (wanneer is het goed? Wat de keuzemomenten zijn en welke risico’s een rol spelen bij de stap in kwestie. Pas als je dat helder hebt, kun je bepalen waar AI zinnig is en veilig.

Wat je vandaag kunt doen:
Pak één taak die je wilt automatiseren en schrijf stap voor stap op wat je nu doet. Beschrijf elke tussenstap op weg naar het einderesultaat en stel voor elke tussenstap de vragen: wat gebeurt hier, wanneer is dat goed gedaan, wat is het gevolg als het hier misgaat? Hoeveel tijd kost deze stap? Dan zie je waar AI kan helpen, en waar niet.

2. Efficiëntie is leuk, maar kwaliteit is veel leuker

Als AI het niet minstens even goed kan als een professional, dan boek je geen winst, maar wel rommel.  

Sneller werken is natuurlijk geweldig. Maar sneller slechte output produceren,  dat is totaal geen vooruitgang.

In GenAI-projecten is efficiency vaak het hoofddoel. De keren dat ik iemand heb horen zeggen: “Mwah, dat is goed genoeg” en het (cummulatieve) issue dat achter die korte zin schuilt is verontrustend. Want als de kwaliteit van wat je maakt, lijdt onder je AI-inzet, dan maak je alleen sneller, ergere rommel. En als de race naar de kwaliteitsbodem eenmaal is ingezet en elk volgende beslismoment over “is dit goed genoeg?”, als antwoord heeft “mwah…jawel joh”, dan beland je met de grote aantallen waar het om gaat in AI-inzet, al heel snel op de bodem.

Kwaliteit moet het uitgangspunt zijn. AI zet je pas in als de output ervan minimaal even goed is als wat een professional zou maken. En bij voorkeur natuurlijk zelfs beter. Dat vraagt om zeer duidelijke kwaliteitscriteria: wat ís goede output? Hoe check je dat? Wie beslist? Als je die vragen niet kunt beantwoorden, ben je eigenlijk nog niet klaar om te automatiseren.

Wat je vandaag kunt doen:
Stel voor één use case vast: wat is het kwaliteitsniveau dat we minimaal accepteren? Schrijf het op, kwantificeer het of definieer het: wat zijn je normen? Test dan goed of AI dat haalt.

3. AI weet niet wat kwaliteit is

Als jij niet weet wat goed is, weet AI het ook niet.  Een noodzakelijke specificering van les 2. 

LLM’s optimaliseren op patronen, niet op jouw stijlwijzer, interne processen of andere mooie specifieke kennis. Dus als jij zelf niet kunt uitleggen wat een goede blogpost is, een sterke klantenmail, of een heldere FAQ, dan kan AI dat ook niet. En dan valt het terug op het gemiddelde van de patronen waar het op getraind is: u kent dat wel, die GenAI-taal die we inmiddels beginnen te herkennen. De eenheidsworst van de toekomst.

Je moet kunnen definiëren wat kwaliteit voor jou is. Wat maakt deze tekst goed? Wat maakt deze mail effectief? Welke criteria gelden hier? Pas als je dat helder hebt, kun je ook GenAI zinnig erop loslaten.

En het niet een “goede kop” laten schrijven. Maar een: “Overtuigende kop van maximaal 8 woorden, die dit zoekwoord bevat [zoekwoord] en het meegegeven artikel samenvat. Of zoiets dergelijks. Om dat goed en consistent te doen moet je vaststellen welke normen gelden voor wat in jouw organisatie wordt gezien als kwalitatief goede output.

Wat je vandaag kunt doen:
Hetzelfde advies hier als bij punt 2. Maar belangrijk genoeg om het toch nog even apart op te pakken.

4. Prompts en prompten: geen bijzaak

Je promptEen prompt is de instructie die je aan een AI-model geeft zoals bijvoorbeeld ChatGPT. Het is hoe je communiceert met het systeem: wat je vraagt, hoe je het vraagt en... Meer is een belangrijk sturingsmechanisme voor goede output of nare hallucinatiesEr is sprake van een hallucinatie wanneer een AI-model informatie verzint die plausibel klinkt maar die feitelijk onjuist is of volledig verzonnen. Dat gebeurt omdat LLM's zoals ChatGPT woordreeksen voorspellen... Meer. Dat moet je serieus nemen én managen. 

Prompten is de manier waarop je GenAI stuurt. Je typt iets, je krijgt iets terug. In de (zakelijke) praktijk heeft de prompt grote invloed op je GenAI-project.

Op de kwaliteit van je output (heb je al bedacht hoe die kwaliteit eruit ziet. Kleine reminder hier.), op de consistentie, op het aantal correctierondes (en dus efficiency en daarmee ook kosten). Plus, in het meest nare geval is een slechte prompt een kleine hallucinatiegranaat . Maar toch wordt prompten nog veel te vaak aan het toeval van individueel talent of skill overgelaten.

Prompts hebben net als alle andere zaken rondom GenAI gewoon management, standaarden en governance nodig.

Want zonder standaarden is het erg lastig om de kwaliteit van prompts te bepalen (Waar kijk je dan naar?) En zonder management, heb je 0 inzicht in welke prompts er zijn en wat ze precies doen en of ze misschien ook een intrinsiek risico meedragen of andere zaken die je in beeld wilt hebben. En zonder governance, zit er in allerlei systemen, maar ook gewoon word docjes, verouderde informatie, ingebakken in prompts. Soms gaat het letterlijk om data die erin gebakken is (jazeker) en soms om instructies die achterhaald zijn.

Wat je vandaag kunt doen:
Richt promptstandaarden in en (dit is niet populair): leg ze op! Leg je prompt lifecycle proces vast: wie checkt, wanneer of prompts nog kloppen, effectief zijn en hoe doen ze dat en wat doe je als de promtps uit de mode zijn?

5. Mensen zijn overweldigd, niet per se empowered

AI roept een eindeloze stroom aan vragen op. En die gaan verder dan de technologie. Help je mensen in deze nieuwe en impactvolle tijd, om dat te navigeren!

Over polarisatie gesproken, waar het gaat om AI is dat absoluut aan de hand. Het ene uiterste bestaat uit mensen die letterlijk in elk probleem een optie zien om AI ertegenaan te plakken en de groep aan het andere uiteinde van het spectrum, wil er niks van weten.

Beide reacties zijn an sich legitiem. En beide hebben aandacht nodig.

Beide groepen hebben baat bij kennis en begrip. Voor de positivo’s: wat de beperkingen en voorwaarden zijn van slimme, verantwoordelijke en goede (Gen)AI-inzet. Voor de meer stressy types: wat het wel voor hen kan doen én hoe!

Want de meeste mensen snappen best dat AI iets kan. Maar ze weten niet precies wat het voor hen betekent. Hoe raakt dit mijn rol? Moet ik nu alles anders doen? Ben ik straks overbodig? Die onzekerheid leidt tot weerstand, tot verkeerd gebruik, of tot passiviteit. En dat is zonde.

Begeleiding is dan ook geen luxe maar een vereiste. Mensen hebben tijd nodig om te leren, om te experimenteren, om fouten te maken. En ze hebben duiding nodig: dit is waar AI goed in is, dit is waar jij nog steeds onmisbaar bent.

Vergeet niet dat AI ons allemaal breed raakt, de kwesties zijn eindeloos: existentieel, zakelijk, wetenschappelijk, persoonlijk, maatschappelijk, ecologisch en ga zo maar door. Dat los je allemaal niet even op, op een vrijdagmiddag, maar je kunt mensen wel helpen aan de kennis, inzichten en daarmee vocabulaire om goede gesprekken erover met elkaar te voeren én kritisch denken toe te kunnen blijven passen.

Wat je vandaag kunt doen:
Praat met één collega die AI gebruikt (of juist niet). Vraag: wat maakt je onzeker? Luister. Help. En als organisatie? Zoek balans tussen Halleluja-verhalen en modderige realiteit. En help je mensen aan bruikbare e vocabulaire: ze kunnen prima zelf denken, maar het is fijn als ze weten waarover gedacht dient te worden. En extra fijn als ze begrijpen dat ze niet technisch hoeven te zijn om dat te doen.

6. Context bepaalt wat een risico is

Low-risk AI-inzet bestaat niet. Of het risico acceptabel is, hangt af van waar je voor het inzet.

Een FAQ-bot die ijssmaken verzint? Grappig. Een FAQ-bot die hallucineert over medicatie? Levensgevaarlijk. Technisch gezien zijn beide bots hetzelfde. Maar de impact is totaal verschillend.

Veel organisaties onderschatten dit nog altijd. Ze kijken naar de techniek in plaats van naar de context. Simpel AI-gebruik lijkt laagdrempelig, maar kleine fouten kunnen enorme gevolgen hebben. Zeker in gereguleerde sectoren zoals finance, farma en zorg, waar feitelijk niks low-risk is.

Risicoanalyse moet contextgevoelig zijn. Niet alleen: wat kan AI? Maar: wat gebeurt er als het misgaat? In deze context? Voor deze doelgroep? Met deze stakes?

Zelfs een onschuldig lijkende hallucinatie: ons kantoor sluit om 2 uur, kan in een financiële setting iemand ertoe aanzetten om een andere beslissing over haar geld te nemen dan ze van plan was. Met misschien wel echte gevolgen, hoewel dit voorbeeld natuurlijk  fictief is he.

Wat je vandaag kunt doen:
Ja, dat hang er een beetje van af, in welke sector je werkt en welke beslissingen bij jou liggen. Maar erop wijzen dat low-risk zeer relatief is, is een goed begin!

7. Content claimt z’n plek of krijgt ‘m niet

Content is wat LLM’s maken. Content is: informatie/data in context. Je zou dus denken dat contentspecialisten een relevante rol spelen bij LLM-implementaties. Dat valt vooralsnog tegen. 

GenAI draait voor een groot deel om taal en LLMs produceren content. Maar in AI-projecten zitten vooral techneuten, product owners, data scientists. Niet de mensen die dagelijks worstelen met tone of voice, doelgroep, effectiviteit en contextuele betekenis (semantic integrity). Het gevolg: beslissingen over contentgebruik worden genomen door mensen die het verschil tussen goed en slecht niet kunnen constateren. Maar zij beslissen wel vaak wat dan goed of slecht is.

Dat is slecht voor klanten. En slecht voor het bedrijf. Want slechte content schaadt je merk en heeft impact op conversie. Maar daarnaast zijn het juist contentspecialisten die de skill hebben om van data, stakeholders, door machines uitgespuugde drafts, technische beperkingen en richtlijnen smakelijke en effectieve chocola te maken.

En ja, de contentspecialisten zijn soms wel/soms niet betrokken. Maar betrokken en een adviserende rol hebben, is niet voldoende om kwaliteit en effectiviteit te garanderen. Daarvoor moeten contentmensen aan de GenAI-ontwerptafel meepraten en dat moet dan een volwaardig gesprek zijn.

Dat vraagt ook wat van de contentspecialisten zelf overigens. In een corporate setting zijn contentspecialisten geen kunstenaars. Een productpagina is echt geen kunst. Dat idee loslaten is al een goede stap. Een volgende goede stap, is voldoende kennis van hoe de GenAI pipeline (en zaken zoals chunking en embedding en al dat soort leuks) eruitziet, zodat je mee kan praten erover. Je hoeft het niet te doen. Je moet het wel voldoende begrijpen om een zinnige rol aan de GenAI tafel te hebben.

Wat je vandaag kunt doen:
Ben je contentspecialist? Ga dan gauw je verdiepen in GenAI. Kies je richting, doe een cursus, lees je vol, luister podcasts en zorg dat je weet waar je het over hebt, zodat die tech en data mensen je serieus kunnen nemen.

8. LLM’s zijn niet de oplossing voor letterlijk alles

Een probabilistisch systeem is de verkeerde keuze voor deterministische vragen.

LLM’s zijn goed in taal genereren, in patronen herkennen en in menselijk-klinkende teksten schrijven. Maar ze zijn niet goed in exacte berekeningen, geen echte kei in het ophalen van specifieke data en niet getalenteerd als het gaat om het behoud van betekenis.

Toch zie ik dat LLM’s worden ingezet voor taken waar je zekerheid nodig hebt: een specifiek en gegrond antwoord. Een output die niet wordt onttrokken aan de probability space waar een LLM binnen oprereert.

Pas als je die informatie exact hebt gehaald uit een deterministische oplossing, laat dan de LLM het uitleggen in mensentaal.

Kies je tools op basis van wat ze kunnen, niet op basis van wat hip is.

Wat je vandaag kunt doen:
Maak een lijstje van taken waar je AI voor gebruikt. Vraag per taak: is dit een probabilistische (ongeveer is goed genoeg) of deterministische vraag (het moet exact dat antwoord zijn)? Kies daar je tool op.

9. Je bron is je fundament

Als je bron zuigt, zuigt alles wat je ermee doet ook gewoon. En dan 26 ingrepen doen om dat probleem op te lossen, is niet per se het allerbeste en efficiënte idee. 

Garbage in, garbage out, dat weten we al jaren. Maar met GenAI krijgt het een extra dimensie. Want AI maakt van slechte data geen betere data. Het maakt er data van die beter KLINKT. En dat is misschien nog wel erger, want dan ga je bijna geloven dat het wel goede data is.

Je kunt niet RAG’en, prompt-engineeren of fine-tunen wat er niet is. Als je brondata incompleet is, verouderd, foutief, onduidelijk, niet op zinnige wijze leesbaar voor machines, dan is alles wat daarop volgt mwah.

Investeer dus keihard in je databronnen. Maak ze schoon, houd ze actueel, zorg dat ze betekenisvol zijn voor machines, zorg dat je weet wat wel en wat niet gebruikt mag worden voor je automatiseringen. Pas dan heeft GenAI echt iets om mee te werken.

Wat je vandaag kunt doen:
Wees kritisch op wat er als bron wordt gebruikt. Is het rommel(ig), dan moet je er wat mee.

10. Betekenis behouden is het echte probleem

Zelfs met schone data en slimme systemen, heb je geen garantie voor “semantische integriteit”: het in stand houden van relationele betekenis. 

Je kunt de perfecte knowledge graph bouwen, een ontologie die klopt en een databron hebben die eindeloos goed ingericht is. En tóch kan de AI iets produceren dat technisch klopt, maar niet klopt qua betekenis. Dat komt omdat je in de GenAI pipeline allerlei punten hebt waar context en nuance verloren kunnen gaan (en doen ze ook regelmatig).

Dat is een probleem dat nog altijd niet écht is opgelost, ook niet met de nieuwste technieken. En ja, er wordt echt wel slim gepleisterd, maar garantie heb je vooralsnog tot aan de deur.

Dit is dus de fundamentele uitdaging wanneer je taal en systemen combineert: hoe borg je betekenis? Hoe voorkom je dat de interpretatie van AI subtiel (of minder subtiel) afwijkt van wat je eigenlijk wil/moet zeggen?

En feitelijkheid is contextueel dus he. Het statement “Xaviera is lang”, is waar in Peru, maar een dikke leugen in Nederland (want met 1.62 ben ik hier op z’n best medium). Een beetje simpel qua voorbeeld, maar vertelt je wel iets over context en nuance, waar machines notoir slecht in zijn.

Wat je vandaag kunt doen:
Nou, als je het 100% oplost: rijk worden. Tot die tijd, je in elk geval daar bewust van zijn en ook van het gegeven dat verschuiving in feitelijkheid, heel langzaam en subtiel gaat, tot het omslagpunt waarop waarheid > ietsje minder waar > feitelijk fout opeens aan de hand is, met alle potentiële gevolgen van dien. Houd dat in je hoofd.

Ha, je hebt het gered

Ik denk dat je het patroon wel hebt ontdekt in al mijn lessen? Als niet, omdat je aan het scannen bent, zoals het een goede weblezer betaamt, dan hier de TLDR; als je de basis niet op orde heb (data, kennis, mensen, processen enz.), dan fixt (Gen)AI weinig voor je. Sterker nog: het volume waarmee je dan fouten kan maken, is inspirerend. Dat volume-deel is het nieuwste van alles, de rest is oude wijn/nieuwe zakken.