Je kunt je prompts niet op zinnige wijze blijven improviseren, it ain’t magic

De komende weken geef ik een serie van 6 workshops over mijn promptEen prompt is de instructie die je aan een AI-model geeft zoals bijvoorbeeld ChatGPT. Het is hoe je communiceert met het systeem: wat je vraagt, hoe je het vraagt en... Meer methode ECHO. Daar kijk ik erg naar uit, maar het had wat voeten in de aarde. Want niet iedereen was (en is) direct overtuigd van wat ik probeer te doen met de ECHO Methode. Een goed moment dus om er eens echt doorheen te lopen.

Wat is ECHO?

ECHO staat voor Ecosystem for Controlled Human/AI Output. Mooie naam toch? Vind ik zelf ook. Ik wilde graag dat het ECHO heette omdat GenAI een “echo” is van wat mensen doen. Zie je ook dat mensen (human) voorop staan? Ja, ook dat is een bewuste keuze en wat mij betreft is een human centered aanpak bij GenAI dan ook belangrijk.

Maar wat ís ECHO?

Sorry, ik dwaalde af. ECHO bestaat uit een aantal onderdelen, die samenwerken:

• Een component design architecture
  Een voorgeschreven structuur die je gebruikt om prompts op te bouwen. De structuur bestaat uit deze componenten: context, perspective, role, instructions, output instructions, output example en een self-check. Niet allemaal verplicht, maar wel allemaal zuiver.
• Modulaire en herbruikbare componenten
  Omdat de componenten zuiver zijn, kun je ze dus mooi hergebruiken. In plaats van steeds van een leeg blad een nieuwe prompt schrijven of prompts die zo contextueel zijn dat je ze enkel eenmalig kan gebruiken, helpt ECHO je om je componenten (bijv rol: je bent een communicatieadviseur) te hergebruiken.
• Een component library
  Die herbruikbare componenten bewaar je in een component library zodat je ze én centraal kan managen én centraal kan gebruiken. Verandert een guardrail, dan pas je die aan in de component library en niet ergens in een Word-doc.
• Automatisch of handmatig
  Die component library zorgt dat je (mits goed ge-metadateert), prompts kan samenstellen uit losse componenten. Dat kan op meerdere manieren. Gebruikers kunnen aangeven wat ze nodig hebben en het systeem stelt de juiste componenten samen of een prompt designer, gebruikt de componenten om kant en klare prompts samen te stellen en voor gebruikers is de voorkant dan dus een prompt library. Handig.
• Een kwaliteitsproces en lifecycle management voor je prompts
  Ja ja, governance is saai. Maar stel er werken 200 mensen bij je bedrijf en elk van hen gebruikt 3 prompts. Dan heb je daar al 600 prompts. Die wil je managen, want de kwaliteit van de prompts heeft ook (naast source, GenAI zelf) impact op je output (los van dat output, vaak ook weer input wordt).

Er is meer, zoals de relevante rollen die je nodig hebt om dit te laten werken en andere relevante details. Maar dan heb je een beeld.

Het idee van de ECHO Methode is dus, als je het helemaal platslaat, dat ook prompts governance nodig hebben.

Die governance zie ik wel overal op de andere potentiële GenAI failure points: bron (data), de LLM’s zelf en de uiteindelijke communicatie (content), maar niet op de prompts, terwijl die net zo goed een failure point zijn.

Waarom bestaat ECHO

Deels om wat ik net heb uitgelegd: je prompts zijn ook een GenAI failure point. Maar daarnaast realiseerde ik me, toen ik steeds meer prompts in het wild zag, ook dat het gebrek aan een standaard, zorgde voor nogal uiteenlopende promptkwaliteit. En zonder standaard is het ook nog eens lastig om te promptkwaliteit tussen prompts te vergelijken.

Dat is niet handig en niet manageable, niet auditable, niet herleidbaar en daarmee is er geen governance. En dat moet je wel willen, zeker als je opereert in een gereguleerde setting (banken, verzekeraars, pharma, overheid enz.).

Dus maakte ik component design architecture (bla bla, een optimale structuur). Gebaseerd op industry best practices en bestaande research, maar ook mijn eigen kennis en ervaring van de afgelopen 25+ jaar over hoe een goede briefing eruitziet. Dat alles vertaalde ik naar hoe die goede briefing moet worden ingevuld voor een LLM: voila, een promptstandaard.

Ik zeg voila en het voelde voila. Maar het was vooral heel veel lezen, zoeken, uitproberen, vergelijken en al het andere spul dat zorgde dat de prompts die de standaard oplevert, ook echt effectief zijn. Laat ik verklappen dat 3 a.m. een productieve tijd kan zijn en zaterdag in deze periode een nieuwe betekenis kreeg.

Wat heb je aan ECHO?

Dit doet het als je gaat ECHO-prompten:

• Je kunt dus (als je wilt) componenten hergebruiken
• Gestructureerd prompten is effectiever dan niet gestructureerd prompten
• Je kunt gemakkelijker prompts met elkaar vergelijken
• Je kunt gemakkelijker achterhalen waar iets misgaat in je prompt
• Het is een coginitief hulpje dat je helpt om alle relevante onderdelen die in een prompt zouden moeten staan, erin te krijgen.

ECHO-prompten is overigens niet bedoeld voor je leuke kletspraatje met ChatGPT of Claude. Die heb ik ook en dat doe ik zonder wat voor standaard dan ook. Het is ook niet per se geschikt voor supercreatieve taken zoals brainstormen.

ECHO is bedoeld voor zo consistent mogelijke output en de plek waar dat echt bijdraagt aan efficiency, is binnen het bedrijfsleven en extra binnen dus die gereguleerde sectoren.  Je zet ECHO in als GenAI-gebruik ingebed raakt in je business-processen, want dat betekent dat je voor je prompts hetzelfde wil als je voor software wil.

Ik wil geen ECHO

Niet doen dan! Maar ik raad je wel aan om (in elk geval) de principes van ECHO over te nemen:

• Een promptstandaard (of meerdere, ECHO is niet het antwoord op alles)
• Herbruikbare prompts (want wie wil nou dat iedereen apart van elkaar honderden tot duizenden zelf zit te knutselen)
• En dus op z’n minst een prompt bibliotheek (centrale plek waar je prompts opslaat en vindbaar maakt)
• Governance op je prompts (zodat je weet wat er waar gebeurt, door wie en hoe)
• Gestructureerde prompts (want dat is effectiever en meer consistent, dan niet gestructureerde prompts)

Met het werk, de experimenten en de research die ik de afgelopen 6 maanden heb gedaan, heb ik geleerd dat wat ik toen opschreef, werkt in de praktijk. Ik heb natuurlijk nog niet alles kunnen testen, maar het feit dat ik straks zo’n 80 collega’s heb getraind in de ideeën achter ECHO, maakt me heel blij. Want het was niet alleen hard werken (dat was leuk), maar ook veel onzekerheid (klopt het wel?) en op momenten stevige weerstand.

Na de workshops ga ik weer verder met het doorontwikkelen van ECHO, want ik ben nog niet klaar. Los van de diepte in op bestaande onderdelen, heb ik de afgelopen tijd ook nieuwe inzichten en onderdelen neergepend (denk aan orchestration en agentic inzet).

Maar eerst neem ik een paar weekjes vrij man. Even bijkomen.

Extra: De AI Begrippenlijst

Xaviera

Don’t stress….it’s just me!

I’ve spent over 25 years working in content strategy and digital transformation, which means I’ve seen enough technology hype cycles to be skeptical and enough genuine innovation to stay curious.

Want to talk shop? Do get in touch!

www.contentchefs.nl