Fine-tuning is het verder trainen van een AI-model met eigen data, zodat het beter aansluit op een specifieke taak, schrijfstijl of domein.
Een model vanaf nul trainen kost enorm veel data en rekenkracht. Dus in plaats daarvan pak je een model dat al algemene taalkennis heeft en leer je het extra gedrag aan met jouw eigen data.
Hoe dat bijtrainen gebeurt, hangt af van het doel dat je hebt:
- Bij continual pretraining train je het model verder op ongelabelde domeindata, zodat het de woordenschat en kennis van jouw vakgebied leert.
- Bij instruction fine-tuning train je op voorbeelden van invoer en de gewenste uitvoer, zodat het model leert welk gedrag, format en beleidsregels je wilt hebben.
Waarom dit belangrijk is
De algemene modellen missen vaak de diepte, consistentie en beleidsregels die organisaties nodig hebben. Met fine-tuning kun je een LLM leren welk jargon en format jij specifiek gebruikt, welke compliance-regels gelden, en wat wel of niet gezegd mag worden. Het kan sneller en goedkoper zijn in gebruik, vooral als je veel taken hebt die terugkerend zijn.
Maar, fine-tuning is niet altijd de beste oplossing. Soms is RAGRAG (Retrieval-Augmented Generation) is een techniek waarbij een LLM bij het antwoorden op een vraag/uitvoeren van een prompt, informatie opzoekt in bronnen die je vooraf hebt gedefinieerd. Daardoor hoef je... Meer (Retrieval-Augmented Generation) beter. Dat is een techniek waarbij de LLM actuele informatie opzoekt in vooraf gedefinieerde bronnen in plaats van alles in te bakken. Dat is vooral een goede keuze als kennis binnen je organisatie snel verandert of om privacyredenen niet in het model mag worden opgenomen.
Daarnaast vraagt fine-tuning ook om governance: je moet zorgen dat je kan herleiden welke data je wanneer hebt gebruikt en welk effect dat had.
Voorbeeld
Een ziekenhuis wil een AI-assistent voor medische documentatie. Eerst trainen ze het model verder op geanonimiseerde lokale protocollen en verslagen, zodat het de specifieke afkortingen en conventies begrijpt. Daarna trainen ze het op honderden voorbeelden van het gewenste format, de toon en specifieke uitsluitingsregels. Het resultaat: een assistent die schrijft conform huisstijl en protocollen.
Een ander voorbeeld: je start met een algemeen model en traint het verder op duizenden juridische documenten. Daarna train je het op voorbeelden van juridische vragen met de gewenste redenering en toon. Het model behoudt zijn algemene taalvermogen, maar gebruikt nu jouw terminologie en volgt jouw regels.
Risico
Fine-tuning kan een model beter maken, maar ook kapot.
- Train je te smal of te veel, dan verliest het model algemene capaciteiten en gaat het alleen maar herhalen wat in de trainingsvoorbeelden stond (LLMs raken regelmatig erg afgeleid van voorbeelden).
- Zit er biasBias is de set aan vooroordelen in AI-output die het resultaat is van de data en de manier waarop een model is getraind. Omdat LLM's leren van bestaande teksten, waarin... Meer in je data, dan versterkt fine-tuning die bias vaak.
- En vertrouwelijke of auteursrechtelijk beschermde data kan onbedoeld “ingebakken” worden in het model.
- Daarnaast kan een model dat beter wordt op jouw specifieke taak, juist slechter worden op andere taken.
- Fine-tuning kost als laatste ook gewoon veel tijd en geld.
Wat kun je doen?
- Kies eerst de juiste aanpak: begin met prompting of RAG. Fine-tuning is de zwaarste optie en pas nodig als de rest niet werkt
- Zorg voor schone data: verwijder bijvoorbeeld privacygevoelige informatie
- Voorkom dat het model zijn algemene kennis verliest door ook general-purpose data mee te trainen
- Test op bias en edge cases: kwetsbare groepen, zeldzame scenario’s, adversarial prompts
- Beperk toegang en hergebruik contractueel en technisch met het oog op privacy, IP, etcetera