Begeleide fijnafstelling (SFT)

Definitie

Supervised fine-tuning (SFT) is het proces waarbij een vooraf getraind model wordt getraind op gelabelde gegevens voor een specifieke taak, waarbij alle of een deel van de parameters worden aangepast.

Doel

Het doel is om algemene modellen met verbeterde nauwkeurigheid aan te passen aan gespecialiseerde taken.

Belang

• Kerntechniek bij NLP- en visietaken.
• Vereist gelabelde gegevens van hoge kwaliteit.
• Er bestaat een risico op overfitting bij kleine datasets.
• Vaak een voorloper van RLHF.

Hoe het werkt

1. Selecteer een vooraf getraind model.
2. Verzamel gelabelde gegevens voor de doeltaak.
3. Train het model met supervised learning.
4. Valideer op een beschikbare testset.
5. Implementeren en bewaken van prestaties.

Voorbeelden (echte wereld)

• GPT heeft de klantenservicegesprekken verder verfijnd.
• BERT is geoptimaliseerd voor herkenning van benoemde entiteiten.
• Visietransformatoren afgestemd op medische beeldclassificatie.

Referenties / Verder lezen

• Devlin et al. “BERT: Vooropleiding van diepe bidirectionele transformatoren.” NAACL 2019.
• Documentatie voor Hugging Face Transformers.
• Stanford CS224N: NLP met Deep Learning.
• Wat is SFT? Waarom is het belangrijk?