Scherpstellen

Definitie

Fine tuning is het proces waarbij een vooraf getraind machine learning-model wordt aangepast aan een nieuwe taak met behulp van aanvullende training op kleinere, domeinspecifieke datasets.

Doel

Het doel is om kennis uit grote modellen te hergebruiken en de prestaties bij gespecialiseerde taken te verbeteren met minder middelen.

Belang

• Vermindert trainingskosten en -tijd vergeleken met het helemaal opnieuw bouwen van modellen.
• Verbetert de prestaties bij domeinspecifieke taken.
• Er bestaat een risico op overfitting als de trainingsgegevens te beperkt zijn.
• Gerelateerd aan transferleren.

Hoe het werkt

1. Selecteer een vooraf getraind basismodel.
2. Taakspecifieke lagen vervangen of aanpassen.
3. Train met gelabelde gegevens uit het nieuwe domein.
4. Pas het leertempo aan om een ​​evenwicht te vinden tussen oude en nieuwe kennis.
5. Valideer en test op generalisatie.

Voorbeelden (echte wereld)

• BERT verfijnd voor sentimentanalyse.
• GPT-modellen zijn geoptimaliseerd voor chatbots voor klantenondersteuning.
• Visuele modellen afgestemd op classificatie van medische beeldvorming.

Referenties / Verder lezen

• Howard & Ruder. “Fine-tuning van het universele taalmodel” (ULMFiT). ACL 2018.
• Documentatie voor Hugging Face Transformers.
• Pan & Yang. "Een onderzoek naar transferleren." IEEE TKDE.
• Wat is fine-tuning voor grote taalmodellen? – Shaip