Vooropleiding

Definitie

Pre-training is de eerste training van een machine learning-model op grote, algemene datasets, voordat het model wordt verfijnd voor specifieke taken.

Doel

Het doel is om modellen te voorzien van brede representaties die toepasbaar zijn op meerdere taken. Hierdoor worden de gegevens- en rekenvereisten voor aanpassing verderop in het proces verminderd.

Belang

• Basis voor moderne LLM's en visiemodellen.
• Verbetert de prestaties bij verschillende taken.
• Veeleisend qua data en berekeningen.
• Vereist zorgvuldige curatie van de dataset om vertekening te voorkomen.

Hoe het werkt

1. Verzamel grote algemene datasets (tekst, afbeeldingen).
2. Definieer niet-begeleide of zelf-begeleide leertaken.
3. Train modellen om algemene functies te leren.
4. Bewaar de gewichten die u eerder hebt gebruikt, zodat u ze opnieuw kunt gebruiken.
5. Verfijn op kleinere taakspecifieke datasets.

Voorbeelden (echte wereld)

• BERT heeft een vooropleiding gevolgd op Wikipedia en BooksCorpus.
• CLIP is getraind op afbeelding-tekstparen.
• GPT-modellen zijn vooraf getraind op grootschalige internettekst.

Referenties / Verder lezen

• Devlin et al. “BERT: Vooropleiding van diepe bidirectionele transformatoren.” NAACL 2019.
• Radford et al. “Taalmodellen zijn leerlingen met een beperkt aantal kansen.” NeurIPS 2020.
• Technisch rapport OpenAI GPT-4.