AI-trainingsgegevens

Definitie

AI-trainingsdata is de gelabelde dataset die wordt gebruikt om machine learning-modellen te leren patronen te identificeren en voorspellingen te doen. Het vertegenwoordigt de 'grondwaarheid' op basis waarvan modellen hun interne parameters aanpassen.

Doel

Het doel is om voorbeelden te bieden die algoritmen helpen bij het leren van statistische relaties. Het stelt modellen in staat om voorbeelden te generaliseren naar ongeziene data.

Belang

• De kwaliteit van de trainingsgegevens heeft rechtstreeks invloed op de nauwkeurigheid van het model.
• Bevooroordeelde of onevenwichtige gegevens leveren oneerlijke of onbetrouwbare modellen op.
• Voldoende grote datasets verbeteren de generalisatie.
• Het trainen van datalekken in testsets brengt evaluaties in gevaar.

Hoe het werkt

1. Definieer de voorspellingstaak en de vereisten voor de dataset.
2. Verzamel relevante ruwe gegevens.
3. Geef de gegevens labels of aantekeningen met de juiste uitvoer.
4. Opgesplitst in trainings-, validatie- en testsets.
5. Train het model om gewichten aan te passen op basis van de trainingsgegevens.

Voorbeelden (echte wereld)

• COCO-dataset: geannoteerde afbeeldingen voor detectie en segmentatie.
• Common Crawl: grootschalige webtekstdataset voor het voorbereiden van LLM's.
• LibriSpeech: spraakdataset voor ASR-training.

Referenties / Verder lezen

• Trainingsgegevens voor machinaal leren — IBM Research.
• ISO/IEC 23053: Raamwerk voor AI-systemen die ML gebruiken — ISO.
• NIST AI-risicomanagementkader — NIST.
• Wat zijn trainingsgegevens in machinaal leren? – Shaip