Tokenisatie in LLM's

Definitie

Tokenisatie is het proces waarbij tekst wordt opgedeeld in kleinere eenheden (tokens), zoals woorden, subwoorden of tekens, die dienen als invoer voor taalmodellen.

Doel

Het doel is om teksten te standaardiseren in hanteerbare componenten voor training en gevolgtrekking in LLM's.

Belang

• Fundamentele preprocessingstap in NLP.
• Heeft invloed op de omvang en efficiëntie van de woordenschat.
• Keuzes in tokenisatie hebben invloed op de nauwkeurigheid en prestaties.
• Gerelateerd aan embeddings en modeltraining.

Hoe het werkt

1. Definieer het tokenisatieschema (woord, subwoord, teken).
2. Tokenizer op invoertekst toepassen.
3. Tokens toewijzen aan numerieke ID's.
4. Voer tokens in het model in ter verwerking.
5. Converteer uitvoertokens terug naar tekst.

Voorbeelden (echte wereld)

• Byte Pair Encoding (BPE) gebruikt in GPT-modellen.
• WordPiece gebruikt in BERT.
• SentencePiece gebruikt in meertalige NLP.

Referenties / Verder lezen

• Sennrich et al. “Neurale machinevertaling van zeldzame woorden met subwoord-eenheden.” ACL.
• Google SentencePiece-documentatie.
• Jurafsky & Martin. Spraak- en taalverwerking.