Groot taalmodel (LLM)

Definitie

Een groot taalmodel (LLM) is een neuraal netwerk dat is getraind op enorme tekstcorpora om menselijke taal te begrijpen en te genereren. LLM's gebruiken miljarden parameters om taalpatronen vast te leggen.

Doel

Het doel is om geavanceerde NLP-taken mogelijk te maken, zoals tekstgeneratie, samenvatting en vertaling. LLM's worden gebruikt in chatbots, zoek- en productiviteitstools.

Belang

• Ondersteunt moderne conversationele AI.
• Risico op vooringenomenheid, verkeerde informatie en hallucinaties.
• Hoge reken- en milieukosten.
• Vereist zorgvuldige afstemming en governance.

Hoe het werkt

1. Verzamel grootschalige tekstdatasets.
2. Tokeniseer tekst in numerieke representaties.
3. Train transformatormodellen met miljarden parameters.
4. Leer hoe u de volgende token in context kunt voorspellen.
5. Verbeteren of aanpassen aan downstreamtaken.

Voorbeelden (echte wereld)

• GPT-4 (OpenAI): gebruikt in ChatGPT.
• PaLM (Google): grootschalige LLM voor onderzoek en producten.
• LLaMA (Meta): open, op onderzoek gerichte LLM.

Referenties / Verder lezen

• Vaswani et al. “Aandacht is alles wat je nodig hebt.” NeurIPS 2017.
• OpenAI GPT-4-systeemkaart.
• Stanford CRFM. “Fundamentele modellen.”
• Alles wat u moet weten over LLM