Versterking leren van menselijke feedback (RLHF)

Definitie

Reinforcement Learning from Human Feedback (RLHF) is een methode om AI-modellen af ​​te stemmen op menselijke waarden door menselijke oordelen te integreren in het trainingsproces. Het wordt vaak gebruikt om grote taalmodellen te verfijnen.

Doel

Het doel is om AI-resultaten veiliger, nuttiger en beter afgestemd op menselijke voorkeuren te maken. RLHF verbetert conversatiesystemen door schadelijke, bevooroordeelde of irrelevante reacties te verminderen.

Belang

• Zorgt voor menselijk toezicht op AI-trainingen.
• Verbetert de betrouwbaarheid van AI-systemen.
• Veel werk vanwege de noodzaak van menselijke annotatie.
• Gerelateerd aan voorkeursmodellering en uitlijningsonderzoek.

Hoe het werkt

1. Verzamel menselijke feedback door de uitkomsten van het model te vergelijken.
2. Train een beloningsmodel op basis van menselijke voorkeuren.
3. Gebruik reinforcement learning om het basismodel te verfijnen.
4. Evalueer prestaties ten opzichte van afstemmingsdoelen.
5. Herhaal dit met aanvullende feedback.

Voorbeelden (echte wereld)

• OpenAI ChatGPT: afgestemd op RLHF voor veiligere reacties.
• De constitutionele AI van Anthropic: gebaseerd op principes in plaats van directe feedback.
• InstructGPT: vroeg OpenAI-model dat RLHF demonstreert.

Referenties / Verder lezen

• Christiano et al. “Diepgaand versterkend leren van menselijke voorkeuren.” NeurIPS 2017.
• OpenAI InstructGPT-document.
• NIST AI-risicomanagementkader.
• Wat is versterkend leren met menselijke feedback (RLHF)?