Het ontwikkelen van een robotbeleid dat in de praktijk werkt, is niet langer een computerprobleem, maar een dataprobleem. Teams die zich bezighouden met belichaamde AI hebben drie opties om hun modellen te voeden: teleoperatie, simulatie en videobeelden van mensen. Elk van deze opties heeft een andere kostenstructuur, een ander nauwkeurigheidsprofiel en een andere maximale leerlimiet voor de robot. Het kiezen van de verkeerde primaire bron kan zes maanden en een budget van miljoenen kosten voordat je erachter komt. Deze gids beschrijft elke databron voor belichaamde AI, de sterke en zwakke punten ervan, en hoe je ze kunt combineren tot een productieklare trainingsdatastrategie voor robots.
Key Takeaways
- Teleoperatie levert de meest nauwkeurige gegevens op, maar de verwerkingstijd ligt tussen de 5 en 50 afleveringen per operatoruur.
- Simulaties genereren miljoenen afleveringen op een goedkope manier, maar introduceren een kloof tussen simulatie en realiteit die problemen oplevert bij taken met veel interactie.
- Menselijke video's schalen moeiteloos, maar missen labels voor robotacties en vertonen een gebrek aan belichaming.
- Recent onderzoek toont aan dat ongeveer 8 simulatiesamples dezelfde waarde leveren als 1 teleoperatie-sample voor taken binnen het eigen domein.
- De meeste in de praktijk toegepaste AI-pipelines combineren alle drie de bronnen in plaats van er één te kiezen.
Waarom vormen data de bottleneck bij belichaamde AI?
Data vormt het knelpunt in belichaamde AI, omdat actie-gekoppelde sensorimotorische data niet op internetschaal beschikbaar is. Een taalmodel kan een biljoen tekstfragmenten van het web verwerken. Een robotbeleid vereist gesynchroniseerde gewrichtshoeken, grijpkrachten, camerabeelden en taakcontext – allemaal vastgelegd tijdens fysieke manipulatie. Niets daarvan is gratis beschikbaar.
Het verschil in schaal is enorm. Wereldwijd zijn er meer dan 3.9 miljoen industriële robots in gebruik (IFR World Robotics, 2024), terwijl de grootste open dataset voor robotmanipulatie slechts ongeveer 1 miljoen episodes bevat (Open X-Embodiment, Padalkar et al., 2023). De hardware is overal, maar de data niet. Elke nieuwe uitvoeringsvorm – eenarmige manipulator, bimanuele humanoïde, mobiele basis met een arm – stelt in feite nieuwe datavereisten, omdat beleidsregels die op één vormfactor zijn getraind zelden probleemloos naar een andere kunnen worden overgedragen.
De kloof in belichaming: Het prestatieverlies dat optreedt wanneer een beleid dat is getraind op de fysieke configuratie van één robot, wordt toegepast op een andere robot.
Daarom denken robotleerteams nu in termen van datastrategie, en niet alleen in termen van dataverzameling. De juiste mix van teleoperatie, simulatie en menselijke video bepaalt wat je model kan, hoe snel het wordt geïmplementeerd en hoeveel je daarvoor moet uitgeven.
Wat zijn teleoperatiegegevens en wanneer zijn ze effectief?
Teleoperatiegegevens worden vastgelegd wanneer een menselijke operator een robot in realtime bestuurt via een geleidearm, VR-headset, exoskelet of polsinterface, terwijl het systeem synchroon elke gewrichtshoek, krachtmeting en camerabeeld registreert.
Teleoperatie: Realtime menselijke besturing van een robot met gesynchroniseerde sensorimotorische gegevens die tijdens de manipulatie worden geregistreerd.
Teleoperatie blinkt uit in nauwkeurigheid. Omdat de data gegenereerd wordt door een ervaren mens die exact dezelfde taak uitvoert op exact dezelfde robot, is de correspondentie tussen actie en toestand perfect en is er geen sprake van een verschil tussen de daadwerkelijke uitvoering en de robot. Imitatieleren, gedragsklonen en het verfijnen van beleid profiteren allemaal van heldere teleoperatiedemonstraties.
De kosten worden pas echt duidelijk bij grotere schaalvergroting. Een ervaren teleoperator produceert 5 tot 50 afleveringen per uur, afhankelijk van de complexiteit van de taak, en de kwaliteit neemt af naarmate de operator vermoeid raakt. Eén robot, één operator – dat is het maximum, en daarom hebben open platforms zoals ALOHA, UMI en op exoskeletten gebaseerde humanoïde robots (AgiBot, Fourier GR-1) zich allemaal gericht op kostenbesparing en een hogere doorvoer in plaats van radicale schaalvergroting.
Shaip's Fysieke AI-datadiensten Teleoperatiecellen kunnen worden ingezet in combinatie met multimodale verzamelprocessen, zodat roboticateams geen operatorpipelines helemaal opnieuw hoeven op te bouwen.
Wat zijn simulatiegegevens en tot welke schaal zijn ze toepasbaar?
Simulatiegegevens worden gegenereerd door physics engines — MuJoCo, NVIDIA Isaac Sim, Isaac Lab, PyBullet — die virtuele robots renderen die taken uitvoeren op duizenden parallelle instanties. Een enkel GPU-cluster kan 's nachts miljoenen episodes produceren tegen vrijwel nul extra kosten.
Simulaties hebben voordelen op het gebied van schaalbaarheid en veiligheid. Randgevallen, botsingsfouten en gevaarlijke configuraties kunnen allemaal worden onderzocht zonder dat de hardware beschadigd raakt. Domeinrandomisatie – het willekeurig variëren van belichting, texturen, wrijving en gewrichtsstijfheid tijdens de training – genereert beleidsregels die bestand zijn tegen variaties in de echte wereld, in plaats van overmatig te worden afgestemd op één enkele visuele configuratie.
Verschil tussen simulatie en werkelijkheid: De prestatievermindering die optreedt wanneer een in simulatie getraind beleid wordt geïmplementeerd op fysieke hardware, wordt meestal veroorzaakt door contactdynamiek, sensorruis en verschillen in visuele nauwkeurigheid.
De kosten worden pas duidelijk bij de implementatie. Simulatoren modelleren niet de wrijving van een vochtig stuk zeep, de flexibiliteit van schuimverpakkingen of de visuele variatie van spiegelend metaal onder tl-verlichting. Bij taken met veel contact is de vergelijking tussen simulatie en realiteit het vaakst mislukt. Onderzoek uit 2025 kwantificeerde deze afweging: ruwweg 8 simulaties leveren hetzelfde voordeel op als 1 teleoperatie voor manipulatietaken binnen het domein (Data Utilization Law for Robotic Manipulation, 2025).
Fotorealistische renderingplatforms zoals NVIDIA Cosmos en 3D Gaussian Splatting verkleinen de visuele kloof, maar de dynamische kloof — wrijving, vervorming, flexibiliteit — blijft het grootste probleem.
Wat zijn menselijke videogegevens en wat kunnen we ermee bereiken?
Menselijke videogegevens zijn beelden van mensen die handelingen uitvoeren – wasgoed opvouwen, servies stapelen, onderdelen in elkaar zetten – vastgelegd door egocentrische camera's, bewakingscamera's of speciaal ontworpen demonstratieopstellingen.
Menselijke video-opnames zijn voordeliger en bieden meer diversiteit. Eén persoon met een smartphone kan in één middag honderden demonstraties vastleggen in keukens, garages, fabrieken en kantoren. Geen robot nodig, geen laboratorium nodig, geen training voor de operator nodig. Grote beeld-taalmodellen, getraind op menselijke video-opnames, verwerven een algemeen begrip van de omgeving dat nuttig kan worden toegepast op robotbeleid voordat het verder wordt verfijnd.
De beperking is het ontbreken van een actielabel. De video toont een hand die een mok vastpakt; de uitgeoefende kracht of de gewrichtshoeken die een robotarm nodig zou hebben om de beweging na te bootsen, worden niet geregistreerd. Inverse dynamische modellen en het opnieuw richten van de hand op de eindeffector kunnen deze labels gedeeltelijk afleiden, maar de resulterende pseudo-acties bevatten ruis.
Stel je een startup voor die een keukenrobot bouwt. Ze hebben $80,000 te besteden. Twintig uur deskundige teleoperatie levert ze misschien 200 schone videofragmenten op voor hun robotarm. Twintig uur aan video-opnames van verschillende keukens levert ze duizenden zelfgekozen videofragmenten op. De teleoperatie levert scherpere beelden op. De video-opnames bieden een breder perspectief. De robot heeft beide nodig, in verschillende verhoudingen en in verschillende trainingsfasen.
Teleoperatie versus simulatie versus menselijke video: een vergelijking naast elkaar.
| Afmeting | Teleoperatie | Simulatie | Menselijke video |
|---|---|---|---|
| Kosten per aflevering | Hoog (operator + robottijd) | Zeer laag (alleen voor berekeningen) | Zeer laag (bijdragetijd) |
| Doorvoer | 5–50 afleveringen per uur | Duizenden per uur per GPU | Honderden euro's per uur per bijdrager |
| Trouw | Hoogste (nul belichamingsverschil) | Gemiddeld (verschil tussen simulatie en werkelijkheid) | Gemiddeld (geen actielabels) |
| Taakdiversiteit | Beperkt door de openingstijden van de operator | Beperkt door omgevingsontwerp | Hoogste (variëteit in de praktijk) |
| Best voor | Fijn afstellen, contactrijke taken | Voorbereiding, randgevallen, veiligheid | Voorbereidende training, scènebegrip |
| Belangrijkste zwakte | Schaalbaar niet | Simulatie-naar-werkelijkheid overdracht | belichaming herpositionering |
| Typische productiemix | 5–20% van het totaal | 60–80% van het totaal | 10–30% van het totaal |
Hoe kies je de juiste datastrategie voor belichaamde AI?
De juiste strategie voor het trainen van robotdata begint bij het beoogde gebruik, niet bij de databron. Een pick-and-place robot in een fabriek, een humanoïde robot voor huishoudelijk gebruik en een chirurgische assistent hebben radicaal verschillende eisen op het gebied van nauwkeurigheid, veiligheid en belichaming – en dus ook radicaal verschillende ideale datamixen.
Een praktisch stappenplan in drie stappen:
- Train vooraf met behulp van simulaties en video-opnamen van mensen. Gebruik simulatie voor een brede dekking van scènes, objecten en veiligheidsrisico's. Voeg egocentrische videobeelden van mensen toe voor natuurlijke manipulatie-prioriteiten en realistische visuele variatie. Deze fase is goedkoop en breed toepasbaar.
- Verankering met teleoperatie op de doeluitvoering. Verzamel 500 tot 2,000 hoogwaardige teleoperatie-episodes met precies de robot die u wilt inzetten. Deze fase is kostbaar, maar onvervangbaar: het verankert het beleid in de werkelijke dynamiek.
- Itereer met het data-vliegwiel. Leg na de implementatie de autonome uitrol en eventuele mislukkingen vast. Gebruik deze gegevens samen met nieuwe video-opnamen van teleoperaties en menselijke tussenkomst in de volgende trainingscyclus.
Zie het als de opleiding van een chef-kok. Simulatie is de kookschool: breed opgezet, goedkoop en fouttolerant. Videobewerking met menselijke tussenkomst betekent duizenden kookvideo's bekijken: brede context, maar geen eigen keuken. Teleoperatie is de praktijkstage in de echte keuken waar je gaat werken: traag, duur en onvervangbaar. Geen enkele serieuze chef-kok slaat een van deze drie over.
Shaip's multimodale gegevensverzameling en annotatieworkflows Ze zijn ontworpen om alle drie de lagen te ondersteunen: teleoperaties, simulatie-labeling en egocentrische videoverzameling via een wereldwijd netwerk van meer dan 500 bijdragers. Hierdoor kunnen roboticateams een hybride strategie opzetten zonder vijf verschillende leveranciers aan elkaar te hoeven koppelen.
Conclusie
Het debat over teleoperatie versus simulatie versus menselijke video heeft in 2026 een duidelijk antwoord: het is geen keuze, maar een combinatie. Teleoperatie biedt nauwkeurigheid. Simulatie biedt schaalbaarheid. Menselijke video biedt diversiteit. Productieprocessen voor geïntegreerde AI combineren deze drie, waarbij de nadruk ligt op het beoogde gebruik, de implementatie en het budget. De teams die de komende tien jaar succesvol zullen zijn in robotleren, zullen niet de goedkoopste optie kiezen, maar de slimste mix samenstellen.
Wat is het verschil tussen teleoperatie- en simulatiegegevens voor robottraining?
Teleoperatiegegevens worden vastgelegd tijdens realtime menselijke besturing van een fysieke robot, waardoor zeer nauwkeurige actie-toestandparen met een nul-interval tussen simulatie en realiteit worden gegenereerd. Simulatiegegevens worden gegenereerd in fysica-engines zoals MuJoCo of NVIDIA Isaac Sim, die een enorme schaalbaarheid tegen lage kosten bieden, maar wel een verschil tussen simulatie en realiteit introduceren. Teleoperatie is het meest geschikt voor het verfijnen van een beleid, terwijl simulatie het meest geschikt is voor pre-training en extreme gevallen.
Hoeveel teleoperatiegegevens heb je nodig om een robotbeleid te trainen?
De vereisten voor teleoperatie hangen af van de vraag of het model vooraf is getraind of helemaal opnieuw is getraind. Een beleid dat is getraind op simulaties en video's van mensen convergeert doorgaans met 500 tot 2,000 teleoperatie-episodes per doeltaak. Zonder voorafgaande training stijgt dit aantal aanzienlijk tot meer dan 10,000 episodes. Datasets voor training met meerdere belichamingen, zoals Open X-Embodiment, verlagen het benodigde teleoperatiebudget in de finetuningfase aanzienlijk.
Kan videobeelden van mensen teleoperatie vervangen bij het trainen van belichaamde AI?
Menselijke video kan teleoperatie niet volledig vervangen, omdat video geen expliciete labels voor robotacties bevat – zoals krachtmetingen, gewrichtshoeken en grijperstanden – die imitatieleer vereist. Inverse dynamische modellen kunnen gedeeltelijke actielabels afleiden, maar beleidsstrategieën die daarop gebaseerd zijn, presteren minder goed dan strategieën die zijn verfijnd op basis van daadwerkelijke teleoperatie. Menselijke video is het meest waardevol als bron voor voorbereidende training en als basis voor het begrijpen van de omgeving, als een laag onder een fase voor het verfijnen van de teleoperatie.
Wat is de kloof tussen simulatie en werkelijkheid en hoe overbrug je die?
De kloof tussen simulatie en realiteit is de prestatievermindering die optreedt wanneer een in simulatie getraind beleid wordt ingezet op fysieke hardware. Methoden om deze kloof te dichten zijn onder andere domeinrandomisatie (variërende belichting, texturen en wrijving tijdens de training), fotorealistische renderingplatforms zoals NVIDIA Cosmos, 3D Gaussian Splatting voor scènereconstructie en systeemidentificatie om de fysieke parameters van de echte robot te evenaren. De meeste productiepipelines combineren meerdere methoden plus een fase voor het finetunen van de teleoperatie.
Welke databron is het meest geschikt voor het trainen van humanoïde robots in 2026?
De training van humanoïde robots profiteert het meest van een gelaagde strategie: simulatie voor voortbeweging en besturing van het hele lichaam, teleoperatie met behulp van een exoskelet voor behendige manipulatie, en grote egocentrische videodatasets voor het verkrijgen van inzicht in natuurlijke scènes. Open datasets zoals AgiBot World en Open X-Embodiment bieden voorbereidende training voor verschillende lichaamsvormen, terwijl op maat gemaakte teleoperatiecellen het beleid verankeren in de specifieke kinematica van de beoogde humanoïde robot.
