Grootschalige dataverzameling voor humanoïde robots: 5,000 uur per maand aan simulatie-naar-realiteit bewegingsdata.
Hoe Shaip maandelijks 5,000 geldige uren aan egocentrische VR-bewegingsregistratiegegevens levert, verzameld bij 1,500-2,500 deelnemers, 300-400 taken en meer dan 50 verschillende opname-instellingen in zes verschillende omgevingstypen.
project Overzicht
Naarmate fysieke AI en humanoïde robotica steeds vaker in de praktijk worden ingezet, had de klant behoefte aan een schaalbaar raamwerk om 5,000 geldige uren per maand aan taakgerichte VR-bewegingsdata te verzamelen in diverse omgevingen, met consistente kalibratie, uitvoering en kwaliteitsborging (QA).
Shaip bouwde de complete dataverwerkingspipeline, van het opzetten van de scène en het toewijzen van QR-codes tot het volgen van vijf sensoren, het oefenen met deelnemers, het vastleggen van gegevens onder begeleiding en het beoordelen van workflows. Deze pipeline ondersteunt 300-400 door de klant gedefinieerde taken en levert op grote schaal modelklare datasets voor belichaamde AI.
Key Stats
Deelnemers
1,500–2,500 per cyclus
Gegevensvolume
5,000 geldige uren per maand
Milieudekking
Meer dan 50 opnameomgevingen voor kantoor, thuis, fabriek, café, magazijn, apotheek en meer.
Timeline
Doorlopende maandelijkse cyclus
Challenges
- Het opschalen van bewegingsgegevensverzameling van gecontroleerde workflows in pilotenstijl naar een terugkerend proces. 5,000 geldige uren maandelijks programma.
- Het handhaven consistente nauwkeurigheid van de tracking in uiteenlopende realistische situaties en met verschillende deelnemersopstellingen.
- Ervoor zorgen dat elke sessie voldoet aan strikte eisen voor de aanvraag. Build- en versiebeheer, het opzetten van een gedeeld netwerk, schermopname en het koppelen van sensoren.
- Beheren 300-400 door de klant gedefinieerde taken Dit omvat categorieën zoals voortbeweging, objectmanipulatie, interactie in huiselijke omgeving, interactie op kantoor en fysieke werkprocessen met meerdere stappen – waarbij telkens een correcte scène-opstelling, objectplaatsing, bereidheid van de deelnemer en validatie door de moderator vereist zijn.
- Het omzetten van onbewerkte sessies naar modelklare outputs door middel van herhaalbare kwaliteitscontrole, afhandeling van herkansingen en beoordelingsworkflows voor geüploade bestanden.
Het resultaat
Verzamelstrategie
Shaip ontwierp een raamwerk voor het verzamelen van gegevens dat maandelijks 5,000 geldige uren aan VR-bewegingsdata oplevert in op mijlpalen gebaseerde batches. Uitgaande van een planningsverhouding van 3-5 deelnemers per 10 geldige uren, vereist elke maandelijkse cyclus naar schatting 1,500-2,500 deelnemers.
Omgevings- en scènebeheer
Omgevingen zijn op twee niveaus gestructureerd. Zes brede omgevingstypen – kantoor, thuis, fabriek, café, magazijn en farmacie – zijn onderverdeeld in meer dan 50 afzonderlijke opname-instellingen, elk een specifieke fysieke locatie zoals een gastenkamer, een espressobar, een assemblagelijn of een verpakkingslijn. Elke instelling wordt behandeld als een gestructureerde scène. Shaip documenteert deze met behulp van groothoekfotografie, configureert scènes in het beheersysteem, coördineert de feedback van de klant en exporteert scène-pdf's voor fysieke plaatsing. Dankzij QR-codes voor scènetoewijzing kan elke instelling betrouwbaar worden gekoppeld aan de juiste opnamecontext.
Apparaat- en applicatiegereedheid
Shaip standaardiseert de technische gereedheid door ervoor te zorgen dat de VR-headset en het monitoringapparaat op hetzelfde netwerk zijn aangesloten, de installatie en het updateproces van de applicatie te beheren en schermopname via de browser mogelijk te maken, zodat de moderator tijdens de sessie alles kan volgen.
Bewegingsdetectie en kalibratie
Voorafgaand aan elke sessie worden alle vijf bewegingssensoren gekoppeld en gevalideerd. Kalibratie is verplicht voor elke deelnemer, inclusief controle van de avataruitlijning, aanpassing van de vloer en het instellen van aangepaste grenzen om nauwkeurige registratie van de volledige lichaamsbeweging binnen de opneembare activiteitsruimte te garanderen.
Taakuitvoering en moderatie
Deelnemers worden voorafgaand aan de opname begeleid bij de voorbereiding en repetitie van scènespecifieke taken. Moderators observeren via schermopname, controleren de nauwkeurigheid van de taak en de helderheid van de bewegingen, en gaan pas over tot live-opname zodra het sensorgedrag en de bewegingen van de deelnemer aan de kwaliteitseisen voldoen. Het starten en stoppen van de opname gebeurt via de vooraf gedefinieerde gebarenworkflow.
Kwaliteitsborging en modelklare output
Na de opname worden de sessies geüpload voor beoordeling. Shaip valideert de bewegingshelderheid, de correctheid van de taak, de uitlijning van de scène en de nauwkeurigheid van de sensoren, en annuleert of herneemt onbruikbare opnames indien nodig. Dit zorgt voor een betrouwbaarder traject naar annotatieklare, door QA geverifieerde en modelklare datasets voor training in belichaamde AI en robotica.
Project bereik
| Gegevenssettype | Deelnemers | Opnamevolume | Milieudekking | Taakvolume | Opname-instellingen | Timeline |
|---|---|---|---|---|---|---|
| Egocentrische VR-bewegingsregistratie | 1,500–2,500 per cyclus | 5,000 geldige uren per maand | Meer dan 50 opname-instellingen voor kantoor, thuis, café, fabriek, magazijn, apotheek en andere praktijkomgevingen. | 300-400 door de klant gedefinieerde taken | VR-headset + 5 bewegingssensoren | Doorlopende maandelijkse cyclus |
De uitkomst
- Een schaalbaar raamwerk voor dataoperaties opgezet voor 5,000 geldige uren per maand van fysieke AI trainingsdata
- Gestandaardiseerde Scènebeheer, QR-gebaseerde kaartweergave en kalibratie van vijf sensoren in gedistribueerde omgevingen
- Verbeterde consistentie van de gegevensverzameling door gemodereerde repetitie, realtime schermopnamebeoordeling en vraag- en antwoordsessies.
- ingeschakeld Taakgevalideerde, annotatieklare outputs voor de ontwikkeling van modellen voor belichaamde AI, simulatie en robotica.
- Versterkte de klant simulatie-naar-werkelijke data-pipeline met hoogwaardige egocentrische bewegingsregistratie uit diverse realistische omgevingen
Al met al heeft Shaip geholpen om een complexe VR-opnamebehoefte om te zetten in een gestructureerde, productiegereed datapipeline – een pipeline die initiatieven op het gebied van fysieke AI, belichaamde intelligentie en humanoïde robotica kan ondersteunen met een grotere consistentie, traceerbaarheid en schaalbaarheid.
Shaip heeft ons geholpen bij het opzetten van de dataverwerkingsinfrastructuur voor onze Physical AI-roadmap. Hun team heeft structuur aangebracht in de motion capture in meerdere omgevingen, het beheer van deelnemers, de scène-opzet, de kalibratie en de kwaliteitscontrole. Hierdoor konden we modelklare datasets genereren die simulatie-naar-real learning ondersteunen voor belichaamde AI en humanoïde robotica.
