Het opschalen van fysieke AI en humanoïde robotica met 10 uur aan simulatie-naar-reële bewegingsgegevens.
Hoe Shaip 10,000 uur aan egocentrische VR-bewegingsregistratiegegevens leverde van 4,000 deelnemers, 100 taken en meer dan 5 realistische omgevingen — gebouwd als een productieklare trainingsdata-pipeline voor fysieke AI voor de overgang van simulatie naar realiteit van humanoïde robots.
project Overzicht
Naarmate Physical AI en humanoïde robotica steeds vaker in de praktijk worden ingezet, had de klant een schaalbaar framework nodig om 10,000 uur aan taakgerichte VR-bewegingsdata te verzamelen in diverse omgevingen, met consistente kalibratie, uitvoering en kwaliteitscontrole.
Shaip bouwde de complete dataverwerkingspipeline, van het opzetten van de scène en het toewijzen van QR-codes tot het volgen van vijf sensoren, het oefenen met deelnemers, het vastleggen onder begeleiding en de beoordelingsworkflows. Deze pipeline ondersteunt 100 door de klant gedefinieerde taken en levert op grote schaal modelklare datasets voor belichaamde AI.
Key Stats
Deelnemers
~ 4,000
Gegevensvolume
10,000 geldige uren
Milieudekking
Kantoor, woning, fabriek, café, magazijn, enz.
Timeline
1 maand
Challenges
- Het opschalen van bewegingsgegevensverzameling van gecontroleerde workflows in pilotenstijl naar een 10,000 uur, meerdere omgevingen programma.
- Het handhaven consistente nauwkeurigheid van de tracking in uiteenlopende realistische situaties en met verschillende deelnemersopstellingen.
- Ervoor zorgen dat elke sessie aan strikte eisen voldeed voor APK-/versiebeheer, het instellen van een gedeeld netwerk, schermdeling en het koppelen van sensoren.
- Beheren 100 door de klant gedefinieerde taken Dit omvat categorieën zoals voortbeweging, objectmanipulatie, interactie in huiselijke omgeving, interactie op kantoor en fysieke werkprocessen met meerdere stappen – waarbij telkens een correcte scène-opstelling, objectplaatsing, bereidheid van de deelnemer en validatie door de moderator vereist zijn.
- Het omzetten van onbewerkte sessies naar modelklare outputs door middel van herhaalbare kwaliteitscontrole, afhandeling van herkansingen en beoordelingsworkflows voor geüploade bestanden.
Het resultaat
Verzamelstrategie
Shaip heeft een schaalbaar framework voor collecties ontworpen voor 10,000 geldige uren VR-bewegingsgegevens, geleverd in batches op basis van mijlpalen. Gebaseerd op de bronplanningsverhouding van 3–5 deelnemers per 10 geldige urenHet volledige programma is op te schalen naar een geschatte waarde. 3,000–5,000 deelnemersmet ~4,000 deelnemers gebruikt als middelpunt voor de planning.
Omgevings- en scènebeheer
Elke opnamelocatie werd behandeld als een gestructureerde scène. Shaip documenteerde de omgeving met behulp van groothoekfotografie, configureerde scènes in het beheersysteem, coördineerde de klantbeoordeling en exporteerde scène-pdf's voor fysieke plaatsing. Dankzij QR-codes in de scène-mapping kon elke omgeving in de echte wereld betrouwbaar worden gekoppeld aan de juiste opnamecontext.
Apparaat- en applicatiegereedheid
Shaip standaardiseerde de technische gereedheid door ervoor te zorgen dat de VR-headset en het monitoringapparaat met hetzelfde netwerk waren verbonden, de installatie/update van APK's te controleren en schermopname via de browser mogelijk te maken, zodat de moderator gedurende de hele sessie inzicht had in de situatie.
Bewegingsdetectie en kalibratie
Voorafgaand aan elke sessie werden alle vijf bewegingssensoren gekoppeld en gevalideerd. Kalibratie was verplicht voor elke deelnemer, inclusief controle van de avataruitlijning, aanpassing van de vloer en het instellen van aangepaste grenzen om nauwkeurige registratie van de volledige lichaamsbeweging binnen de opneembare activiteitsruimte te garanderen.
Taakuitvoering en moderatie
De deelnemers werden voorafgaand aan de opname begeleid bij de voorbereiding en repetitie van de scènespecifieke taken. Moderators observeerden via een schermopname, controleerden de nauwkeurigheid van de taken en de helderheid van de bewegingen, en gingen pas over tot live-opname zodra het sensorgedrag en de bewegingen van de deelnemer aan de kwaliteitseisen voldeden. Het starten en stoppen van de opname gebeurde via de vooraf gedefinieerde gebarenworkflow.
Kwaliteitsborging en modelklare output
Na de opnames werden de sessies geüpload naar de geschiedenis voor beoordeling. Shaip valideerde de bewegingshelderheid, de correctheid van de taak, de uitlijning van de scène en de nauwkeurigheid van de sensoren, en annuleerde of hernam onbruikbare opnames indien nodig. Dit creëerde een betrouwbaarder traject naar annotatieklare, door QA geverifieerde en modelklare datasets voor training in belichaamde AI en robotica.
Project bereik
| Gegevenssettype | Deelnemers | Opnamevolume | omgevingen | Taakvolume | Opname-instellingen | Timeline |
|---|---|---|---|---|---|---|
| Egocentrische VR-bewegingsregistratie | ~ 4,000 | 10,000 geldige uren | Kantoor, huis, café, fabriek, magazijn en andere realistische omgevingen. | 100 door de klant gedefinieerde taken | VR-headset + 5 bewegingssensoren | 1 maand |
De uitkomst
- Een schaalbaar raamwerk voor dataoperaties opgezet voor 10,000 uur aan trainingsdata voor fysieke AI
- Gestandaardiseerde Scènebeheer, QR-gebaseerde kaartweergave en kalibratie van vijf sensoren in gedistribueerde omgevingen
- Verbeterde consistentie van de gegevensverzameling door gemodereerde repetitie, realtime schermopnamebeoordeling en vraag- en antwoordsessies.
- ingeschakeld Taakgevalideerde, annotatieklare outputs voor de ontwikkeling van modellen voor belichaamde AI, simulatie en robotica.
- Versterkte de klant simulatie-naar-werkelijke data-pipeline met hoogwaardige egocentrische bewegingsregistratie
uit diverse praktijksituaties
Al met al heeft Shaip geholpen om een complexe VR-opnamebehoefte om te zetten in een gestructureerde, productiegereed datapipeline – een pipeline die in staat is om te ondersteunen Fysieke AI, belichaamde intelligentie en humanoïde robotica initiatieven met een grotere consistentie, traceerbaarheid en schaalbaarheid.
Shaip heeft ons geholpen bij het opzetten van de dataverwerkingsinfrastructuur voor onze Physical AI-roadmap. Hun team heeft structuur aangebracht in de motion capture in meerdere omgevingen, het beheer van deelnemers, de scène-opzet, de kalibratie en de kwaliteitscontrole. Hierdoor konden we modelklare datasets genereren die simulatie-naar-real learning ondersteunen voor belichaamde AI en humanoïde robotica.
– Vicepresident, Data- en simulatie-infrastructuur
