Het bevorderen van belichaamde AI met behulp van egocentrische videogegevens uit de echte wereld.
Maakt het mogelijk om menselijke activiteiten te herkennen, robotica toe te passen en modellen voor hand-objectinteractie te ontwikkelen met behulp van schaalbare video-opnamen uit huishoudelijke en industriële omgevingen.
project Overzicht
De klant werkte samen met Shaip om een schaalbaar programma op te zetten voor het verzamelen van hoogwaardige, egocentrische videobeelden. Deelnemers zouden authentieke huishoudelijke en industriële activiteiten vastleggen met behulp van mobiele apparaten die veilig op voorhoofdhoogte waren bevestigd.
Het doel was om een diverse, realistische videodataset te creëren die geschikt is voor het trainen van modellen om:
- Complexe menselijke activiteiten en taaksequenties herkennen.
- Interpreteer interacties tussen hand en object.
- Inzicht in de werkelijke woon- en werkomgeving.
- Ondersteuning van robotica en toepassingen van geïntegreerde AI
- Verbeter de generalisatie van het model over verschillende locaties, apparaten, objecten en bedrijfsomstandigheden.
De samenwerking legde de nadruk op natuurlijke taakuitvoering, stabiele camerapositionering, continue uitvoering, toestemming van de deelnemers en strenge kwaliteitscontrole.
Egocentrische videodataset: Belangrijkste specificaties
Gegevensvolume
30,000 uur aan opnames verzameld, meer dan 24,000 uur aan geannoteerd.
Bijdragercapaciteit
Maximaal 100 goedgekeurde video-uren per deelnemer.
Goedgekeurde apparaten
iPhone 11+, Google Pixel 6+ en Samsung Galaxy S21+
Geografische dekking
Verenigde Staten en Latijns-Amerika
Activiteitsomgevingen
Huishoudelijke, industriële en commerciële omgevingen
Uitdagingen bij egocentrische video-dataverzameling
- Natuurlijk menselijk gedrag vastleggen: Deelnemers moesten authentieke activiteiten uitvoeren zonder geënsceneerde, overdreven of robotachtige bewegingen.
- Het perspectief vanuit de eerste persoon behouden: Zowel de handen, het werkgebied als de relevante objecten moesten tijdens de actieve uitvoering van de taak zichtbaar blijven.
- De camerastabiliteit regelen: De op het hoofd gedragen mobiele apparaten moesten stevig op hun plaats blijven, met minimale speling, overmatige kanteling of belemmering.
- Verzamelen in diverse omgevingen: De dataset vereiste authentiek beeldmateriaal uit woon-, industrie-, winkel-, horeca-, landbouw-, bouw- en dienstverlenende omgevingen.
- Het minimaliseren van inactieve of niet-taakgerelateerde beelden: De opnames moesten aantonen dat er sprake was van ononderbroken, doelgericht werk met minimale pauzes en onnodige bewegingen.
- Het waarborgen van toestemming en goedkeuring: Voor elke bijdrager en opnamelocatie was de juiste toestemming, instemming en nalevingsvalidatie vereist.
- Schaalvergroting zonder kwaliteitsverlies: Grote hoeveelheden beeldmateriaal moesten snel worden beoordeeld, met duidelijke redenen voor afwijzing en efficiënte workflows voor heropname.
Hoe Shaip de egocentrische videogegevens verzamelde
Verzamelstrategie
Shaip ontwierp een flexibel raamwerk dat authentieke huishoudelijke, commerciële en industriële activiteiten omvatte. De deelnemers kozen taken die aansloten bij hun natuurlijke routines, in plaats van voorgeschreven scripts te volgen.
Inwerken van bijdragers
Deelnemers in de Verenigde Staten en Latijns-Amerika werden getraind in taakselectie, apparaatvereisten, cameraplaatsing, toestemming en verboden opnameomstandigheden.
Mobiele videocollectie
De opnames werden gemaakt via een speciaal daarvoor bestemde mobiele applicatie met automatische indiening en locatieverificatie om te bevestigen dat de opnames binnen de goedgekeurde regio's plaatsvonden.
Opstelling van een op het hoofd gemonteerde camera
De goedgekeurde smartphones werden stevig op voorhoofdhoogte bevestigd en onder een hoek van ongeveer 45° naar beneden gericht, zodat de handen, objecten, werkplek en, in stilstand, de tenen van de deelnemer zichtbaar bleven.
Natuurlijke taakuitvoering
De deelnemers voerden continu doelgerichte activiteiten uit, staand of lopend, en interacteerden op natuurlijke wijze met gereedschap, apparatuur en alledaagse voorwerpen.
Kwaliteitsvalidatie
Elke opname werd gecontroleerd op camerastabiliteit, belichting, scherpstelling, zichtbaarheid van handen en objecten, continuïteit van de taak, houding, omgeving en autorisatie.
Snelle evaluatie en heroverweging
Inzendingen werden binnen één dag beoordeeld. Dankzij de duidelijke redenen voor afwijzing konden deelnemers de beelden snel corrigeren en opnieuw opnemen.
Bestuurscontroles
Toestemming, locatieautorisatie, veilige indiening, locatievalidatie en overdracht van intellectueel eigendom werden in de workflow geïntegreerd.
Projectomvang en -activiteiten
| Gegevenssegment | Representatieve activiteiten | Vastlegvereisten |
|---|---|---|
| Huishoudelijke activiteiten | Wassen, kamers opruimen, keuken schoonmaken, huisdieren verzorgen, planten verzorgen, tuinieren en algemeen onderhoud aan het huis. | Staand of lopend; natuurlijke uitvoering; handen en werkruimte zichtbaar. |
| Magazijn en logistiek | Verpakken, sorteren, voorraadbeheer, inspectie en materiaaltransport. | Stabiele opname met behulp van een hoofdband, waarbij de taak continu wordt uitgevoerd. |
| Commerciële en horeca-industrie | Schoonmaakwerkzaamheden, huishoudelijke taken, het aanvullen van winkelvoorraden en werkzaamheden achter de schermen in de horeca. | Geautoriseerde opnamelocatie en duidelijke interactie met objecten. |
| Industriële activiteiten | Lichte fabricage, assemblage, onderhoud van apparatuur en productieprocessen. | Echte uitvoering op de werkplek met de juiste vergunningen. |
| Landbouw en landschapsarchitectuur | Terreinonderhoud, tuinieren, landbouwwerkzaamheden en het verwerken van materialen buitenshuis. | Voldoende verlichting, een stabiele constructie en een veilige uitvoering van de werkzaamheden. |
| Vakmanschap en buitendienst | Bouw, autoservice, reparaties, installatie en onderhoud op locatie. | Goed zicht op gereedschap, handen, onderdelen en de werkplek. |
Kwaliteitskader
Opnames werden afgewezen om de volgende redenen:
- Belemmerd, te sterk gekanteld of instabiel camerabeeld
- Weinig licht, zwakke focus, onduidelijk zicht
- Lange perioden van inactiviteit of beelden die geen taak tonen
- Kunstmatige, geconstrueerde of robotachtige uitvoering
- Overmatige bewegingen van het hoofd, de handen of het lichaam
- Handen buiten beeld gedurende meer dan 10% van de actieve grijp- en loslaatbewegingen.
- Ongeautoriseerde opnamelocaties
- Ontbrekende toestemming van de inzender
Een succesvolle opname was vereist om:
- Leg authentiek huishoudelijk of industrieel werk vast.
- Behoud een stabiel perspectief vanuit de eerste persoon.
- Houd uw handen, voorwerpen en het werkgebied in het zicht.
- Toon aan dat je continu en doelgericht te werk gaat.
- Voldoe aan de goedgekeurde eisen voor apparaat- en camerapositionering.
- Geschikt voor AI-training met betrekking tot activiteitsherkenning en robotperceptie.
Resultaten: Egocentrische videogegevens die geschikt zijn voor robotica
- Authentieke activiteitsgegevens: Natuurlijke taakuitvoering legde menselijke handelingen, interacties tussen hand en object en operationele sequenties vast.
- Schaalbare datasetuitbreiding: Elke deelnemer kon maximaal 100 goedgekeurde uren bijdragen, terwijl variaties in objecten, gereedschappen, locaties, belichting en taakvolgordes de diversiteit van de dataset vergrootten, waardoor het programma werd opgeschaald naar naar schatting 30,000 uur aan egocentrische video, waarvan meer dan 24,000 uur werd geannoteerd en goedgekeurd voor modeltraining.
- Robotica-geschikte context: Stabiele beelden vanuit het perspectief van de gebruiker boden een duidelijk zicht op handen, objecten, apparatuur, werkplekken en de voortgang van taken.
- Snelle kwaliteitsinterventie: Dankzij beoordelingscycli van één dag konden snel feedback, correcties en herstelwerkzaamheden worden uitgevoerd.
- Geografische en apparaatdiversiteit: Het verzamelen van gegevens in de VS en Latijns-Amerika, met behulp van goedgekeurde Apple-, Google- en Samsung-apparaten, introduceerde praktische variatie in omgevingsfactoren en hardware.
- Geïntegreerd bestuur: Toestemming, autorisatie, locatievalidatie, veilige indiening en kwaliteitscontroles waren in het hele programma geïntegreerd.
De resulterende verzamelingsmethode biedt een sterke basis voor het bouwen van AI-systemen die menselijk handelen vanuit het perspectief van de gebruiker begrijpen en betrouwbaarder functioneren.
De gestructureerde aanpak van Shaip voor het verzamelen van egocentrische video's gaf ons de schaal, kwaliteitscontrole en realistische diversiteit die nodig waren voor ons AI-trainingsprogramma. Hun snelle beoordelingsworkflow en gedetailleerde opnamestandaarden creëerden een betrouwbare basis voor de verdere ontwikkeling van activiteitsherkennings- en robotica-modellen.
