3D LiDAR-begrenzingskaderannotatie voor autonoom rijden
Hoe Shaip nauwkeurige 3D-kubusvormige begrenzingskaders heeft toegevoegd aan 14 objectklassen met ongeveer 53 kaders per frame op basis van puntwolkgegevens van één frame — gekalibreerd aan de hand van 2D-beelden voor perceptie door autonome voertuigen op productieschaal.
project Overzicht
Naarmate de perceptie van autonoom rijden zich ontwikkelt richting productie-implementatie, had de klant behoefte aan een zeer gespecialiseerde 3D LiDAR-annotatiepipeline die in staat is om nauwkeurige kubusvormige begrenzingskaders te plaatsen met de dichtheid die vereist is voor echte trainingsdata voor autonome voertuigen — inclusief labeling met meerdere attributen en kalibratie van 2D-beelden.
Shaip ontwikkelde de complete annotatiepipeline, die 3D-kubusplaatsing, handhaving van standaardafmetingen, labeling met meerdere attributen, afhandeling van uitzonderlijke omgevingsfactoren en validatie met referentiebeelden omvat. Hiermee werden modelklare datasets voor de perceptie van autonome voertuigen voor 14 objectklassen opgeleverd.
Sleutelstatus
Objectklassen
14
Doosjes per frame
~ 53
Attribuutlagen
5
Occlusieniveaus
4
Challenges
- plaatsing ~53 3D kubusvormige dozen per frame met een nauwkeurige, strakke aansluiting op de randen van de puntenwolk.
- Behandeling 14 objectklassen dwars door voertuigen, voetgangers, dieren en bewegende objecten heen.
- Werkzaam gelijktijdig met 2D-kalibratiebeelden en 3D-puntenwolk. gegevens
- Beheren spookachtige puntwolken, reflecties op de grond, mist, nevel en waterspatten
- Handhaving van standaardafmetingen per klasse voor consistentie tussen frames
Het resultaat
Werkstroom voor het plaatsen van 3D-kubussen
Annotatoren plaatsten nauwkeurige 3D-kubusvormige begrenzingskaders op puntwolkgegevens van afzonderlijke frames, gelijktijdig met een 2D-kalibratiebeeld als referentie. Elke klasse had gedefinieerde standaardafmetingen voor de begrenzingskaders om consistentie in grootte tussen frames te garanderen: auto's 3.4–5.1 m, vrachtwagens 3.4–14 m, voetgangers 0.4–1.2 m breed.
Labeling met meerdere attributen
Naast het plaatsen van begrenzingskaders, kreeg elk geannoteerd object attribuutlabels die de volgende informatie bevatten: voertuigstatus (rijdend/geparkeerd), status van tweewieler (met/zonder bestuurder), status van voetganger (staand/zittend/liggend), occlusiestatus (4 niveaus: geen, gedeeltelijk, grotendeels, volledig) en status van ledematen (uitstekende objecten, open deuren, aangesloten apparatuur).
Milieu-gerelateerde randgevallen
Strikte regels golden voor de annotatie van sterk verduisterde of verre objecten, spookpuntenwolken veroorzaakt door verkeerde kalibratie van de dubbele LiDAR, reflecties van de grond en omgevingsruis van opspattend water, mist en nevel. Zijspiegels, open deuren, kraanarmen, dakdragers en bagage van voetgangers werden expliciet uitgesloten; noodsirenes en containers op de laadbak van vrachtwagens werden wel meegenomen.
Validatie van de pasvorm van de doos
De kaders moesten nauw aansluiten op de randen van de puntenwolk, met minimale zichtbare openingen. De oriëntatie werd geverifieerd aan de hand van kalibratiegegevens en de context van de rijstrook wanneer de puntenwolken onduidelijk waren. Nacht- en regenachtige scènes werden gelijkgesteld aan omstandigheden overdag om de consistentie van de annotaties te waarborgen.
Cross-modale QA
Alle annotaties werden gevalideerd aan de hand van referentie-2D-afbeeldingen om de juiste afmetingen en oriëntatie te controleren. Deze crossmodale kwaliteitscontrole detecteerde afwijkingen die niet zichtbaar zouden zijn geweest in de puntenwolk alleen, waardoor een productieklare nauwkeurigheid werd gegarandeerd voor de training van het daaropvolgende AV-perceptiemodel.
Project bereik
| Gegevenssettype | Klassen | Dozen/Frame | Attributen | Occlusieniveaus | Validatie |
|---|---|---|---|---|---|
| 3D LiDAR AV-perceptie | 14 | ~53 gemiddeld | 5 attribuutlagen | 4 (0–100%) | 2D-beeld kruiscontrole |
Resultaten
- Opgericht een dichte 3D LiDAR-annotatiepipeline met ongeveer 53 dozen per frame bij productienauwkeurigheid
- Gestandaardiseerde 14-klassen objectontologie met standaardgroottebeperking per klasse
- Geleverd 5 attribuutlagen inclusief occlusieclassificatie op 4 niveaus
- Geïmplementeerd crossmodale QA 3D-boxen valideren aan de hand van 2D-kalibratiebeelden
- De client is ingeschakeld Autonome voertuigperceptie, ADAS en zelfrijdende auto's model opleiding
Al met al heeft Shaip geholpen om een complexe 3D LiDAR-perceptie-eis om te zetten in een gestructureerde, productiegereed annotatiepipeline. Deze pipeline is in staat om de ontwikkeling van autonoom rijden, ADAS, robotaxi's en zelfrijdende vrachtwagens te ondersteunen met kalibratienauwkeurigheid onder uitdagende omstandigheden in de praktijk.
Shaip pakte de AV-randgevallen aan die de meeste annotatiepipelines laten vastlopen: mist, spookpuntenwolken, dichte occlusie en ongeveer 53 kaders per frame. Hun 2D-3D-kruisvalidatie leverde ons perceptietrainingsdata op die we vertrouwden.
