Het spoorweglandschap beter begrijpen met LiDAR en 2D-annotatie
Ontdek hoe de LiDAR-, camera- en 2D-data-annotatieservices van Shaip AI-modellen helpen objecten te detecteren, spoorwegomgevingen te begrijpen en de perceptie van autonome mobiliteit te verbeteren.
project Overzicht
Moderne systemen voor het waarnemen van spoorwegen vereisen meer dan alleen generieke objectlabeling. Ze vereisen spoorwegspecifieke context, nauwkeurige geometrie en betrouwbare consistentie tussen sensoren, zowel bij LiDAR-puntenwolken als bij gesynchroniseerde camerabeelden.
Om aan deze behoefte te voldoen, werd Shaip ingeschakeld voor een project voor de annotatie van LiDAR-spoorwegdata, waarbij scènes met spoorweginfrastructuur werden vastgelegd. De opdracht omvatte de annotatie van LiDAR-puntenwolken, ondersteund door vijf gesynchroniseerde 2D-referentiebeelden per scène, met behulp van een taxonomie met 29 klassen, waaronder verplichte en optionele elementen.
attributen voor elke klasse.
Het doel was om een gestructureerde, kwaliteitsgecontroleerde dataset te creëren die geschikt is voor het trainen en valideren van perceptiemodellen voor spoorwegen, gericht op objectdetectie, scènebegrip, spoorbewustzijn en infrastructuurinterpretatie.
Key Stats
Sensorinstelling
LiDAR-puntenwolk
Taxonomie
29 Spoorwegspecifieke klassen
Kwaliteitsdoelen
Algehele annotatienauwkeurigheid van ≥99%
Consistentie tussen sensoren
≥99% LiDAR – 2D-uitlijning
Challenges
- Consistent annoteren van multimodale spoorwegscènes op basis van LiDAR- en 2D-beelden.
- Het beheren van een spoorwegspecifieke taxonomie van 29 klassen met gedetailleerde attributen en objectrelaties.
- Het behouden van consistentie tussen 3D- en 2D-annotaties bij verschillende sensoren.
- Het behoud van geometrische precisie voor lineaire structuren zoals rails en kabels.
- Voldoen aan strikte nauwkeurigheidsdrempels voor klasselabels, geometrie en attributen in een pilotomgeving.
Het resultaat
Shaip ontwierp een op spoorwegen gerichte annotatieworkflow die was afgestemd op de technische eisen van het project.
Gegevensstrategie
Er is een multimodale annotatiepipeline gedefinieerd die LiDAR-puntenwolkdata en vijf gesynchroniseerde 2D-referentiebeelden per LiDAR-frame omvat.
Annotatiekader
Er zijn meerdere annotatiemethoden toegepast op basis van objecttype en scènestructuur:
- 3D kubusvormige annotatie voor discrete volumetrische objecten
- 3D-polyline-annotatie voor lineaire spoorgerelateerde structuren
- 2D-begrenzingskader voor objectlokalisatie in afbeeldingen
- 2D-polygoon voor onregelmatige objectgrenzen
- 2D-polyline voor rails, kabels en markeringen
- 3D-kubus in 2D-weergaven waarbij oriëntatie en dieptecontext vereist waren.
Ontwerp van een spoorwegspecifieke taxonomie
Er zijn 29 vooraf gedefinieerde klassen geannoteerd, waaronder personen, persoonlijke bezittingen, voertuigen, treinen, wagons, dieren, sporen, wissels, bovenleidingsmasten, seinpalen, seinen, seinbruggen, stootblokken, reflecterende testobjecten en andere entiteiten in de spoorwegomgeving.
Attribuutrijke annotatie
Zowel verplichte als optionele kenmerken werden vastgelegd, waaronder:
- Occlusieniveaus
- Staat en type
- Connectiviteit via connectedTo
- Spoorweg- en spooridentificaties
- Objectvolgorde en -oriëntatie
- Signaalvlak, aspect en structurele eigenschappen
Identiteit en relatie-integriteit
Er werd ervoor gezorgd dat elke annotatie een unieke annotatie-ID had en elk object een unieke object-ID in UUID-formaat, met bidirectionele connectedTo-relaties op een sensorbewuste manier.
Nauwkeurige regels en kwaliteitscontrole
Er zijn annotatieregels geïmplementeerd, waaronder:
- Occlusieschatting in 2D en 3D
- 2D-labeldrempel voor objecten met een hoogte of breedte van ≥25 px
- 2D-tolerantie van ±3 px
- 3D-tolerantie tot 10 cm
- Rotatie-uitlijning op de z-as voor consistentie in de objectoriëntatie
- 3-laags QA met correctielussen voor uitgangen onder de drempelwaarde
Project bereik
| Dataset-element | Specificaties |
|---|---|
| Primaire modaliteit | LiDAR-puntenwolkgegevens |
| Referentiemodaliteit | 5 gesynchroniseerde 2D-beelden per LiDAR-frame: 3 IR-beelden en 5 RGB-beelden. |
| Totaal klassen | 29 spoorwegspecifieke klassen |
| 3D-annotatietypen | 3D kubus, 3D polyline |
| 2D-annotatietypen | 2D-begrenzingskader, 2D-polygoon, 2D-polylijn, 3D-kubus in 2D-weergaven |
| Proefvolume | 2 sequenties |
| ID-standaard | UUID-gebaseerde annotatie-ID en object-ID |
| Nauwkeurigheidsdoelen | ≥99% algehele consistentie, ≥99% attribuutconsistentie, ≥99% consistentie tussen sensoren |
Voorbeeld van klassendekking
| Categorie | Voorbeeldklassen | Type annotatie |
|---|---|---|
| Mensen en mobiliteit | persoon, rolstoel, scooter, fiets, menigte | 2D BB / 4-punts polygoon / 3D BB |
| Spoorwegactiva | trein, treinfront, wagons, spoor, wissel, sleepschoen | omtrek polygoon / polylijn / 3D BB |
| Seinen en bovenleidingen | signaal, signaalpaal, signaalbrug, bovenleidingspaal | 2D BB / omtrekpolygoon / 3D BB |
| Milieu en diversen. | wegvoertuig, dier, groep dieren, reflecterende testobjecten, rook, vlam | verschilde per klasse |
Resultaten
- Een spoorwegspecifiek multimodaal annotatiekader ontwikkeld voor LiDAR- en beeldgegevens.
- Een taxonomie voor spoorwegen met 29 klassen gedefinieerd, inclusief gedetailleerde attribuutverwerking.
- Stel kwaliteitsnormen vast van ≥99% voor annotatienauwkeurigheid, attributen en consistentie tussen sensoren.
- Een basis gelegd voor de ontwikkeling van betrouwbare perceptiemodellen voor het spoor.
Strategisch gezien positioneert dit project de AI-systemen van de klant voor het trainen van treinen met een beter begrip van de omgeving in spoorwegomgevingen, waar geometrie, objectcontinuïteit en infrastructuurcontext cruciaal zijn.
De multimodale annotatiemethode van Shaip hielp ons bij het structureren van een zeer gespecialiseerde spoorwegdataset met de precisie die nodig is voor de ontwikkeling van perceptiemodellen. Hun focus op taxonomische diepgang, geometrische nauwkeurigheid en consistentie tussen sensoren creëerde een sterke basis voor onze AI-pipeline voor spoorwegen.
