Multimodale LiDAR en 2D-annotatie voor spoorwegen
Hoe Shaip een van de meest diverse projecten op het gebied van AI voor het spoorvervoer heeft gerealiseerd, met een breed scala aan annotatietypen: het combineren van 2D-camerabeelden en 3D LiDAR-puntenwolken voor meer dan 39 objectklassen en 8 verschillende labeltypen om autonome treinwaarneming en systemen voor spoorwegveiligheid mogelijk te maken.
project Overzicht
Naarmate de autonome treindetectie de fase van productie-implementatie nadert, had de klant behoefte aan een grootschalige, multimodale annotatiepipeline die in staat is om de volledige spoorwegomgeving te labelen, zowel op basis van 2D-camerabeelden als 3D LiDAR-puntenwolkdata, met een consistente ruimtelijke nauwkeurigheid.
Shaip ontwikkelde de complete, multimodale annotatiepipeline die 8 verschillende labeltypen, meer dan 39 objectklassen en meer dan 25 signaalstatusclassificaties omvat voor de H/V- en Ks-signaalsystemen. Dit levert gevalideerde, modelklare datasets op voor AI op het gebied van spoorwegautonomie en -veiligheid.
Sleutelstatus
Objectklassen
39+
Annotatietypes
8
Signaaltoestanden
25+
Modaliteiten
2D + 3D
Challenges
- Behandeling 2D + 3D multimodale annotatie met kruisgevalideerde ruimtelijke consistentie
- annoteren 39+ objectklassen waarbij personen, voertuigen, infrastructuur, dieren en veiligheidsobjecten betrokken zijn.
- Opererend over 8 annotatietypen — 2D/3D begrenzingskaders, kubussen, polylijnen, polygonen
- classificeren Meer dan 25 verschillende signaaltoestanden over de Duitse H/V- en K-seinsystemen
- Het toepassen van logica van de drempelwaarde voor drukte en doorlopende spoorannotatie onder wagonobjecten
Het resultaat
Multimodale annotatiepipeline
Shaip configureerde een parallelle annotatiepipeline voor 2D-camera's en 3D-LiDAR met kruisvalidatie tussen de modaliteiten. Annotatoren werkten gelijktijdig met beide gegevensbronnen om ruimtelijke consistentie te waarborgen, waarbij occlusietoestanden uitsluitend werden beoordeeld op basis van puntwolkgegevens in plaats van 2D-afbeeldingen.
39+ Klasse-ontologie
De annotatie-ontologie omvatte personen (met kenmerken zoals leeftijdsgroep, mobiliteitshulpmiddel, functionele rol, lichaamshouding, het dragen van voorwerpen en afleiding), voertuigen (fietsen, motorfietsen, wegvoertuigen per subcategorie), 18 diersoorten en spoorinfrastructuur, waaronder sporen, wissels, bovenleidingsmasten, seinen, stootblokken, seinbruggen, sleepschoenen en reflecterende testobjecten.
Signaalstatusclassificatie
Seinen werden gedetailleerd geannoteerd met aspectclassificatie voor H/V- en Ks-seinsystemen, waarbij meer dan 25 verschillende seintoestanden werden behandeld. Annotatoren identificeerden de exacte aspecten van de seinen vanuit zowel voor- als achteraanzicht, waarbij onderscheid werd gemaakt tussen lichtseinen en vormseinen in diverse Duitse spoorwegseinsystemen.
Drempelwaarde voor de menigte & Groepslogica
Voor het annoteren van menigten was een minimale drempel van 6 overlappende personen vereist voordat er werd overgeschakeld van individuele naar groepsannotatie. Groepen fietsen en groepen dieren volgden dezelfde drempellogica, met consistente regels voor houding en soort binnen de groepen. Dit zorgde ervoor dat scènes met een hoge dichtheid efficiënt konden worden gelabeld zonder verlies van detail.
Doorlopende spoorannotatie
Sporen werden continu geannoteerd, zelfs onder treinen of wagons, waarbij wissels en bufferzones nauwkeurig in kaart werden gebracht. Deze continuïteitslaag is essentieel voor de daaropvolgende planning van spoortrajecten en modellen voor obstakeldetectie.
Project bereik
| Gegevenssettype | Modaliteiten | Klassen | Etikettypen | Signaaltoestanden | Systems |
|---|---|---|---|---|---|
| Perceptie van de spoorwegomgeving | 2D + 3D LiDAR | 39+ | 8 (dozen, kubussen, polylijnen, polygonen) | 25+ | H/V, Ks |
Resultaten
- Opgericht een Multimodale 2D + 3D LiDAR-annotatiepipeline voor autonome treinperceptie
- Gestandaardiseerde 39+ objectklasse-ontologie omvat mensen, voertuigen, dieren en spoorinfrastructuur.
- Geleverd 25+ signaalstatusclassificaties via de Duitse H/V- en K-seinsystemen
- Geïmplementeerd logica van de drempelwaarde voor drukte en doorlopende spoormarkering onder de wagons
- De client is ingeschakeld AI voor autonome treinen, veiligheid en obstakeldetectie roadmap
Al met al heeft Shaip geholpen om een multimodale spoorwegperceptiebehoefte om te zetten in een gestructureerde, productiegereed annotatieproces — een proces dat in staat is om autonome treindiensten, AI voor spoorwegveiligheid en signaalherkenningssystemen te ondersteunen met kruisgevalideerde 2D-3D ruimtelijke consistentie op grote schaal.
Shaip heeft een annotatiecomplexiteit aangepakt waar de meeste leveranciers zich niet aan wagen. Meer dan 39 klassen, 8 labeltypen, meer dan 25 signaaltoestanden, 2D- en 3D-kruisvalidatie – en ze leverden het als één gecoördineerde pipeline. Hierdoor werden onze modellen voor spoorwegperceptie sneller getraind.
