Semantische segmentatie van de volledige scène
Hoe Shaip semantische segmentatie op pixelniveau heeft gerealiseerd in complete straatbeelden – waarbij elk object en oppervlak, van wegen en lucht tot wegmarkeringen en fijne paaltjes, werd gelabeld – en zo een productieklare dataset heeft opgebouwd voor autonoom rijden, slimme steden en AI voor milieutoepassingen.
project Overzicht
Omdat omgevingsanalyse de basis vormt voor autonoom rijden, slimme stadsplanning en AI voor milieumonitoring, had de klant behoefte aan een uitgebreide segmentatiepipeline die elke pixel in de afbeelding kon labelen – niet alleen begrenzingskaders of belangrijke objecten.
Shaip ontwikkelde een complete annotatiepipeline op pixelniveau, inclusief tools voor polygonen en semantische maskers, uitgebreide klassendekking, nauwkeurige randafhandeling en tweeledige kwaliteitscontrole. Hiermee werden datasets geproduceerd die klaar waren voor gebruik in AI-systemen voor het begrijpen van complete scènes.
Key Stats
Pixel nauwkeurigheid
99%
QA-niveaus
2-Tier
Dekking
Elke pixel
Klassenset
Uitgebreide
Challenges
- labeling elke pixel in de afbeelding — geen ongemerkt gebied toegestaan
- Tracing onregelmatige grenzen van vegetatiebedekking, wateroppervlakken en scheuren in het wegdek
- Onderscheidend wegmarkeringen van wegdekken in versleten of verkleurde staat
- Scheiden lucht door mist of bewolkte achtergronden met precisie
- Het handhaven duidelijke klassengrenzen bij overgangen van weg naar trottoir, van vegetatie naar bodem, van water naar grond
Het resultaat
Uitgebreide klassenset
De annotatie omvatte een volledige set scènecategorieën: wegdek, lucht, vegetatie, bodem en terrein, waterlichamen, palen en bewegwijzering, wegmarkeringen (rijstrookmarkeringen, pijlen, zebrapaden), voertuigen (auto's, vrachtwagens, bussen, motorfietsen, fietsen) en gebouwen en door de mens gemaakte constructies. Aan elke pixel werd een van de gedefinieerde klassen toegewezen.
Polygon- en semantische maskertools
De annotatoren gebruikten gespecialiseerde polygoontools en semantische maskerpenselen om gebogen, onregelmatige en dicht opeengepakte objectgrenzen met pixelprecieze nauwkeurigheid te verwerken. De toolkeuze werd afgestemd op de complexiteit van de objectvorm: maskers voor organische vormen zoals vegetatie, polygonen voor gestructureerde objecten zoals voertuigen.
Richtlijnen voor precisie bij het afwerken van randen
Er werden strikte klassedefinities en richtlijnen voor randprecisie gevolgd om duidelijke grenzen tussen aangrenzende klassen te garanderen, met name in overgangszones zoals weg-naar-trottoir, vegetatie-naar-bodem en water-naar-grond. Deze precisie is essentieel voor de betrouwbaarheid van de daaropvolgende modellen voor het detecteren van begaanbaar gebied en obstakels.
Fijne structuurbehandeling
Fijne structuren zoals palen, verkeersborden en wegwijzers nemen slechts een paar pixels in beslag in groothoekfoto's, maar zijn cruciaal voor latere AI-verwerking. Annotatoren volgden specifieke richtlijnen om deze fijne details vast te leggen zonder de nauwkeurigheid van de bredere scènegrenzen op te offeren.
Tweeledige kwaliteitscontrole en 99% pixelnauwkeurigheid
Elke gesegmenteerde afbeelding doorliep een rigoureus tweeledig kwaliteitscontroleproces met consistentiecontroles tussen annotatoren, beoordelingen van de randnauwkeurigheid en validatie van de klasse-grenzen. Een minimale nauwkeurigheid van 99% op pixelniveau was de grens voor elke dataset voordat deze werd vrijgegeven.
Project bereik
| Gegevenssettype | Dekking | Annotatietools | Klassenset | QA | Nauwkeurigheid |
|---|---|---|---|---|---|
| Volledige scène semantische segmentatie | Elke pixel gelabeld | Polygonen + semantische maskers | Uitgebreide scène-lessen | Kwaliteitscontrole in twee fasen | 99% pixelniveau |
Resultaten
- Opgericht een pipeline voor het begrijpen van scènes op pixelniveau voor AV en AI in slimme steden
- Gestandaardiseerde uitgebreide klassendekking waarbij elke pixel is gelabeld
- Geleverd schone overgangen tussen klassengrenzen in complexe zones
- onderhouden 99% nauwkeurigheid op pixelniveau via tweetraps QA
- De client is ingeschakeld berijdbaar gebied, stadsplanning, milieumonitoring en bouwtoezicht AI
Al met al heeft Shaip geholpen om een behoefte aan scènebegrip op pixelniveau om te zetten in een gestructureerde, productiegereed segmentatiepipeline – een pipeline die in staat is om autonoom rijden, slimme stadsanalyses, milieumonitoring en AI voor de voortgang van bouwplaatsen te ondersteunen met nauwkeurige labeling van de volledige scène.
Shaip heeft ons geholpen om subjectieve audiokwaliteit om te zetten in een meetbaar verbeteringsprogramma. Hun evaluatiekader gaf ons duidelijke aanwijzingen over wat we moesten aanpassen, waar we konden verbeteren en hoe we met vertrouwen dichter bij de productie konden komen.
