Annotatie van een begrenzingskader voor het detecteren van landbouwfruit
Hoe Shaip nauwkeurige bounding box-annotaties leverde voor elke zichtbare appel in boomgaardbeelden – inclusief de volledige groeicyclus, opnames vanuit meerdere perspectieven en conditiekenmerken op drie niveaus – resulterend in een productieklare dataset voor opbrengstschatting, robotgestuurde oogst en AI voor gewasgezondheid.
project Overzicht
Naarmate precisielandbouw zich ontwikkelt richting AI-gestuurde oogst- en opbrengstvoorspellingen, had de klant een annotatiepipeline nodig die in staat is om individuele vruchten op grote schaal te detecteren in dichte, van nature rommelige beelden van boomgaarden – en die elk groeistadium van bloesem tot oogst omvat.
Shaip ontwikkelde de complete annotatiepipeline, inclusief nauwkeurige plaatsing van begrenzingskaders per vrucht, het labelen van condities met meerdere attributen, de verwerking van beelden vanuit meerdere perspectieven en een tweeledige kwaliteitscontrole. Hiermee werden datasets geproduceerd die direct bruikbaar zijn voor AI in precisielandbouw op grote schaal.
Key Stats
Nauwkeurigheidsdrempel
99%
Groeistadia
Volle cirkel
Attribuutlagen
3
Perspectieven
Grond + drone
Challenges
- annoteren elke zichtbare appel in dichtbegroeide boomgaarden — honderden per frame
- Dekking de volledige groeicyclus — bloesem, kleine groene vruchten, volledig rijpe appels
- Behandeling beeldmateriaal vanuit meerdere perspectieven — grondniveau, drone boven het hoofd, close-up van een tak
- Onderscheidend vruchten aan het bladgroen wanneer kleuren zich mengen tijdens de vroege groeistadia
- Beheren afgedekt, gedeeltelijk en door verblinding beïnvloed fruit zonder de nauwkeurigheid in gevaar te brengen
Het resultaat
Plaatsing van de begrenzingskader per vrucht
De annotatoren tekenden nauwe kaders rond elke zichtbare appel in elke afbeelding, ongeacht de grootte, kleur of positie binnen het kader. Zelfs in dichte clusters waar tientallen vruchten elkaar overlapten, werd elke appel afzonderlijk gelabeld ter ondersteuning van latere modellen voor het tellen van vruchten en het schatten van de opbrengst.
Volledige dekking van de groeicyclus
De annotatie omvatte appels in alle groeistadia: van de vroege bloesem en kleine groene vruchten tot volledig rijpe rode en gele appels. Deze volledige cyclusdekking zorgt ervoor dat het getrainde model fruit in elk stadium van de landbouwcyclus kan detecteren, niet alleen tijdens de oogst.
Beeldmateriaal vanuit meerdere perspectieven
De dataset bevatte beelden van boomgaardrijen op grondniveau, dronebeelden vanuit de lucht en close-upfoto's van takken, waardoor de dataset zeer divers en representatief is voor de praktijk. Elk perspectief werd voorzien van perspectiefspecifieke annotatierichtlijnen.
3-laags attribuutclassificatie
Elke geannoteerde appel werd verder geclassificeerd met kenmerken zoals rijpheidsstadium (onrijp, halfrijp, volledig rijp), zichtbaarheid (volledig zichtbaar, gedeeltelijk bedekt, sterk bedekt) en vruchtconditie (gezond, beschadigd, ziek). Deze multi-attribuutbenadering stelt het getrainde model in staat om naast de detectie van de vrucht ook de oogstrijpheid en de gewasgezondheid te beoordelen.
Afhandeling van uitzonderlijke gevallen
De annotatoren volgden strikte richtlijnen voor appels die gedeeltelijk buiten beeld waren, appels op de grond, reflecterende of glanzende fruitoppervlakken die reflecties veroorzaakten, en kleine vruchten in de verte die pas op zoomniveau geïdentificeerd konden worden. Variaties in de belichting – met name schaduwen van het bladerdak – werden verwerkt met behulp van perspectiefbewuste annotatieregels.
Project bereik
| Gegevenssettype | doelwit | Groeistadia | Perspectieven | Attributen | Nauwkeurigheid |
|---|---|---|---|---|---|
| Landbouwfruitdetectie | Appels | Volledige cyclus (bloesem → rijp) | Grond + drone + close-up | Rijpheid, zichtbaarheid, conditie | 99% |
Resultaten
- Opgericht een pipeline voor het begrenzen van dichtbegroeide boomgaarden in staat om elk zichtbaar fruit te detecteren
- Gestandaardiseerde volledige annotatie van de groeicyclus van bloesem tot oogst
- Geleverd 3-laags attribuutclassificatie voor rijpheid, zichtbaarheid en conditie
- onderhouden 99% nauwkeurigheidspoort via tweetraps kwaliteitscontrole op basis van beelden vanuit meerdere perspectieven
- De client is ingeschakeld opbrengstschatting, robotgestuurde oogst, gewasgezondheid en dronebewaking AI
Al met al heeft Shaip geholpen om een behoefte aan fruitdetectie op boomgaardschaal om te zetten in een gestructureerde, productiegereed annotatiesysteem. Dit systeem is in staat om precisielandbouw, robotgestuurde oogst, opbrengstvoorspelling en AI voor gewasgezondheidsmonitoring te ondersteunen in diverse boomgaardomgevingen en groeicyclus.
Shaip voorzag appels van annotaties die we in sommige foto's niet eens van bladeren konden onderscheiden. De informatie over hun groeistadium en conditie werd direct gebruikt in onze modellen voor opbrengstschatting en oogstplanning.
