A koktélparadicsom betakarítása a fóliasátrakban és üvegházakban egyike azoknak a munkafolyamatoknak, amelyek automatizálása komoly kihívást jelent. A termések gyakran sűrű fürtökben helyezkednek el, egymást és a szárakat is takarják, miközben a levelek, a tartószerkezetek és a fényvisszaverő felületek tovább nehezítik a felismerést. Egy betakarító robotnak azonban nem elég azt tudnia, hol van egy paradicsom: azt is meg kell határoznia, hol érdemes megfognia vagy levágnia a fürtöt.
Ezt a problémát vizsgálta a tanulmány szerzői által fejlesztett TSP-Net nevű képfeldolgozó rendszer. A kutatók egy könnyű, YOLOv11n alapú hálózatot alakítottak át úgy, hogy egyszerre legyen képes felismerni az érett és éretlen terméseket, a paradicsomfürtöket, valamint a szárakat. A rendszer kialakításakor kifejezetten azt vették figyelembe, hogy a fürtök természetes elrendeződése információt adhat arról is, hol találhatók a fontos kapcsolódási pontok.
A vizsgálathoz összesen 4032, megfelelő minőségű képet használtak fel. Ezek mintegy 60 százaléka üvegházi körülmények között készült, a fennmaradó rész pedig nyilvánosan elérhető képekből származott. A felvételeken különböző érettségi állapotú termések, eltérő fürtméretek, takarások, megvilágítási viszonyok és háttérkörülmények szerepeltek. A képekből és azok módosított változataiból végül 12 095 képből álló adatbázist hoztak létre, amelyet tanításra, ellenőrzésre és tesztelésre osztottak fel.
A fejlesztés fontos része az elkülönítés
A fejlesztés egyik fontos eleme az volt, hogy a rendszer ne csak az egyes paradicsomokat kezelje különálló objektumként. A TMG-CSP nevű modul a kisebb részletek, például a vékony szárak és a termések széleinek felismerését segíti, míg a TALA modul a fürtök irányát és a helyi részleteket vizsgálja.
Emellett a kutatók egy olyan tanítási eljárást, az úgynevezett PTC Loss-t is alkalmaztak, amely arra ösztönzi a hálózatot, hogy a felismert termések térbeli elrendeződése jobban hasonlítson a valódi paradicsomfürtök természetes szerkezetére.
Az eredmények alapján a módosítások javították a felismerést a YOLOv11n alapváltozatához képest.
A kutatók ezt hőtérképes módszerrel oldották meg, amely nem egyetlen előre meghatározott koordinátát próbál közvetlenül megbecsülni, hanem egy valószínűségi térképen jelöli meg a leginkább megfelelő területet. Ezután ebből számítják ki a pontosabb kétdimenziós helyet.
