Plant leaf motion estimation using A 5D affine optical flow model

Schuchert, Tobias; Aach, Til

doi:urn:nbn:de:hbz:82-opus-32325

Plant leaf motion estimation using A 5D affine optical flow model = Ein Modell zur Bestimmung von Pflanzenblattbewegungen basierend auf dem 5-D affinen optischen Fluss

Schuchert, Tobias (Author)

2010

Verantwortlichkeitsangabevorgelegt von Tobias Schuchert

ImpressumAachen : Forschungszentrum Jülich, Zentralbibliothek, Verl. 2010

UmfangX, 143 S. : Ill., graph. Darst.

ISBN978-3-89336-613-2

ReiheSchriften des Forschungszentrums Jülich : Reihe Energie & Umwelt ; 57

Zugl.: Aachen, Techn. Hochsch., Diss., 2010

Zsfassung in engl. und dt. Sprache

Genehmigende Fakultät
Fak06

Hauptberichter/Gutachter
Aach, Til (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2009-02-09

Online
URN: urn:nbn:de:hbz:82-opus-32325
URL: https://publications.rwth-aachen.de/record/51784/files/3232.pdf

Einrichtungen

Lehrstuhl für Bildverarbeitung (N.N.) (611710)

Inhaltliche Beschreibung (Schlagwörter)
Mehrdimensionale Bildverarbeitung (Genormte SW) ; Bildverarbeitung (Genormte SW) ; Pflanzenwachstum (Genormte SW) ; Parameterschätzung (Genormte SW) ; Dreidimensionale Rekonstruktion (Genormte SW) ; Ingenieurwissenschaften (frei) ; optischer Fluss (frei) ; Bewegungsschätzung (frei) ; optical flow (frei) ; motion estimation (frei) ; plant leaf growth (frei) ; 3d reconstruction (frei) ; affine modelling (frei)

Thematische Einordnung (Klassifikation)
DDC: 620

Kurzfassung
Eine detaillierte Bewegungsanalyse von Pflanzenblättern ist für die Pflanzenphysiologie von großem Interesse, z.B. die Bestimmung der Blattwinkelstellung oder zeitlich und räumlich hochaufgelöster Blattwachstumskarten, welche sich aus der 3-D-Bewegung eines Blattes berechnen lassen. Im Rahmen dieser Arbeit wurde eine neue Methode zur Analyse von Pflanzenblattbewegungen entwickelt. Die Methode basiert auf dem 5-D-affinen optischen Fluss und ermöglicht die simultane Bestimmung von 3-D-Struktur, Oberflächennormalen und 3-D-Bewegung eines Objektes aus Multi-Kamerasequenzen. Die Methode basiert auf mehreren, hintereinander ausgeführten Schätzungen. Zunächst wird die affine Transformation einer Umgebung innerhalb eines 5-D-Datensatzes, d.h. 3-D-Bildsequenzen (x,y,t) eines 2-D-Kamera-Arrays (s_x,s_y), mit einem differentiellen Ansatz nach dem Prinzip des optischen Flusses bestimmt. Das in dieser Arbeit vorgestellte erweiterte Modell des optischen Flusses modelliert auftretende Helligkeitsänderungen explizit und erhöht somit die Robustheit gegenüber Beleuchtungsänderungen. Nach Bestimmung der 5-D-optischen Flussparameter werden die 3-D-Struktur und die 3-D-Bewegung, basierend auf einem sogenannten "Surface Patch" Model, geschätzt. Die Matrix, die die Projektion der 3-D-Struktur und der 3-D-Bewegung des Surface Patches auf den jeweiligen Kamerasensor beschreibt, kann mit Hilfe projektiver Geometrie bestimmt werden. Die Inverse dieser Projektionsmatrix ermöglicht dann die Ermittlung von 3-D-Struktur (Tiefe und Oberflächennormalen) und 3-D-Bewegung (Translation, Beschleunigung und Rotation) aus den bis zu 24 Parametern des affinen optischen Flusses. Zur Stabilisierung der Schätzung werden Parameter des optischen Flusses zusätzlich separat in allen Kameras geschätzt. Ein Least-Squares Schätzer liefert dann die Lösung, welche die Differenz zwischen den einzelnen Parametern des optischen Flusses und der Rückprojektion der 3-D-Bewegung in die einzelnen Kameras minimiert. Experimente mit synthetischen Daten belegen die höhere Genauigkeit und die höhere Robustheit gegenüber Beleuchtungsänderungen im Vergleich zu bekannten Verfahren aus der Literatur. Zudem ist die explizite Bestimmung zusätzlicher Parameter wie Oberflächennormalen, Beschleunigung und Rotation möglich. Die erfolgreiche Auswertung von unter normalen Laborbedingungen erhobenen Pflanzensequenzen belegt die Anwendbarkeit der neuen Methode in der Pflanzenphysiologie.

High accuracy motion analysis of plant leafs is of great interest for plant physiology, e.g. estimation of plant leaf orientation, or temporal and spatial growth maps, which are determined by divergence of 3D leaf motion. In this work a new method for plant leaf motion estimation is presented. The model is based on 5D affine optical flow, which allows simultaneous estimation of 3D structure, normals and 3D motion of objects using multi camera data. The method consists of several consecutive estimation procedures. In a first step the affine transformation in a 5D data set, i.e. 3D image sequences (x,y,t) of a 2D camera grid (s_x,s_y) is estimated within a differential framework. In this work the differential framework, based on an optical flow model, is extended by explicitly modeling of illumination changes. A second estimation process yields 3D structure and 3D motion parameters from the affine optical flow parameters. Modeling the 3D scene with local surface patches allows to derive a matrix defining the projection of 3D structure and 3D motion onto each camera sensor. The inverse projection matrix is used to estimate 3D structure (depth and surface normals) and 3D motion, including translation, rotation and acceleration from up to 24 affine optical flow parameters. In order to stabilize the estimation process optical flow parameters are estimated additionally separated for all cameras. A least squares estimator yields the solution minimizing the difference between optical flow parameters and the back projection of the 3D scene motion onto all cameras. Experiments on synthetic data demonstrate improved accuracy and improved robustness against illumination changes compared to methods proposed in recent literature. Moreover the new method allows estimation of additional parameters like surface normals, rotation and acceleration. Finally, plant data acquired under typical laboratory conditions is analyzed, showing the applicability of the method for plant physiology.

Fulltext:
PDF