Loading…
Exploiting motion information for video analysis in sequences with moving camera
Arvanitidou, Marina Georgia
Die Verarbeitung von Informationen auf niedriger Hierarchieebene zur Extraktion von Information auf höheren Ebenen und insbesondere die Objektsegmentierung stellt eine große Herausforderung in der Bildverarbeitung dar. In dieser Hinsicht ist die Bewegungsschätzung ein besonders wichtiger Prozess, da Bewegung wohl einer der bedeutungsvollsten Aspekte in Bildsequenzen ist.
Dabei ist Bewegung von besonderer Bedeutung im menschlichen visuellen System. Weitere Möglichkeiten und Notwendigkeiten ergeben sich daher auf dem Gebiet der objektiven Qualitätsevaluierung von optischen Darstellungen, wobei die Entwicklung von geeigneten Verfahren angestrebt wird, welche in Einklang mit der subjektiven Wahrnehmung sind.
Der Schwerpunkt dieser Arbeit liegt in der Verwendung der Bewegung zur Analyse von Bildsequenzen, welche mit einer bewegten Kamera aufgenommen sind sowie in der Entwicklung geeigneter Methoden zu deren Evaluierung.
Dabei wird zunächst zwischen der Bewegung, welche durch eine bewegte Kamera verursacht wird, und der Bewegung der Objekte innerhalb des Bildes unterschieden. Der erste Teil der Arbeit befasst sich mit der globalen Bewegungsschätzung, also der Schätzung der Bewegung des Bildhintergrundes. Regressionsmethoden werden eingesetzt, um parametrische Modelle für die globale Bewegung zu formulieren. Es wird dabei gezeigt, dass die Berücksichtigung der Blockgröße für den Modellierungsprozess besonders hilfreich ist, da diese implizite Information über die sich unabhängig vom Hintergrund bewegenden Vordergrundobjekte beinhaltet. Des Weiteren wird gezeigt, dass die parametrische Modellierung der globalen Bewegung einen positiven Einfluss auf die Qualität der Bewegungsprädiktion hat.
Im zweiten Teil der Arbeit wird die Objektsegmentierung untersucht. Eine Objektsegmentierung, welche auf der parametrischen Modellierung der kurzzeitigen globalen Bewegung basiert, nutzt bidirektionale Information aus, um Änderungen zu detektieren. Aspekte bei der Wahl eines geeigneten Schwellwertes für die Detektion, nämlich die räumliche Lage der Vordergrundkandidaten sowie die Optimierung der Parametrisierung werden untersucht. So wird eine robuste Segmentierung erreicht, ohne auf heuristische Methoden und Trainingsalgorithmen zurückgreifen zu müssen. Weiterhin werden Fehlklassifikationen des Hintergrundes, welche während der unabhängigen Berechnung der Segmentierungsmasken über die Zeit auftreten, durch adaptive Filterung behandelt, welche sich an die Bewegung des Vordergrundes anpasst.
Letztlich werden die resultierenden Bewegungseigenschaften und die Kenntnis über die Objekte für die Qualitätsevaluierung untersucht. Existierende Algorithmen zur objektiven Bewertung der Qualität basieren auf der Berechnung von Qualitätsindikatoren, welche Information auf höheren Ebenen meist nicht berücksichtigen.
Deshalb werden hier entsprechende Verbesserungen untersucht. Im Einzelnen sind die Beiträge folgende: Aufbau einer inhaltsbezogenen Methode zur Bewertung der Videoqualität, welche für sich bewegende Objekte einsetzbar ist, Formulierung eines Modells, welches visuelle Wichtigkeit und räumliche Bewegungseigenschaften nutzt sowie die Entwicklung einer Methode zur Berücksichtigung der globalen Bewegung in der zeitlichen Dimension, welche die Genauigkeit der Qualitätsbewertung und die Konsistenz mit subjektiver Evaluierung erhöht.
The processing of low-level information towards the extraction of high-level information, and specifically object segmentation, constitutes a great challenge for image processing and computer vision. With this respect, motion estimation is a task of major importance, since motion constitutes arguably one of the most valuable underlying clues in image sequences. Furthermore, motion is shown to be strongly connected with the human visual system. Further possibilities are thus emerging in the field of visual quality assessment for developing appropriate motion exploitation strategies that are aligned with the human visual system. This thesis focuses on exploiting motion for video analysis in image sequences captured by a moving camera and provides an appropriate evaluation framework.
Firstly, motion induced by the camera movement has to be distinguished from motion resulting from the moving content itself. Therefore, the first part of the thesis is devoted to global motion estimation, i.e. the estimation of background motion. Outlier regression techniques are employed for the formulation of parametric models for global motion. It is shown that this modelling benefits from the consideration of block information since it implicitly contains information regarding foreground objects that move independently of the background region. Moreover, the parametric modelling of global motion is shown to have a positive influence towards enhancing conventional motion prediction.
The second part of the thesis deals with object segmentation. A short-term object segmentation scheme that exploits bidirectional information for change detection is built, based on parametric modelling of global motion. Aspects related to the thresholding procedure, namely the spatial location of foreground candidates and the optimal selection of the involved parameters are examined. Thus, robust segmentation performance is achieved avoiding heuristics and training algorithms for parameter selection. Furthermore, background classification inconsistencies occurring during the independent calculation of segmentation masks over time are addressed using adaptive filtering according to foreground motion.
Finally, the exploitation of motion features and object-knowledge on video quality assessment is investigated. Existing objective quality assessment algorithms often rely on the calculation of quality scores ignoring such higher-level information. Thus, possibilities of improving objective video quality assessment models’ performance are herein examined. Specifically, the contributions on objective video quality assessment are threefold; building a content-aware video quality assessment approach that accounts for moving objects, formulating a saliency model that exploits motion features on spatial level and furthermore proposing an approach for consideration of global motion in the temporal dimension that leads to accuracy improvement.
