The aim of this thesis is to design, develop, and study a new approach to interventional image guidance based on augmented reality visualization – the merging of real and virtual images. This work broadly reviews and categorizes all preliminary augmented reality prototype systems for interventional image guidance. A novel augmented reality setup is introduced and engineered for interventional guidance tasks, integrating pre-operative imaging, namely CT and MRI, as well as real-time ultrasound imaging. Built on a single PC platform with four independent frame-grabber boards and genlocked cameras, this system uniquely combines head-mounted stereoscopic video capture and visualization with optical head and instrument tracking in a very efficient, but yet modular, closed-loop approach. Because of its unique architecture it provides unmatched real-time performance and accuracy of high resolution augmented reality, enabling most complicated guidance tasks. This work advances methods for multi-camera calibration and real-time tracking. A novel head-mounted camera-triplet is described, where two cameras capture the stereoscopic view of the scene while a third, near-infrared camera with a wide-angle lens and a synchronously pulsing infrared flash is used for real-time pose estimation tasks, tracking retroreflective markers in the scene. A specialized calibration technique for the calibration of all intrinsic and relative extrinsic parameters of the camera-triplet with a dedicated calibration object is developed, taking into account the very different optical properties of the three cameras. In respect to real-time optical tracking, a unified approach to pose estimation is developed that includes an optimized cluster design of retroreflective markers, a strategy for marker identification in the tracker camera images, and a method for extrinsic camera parameter estimation based on an initial 3-Point algorithm and non-linear parameter optimizations utilizing all available 2D–3D point correspondences. This unified approach provides precise pose estimates for the camera-triplet in respect to stationary marker frames and marker clusters that are attached to hand-held tools in less than 10ms. The robustness of the tracking results is evaluated in Monte-Carlo simulations and in actual experiments. The introduced augmented reality system provides a novel way to access three-dimensional datasets intuitively in direct relation to real objects and interactions. In comparison to typical screen-based visualization methods, the stereoscopic and kinetic depth cues of the proposed head-mounted approach provide a much higher degree of immersion and, thus, understanding of the data. Furthermore, the system provides the stereoscopic view of the real scene (such as the patient’s body) in direct relation to the virtual data, effectively rendering real objects transparent if the virtual dataset represents otherwise invisible internal details. Interactions with the datasets, which in a screen-based solution need to be resolved through mouse movements and clicks, is given in a way that resembles interactions with real objects by means of tracked instruments. This work makes strong contributions to potential applications of augmented reality in the interventional arena. Studies are performed that show that three-dimensional graphics presented within the actual patient with stereoscopic and kinetic depth cues provide a very compelling and direct access to anatomical information for the planning and guidance of an efficient intervention. Surgeons benefit from this direct overlay of medical images onto the actual patient especially during minimally invasive surgeries. Additional navigational support is given by means of tracked instruments, in particular biopsy and ablation needles, which are visualized as virtual objects within the patient’s actual body. Results of pre-clinical phantom and animal studies are presented, utilizing the introduced augmented reality system for needle placement tasks that evaluate the benefits of the availability of pre-operatively acquired imaging information (e.g., CT or MRI) to interventional radiologists during an intervention. Increased biopsy precision and the absence of continuous x-ray exposure through fluoroscopy are major contributions here.

Das Ziel dieser Dissertation ist es einen neuen Ansatz für bildgeführte Interventionen, basierend auf erweiterter Realitätsvisualisierung – der Vereinigung von realen und virtuellen Bildern, zu entwerfen, zu entwickeln, und zu studieren. Diese Arbeit gibt einen breiten Überblick und kategorisiert alle publizierten Prototypen auf dem Gebiet der erweiterten Realität für interventionelle Bildführung. Ein neuartiges Setup zur erweiterten Realität wird eingeführt, erstellt und optimiert für interventionelle Navigationsaufgaben, das voroperative Bildgebung, speziell CT und MRI, sowie intraoperativen Ultraschall einbindet. Aufbauend auf einer einzelnen PC Platform mit vier unabhängigen Video-Digitalisierkarten und synchronisierten Kameras kombiniert dieses System einzigartig kopf-basierte stereoscopische Videoaufnahme und Visualisierung mit optischem Tracking von Kopf und Instrumenten in einem sehr effizienten aber zugleich modularen ”closed-loop“ Ansatz. Aufgrund seiner besonderen Architektur bietet das System eine bisher unerreichte Leistung und Genauigkeit von hochauflösender erweiterter Realität in Echtzeit und ermöglicht dadurch komplizierteste Navigationsaufgaben. Diese Arbeit entwickelt Methoden zur Multi-Camera-Kalibrierung und zum Tracking in Echtzeit. Ein neuartiges kopfmontiertes Kameratriplett wird beschrieben, bei dem zwei Kameras den stereoscopischen Blick der Szene aufnehmen, während eine dritte, nah-infrarote Kamera mit einem Weitwinkelobjektiv und einem synchronisiert pulsierendem Infrarotblitz zu Pose-Schätzungen in Echtzeit, durch Tracking von retroreflektierenden Markern in der Szene, genutzt wird. Eine spezialisierte Kalibrierungstechnik, mit einem dedizierten Kalibrierungsobjekt, wird zur Kalibrierung aller intrinsischen und relativ-extrinsischen Parameter des Kameratripletts entwickelt, die die sehr unterschiedlichen optischen Eigenschaften der drei Kameras berücksichtigt. In Bezug auf das optische Tracking in Echtzeit wird ein umfassender Ansatz zur Pose-Schätzung entwickelt, der ein optimiertes Klusterdesign von retroflektierenden Markern, eine Strategie zur Markeridentifizierung in den Bildern der Trackerkamera und eine Methode zur Schätzung der extrinsischen Kameraparameter, basierend auf einem intitialen 3-Punkt Algorithmus und nichtlinearen Parameteroptimierungen unter Nutzung aller verfügbaren 2D–3D Punktkorrespondenzen, beruht. Dieser umfassende Ansatz erreicht genaueste Pose-Schätzungen des Kameratripletts in Bezug zu stationären Markerrahmen und Markerklustern, die an handgehaltenen Werkzeugen befestigt sind, in weniger als 10ms. Die Robustheit der Trackingergebnisse wird in Monte-Carlo Simulationen und in realen Experimenten ausgewertet. Das vorgestellte System zur erweiterten Realität bietet einen komplett neuen intuitiven Zugang zu dreidimensionalen Datensätzen in direktem Bezug zu echten Objekten und Interaktionen. Im Vergleich zu gewöhnlichen, bildschirm-basierten Visualisierungsmethoden, bieten die stereoscopischen und kinetischen Tiefeneindrücke des vorgestellten kopf-montierten Ansatzes einen eindeutig höheren Grad an Immersion – und damit Verständnis – der Daten. Ausserdem bietet das System einen stereoscopischen Blick auf die reale Szene (z.B. den Körper des Patienten) in direktem Bezug zu den virtuellen Daten an, wodurch reale Objekte imWesentlichen transparent werden, wenn der virtuelle Datensatz ansonsten unsichtbare interne Details darstellt. Interaktionen mit dem Datensatz, die in einer bildschirm-basierten Lösung mittels Mausbewegungen und -Clicks realisiert werden müssen, werden mit Hilfe von getrackten Instrumenten in einer Art und Weise erwirklicht, die Interaktionen mit realen Objekten gleichen. Diese Arbeit leistet überzeugende Beiträge zu potenziellen Anwendungen von erweiterter Realität im Bereich der Intervention. Studien werden durchgeführt, die zeigen, dass dreidimensionale Grafiken, die mittels stereoscopischer und kinetischer Tiefeneindrücke im Inneren des eigentlichen Patienten dargestellt werden, einen sehr fesselnden und direkten Zugang zu anatomischen Informationen zur Planung und Führung einer effizienten Intervention bieten. Chirurgen profitieren speziell bei minimalinvasiven Eingriffen von dieser direkten Überlagerung von medizinischen Bildern auf dem eigentlichen Patienten. Zusätzlich wird die Navigation durch getrackte Instrumente unterstützt, speziell Biopsie- und Ablationsnadeln, die in Form von virtuellen Objekten innerhalb des Patienten visualisiert werden. Unter Nutzung des vorgestellten Systems zur erweiterten Realität werden Ergebnisse von vorklinischen Phantom- und Tierstudien dargelegt, die den Nutzen der Verfügbarkeit von voroperativen Bildinformationen (z.B. CT oder MRI) für den interventionellen Radiologen während des eigentlichen Eingriffes auswerten. Eine erhöhte Genauigkeit der Biopsie und der Verzicht auf andauernde Röntgenstrahlenbelastung durch Flouroscopie stellen hierbei die Hauptbeiträge dar.