In the field of optomechanics, one typically studies the interaction of a single mechanical resonator and a single optical cavity mode. In this thesis, we investigate collective quantum effects in optomechanical systems with two or more optical and mechanical modes. First, we study the generation and destruction of entanglement between two mechanical resonators effected by optical cavity fields. We also describe how the optomechanical interaction can be employed to mediate strong coherent coupling and entanglement between a micromechanical membrane and a single atom. Secondly, we show that a configuration with two optical and a single mechanical mode can lead to enhanced nonlinear interactions, which can be exploited for quantum non-demolition measurements of the phonon and photon numbers. Finally, we explore the quantum many-body dynamics of optomechanical arrays. In particular, we research into the transition from a disordered state due to quantum noise to a state with phasecoherent mechanical oscillations. As an intermediate step towards this study, we also investigate the nonlinear classical dynamics of single- and multi-mode optomechanical setups and compare theoretical predictions to experimental data.

Studien optomechanischer Systeme befassen sich typischerweise mit der Wechselwirkung eines einzelnen mechanischen Resonators mit einer Kavitätsmode. In dieser Arbeit untersuchen wir kollektive Quanteneffekte in optomechanischen Systemen, die aus zwei oder mehreren optischen und mechanischen Moden bestehen. Zunächst befassen wir uns damit, wie quantenmechanische Verschränkung zwischen zwei mechanischen Resonatoren mit Hilfe optischer Kavitätsmoden erzeugt, aber auch vernichtet werden kann. Wir beschreiben auch, wie die optomechanische Kopplung genutzt werden kann, um die Bewegung einer mikromechanischen Membran und eines einzelnen Atoms stark miteinander zu koppeln und zu verschränken. Darüber hinaus zeigen wir, dass eine Anordnung aus zwei optischen und einer mechanischen Mode zu verstärkten nichtlinearen Wechselwirkungen führt, und wie diese dazu genutzt werden können, die Phonon- und Photonzahlen nicht-destruktiv zu messen. Schließlich untersuchen wir quantenmechanischen Vielteilcheneffekte in Anordnungen aus vielen optomechanischen Systemen. Insbesondere erforschen wir den Übergang von einem ungeordneten Zustand, bedingt durch quantenmechanisches Rauschen, zu einem kollektiven Zustand mit Phasen-kohärenten mechanischen Oszillationen. Als Zwischenschritt zu diesen Studien betrachten wir auch die nichtlineare klassische Dynamik in optomechanischen Systemen mit einzelnen oder mehreren Moden und vergleichen die theoretischen Vorhersagen mit experimentellen Daten.