Detection of unintended configuration changes in continuous deployment pipelines

Abstract

Once an Amazon Web Services employee took numerous servers offline that should have stayed online. The resulting US-East outage originated from a single integer that was incorrectly inserted in a configuration file. The configuration file defined the number of servers that should be up and running. The change was legal, but the number of servers that where taken offline was to high. We took the idea of such simple errors and applied them to continuous deployment pipelines. Continuous deployment pipelines are the next evolutionary step in continuous build pipelines. The Amazon Cloud is a highly automated environment. Pipelines are similar to the Amazon cloud a highly automated environment. Small errors can have potential catastrophic outcomes. We interviewed two experts in two differently sized companies which are using continuous integration and continuous delivery pipelines. Based on the information that was provided by both experts about the state of current continuous pipelines, we derived influence factors that are problematic in continuous deployment pipelines. The discovered influence factors already exist in currently used continuous integration/delivery pipelines were they do pose less significant threats than in continuous deployment pipelines. The enhanced automated deployment process of continuous deployment pipelines are making these factors problematic. We developed classification and improvement methods for each of the discovered influence factors. These methods can be used to strengthen a pipeline against unintended configuration changes.

Vor einiger Zeit schaltete ein Mitarbeiter bei Amazon Web Services einige Server aus, die jedoch hätten eingeschaltet bleiben sollen. Der resultierende Systemausfall der Zone US-East hatte ihren Ursprung in einem einzigen falsch eingegebenen Zahlenwert in einer Konfigurationsdatei. Die Konfigurationsdatei definierte die Anzahl der Server die angeschaltet waren. Die änderung war beabsichtigt, aber die Anzahl der abgeschalteten Server war zu hoch. Wir haben diesen Vorfall von Fehlern in automatisierten Umgebungen genommen und haben das Konzept auf Continuous Deployment Pipelines angewandt. Continuous Deployment Pipelines sind der nächste Schritt in der Evolution von Continuous Pipelines. Die Amazon Cloud ist eine hochautomatisiertes Umgebung. Pipelines sind ähnlich wie die Amazon Cloud ein ebenfalls hoch automatisiertes Umfeld. Selbst kleine Fehler einen katastrophalen Ausgang nehmen können. Wir haben zwei Experten in unterschiedlich großen Firmen interviewt. Beide Experten arbeiten mit den evolutionären Vorgängern von Continuous Deployment Pipelines, nämlich Continuous Integration und Continuous Delivery Pipelines. Basierend auf den Informationen, die uns die beiden beide Experten über den aktuellen Stand von Continuous Pipelines gaben, habe wir Einflussfaktoren abgeleitet die problematisch im Umfeld von Continuous Deployment Pipelines sind. Probleme, die in momentan existierenden Continuous Delivery Pipelines heute noch eine untergeordnete Rolle spiele, werden jedoch bei hochautomatisierten Continuous Deployment Pipelines problematischer. Die entdeckten Einflussfaktoren sind Probleme die bereits in momentan existierenden Continuous Integration/Delivery Pipelines existieren, in welchen sie jedoch nur eine untergeordnete Rolle spielen. Die erhöhte Automatisierung in Continuos Deployment Pipelines machen diese Einflussfaktoren problematischer. Wir haben sowohl Klassifikationsmöglichkeiten als auch Verbesserungsmöglichkeiten für jeden der entdeckten Einflussfaktoren entwickelt. Diese Methoden können zur Stabilisierung von Pipelines genutzt werden, um sie gegen unbeabsichtigte Konfigurationsänderungen zu schützen.