Visual analytics of big data from distributed systems

Abstract

Distributed Systems are challenging to debug because the temporal order of events and distributed states are hard to track. The high complexity of distributed systems make fully automatic reasoning difficult to apply. Domain experts are often required to reason about the behavior of a system based on log files from various sources. This situation presents a good opportunity for visual analytics. Data from multiple sources can be preprocessed and visualized, and then domain experts can conduct exploratory analysis to accelerate the identification of issues. The goal of this master thesis was to create such a visual analytics tool to help domain experts explore data collected from distributed systems more efficiently and assist in identifying bugs and anomalies. The system was used by domain experts and helped to identify issues in a distributed system, showing that visual analytics can be a useful tool to assist domain experts in their daily work.

Fehlersuche in verteilten Systemen ist eine Herausforderung, da es schwierig ist, die zeitliche Ordnung von Ereignissen sowie verteilte Zustände im Auge zu behalten. Die hohe Komplexität von verteilten Systemen macht es schwierig, vollautomatisch Schlussfolgerungen zu ziehen. Domänenexperten müssen oft Rückschlüsse über ein komplexes, verteiltes System auf Grundlage von Logdateien aus verschiedenen Quellen ziehen. Diese Situation bietet eine gute Möglichkeit, Visual Analytics anzuwenden. Daten aus diversen Quellen können vorverarbeitet und visualisiert werden, woraufhin Domänenexperten explorative Analyse zur Beschleunigung der Fehlersuche betreiben können. Das Ziel dieser Masterarbeit war es, solch ein Visual Analytics-Werkzeug zu erschaffen, um Domänenexperten das Erkunden von Daten von verteilten Systemen zu erleichtern und bei der Identifizierung von Fehlern und Anomalien zu helfen. Das System wurde von Domänenexperten verwendet und half bei der Identifizierung von Problemen in einem verteilten System, was zeigt, dass Visual Analytics ein nützliches Werkzeug ist, um Domänenexperten bei ihrer täglichen Arbeit zu unterstützen.