Tool support for systematic literature reviews : analyzing existing solutions and the potential for automation

Abstract

Die steigende Popularität des evidenz-basierten und empirischen Software-Engineerings hat dazu geführt, dass systematische Reviews sich in diesem Bereich als eine wichtige Forschungsmethode etabliert haben. Der systematische Charakter dieses Forschungsansatzes ermöglicht es, alle relevanten Beweise in Bezug auf ein bestimmtes Forschungsthema zu identifizieren, zu sammeln und zu interpretieren, wobei auch neue Forschungsaktivitäten zur weiteren Untersuchung durchgeführt werden können. Die Entwicklung eines umfassenden und detaillierten Review-Protokolls, das alle relevanten Methoden, Verfahren und Strategien für den Review dokumentiert, muss daher befolgt werden, um eine mögliche Verzerrung in der Bewertung durch den Forscher zu vermeiden und den wissenschaftlichen Wert der Ergebnisse zu erhöhen. Folglich sind die manuellen Tätigkeiten von systematischen Reviews sehr zeitaufwendig und erfordern einen hohen Arbeitsaufwand. Angesichts dieser Herausforderungen gibt es ein großes Potenzial für die Automatisierung mit Tool-Unterstützung, um die Effizienz und Zuverlässigkeit bestimmter Schritte zu erhöhen. Bislang gibt es viele Tools, die zur Unterstützung des systematischen Review-Prozesses entwickelt wurden. Allerdings bieten diese Tools in der Regel nur eine begrenzte Unterstützung für den gesamten Prozess an. Da die Menge der existierenden Tools groß ist, ist es für Forscher schwierig, den Überblick über die existierenden Tools zu behalten um einen passenden Kandidaten auszuwählen. Das Ziel dieser Arbeit ist es, existierende Tools zur Unterstützung des systematischen Review-Prozesses zu identifizieren, zu sammeln und zu analysieren, um einen effizienten Überblick über evaluierte Tools zu erhalten, die bestimmte Features abdecken. Da eine ganzheitliche Tool-Unterstützung für den gesamten Prozess zu fehlen scheint, werden typische Praktiken für systematische Reviews im weiteren Kontext der Softwareentwicklung und Herausforderungen, denen Forscher bei der Durchführung eines systematischen Reviews gegenüberstehen, untersucht, um die wichtigsten Bereiche für die Automatisierung zu identifizieren und einen Vorschlag für ein ganzheitliches Tool-Design aus der Kombination bestehender Werkzeuge zu präsentieren. Um die Ziele zu erreichen, wurden eine Reihe von sinnvollen Forschungsfragen und ein striktes Forschungsprotokoll entwickelt. Um bestehende Tools zu identifizieren und zu sammeln, wurde ein Rapid Review durchgeführt. Die Erfahrungen und Herausforderungen von Software-Engineering- Forschern, die bei der Durchführung von systematischen Übersichtsarbeiten auftreten, wurden durch halbstrukturierte Interviews untersucht. Um eine Reihe von identifizierten Tools zu analysieren, zu vergleichen und zu bewerten, wurde eine Feature Analysis durchgeführt. Die Ergebnisse des Rapid Reviews zeigen eine zunehmende Verbreitung von Tools zur Unterstützung von systematischen Reviews in der Softwareentwicklung und eine begrenzte Evaluierung dieser Tools. Die Beobachtungen, die von den Teilnehmern durch halbstrukturierte Interviews gemacht wurden, zeigen eine Reihe von herausfordernden und problembezogenen Aktivitäten, die während des systematischen Review-Prozesses auftreten. In Bezug auf diese Aktivitäten wurden von den Teilnehmern verschiedene Anforderungen an Werkzeuge identifiziert, die für die Unterstützung von systematischen Literaturreviews wichtig sind. Die Ergebnisse der Feature-Analyse zeigen, dass die Unterstützung durch bestehende Tools noch begrenzt ist. Auch wenn die Unterstützung durch bestehende Tools begrenzt ist, gibt es ein großes Potenzial für die Automatisierung bestimmter Aufgaben. Ein besseres Tool zur Unterstützung der systematischen Literaturrecherche wird immer noch benötigt.

The rising popularity of evidence-based and empirical software engineering established systematic reviews as an important research method in this field. The systematic nature of this research approach allows to identify, collect and interpret all relevant evidence regarding a specific research topic where also new research activities can be performed for further investigation. Therefore, the development of a comprehensive and detailed review protocol that documents all relevant methods, procedures and strategies for the review has to be followed to reduce the possibility of researcher bias and to increase the scientific rigor of the results. In consequence, the manual activities of systematic reviews are very time-consuming and require a lot of effort. Regarding these challenges, there is a great potential for automation with tool support to increase the efficiency and reliability of certain steps. To date, there are many tools that have been developed to support the systematic review process. However, these tools generally offer a limited support for the entire process. As the set of existing tools is large, it is difficult for researchers to keep an overview of existing tools and to select a fitting candidate. The aim of this thesis is to identify, collect and analyze existing tools supporting the systematic review process to get an efficient overview of evaluated tools which cover certain features. As a holistic tool support for the complete process seems to be lacking, typical practices for systematic reviews in the broader context of software engineering and challenges that researchers are facing while performing a systematic review are investigated to identify the most important areas for automation and to present a proposal of a holistic tool design suggestion from combination of existing tools. To achieve these aims, a set of meaningful research questions and a rigid research protocol were developed. In order to identify and collect existing tools, a rapid review was conducted. To investigate the experiences and challenges of software engineering researchers while performing systematic reviews, semi-structured interviews were performed. To analyze, compare and evaluate a set of identified tools, a feature analysis was executed. The findings of the rapid review show an increasing growth of tools to support systematic reviews in software engineering and a limited evaluation of these tools. The observations made by the participants through semi-structured interviews show a series of challenging and problem related activities that appear during the systematic review process. In relation to these activities, different tool requirements have been identified by the participants which are important for systematic literature review tool support. The results of the feature analysis show that the support of existing tools is still limited. Even if the tool support of existing tools are limited, there is a great potential for automation of certain tasks and a better tool to support systematic literature review is still needed.