Throughput improvements for BPEL engines : implementation techniques and measurements applied to SWoM

Abstract

Workflow Technology has become over the last two decades the cornerstone of modern application systems, in particular those built upon Service Oriented Architecture (SOA). It helps implement business processes that can be easily adapted to the changing needs of a dynamic environment and provides the base for the two-level application development paradigm. Workflow Management Systems (WfMS) deliver the functions of workflow technology; they have become a critical middleware component whose performance characteristics are significantly impacting the overall performance of the applications that have been built.

In the thesis, a set of optimization techniques for a state-of-the-art WfMS have been developed that delivers the required robustness with the best achievable performance. This WfMS has been labeled Stuttgarter Workflow Maschine (SWoM) to emphasize its birth place. Several novel approaches have been developed to achieve the desired goal : (1) the concept of transaction flows has been developed as the base for a flow optimizer that significantly improves the performance of the workflow engine, (2) the notion of caching is driven into virtually all areas of the different components that make up the SWoM, (3) the exploitation and tie-in into the underlying infrastructure for optimal resource exploitation, where the infrastructure, IBM WebSphere for the application server and IBM DB2 as the database environment, provides for the necessary robustness, and (4) a flow optimizer optimizes the execution of the transaction flows with respect to cache, database, and CPU cycle usage based on user recommendations and statistical information that the SWoM collects during execution. These optimization techniques, that maintain middleware robustness, are complemented by a set of optimization techniques that improve performance by relaxing some of the stringent robustness requirements.

All techniques have been validated using a simple, yet expressive benchmark that focuses on high-speed, message-based interactions, synchronous invocation, message transformation, and parallel execution. The benchmark results show that the SWoM scales almost linearly with respect to CPU load and the parallelism of requests. The maximum number of requests that the SWoM could obtain on a quad core CPU running Windows 7 64bit was more than 100 process instances per second.

In den vergangenen zwei Jahrzehnten hat sich die Workflow-Technologie zu einem wesentlichen Bestandteil moderner Anwendungssysteme entwickelt, insbesondere für solche Systeme, die auf der service-orientierten Architektur (SOA) beruhen. Mit Hilfe der Workflow-Technologie können Geschäftsprozesse erstellt werden, die schnell an geänderte Umgebungen angepasst werden können. Sie bildet zudem die Basis des zweistufigen Programmierparadigmas. Workflow Management Systeme, die die Workflow-Technologie implementieren, sind eine Kernkomponente der Middleware, deren Performance wesentlich die Ausführungsgeschwindigkeit der Anwendungen bestimmt, die mit ihnen gebaut werden.

Die vorgestellte Dissertation entwickelt einen Satz von Optimierungstechniken für ein modernes Workflow Management System, das Robustheit mit Performance kombiniert. Dieses Workflow Management System wird Stuttgarter Workflow-Maschine (SWoM) genannt, nach dem Ort der Entwicklung. Folgende neuartige Ansätze wurden entwickelt, um das Ziel zu erreichen : (1) die Entwicklung des Konzeptes von Transaktionsflüssen als Basis für einen Flussoptimierer, (2) wurde Cachingfunktionalität in allen Komponenten der SWoM, soweit wie möglich, implementiert, (3) benützt die SWoM, um die notwendige Robustheit zur erzielen, IBM WebSphere als Laufzeitumgebung und IBM DB2 zur Speicherung der Daten und benützt neuartige Techniken, um die Infrastruktur zur Laufzeit optimal auf die Arbeitsweise der SWoM abzustimmen und (4) optimiert ein Flussoptimierer die Ausführung der Transaktionsflüsse bezüglich Cache-, Datenbank- und CPU-Nutzung durch den Einsatz von Datenfluss- und Transaktionsanalysetechniken, wobei die Optimierung auf Eingaben des Prozessmodellierers sowie Statistiken, die die SWoM während der Ausführung der Geschäftsprozesse sammelt, basiert. Die aufgeführten Optimierungstechniken, die die erforderliche Robustheit gewährleisten, werden durch einen Satz von Optimierungstechniken ergänzt, die Robustheitsanforderungen mit dem Ziel der Performance-Verbesserungen reduzieren.

Alle Techniken wurden auf Basis eines einfachen, jedoch sehr aussagekräftigen Benchmarks validiert. Der Benchmark fokussiert sich auf schnelle, nachrichten-basierte Interaktionen mit Web Services, synchrone Aufrufe von Web Services, Nachrichtentransformationen sowie paralleler Ausführung von parallelen Pfaden eines Geschäftsprozess. Die Resultate des Benchmarks zeigen, dass die SWoM fast linear bezüglich CPU-Last sowie der Anzahl der gleichzeitigen Anfragen skaliert. Die SWoM ist in der Lage auf einer Vierkern-CPU mit Windows (64bit) mehr als 100 Prozessinstanzen in der Sekunde abzuarbeiten.