Verteilte Dünngitter-Regression mit SG++ und HPX

Abstract

Datamining und Big Data werden immer wichtiger für viele Forschungsgebiete und die Menge an Daten, die gesammelt werden steigt stetig an. Für besonders große Datensätzen ist Dünngitter- Regression ein geeignetes Verfahren, da es linear mit der Anzahl der Datenpunkte skaliert und es sich zudem einfach parallelisieren lässt. Bei verteilter Ausführung von Programmen wird üblicherweise das Message Passing Interface (MPI) zur Kommunikation eingesetzt, doch dieser inzwischen zwei Jahrzehnte alte Standard ist den neuen Herausforderungen wie heterogener Hardware und Exascale Computing nicht mehr gewachsen. Die High Performance ParalleX (HPX) Bibliothek versucht diese Probleme zu lösen, um eine zukunftsfähige Runtime für parallele und verteilte Ausführung bereitzustellen. Wir haben HPX hier genutzt, um die Dünngitter Bibliothek SG++ mit einem verteilt ausführbaren Regressions-Algorithmus zu erweitern. Dabei wurde besonderer Wert auf gute Skalierbarkeit gelegt, für eine große Anzahl an Rechenknoten. Es hat sich gezeigt, dass sich mithilfe von HPX die verteilte, parallele Ausführung und asynchrone Kommunikation zwischen den Rechenkonten unkompliziert umsetzen lässt. Außerdem lässt sich das Programm effizient auf viele Knoten skalieren, dank der latenzversteckenden Eigenschaften von HPX.