h1

h2

h3

h4

h5
h6
http://join2-wiki.gsi.de/foswiki/pub/Main/Artwork/join2_logo100x88.png

Effiziente Parallelverarbeitung mit Nachrichtenaustausch auf Metacomputern = Efficient parallel processing using message passing on metacomputers



Verantwortlichkeitsangabevorgelegt von Carsten Clauß

ImpressumAachen : Publikationsserver der RWTH Aachen University 2009

UmfangVI, 217 S. : graph. Darst.


Aachen, Techn. Hochsch., Diss., 2009


Genehmigende Fakultät
Fak06

Hauptberichter/Gutachter


Tag der mündlichen Prüfung/Habilitation
2009-12-09

Online
URN: urn:nbn:de:hbz:82-opus-30672
URL: https://publications.rwth-aachen.de/record/51452/files/Clauss_Carsten.pdf

Einrichtungen

  1. Lehrstuhl für Betriebssysteme (615110)

Inhaltliche Beschreibung (Schlagwörter)
Grid Computing (Genormte SW) ; Metacomputing (Genormte SW) ; Parallelverarbeitung (Genormte SW) ; Message-Passing (Genormte SW) ; MPI <Schnittstelle> (Genormte SW) ; Informatik (frei) ; parallel processing (frei) ; message-passing interface (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Schon seit jeher ist die mathematische Beschreibung und Analyse von physikalischen Vorgängen ein Kerngebiet aller naturwissenschaftlichen Disziplinen. Dabei gewann in den letzten Jahrzehnten durch das Aufkommen der Digitalrechner die numerische Analyse mit dem Ziel einer Simulation der Vorgänge immer mehr an Bedeutung. Die Anforderungen an immer genauere Simulationsergebnisse bei gleichzeitig immer komplexeren Modellen überforderten dabei schnell die Leistungsmöglichkeiten, die ein einfacher Von-Neumann-Rechner bietet. Eine Möglichkeit, die Rechenleistung eines Systems für diese Anforderungen zu steigern, ist die Parallelverarbeitung der gegebenen Problemstellung durch mehrere Prozessoren, wobei im Laufe der Zeit viele unterschiedliche Architekturen entsprechender Parallelrechner entstanden. Gleichwohl erreichen auch solche Systeme bei wachsender Problemgröße schnell wieder eine Leistungsgrenze, die weit unterhalb des immensen Bedarfs an Rechenleistung liegen kann, die zur Lösung großer Probleme, wie zum Beispiel eine verlässliche Klimasimulation, benötigt wird. Ein weiterer logischer Schritt ist daher die Kopplung mehrerer solcher paralleler Systeme zu einer noch höheren Einheit, die man klassischerweise als Metacomputer bezeichnet. Die Natur eines Metacomputers weist dabei hierarchische und oftmals heterogene Strukturen auf, die es bei einer effizienten Abbildung paralleler Algorithmen auf diese Architekturform zu berücksichtigen gilt. Als Parallelisierungsparadigma wird auf solchen Systemen üblicherweise ein Nachrichtenaustausch eingesetzt, bei dem sich die parallelen Prozessoren Zwischenergebnisse der Berechnung explizit über entsprechend hierarchisch gegliederte Netze zukommen lassen. Zur Realisierung dieses Nachrichtenaustausches auf Anwendungsebene wird dabei in der Regel auf das sogenannte Message Passing Interface (MPI) zurückgegriffen, das eine Programmierschnittstelle zu den unterliegenden Kommunikationsbibliotheken darstellt. Um eine solche nachrichtenaustauschbasierte Parallelverarbeitung auf einem Metacomputer möglichst effizient zu gestalten, müssen zwei wesentliche Aspekte berücksichtigt werden: Zum einen muss die unterliegende Kommunikationsbibliothek in der Lage sein, die verschiedenen Technologien im System möglichst optimal auszunutzen; zum andern muss auch der parallele Algorithmus derart durch eine geschickte Abbildung auf das hierarchische beziehungsweise heterogene System angepasst werden, dass er die vorhandenen Ressourcen möglichst effizient ausnutzen kann. In der vorgelegten Arbeit werden diese beiden Forderungen unter Berücksichtigung diverser weiterer Aspekte ausführlich diskutiert, wobei im Zentrum der Diskussion die Realisierung einer Metacomputing-fähigen MPI-Bibliothek steht, die vom Autor am Lehrstuhl für Betriebssysteme der RWTH Aachen University in den letzten Jahren maßgeblich mitentwickelt wurde.

Since the beginning, mathematical description and analysis of physical processes has been a core area for all disciplines of natural science. Over the last several decades, numerical analysis with the goal of simulating processes has increased in importance due to the emergence of digital computers. The requirements of increasingly precise simulation results while simultaneously facing increasingly complex models quickly proved too much of a challenge for the capacities offered by simple Von-Neumann computers. One possibility of boosting a system's computing power to match these increasing requirements is by using several processes for the parallel processing of a given problem, where many various architectures of corresponding parallel computers have developed over time. Nevertheless, even these kinds of systems again quickly reach their capacities in the face of problems of an increasing size. These limits can lay far below the immense computing power requirements needed to solve large-scale problems, such as, for example, reliable climate simulation. As a result, a further logical step would be to link several such parallel systems into an even higher-order unit, which we classically term a metacomputer. The nature of a metacomputer features hierarchical and often heterogeneous structures which must be taken into consideration when creating an efficient mapping of parallel algorithms using this form of architecture. Within such systems, a message exchange is normally used as a parallelization paradigm, in which the parallel processors send the intermediate computation results explicitly through correspondingly hierarchically-structured networks. In order to realize this message exchange at the application level, the so-called Message Passing Interface (MPI) normally is resorted to, which represents a programming interface to the underlying communication libraries. Two key aspects must be considered in order to design this kind of message passing-based parallel processing on a metacomputer in the most efficient way possible. First, the underlying communication library must be able to fully utilize the various technologies within the system in the most optimal manner. Second, the parallel algorithm must be adapted to the hierarchical and heterogeneous system by using smart mapping, allowing the algorithm to use the available resources in the most efficient way possible. This dissertation will discuss both of these requirements in detail, while taking into consideration various other aspects. In doing so, the focus of discussion will be on the realization of a metacomputer-enabled MPI library, which the author has played a key role in co-developing over the past several years at the Department of Operating Systems at the RWTH Aachen University.

Fulltext:
Download fulltext PDF

Dokumenttyp
Dissertation / PhD Thesis

Format
online, print

Sprache
German

Interne Identnummern
RWTH-CONV-113743
Datensatz-ID: 51452

Beteiligte Länder
Germany

 GO


OpenAccess

QR Code for this record

The record appears in these collections:
Document types > Theses > Ph.D. Theses
Faculty of Electrical Engineering and Information Technology (Fac.6)
Publication server / Open Access
615110_20140620
Public records
Publications database

 Record created 2013-01-28, last modified 2022-04-22


Fulltext:
Download fulltext PDF
Rate this document:

Rate this document:
1
2
3
 
(Not yet reviewed)