guest ::
Productivity and Software Development Effort Estimation in High-Performance Computing = Produktivität und Software-Entwicklungsaufwand im Hochleistungsrechnen
2017 & 2018
Dissertation, RWTH Aachen University, 2017
Veröffentlicht auf dem Publikationsserver der RWTH Aachen University 2018
Genehmigende Fakultät
Fak01
Hauptberichter/Gutachter
;
Tag der mündlichen Prüfung/Habilitation
2017-09-18
Online
DOI: 10.18154/RWTH-2017-10649
URL: http://publications.rwth-aachen.de/record/711110/files/711110.pdf
Einrichtungen
Inhaltliche Beschreibung (Schlagwörter)
HPC (frei) ; HPC center (frei) ; development time (frei) ; parallel computing (frei) ; productivity (frei) ; programmability (frei)
Thematische Einordnung (Klassifikation)
DDC: 004
Kurzfassung
Mit dem stetig wachsenden Bedarf an Rechenleistung erhöhen sich die elektrische Leistung und die Hardware- und Softwarekomplexität im Hochleistungsrechnen (HPC). Die steigenden Kosten für Maschinerie, Energie und Programmierung belasten dabei verfügbare Budgets zunehmend. Infolgedessen werden auch fundierte Entscheidungskriterien für die Verwendung vorhandener Budgets bedeutsamer. Besonders in Beschaffungsprozessen werden quantitative Metriken benötigt um die Kostenwirksamkeit eines HPC Zentrums abzuschätzen.In dieser Arbeit stelle ich Modelle und Methodiken zur Unterstützung von Beschaffungen in deutschen, universitären HPC Zentren auf. Ich modelliere ihre Kostenwirksamkeit als Produktivitätsmetrik mit dem Verhältnis von wissenschaftlichen Resultaten (erzeugt über die Lebenszeit des HPC Systems) zu seinen Gesamtkosten (TCO). Meine weiterführende Darstellung der wissenschaftlichen Resultate als aggregierte Ausführungszahl aller (Simulations-)Anwendungen auf dem HPC System deckt auch die typische Programm-Mischung eines HPC Clusters ab. Ich untersuche die Vorhersagbarkeit der Parameter des Produktivitätsmodells und zeige, dass das Modell robust gegenüber Fehlern in realen HPC Setups ist.Als Teil der Produktivitätsmetrik führe ich ein Gesamtkosten-Modell eines HPC Zentrums ein, das zwischen einmaligen und jährlichen Kosten, zwischen Ausgaben basierend auf der Rechenknotenzahl und dem Rechenknotentyp, sowie zwischen system- und anwendungsabhängigen Kosten differenziert. Darüber hinaus diskutiere ich mögliche Quantifizierungen und Vorhersagbarkeiten der TCO-Komponenten.Da die Wichtigkeit des Entwicklungsaufwands als Gesamtkostenteil steigt, führe ich eine Methodik zur HPC Aufwandsschätzung basierend auf einem sog. Performance-Lebenszyklus ein, der den Zusammenhang zwischen Entwicklungszeit für die wissenschaftliche Anwendung und erreichter Maschinen-Leistung beschreibt. Zur Identifizierung von Faktoren mit Einfluss auf den Aufwand dienen Umfragen zur Prioritäten-Bildung. Beispielsweise ist das HPC Vorwissen eines Entwicklers eine Schlüsselkomponente, die ich mit Umfragen zur Wissens-Selbsteinschätzung angehe. Ebenfalls untersuche ich den Einfluss des parallelen Programmiermodells. Da aussagekräftige Quantifizierungen auf ausreichenden Daten beruhen, motiviere ich ihre Erhebung in einem HPC-weiten Ansatz durch die Unterstützung von Werkzeugen und Methoden.Schließlich stelle ich eine Fallstudie aus dem Bereich der Aeroakustik-Simulation vor, in der ich die Anwendbarkeit meiner Methodiken und Modelle darstelle.Ever increasing demands for computational power are concomitant with rising electrical power needs and complexity in hardware and software designs. According increasing expenses for hardware, electrical power and programming tighten the rein on available budgets. Hence, an informed decision making on how to invest available budgets is more important than ever. Especially for procurements, a quantitative metric is needed to predict the cost effectiveness of an HPC center.In this work, I set up models and methodologies to support the HPC procurement process of German HPC centers. I model cost effectiveness as a productivity figure of merit of HPC centers by defining a ratio of scientific outcome generated over the lifetime of the HPC system to its total costs of ownership (TCO). I further define scientific outcome as number of scientific-application runs to embrace the multi-job nature of an HPC system in a meaningful way. I investigate the predictability of the productivity model's parameters and show their robustnesstowards errors in various real-world HPC setups. Case studies further verify the model's applicability, e.g., to compare hardware setups or optimize system lifetime.I continue to investigate total ownership costs of HPC centers as part of the productivity metric. I model TCO by splitting expenses into one-time and annual costs, node-based and node-type-based costs, as well as, system-dependent and application-dependent costs. Furthermore, I discuss quantification and predictability capabilities of all TCO components.I tackle the challenge of estimating HPC software development effort as TCO component with increasing importance. For that, I establish a methodology that is based on a so-called performance life-cycle describing the relationship of effort to performance achieved by spending the respective effort. To identify further impactfactors on application development effort, I apply ranking surveys that reveal priorities for quantifying effects. Such an effect is the developer's pre-knowledge in HPC whose quantification is addressed by confidence ratings in so-called knowledge surveys. I also examine the quantification of impacts of the parallel programming model by proposing a pattern-based approach. Since meaningful quantifications rely on sufficient and appropriate data sets, I broaden previous human-subject based data collections by introducing tools and methods for a community effort. Finally, I present the applicability of my methodologies and models in a case study that covers a real-world application from aeroacoustics simulation.
OpenAccess: 
PDF
(additional files)
Dokumenttyp
Dissertation / PhD Thesis/Book
Format
online, print
Sprache
English
Externe Identnummern
HBZ: HT019560591
Interne Identnummern
RWTH-2017-10649
Datensatz-ID: 711110
Beteiligte Länder
Germany
