High-Performance Computing Methods in Large-Scale Power System Simulation Lukas Razik Institute for Automation of Complex Power Systems 81 High-Performance Computing Methods in Large-Scale Power System Simulation Von der Fakultät für Elektrotechnik und Informationstechnik der Rheinisch-Westfälischen Technischen Hochschule Aachen zur Erlangung des akademischen Grades eines Doktors der Ingenieurwissenschaften genehmigte Dissertation vorgelegt von Dipl.-Inform. Lukas Daniel Razik aus Hindenburg Berichter: Univ.-Prof. Antonello Monti, Ph. D. Univ.-Prof. Dr.-Ing. Andrea Benigni Tag der mündlichen Prüfung: 8. Mai 2020 Diese Dissertation ist auf den Internetseiten der Universitätsbibliothek online verfügbar. Bibliographische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb-nb.de abrufbar. D 82 (Diss. RWTH Aachen University, 2020) Herausgeber: Univ.-Prof. Dr.ir. Dr. h. c. Rik W. De Doncker Direktor E.ON Energy Research Center Institute for Automation of Complex Power Systems (ACS) E.ON Energy Research Center Mathieustraße 10 52074 Aachen E.ON Energy Research Center I 81. Ausgabe der Serie ACS I Automation of Complex Power Systems Copyright Lukas Razik Alle Rechte, auch das des auszugsweisen Nachdrucks, der auszugsweisen oder vollständigen Wiedergabe, der Speicherung in Datenverarbeitungsanlagen und der Übersetzung, vorbehalten. Printed in Germany ISBN: 978-3-942789-80-6 1. Auflage 2020 Verlag: E.ON Energy Research Center, RWTH Aachen University Mathieustraße 10 52074 Aachen Internet: www.eonerc.rwth-aachen.de E-Mail: [email protected] Zusammenfassung In der seit 2009 geltenden Erneuerbare-Energien-Richtlinie der Europäi- schen Union haben sich die Mitgliedsstaaten darauf verständigt, dass der Anteil erneuerbarer Energien bis 2020 bei mindestens 20 % des Ener- gieverbrauchs liegen soll. Die damit einhergehende wachsende Zahl von erneuerbaren Energieerzeugern wie Photovoltaik- und Windkraftanlagen führt zu einer vermehrt dezentralen Stromerzeugung, die ein komplexeres Stromnetzmanagement erfordert. Um dennoch einen sicheren Netzbetrieb zu gewährleisten, findet ein Wandel von konventionellen Stromnetzen zu sogenannten Smart Grids statt, bei denen z. B. nicht nur Statusinformationen der Stromerzeuger son- dern auch der Verbraucher (z. B. Wärmepumpen und Elektrofahrzeuge) in das Netzmanagement einbezogen werden. Die Nutzung von Flexibilitäten auf Erzeugungs- und Nachfrageseite und der Einsatz von Energiespei- chern zur Erreichung einer stabilen und wirtschaftlichen Stromversorgung erfordert neue Lösungen für die Planung und den Betrieb von Smart Grids. Andernfalls können Veränderungen an den Systemen des öffentli- chen Energiesektors (Stromnetz, IKT-Infrastruktur, Energiemarkt usw.) zu unerwarteten Problemen und damit auch zu Stromausfällen führen. Computersimulationen können deswegen helfen, das Verhalten von Smart Grids bei Veränderungen abzuschätzen, ohne das Risiko negativer Folgen bei unausgereiften Lösungen oder Inkompatibilitäten einzugehen. Die wesentliche Zielsetzung der vorliegenden Dissertation ist die An- wendung und Analyse von Methoden des High-Performance Computings (HPC) und der Informatik zur Verbesserung von (Co-)Simulationssoftware elektrischer Energiesysteme, um komplexere Komponentenmodelle sowie größere Systemmodelle in angemessener Zeit simulieren zu können. Durch die zunehmende Automatisierung und Regelung in Smart Grids, die immer höheren Anforderungen an deren Flexibilität und die Notwendigkeit einer stärkeren Marktintegration der Verbraucher werden Stromnetzmodelle immer komplexer. Die Simulationen erfordern daher eine immer höhere iii Leistungsfähigkeit der eingesetzten Rechnersysteme. Der Schwerpunkt der Arbeiten liegt deshalb auf der Verbesserung verschiedener Aspekte moderner und derzeit entwickelter Simulationslösungen. Dabei sollten jedoch keine neuen Simulationskonzepte oder -anwendungen entwickelt werden, die ein Hochleistungsrechnen auf Supercomputern oder großen Computerclustern erst erforderlich machen würden. Vielmehr werden in dieser Dissertation die Integrationen moderner direkter Löser für dünnbesetzte lineare Systeme in verschiedene Strom- netzsimulations-Backends und die anschließenden Analysen mithilfe von großskaligen Stromnetzmodellen vorgestellt. Darüber hinaus wird eine neue Methode zur automatischen grobgranularen Parallelisierung von Stromnetz-Systemmodellen auf Komponentenebene präsentiert. Neben solchen konkreten Anwendungen von HPC-Methoden auf Simulationsumge- bungen wird auch eine vergleichende Analyse verschiedener HPC-Ansätze zur Leistungssteigerung Python-basierter Software mithilfe von (Just-in- Time-)Kompilierern vorgestellt, da Python – in der Regel eine interpretierte Programmiersprache – im Bereich der Softwarenetwicklung im Energiesek- tor immer beliebter wird. Im Weiteren stellt die Dissertation die Integration einer HPC-Netzwerktechnologie auf Basis des offenen InfiniBand-Standards in ein Software-Framework vor, das für die Kopplung verschiedener Simu- lationsumgebungen zu einer Co-Simulation und für den Datenaustausch in Hardware-in-the-Loop (HiL) Aufbauten genutzt werden kann. Für die Verarbeitung von Energiesystemtopologien durch Simulations- umgebungen, auf denen die oben genannten HPC-Methoden angewendet wurden, ist die Unterstützung eines standardisierten Datenmodells not- wendig. Die Dissertation behandelt daher auch das Common Information Model (CIM), wie in IEC 61970 / 61968 standardisiert, welches für die Spezifikation von Datenmodellen zur Repräsentierung von Energiesystem- topologien verwendet werden kann. Zunächst wird ein gesamtheitliches Datenmodell vorgestellt, das für Co-Simulationen des Stromnetzes mit dem zugehörigen Kommunikationsnetz und dem Energiemarkt durch eine Erweiterung von CIM entwickelt wurde. Um eine nachhaltige Entwicklung von CIM-bezogenen Softwaretools zu erreichen, wird im Folgenden eine automatisierte (De-)Serializer-Generierung aus CIM-Spezifikationen vorge- stellt. Die Deserialisierung von CIM-Dokumenten ist ein Schritt, der für die anschließend entwickelte Übersetzung von CIM-basierten Netztopologien in simulatorspezifische Systemmodelle genutzt wird, die ebenfalls in dieser Dissertation behandelt wird. Viele der vorgestellten Erkenntnisse und Ansätze können auch zur Ver- besserung anderer Software im Bereich der Elektrotechnik und darüber hinaus genutzt werden. Zudem wurden alle in der Dissertation vorgestell- iv ten Ansätze in öffentlich zugänglichen Open-Source-Softwareprojekten implementiert. v Abstract In the Renewables Directive of the European Union, in effect since 2009, the member states agreed that the share in renewable energy should be 20 % of the total energy by 2020. The concomitantly growing number of renewable energy producers such as photovoltaic systems and wind power plants leads to a more decentralized power generation. This results in a more complex power grid management. To ensure a secure power grid operation even so, there is a transformation from conventional power grids to so-called smart grids where, for instance, not only status information of power producers but also of consumers (e. g. heat pumps and electrical vehicles) is included in the power grid management. The utilization of flexibility on generation and demand side and the use of energy storage systems for achieving a stable and economic power supply requires new solutions for the planning and operation of smart grids. Otherwise, manipulations of the systems in the public energy sector (i. e. power grid, information and communications technology (ICT) infrastructure, energy market, etc.) can lead to unexpected problems such as power failures. Computer simulations therefore can help to estimate the behavior of smart grids on any changes without the risk of negative consequences in case of immature solutions or incompatibilities. The main objective of this dissertation is the application and analysis of high-performance computing (HPC) and computer science methods for improving power system (co-)simulation software to allow simulating more detailed models in a, for the particular use case, appropriate time. Through more automation and control in smart grids, the higher demand on flexibility, and the need of stronger market integration of consumers, the power system models become more and more complex. This requires an ever greater performance of the utilized computer systems. The focus was on the improvement of different aspects of state-of-the-art and currently developed simulation solutions. The intention was not to develop new vii simulation concepts or applications that would make large-scale HPC on super-computers or large computer clusters necessary. The dissertation presents the integration of modern direct solvers for sparse linear systems in various power grid simulation back-ends and subsequent analyses with the aid of large-scale power grid models. Fur- thermore, a new method for an automatic coarse-grained parallelization of power grid system models at component level is shown. Besides such concrete applications of HPC methods on simulation environments, also a comparative analysis of various HPC approaches for performance im- provement of Python based software with the aid of (just-in-time) com- pilers is presented, as Python – usually an interpreted programming language – becomes more popular in the area of power system related software. Moreover, the dissertation