TECHNISCHE UNIVERSITÄT MÜNCHEN Lehrstuhl für Informatik XIX Integrated Software Support for Quantitative Models in the Domain of Enterprise Architecture Management Ivan B. Monahov Vollständiger Abdruck der von der Fakultät für Informatik der Technischen Universität München zur Erlangung des akademischen Grades eines Doktors der Naturwissenschaften (Dr. rer. nat.) genehmigten Dissertation. Vorsitzender: Univ.-Prof. Dr. J. Schlichter Prüfer der Dissertation: 1. Univ.-Prof. Dr. F. Matthes 2. Univ.-Prof. Dr. A. Pretschner Die Dissertation wurde am 02.06.2014 bei der Technischen Universität München eingereicht und durch die Fakultät für Informatik am 13.10.2014 angenommen. II Zusammenfassung Wie in der Literatur beschrieben, setzen bestehende Rahmenwerke hauptsächlich qualita- tive Modelle ein, um die zugrundeliegende Unternehmensarchitektur (UA) und ihre Ma- nagementfunktion (UAM) zu bewerten und zu analysieren. Durch den wachsenden Reife- grad und den steigenden finanziellen Druck auf UA Initiativen, benötigen Unternehmens- architekten zusätzlich quantitative Modelle (Metriken), um Ihren Interessenvertretern re- levante Informationen in aggregierter Form zur Verfügung zu stellen. Zusätzlich sind Un- ternehmensarchitekten daran interessiert Leistungsmessungen für das UAM zu etablieren und nachzuverfolgen. Metriken ermöglichen außerdem Messungen hinsichtlich der Er- reichung vordefinierter UAM Ziele und unterstützen bei der Modellierung und Analyse komplexer und unerwarteter Entwicklungen. In dieser Arbeit zeigen wir, wie Metriken die Bewertung statischer UA Aspekte, w. z. B. Heterogenität und Standardkonformität, unterstützen können. Wir beschreiben wie Metriken zur Steuerung und Planung von Trans- formationsprojekten verwendet werden können und diskutieren ihre Verwendung für UAM Leistungsbewertungen, z. B. Reaktionszeiten und Durchsatz. Im konzeptionellen Teil der Arbeit nehmen wir eine systemische Perspektive auf ein Un- ternehmen ein und präsentieren eine einheitliche Terminologie sowie vier Nutzungsszena- rien für Metriken unter Beachtung existierender Arbeiten in der UAM Domäne. Wir entwickeln eine Liste von Risiken und empfohlenen Gegenmaßnahmen, verbunden mit dem Einsatz von Metriken, und schlagen eine anpassbare Struktur für die Dokumenta- tion, Beschreibung und das Auffinden von Metriken vor. Die Struktur besteht aus zehn Elementen, welche in zwei Kategorien aufgeteilt sind – allgemeine und organisationsspe- zifische Beschreibungselemente. Unter Verwendung dieser Struktur präsentieren wir einen Metrikenkatalog, basierend auf Beobachtungen in deutschen Unternehmen. Weiterhin stellen wir eine Methode vor, die ein ganzheitliches Lebenszyklusmanagement organisa- tionsspezifischer Metriken ermöglicht. Die Methode lässt sich außerdem in Muster-basierte und agile UAM Rahmenwerke, w. z. B. BEAMS, integrieren. Diese Integration ermöglicht es Unternehmen systematisch und unter Berücksichtigung des jeweiligen Unternehmen- skontexts und der Ziele der beteiligten Interessensvertreter geeignete UAM Metriken zu definieren und zu implementieren. Zusätzlich ermöglicht diese Integration das Vermit- teln neuen Wissens durch die einheitliche Dokumentation neuer Metriken in der BEAMS Wissensbasis. Durch das Beobachten der Verwendung und der Evolution der Wissensbasis können mit der Zeit praxiserprobte Metriken sowie Metrik-Antimuster identifiziert werden. Im Implementierungsteil der Arbeit präsentieren wir einen Softwareprototyp, der die vorgestellten Konzepte unterstützt. Zu diesem Zweck definieren wir eine domänen- spezifische Sprache mit minimaler Anzahl an Operatoren und Konstrukten, die fürdie Umsetzung der Metriken aus dem Katalog benötigt werden. Weiterhin präsentieren wir eine Implementierung und Integration dieser Sprache innerhalb eines kommerziellen UAM Werkzeugs. Wir diskutieren ausgewählte Implementierungsaspekte, w. z. B. die Implementierung eines Typsystems zur Unterstützung des Beziehungsmanagements von Metriken und der Reaktion auf Änderungen im zugrundeliegenden UA Model zur Laufzeit. Abschließend zeigen wir den Mehrwert der Lösung für Unternehmensarchitekten basierend auf den Ergebnissen einer Fallstudie bei einem deutschen Finanzinstitut. Dabei fassen wir die qualitativen und subjektiven Bewertungen der beteiligten Experten zusammen. III IV Abstract As described by literature, the existing Enterprise Architecture (EA) management frame- works employ mainly qualitative models to assess and analyze the underlying EA and its management function. However, with growing maturity and increasing financial pressure on EA initiatives, enterprise architects require in addition quantitative models (metrics) to provide relevant and aggregated information to their stakeholders. Further, enterprise architects are interested in defining and monitoring EA management performance itself. Finally, metrics support the measurement of the achievement of predefined EA manage- ment goals and the modeling and analysis of complex and unexpected developments. In this thesis, we show how metrics can support the assessment of static aspects of the EA, e.g., heterogeneity and standard conformity. We outline how metrics can be used for the steering and planning of transformation projects and we discuss how metrics can be used for the management of performance measurements, e.g., reaction times and throughput. In the conceptual part of the thesis, by taking a systemic view on an enterprise, we firstly propose a terminology base for the usage of metrics in the domain of EA management. We present four distinct usage scenarios for metrics under consideration of the existing work in the domain. In addition, we develop a comprehensive list of risks and recommended countermeasures associated with the usage of metrics in this domain. We propose a uniform and configurable structure for the documentation, description and retrieval of metrics comprising ten elements organized in two categories - general and organization-specific metric description elements. Using this structure, we present a catalog of metrics, which we observed in German industry. Furthermore, we introduce a life-cycle management method for organization-specific metrics using our documentation structure and catalog. This method also fits pattern-based and agile EA management frameworks like the BEAMS framework. Thereby, the method enables organizations to systemically identify and define metrics tailored to the specific needs of their stakeholders and their organizational context. Additionally, the documentation of new metrics in the BEAMS method base supports the communication of new knowledge to other interested organizations. By monitoring the usage and the evolution of the method base, metrics best-practices as well as metric anti-pattern for specific EA management problems can be identified over time. In the implementation part of the thesis, we present a software prototype supporting the previously introduced concepts. For this purpose we have designed and implemented a domain-specific language (DSL) with a minimal number of operators and constructs required to implement the metric best-practices from the method base. Further, we present a concrete implementation of this DSL within a given commercial EA management tool. We discuss the most challenging and interesting aspects of the implementation from a software engineering perspective, e.g. the implementation of a type checker to support the management of metric relationships and to account for changes at instance and schema level of the underlying EA model at runtime. Finally, to demonstrate the benefits of our solution for enterprise architects, we describe a concrete application case study of the tool in the context of a German financial organization and summarize the user feedback gathered during the introduction and implementation phase to guide future research. V VI Acknowledgment This thesis summarizes the main results of my research carrier at the Chair for Software Engineering for Business Information Systems (sebis) at the Technische Universität München. Consequently, many of the presented ideas, solutions and concepts were born or benefited from discussions and collaborations with many people, who I want to thank. I want to express my sincerest gratitude to my primary supervisor, Prof. Dr. Florian Matthes, for giving me the opportunity to conduct research in the fascinating domain of EA manage- ment, as well as for his great support, valuable feedback, and challenging advices while su- pervising my work. Further I want to express my sincere gratitude to Prof. Dr. Alexander Pretschner for his constructive and valuable feedback as a second supervisor of my thesis. One of the main success factors for the successful completion of this thesis was the excellent collaboration with my colleagues at the chair. Hence, I want to thank all of them for their patience in several research discussion rounds, their support in writing publications, reviewing documents and discussing possible improvements. These collaborations deeply influenced and improved my work. In particular, I want to express my gratitude to Dr. Christian M. Schweda, Dr. Sabine Buckl, Dr. Christopher Schulz, Alexander W. Schneider, Thomas Reschenhofer, Matheus Hauder, Klym Schumaiev, and Sascha Roth. In addition, I want to thank Dr. Marco Kuhrmann and Dr. Daniel Méndez Fernández for sharing their experience regarding different software engineering and research methodology aspects. My work would not be successful without the valuable contributions of our students. Hence,