kth royal institute of technology Doctoral Thesis in Applied and Computational Mathematics Numerical methods for Sylvester-type matrix equations and nonlinear eigenvalue problems EMIL RINGH Stockholm, Sweden 2021 Numerical methods for Sylvester-type matrix equations and nonlinear eigenvalue problems EMIL RINGH Academic Dissertation which, with due permission of the KTH Royal Institute of Technology, is submitted for public defence for the Degree of Doctor of Philosophy on Wednesday May 12th, 2021, at 10:00 a.m. in F3, KTH Royal Institute of Technology, Lindstedtsvägen 26, Stockholm. For digital participation, see instructions at www.kth.se. Doctoral Thesis in Applied and Computational Mathematics KTH Royal Institute of Technology Stockholm, Sweden 2021 © Emil Ringh For a full copyright disclosure, see page xvi ISBN 978-91-7873-812-0 TRITA-SCI-FOU 2021:08 Printed by: Universitetsservice US-AB, Sweden 2021 To Xin Zhou (h¨) my better half To Axel Ringh my other better half Abstract Linear matrix equations and nonlinear eigenvalue problems (NEP) appear in a wide va- riety of applications in science and engineering. Important special cases of the former are the Lyapunov equation, the Sylvester equation, and their respective generalizations. These appear, e.g., as Gramians to linear and bilinear systems, in computations involv- ing block-triangularization of matrices, and in connection with discretizations of some partial differential equations. The NEP appear, e.g., in stability analysis of time-delay systems, and as results of transformations of linear eigenvalue problems. This thesis mainly consists of 4 papers that treats the above mentioned compu- tational problems, and presents both theory and methods. In paper A we consider a NEP stemming from the discretization of a partial differential equation describing wave propagation in a waveguide. Some NEP-methods require in each iteration to solve a linear system with a fixed matrix, but different right-hand sides, and with a fine discretization, this linear solve becomes the bottleneck. To overcome this we present a Sylvester-based preconditioner, exploiting the Sherman–Morrison–Woodbury formula. Paper B treats the generalized Sylvester equation and present two main results: First, a characterization that under certain assumptions motivates the existence of low- rank solutions. Second, a Krylov method applicable when the matrix coefficients are low-rank commuting, i.e., when the commutator is of low rank. In Paper C we study the generalized Lyapunov equation. Specifically, we extend the motivation for applying the alternating linear scheme (ALS) method, from the sta- ble Lyapunov equation to the stable generalized Lyapunov equation. Moreover, we show connections to H2-optimal model reduction of associated bilinear systems, and show that ALS can be understood to construct a rank-1 model reduction subspace to such a bilinear system related to the residual. We also propose a residual-based general- ized rational-Krylov-type subspace as a solver for the generalized Lyapunov equation. The fourth paper, Paper D, connects the NEP to the two-parameter eigenvalue problem. The latter is a generalization of the linear eigenvalue problem in the sense that there are two eigenvalue-eigenvector equations, both depending on two scalar vari- ables. If we fix one of the variables, then we can use one of the equations, which is then a generalized eigenvalue problem, to solve for the other variable. In that sense, the solved-for variable can be understood as a family of functions of the first variable. Hence, it is a variable elimination technique where the second equation can be under- stood as a family of NEPs. Methods for NEPs can thus be adapted and exploited to solve the original problem. The idea can also be reversed, providing linearizations for certain NEPs. Keywords: Matrix equations, Lyapunov equation, Sylvester equation, nonlinear eigenvalue problems, two-parameter eigenvalue problems, Krylov methods, iterative methods, preconditioning, projection methods v Sammanfattning Linjära matrisekvationer är en vanligt förekommande variant av linjära ekvationssys- tem. Viktiga specialfall är Lyapunovekvationen och Sylvesterekvationen, samt deras re- spektive generaliseringar. Dessa ekvationer uppstår till exempel som karakteriseringar av Gramianer till linjära och bilinjära dynamiska system, i beräkningar som innebär blocktriangularisering av matriser, och vid diskretiseringar av vissa partiella differen- tialekvationer. Det icke-linjära egenvärdesproblemet, från engelskan förkortat NEP, är en generalisering av det linjära egenvärdesproblemet för en matris. I det icke-linjära fallet tillåts matrisens beroende på den skalära parametern att vara just icke-linjärt. Formellt betraktas problemet som en funktion vars definitionsmängd är en delmängd av de komplexa talen, och vars värdemängd är (en delmängd av de) komplexvärda matris- erna. Problemet kan beskrivas som att hitta värden, så kallade egenvärden, som gör att den tillhörande matrisen i värdemängden är singulär; en vektor i nollrummet kallas för en egenvektor. Notera att beroendet på egenvektorn är linjärt. Tillämpningar inkluderar bland annat studier av dynamiska system med tidsfördröjning, samt vid transforma- tioner av linjära egenvärdesproblem. En annan generalisering av egenvärdesproblemet är två-parameters egenvärdesproblemet vilket består av två matrisvärda funktioner som båda beror på två parametrar. Målet är att hitta par av parametrar så att båda matriserna är singulära. Denna avhandling är en sammanläggningsavhandling och består i huvudsak av 4 artiklar. Dessa artiklar berör både praktiska och teoretiska aspekter av de ovan nämnda beräkningsproblemen. I artikel A betraktas ett NEP som härstammar från en partiell differentialekvation, vilken beskriver vågutbredning i en vågledare. På det diskretiserade problemet tillämpas residual inversiteration (residual inverse iteration). Metoden kräver att man löser likartade linjära ekvationssystem många gånger, med olika högerled. När diskretiseringen blir noggrannare blir beräkningen av lösningen till det linjära ekvationssystemen en flaskhals. För att komma runt detta presenteras en Sylvester-baserad förkonditionerare som utnyttjar Sherman–Morrison–Woodburys formel för invertering av matriser med lågrangstermer. Artikel B behandlar den generaliserade Sylvesterekvationen och har två huvu- dresultat: Ett resultat är en karakterisering som under vissa antaganden motiverar ex- istensen av lösningar som kan approximeras med matriser med låg rang. Resultatet är viktigt då många metoder för storskaliga problem har som mål att hitta en approxima- tion av låg rang. Ett annat resultat är en Krylovmetod som kan användas när matrisko- efficienterna lågrangskommuterar, d.v.s. när kommutatorn är en matris av låg rang. I artikel C undersöker vi den generaliserade Lyapunovekvationen. ALS-metoden, från engelskan alternating linear scheme, är en girig algoritm som presenterats i lit- eraturen, och som iterativt utökar approximationen med en matris av rang 1. Denna utökning definieras utifrån att den är ett lokalt minimum av felet, när det senare mäts i en relaterad energinorm. Vi presenterar en utvidgning av den teoretiska motiveringen till användandet av ALS-metoden, från den stabila Lyapunovekvationen till den sta- bila generaliserade Lyapunovekvationen. Vi visar också på kopplingar till H2-optimal modellreduktion för bilinjära dynamiska system, och hur rang-1-uppdateringarna i ALS-metoden kan ses som lokalt H2-optimala till relaterade modellreduktionsprob- lem. Vi presenterar även varianter av den rationella Krylovmetoden som är anpassade till den generaliserade Lyapunovekvationen. vi Den fjärde artikeln, artikel D, presenterar en koppling mellan två-parameters egen- värdesproblemet och NEP. Genom att använda den ena ekvationen för att genomföra en variabeleliminering kan den andra skrivas som en familj av NEP:ar. Elimineringen sker på bekostnad av att ett generaliserat egenvärdesproblem behöver lösas för varje funktionsevaluering av NEP:en. Metoder för NEP kan på så sätt anpassas för att lösa två-parameters egenvärdesproblemet. Icke-linjärisering kan även tillämpas i omvänd riktning och kan på så sätt leda till linjäriseringar av vissa NEP:ar. Nyckelord: Matrisekvationer, Lyapunovekvationen, Sylvesterekvationen, icke- linjära egenvärdesproblem, två-parameters egenvärdesproblem, Krylovmetoder, iter- ativa metoder, förkonditionering, projektionsmetoder vii I have been nothing but lucky. – David Letterman i – xkcd ii Acknowledgments come back to the sentence printed a few pages ago, “I have been nothing but lucky”. And have I I been lucky! I consider myself fortunate to have been given this opportunity, and it would not have been possible if it were not for a lot of fantastic people. I would like to extend my gratitude to people I have met and who has, in one way or another, helped me on this journey. First, and foremost, I would like to thank my main supervisor Elias Jarlebring, and my co- supervisors Johan Karlsson and Per Enqvist — Thank you for everything: For your guidance and support. For always keeping your door open and always taking your time with me. For letting me take my time, but without getting too lost. For all the things I have learned from you, both technical and non-technical, professional and personal. I have been lucky. Thank you for everything! Second, I would like to express my gratitude to former my office mate, academic older brother, and, most importantly, friend, Giampaolo Mele — Not only