Fakult¨at fur¨ Naturwissenschaften Honorarprofessur fur¨ Computergestutzte¨ Quantenchemie Low-Rank Tensor Approximation in post Hartree-Fock Methods von der Fakult¨at fur¨ Naturwissenschaften der Technischen Universit¨at Chemnitz genehmigte Dissertation zur Erlangung des akademischen Grades doctor rerum naturalium (Dr. rer. nat.) vorgelegt von Dipl.-Chem. Udo Benedikt geboren am 20.07.1983 in Annaberg-Buchholz eingereicht am 15.05.2013 Gutachter: Prof. Dr. Alexander A. Auer Prof. Dr. Sibylle Gemming Tag der Verteidigung: 21.01.2014 Benedikt, Udo Low-Rank Tensor Approximation in post Hartree-Fock Methods Dissertation, Fakult¨at fur¨ Naturwissenschaften Technische Universit¨at Chemnitz, Mai 2013 Bibliografische Beschreibung und Referat Udo Benedikt Low-Rank Tensor Approximation in post Hartree-Fock Methods Technische Universit¨at Chemnitz, Fakult¨at fur¨ Naturwissenschaften Dissertation 2013, 145 Seiten Die vorliegende Arbeit besch¨aftigt sich mit der Anwendung neuartiger Tensorzerlegungs- und Tensorrepesentationstechniken in hochgenauen post Hartree-Fock Methoden um das ho- he Skalierungsverhalten dieser Verfahren mit steigender Systemgr¨oße zu verringern und somit den \Fluch der Dimensionen" zu brechen. Nach einer vergleichenden Betrachtung verschie- dener Representationsformate wird auf die Anwendung des \canonical polyadic" Formates (CP) detailliert eingegangen. Dabei stehen zun¨achst die Umwandlung eines normalen, index- basierten Tensors in das CP Format (Tensorzerlegung) und eine Methode der Niedrigrang Approximation (Rangreduktion) fur¨ Zweielektronenintegrale in der AO Basis im Vorder- grund. Die entscheidende Gr¨oße fur¨ die Anwendbarkeit ist dabei das Skalierungsverhalten das Ranges mit steigender System- und Basissatzgr¨oße, da der Speicheraufwand und die Berechnungskosten fur¨ Tensormanipulationen im CP Format zwar nur noch linear von der Anzahl der Dimensionen des Tensors abh¨angen, allerdings auch mit der Expansionsl¨ange (Rang) skalieren. Im Anschluss wird die AO-MO Transformation und der MP2 Algorithmus mit zerlegten Tensoren im CP Format diskutiert und erneut das Skalierungsverhalten mit steigender System- und Basissatzgr¨oße untersucht. Abschließend wird ein Coupled-Cluster Algorithmus vorgestellt, welcher ausschließlich mit Tensoren in einer Niedrigrang CP Dar- stellung arbeitet. Dabei wird vor allem auf die sukzessive Tensorkontraktion w¨ahrend der iterativen Bestimmung der Amplituden eingegangen und die Fehlerfortpflanzung durch An- wendung des Rangreduktions-Algorithmus analysiert. Abschließend wird die Komplexit¨at des gesamten Verfahrens bewertet und Verbesserungsm¨oglichkeiten der Reduktionsprozedur auf- gezeigt. Stichworte: Niedrigrang Tensor Approximation, Tensorzerlegung, Elektronenstrukturmetho- den, post Hartree-Fock Methoden, Coupled-Cluster Abstract Udo Benedikt Low-Rank Tensor Approximation in post Hartree-Fock Methods Technische Universit¨at Chemnitz, Fakult¨at fur¨ Naturwissenschaften PhD thesis 2013, 145 Seiten In this thesis the application of novel tensor decomposition and tensor representation tech- niques in highly accurate post Hartree-Fock methods is evaluated. These representation techniques can help to overcome the steep scaling behaviour of high level ab-initio calcula- tions with increasing system size and therefore break the \curse of dimensionality". After a comparison of various tensor formats the application of the \canonical polyadic" format (CP) is described in detail. There, especially the casting of a normal, index based tensor into the CP format (tensor decomposition) and a method for a low rank approximation (rank reduc- tion) of the two-electron integrals in the AO basis are investigated. The decisive quantity for the applicability of the CP format is the scaling of the rank with increasing system and basis set size. The memory requirements and the computational effort for tensor manipulations in the CP format are only linear in the number of dimensions but still depend on the expansion length (rank) of the approximation. Furthermore, the AO-MO transformation and a MP2 algorithm with decomposed tensors in the CP format is evaluated and the scaling with in- creasing system and basis set size is investigated. Finally, a Coupled-Cluster algorithm based only on low-rank CP representation of the MO integrals is developed. There, especially the successive tensor contraction during the iterative solution of the amplitude equations and the error propagation upon multiple application of the reduction procedure are discussed. In conclusion the overall complexity of a Coupled-Cluster procedure with tensors in CP format is evaluated and some possibilities for improvements of the rank reduction procedure tailored to the needs in electronic structure calculations are shown. keywords: low-rank tensor approximation, tensor decomposition, electronic structure meth- ods, post Hartree-Fock methods, Coupled-Cluster Die vorliegende Arbeit wurde in der Zeit von September 2008 bis Dezember 2009 unter Lei- tung von Prof. Dr. Alexander A. Auer in der Juniorprofessur fur¨ Theoretische Chemie der Technischen Universit¨at Chemnitz begonnen, von Januar 2010 bis Februar 2012 am Max- Planck-Institut fur¨ Eisenforschung in Dusseldorf¨ fortgefuhrt¨ und von M¨arz 2012 bis Mai 2013 am Max-Planck-Institut fur¨ Chemische Energieumwandlung in Mulheim¨ an der Ruhr abge- schlossen. Herrn Prof. Dr. Alexander A. Auer danke ich fur¨ die Einfuhrung¨ in die Tiefen der ab-initio Methoden mit allen Vorzugen¨ und Klippen der zugrunde liegenden Physik. Fur¨ die gew¨ahr- te Freiheit bei der Bearbeitung des Themas, die zahlreichen, anregenden Diskussionen, die großzugige¨ Unterstutzung¨ dieser Arbeit und die M¨oglichkeit auch an anderen, praktisch ori- entierten Projekten zu arbeiten m¨ochte ich mich ganz besonders bedanken. Prof. Dr. Sibylle Gemming und Prof. Dr. Alexander A. Auer gilt mein Dank fur¨ die Begut- achtung diese Arbeit. Prof. Dr. Dr. h.c. Wolfgang Hackbusch und besonders Dr. Mike Espig danke ich fur¨ die fruchtbare Zusammenarbeit und die ausfuhrliche¨ Einfuhrung¨ in das Gebiet der Tensorrepre- sentationstechniken. Auch wenn der Dialog am Anfang schwer fiel, konnte mir dennoch das Verst¨andnis fur¨ verschiedene Tensorformate und die Funktionsweise des Rangreduktionsal- gorithmus nahe gebracht werden. Dabei m¨ochte ich vor allem Dr. Mike Espig fur¨ das zur Verfugung¨ stellen der Routinen zur Rangreduktion und die stetige Weiterentwicklung der TensorCalculus Bibliothek sowie fur¨ die Einfuhrung¨ in die objektorientierte C++ Program- mierung danken. Fur¨ die Nutzung verschiedener Großrechner m¨ochte ich mich beim Team des Chemnitzer Hochleistungs-Linux-Cluster (CHiC), vor allem bei Frank Mietke und Ren´eOertel fur¨ die technische Unterstutzung¨ bei Compiler und Queueing-System Problemen, sowie beim Team des Rechenzentrums am MPI fur¨ Eisenforschung und am MPI fur¨ Chemische Energieum- wandlung recht herzlich bedanken. Bei meinen Kollegen Wolfgang Schneider und Karl-Heinz B¨ohm bedanke ich mich fur¨ die angenehme Arbeitsatmosph¨are im Buro¨ sowie die zahllosen Diskussionen zu den verschieden- sten, nicht zwingend arbeitsrelevanten Themen. Ein ganz besonderer Dank gilt meiner Familie, vor allem meinen Eltern und meinen Geschwi- stern, die immer zu mir gehalten, mich auch in schwierigen Zeiten unterstutzt¨ und mir die wichtigen Dinge im Leben nahe gebracht haben. Abschließend m¨ochte ich mich bei meiner Frau Annemarie Benedikt ganz herzlich bedanken. Sie stand mir in den letzten Jahren immer treu zur Seite, auch wenn die Zeiten in Dusseldorf¨ bzw. Mulheim¨ und die damit verbundenen zahllosen, oft viel zu langen Bahnfahrten zwischen Chemnitz und Dusseldorf¨ sehr hart waren. "Was wir mathematisch festlegen, ist nur zum kleinen Teil ein objektives Faktum, zum gr¨oßeren Teil eine Ubersicht¨ uber¨ M¨oglichkeiten." Werner Heisenberg (1901 { 1976) Meiner Familie Contents List of Figures iii List of Tables v Nomenclature vii 1 Introduction 1 2 Theoretical Background 7 2.1 Molecular Electronic Structure Theory . .7 2.1.1 Hartree-Fock Method (HF) . .8 2.1.2 Perturbation Theory . 14 2.1.3 Configuration Interaction (CI) . 16 2.1.4 Coupled-Cluster Theory (CC) . 19 2.1.4.1 Coupled-Cluster Doubles (CCD) . 23 2.1.4.2 Coupled-Cluster Singles and Doubles (CCSD) . 24 2.2 Tensor Representation Techniques . 25 2.2.1 Canonical Polyadic Format (CP) . 26 2.2.2 Tucker Format . 29 2.2.3 Hierarchical Format . 30 2.2.4 Tensor Train or Matrix Product State Format . 31 2.2.5 Comparison of Tensor Formats . 32 3 Application of the CP Format in post Hartree-Fock Methods 35 3.1 Casting of Indexed Based Tensors to CP Format . 35 3.1.1 Trivial Decomposition . 36 3.1.2 Decomposition using Singular Value Decomposition . 37 3.1.3 Casting Two-Electron Integrals using Resolution of the Identity (RI) . 40 3.2 Rank Reduction Algorithm . 42 3.2.1 Rank Reduction for a Test-Matrix . 44 3.3 Adaptation of Reduction Algorithm for Quantum Chemistry . 47 3.3.1 First Examples: Water using STO-3G and 6-31G Basis Set . 47 3.3.2 Improved Reduction Scheme by Slicing Procedure . 52 3.3.3 Comparison of Sliced and Full Reduction Procedure . 54 3.3.4 Lowering of Initial Ranks by SVD-based Casting Procedure . 56 3.3.5 Slicing Scheme based on SVD Casting Procedure . 58 i Contents 3.4 Benchmark: Scaling of Reduced Ranks . 60 3.4.1 Violation of Permutational Symmetry . 64 3.5 AO-MO Transformation with Integrals in CP Format . 65 3.6 MP2 Algorithm with Integrals in CP Format . 74 3.6.1 Definition of MP2 Amplitudes . 74 3.6.2 MP2 Energy Equation . 79 3.7 LCCD Algorithm with Tensors