Algorithmic approaches to Siegel’s fundamental domain Carine Jaber To cite this version: Carine Jaber. Algorithmic approaches to Siegel’s fundamental domain. General Mathematics [math.GM]. Université Bourgogne Franche-Comté, 2017. English. NNT : 2017UBFCK006. tel- 01813184 HAL Id: tel-01813184 https://tel.archives-ouvertes.fr/tel-01813184 Submitted on 12 Jun 2018 HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non, lished or not. The documents may come from émanant des établissements d’enseignement et de teaching and research institutions in France or recherche français ou étrangers, des laboratoires abroad, or from public or private research centers. publics ou privés. UNIVERSITE DE BOURGOGNE U.F.R Sciences et Techniques Institut de Mathématiques de Bourgogne Algorithmic approaches to Siegel’s fundamental domain THESE présentée et soutenue publiquement le 28 juin 2017 pour l’obtention du grade de Docteur de l’Université de Bourgogne (Specialité Mathématiques) par Carine Jaber Devant le jury composé des Professeurs COUVEIGNES Jean-Marc Université de Bordeaux (Président du jury) BRADEN Harry Université d’Edimbourg (Rapporteur) KOROTKIN Dmitri Université Concordia (Rapporteur) Montréal ABENDA Simonetta Université de Bologne (Examinatrice) SCHAUENBURG Peter Université de Bourgogne- (Examinateur) Franche-Comté KLEIN Christian Université de Bourgogne- (Directeur de thèse) Franche-Comté Remerciements Les remerciements constituent une partie facile et en même temps difficile à écrire. Facile car elle est exclue des corrections mais en même temps un exer- cice difficile pour les matheux qui n’aiment pas beaucoup parler ni exprimé leur propres sentiments (même si les femmes ne sont pas vraiment reconnues pour cela!). J’ai toujours considéré la recherche non pas comme un travail mais plutôt comme une passion. Le défi et la curiosité sont les deux mots qui résument mon histoire avec les maths. Ces trois années ont été pour moi une expérience très enrichissante. J’aimerai commencer par remercier celui qui m’a lancé dans cette fabuleuse aventure, celui avec lequel j’ai pris un très grand plaisir à travailler: mon directeur de thèse Christian Klein que je ne saurai jamais assez remercier pour tout ce qu’il m’a apporté. Je le remercie énormément pour ses précieuses remarques, la qualité de nos discussions mathématiques mais aussi pour sa gentillesse et son écoute. Je tiens également à remercier Peter Schauenburg pour son aide, sa gentillesse et aussi pour sa disponibilité malgré un planning chargé. J’ai eu également la chance et le plaisir de rencontrer Jörg Frauendi- ener, que je remercie pour son attention, son suivi tout au long de ces trois ans, à distance mais également en n’hesitant pas à venir depuis la Nouvelle Zélande. Je remercie également Damien Stehlé pour les conseils prodigués et les discus- sions que nous avons pu avoir. Il me faut également remercier Harry Braden et Dmitri Korotkin pour avoir accepter d’être mes rapporteurs. Merci encore à Simonetta Abenda d’avoir accepter de faire partie du jury et à Jean-Marc Couveignes d’être le président de ce jury. Faire une thèse, c’est également faire des rencontres! Je salue et remercie tous les thésards que j’ai pu rencontrer et je leur souhaite une bonne chance pour leur thèses. Je remercie également les membres du laboratoire. Ce travail n’aurait pu s’effectuer sans la bourse de la société libanaise L’orient SAL que je ne remercierai jamais assez de m’avoir offrir l’opportunité pour- suivre mes études en réalisant cette thèse. Enfin un grand merci à ma famille: ma sœur Léa, mes deux frères et tout particulièrement mes parents qui ont toujours été à mes côtés et fières de leur fille. Je remercie énormément mon amour (mon mari Jamal) et ma princesse (Ella) dont j’étais enceinte durant ma première année de thèse. Ils m’ont apporté tant de bonheur me permettant d’oublier tout mon stress. Merci à vous tous!! 2 Contents Remerciements 1 List of Figures 5 List of Tables 6 1 Introduction 2 1.1 Lattices and lattice reductions . .2 1.1.1 Gram-Schmidt orthogonalization . .4 1.1.2 Size-reduction . .5 1.1.3 The Shortest vector problem (SVP) . .5 1.1.4 Lattice reduction algorithms . .8 1.2 Siegel’s fundamental domain . 18 1.3 Theta Functions . 24 1.4 Outline of the thesis . 30 2 Lattice and lattice reduction 32 2.1 Introduction . 32 2.2 Lattice . 34 2.2.1 The Dual Lattice . 36 2.2.2 Gram-Schmidt Orthogonalization . 39 2.2.3 The Determinant . 43 2.2.4 Complex-Valued Lattices . 45 2.2.5 Size Reduction . 46 2.2.6 Minkowski’s Successive Minimum And Hermite’s Constant . 46 2.2.7 Minkowski’s Theorem . 47 2.3 The Shortest vector problem and Sphere decoding algorithms . 50 2.3.1 The Closest Point And The Shortest Vector Problem . 51 2.3.2 The Sphere Decoding Algorithms . 54 2.3.3 The Algorithms for SVP . 55 3 2.4 Lattice reduction: . 60 2.5 An introduction to the fundamental domain of Minkowski reduction . 77 2.5.1 Equivalence of reduced quadratic forms . 79 2.5.2 The exact domain of Minkowski reduction for m= 3 .. 83 3 Time Complexity Of Reduction Algorithms 89 3.1 Mathematical Preliminaries . 89 3.2 Introduction . 91 3.3 Computational Complexity . 93 3.4 Complexity of the Gauss algorithm . 97 3.5 Complexity of the LLL algorithm . 100 3.6 Complexity of HKZ and Minkowski algorithms . 108 4 Minkowski reduction algorithm 109 4.1 A Descripition Of The Algorithm . 110 4.1.1 Where This Idea Comes From? . 110 4.1.2 Why do we change every time the Transform function? 115 4.2 Comparison Between Reduction Algorithms . 124 4.3 The Orthogonality Defect Of Lattice Reduction Algorithms . 128 5 On the action of the Symplectic Group on the Siegel Upper Half Space 130 5.1 Siegel fundamental domain for general g . 132 5.2 Genus 1 .............................. 137 5.3 Genus 2 .............................. 142 5.4 Genus 3 .............................. 146 5.4.1 F3 ............................. 147 5.5 Approximation to the Siegel fundamental domain . 153 5.5.1 Theta functions . 155 5.5.2 Example . 157 Bibliography 161 4 List of Figures 1.1 The lattice generated by two different bases . .4 1.2 GSO . .5 1.3 Idea behind the sphere decoder for the shortest lattice vector .7 1.4 Enumeration tree . .7 1.5 Gauss’s reduction . .9 1.6 Gauss’s algorithm . .9 1.7 The elliptic fundamental domain [Mumford] . 21 2.1 Lattice in R2 ........................... 35 2.2 A "good" basis and a "bad" basis . 36 2.3 Gram-Schmidt orthogonalization . 39 2.4 Example lattice Z2 with bases B = 1 00 1 and B˜ = 1 20 1 and associated fundamental parallelograms . 43 3.1 Illustration of size reduction (red) and Gauss reduction (green) for a two-dimensional lattice L spanned by the basis vectors u = [2.1 1]> and v = [3 1]> (shown in blue) . 100 5.1 F1 ................................. 139 ˜ 5.2 F1 ................................. 139 5 List of Tables 4.1 Upper bounds for the orthogonality defect of HKZ, LLL (δ = 3/4) and Minkowski reduced bases. 128 6 List of Abbreviations 01×m−1 the column vector of m − 1 zeros 0n,n the n × n zero matrix det(A) the determinant of a matrix A dxe the smallest integer greater than x bxe the nearest integer to x bxc the greatest integer smaller than x I(x) the imaginary part of a variable x R(x) the real part of a variable x A the complex conjugate of A A(:, i) the ith column of A A(:, i : j) a sub-matrix of A which contains the columns of A from the ith to the jth position A−1 the inverse of a matrix A A⊥ the orthogonal of A A> the transpose of a matrix A Aij the ith row and jth column of A CVP the closest vector problem GL(n, F ) the group of all invertible n × n matrices with entries in F GSO Gram-Schmidt orthogonalization 7 HKZ Hermite-Korkine-Zolotarev i the complex unit, i2 = −1 In or simply I the n × n identity matrix LLL Lenstra, Lenstra and Lovász M(n, F ) the space of all n × n matrices with entries in the field F Pn the space of positive definite symmetric, real, n × n matrix SV P the shortest vector problem 8 Abstract The action of the symplectic group Sp(2g, R) on Siegel upper half space is a generalization of the action of the group SL(2, R) = Sp(2, R) on the usual complex upper half plane to higher dimensions. A study of the latter action was done by Siegel in 1943 and led to the well known elliptic fundamental domain. This action for dimension 2, goes back to Gottschling’s work in 1959 where 19 conditions were identified to construct this fundamental domain for g = 2. However, for g > 2, no results appear to be known until now. The construction of a fundamental domain for the symplectic group is essen- tially based on the Minkowski reduction theory of positive definite quadratic forms, i.e., a collection of shortest lattice vectors which can be extended to a basis for the lattice and on the maximal height condition (det(CΩ + D) ≥ 1), i.e., find the symplectic element in order to maximize the length of the shortest vector of the lattice generated by the imaginary part of the Riemann matrix.