UNIVERSITE´ PARIS 6 PIERRE ET MARIE CURIE Th`ese de Doctorat Sp´ecialit´e : Math´ematiques pr´esent´ee par Julien PAUPERT pour obtenir le grade de Docteur de l'Universit´e Paris 6 Configurations de lagrangiens, domaines fondamentaux et sous-groupes discrets de P U(2; 1) Configurations of Lagrangians, fundamental domains and discrete subgroups of P U(2; 1) Soutenue le mardi 29 novembre 2005 devant le jury compos´e de Yves BENOIST (ENS Paris) Elisha FALBEL (Paris 6) Directeur John PARKER (Durham) Fr´ed´eric PAULIN (ENS Paris) Rapporteur Jean-Jacques RISLER (Paris 6) Rapporteur non pr´esent a` la soutenance : William GOLDMAN (Maryland) Remerciements Tout d'abord, merci a` mon directeur de th`ese, Elisha Falbel, pour tout le temps et l'´energie qu'il m'a consacr´es. Merci ensuite a` William Goldman et a` Fr´ed´eric Paulin d'avoir accept´e de rapporter cette th`ese; a` Yves Benoist, John Parker et Jean-Jacques Risler d'avoir bien voulu participer au jury. Merci en particulier a` Fr´ed´eric Paulin et a` John Parker pour les nombreuses corrections et am´eliorations qu'ils ont sugg´er´ees. Pour les nombreuses et enrichissantes conversations math´ematiques durant ces ann´ees de th`ese, je voudrais remercier particuli`erement Martin Deraux et Pierre Will, ainsi que les mem- bres du groupuscule de g´eom´etrie hyperbolique complexe de Chevaleret, Marcos, Masseye et Florent. Merci ´egalement de nouveau a` John Parker et a` Richard Wentworth pour les conversations que nous avons eues et les explications qu'ils m'ont donn´ees lors de leurs visites a` Paris. Je voudrais enfin remercier particuli`erement deux enseignants qui m'ont donn´e envie de faire des maths puis de continuer: M. Monnet qui a r´eussi en deux ans de lyc´ee a` nous montrer des "vraies" maths et a` nous les faire appr´ecier, ainsi que Laurent Coppey qui m'a montr´e la beaut´e des actions g´eom´etriques de groupes en Licence. Quant aux remerciements d'ordre personnel, je les ferai de vive voix. 2 Contents 0.1 Introduction en fran¸cais . 5 0.2 Introduction in english . 11 1 Geometric preliminaries 20 1.1 Complex hyperbolic space . 21 1.1.1 Definition, models and structures . 21 1.1.2 Isometries . 22 1.2 Subspaces and configurations . 22 1.2.1 Totally geodesic subspaces . 22 1.2.2 Geodesic triangles . 23 1.2.3 Configurations of Lagrangians . 25 1.3 Isometries . 27 1.3.1 Classification of isometries . 27 1.3.2 Elliptic isometries . 28 2 Fundamental domains for finite groups of U(2) and configurations of La- grangians 32 2.1 Introduction . 33 2.2 Lagrangian subspaces and R-reflections . 33 2.3 Lagrangian pairs . 40 2.3.1 Groups generated by two R-reflections . 40 2.3.2 Representations of an R-reflection by matrices . 41 2.4 An example: the group 3[3]3 . 41 2.4.1 Action on CP 1 . 42 2.4.2 R-reflections . 43 2.4.3 Presentations and diagrams . 45 2.4.4 Fundamental domains . 46 2.5 Other two-generator subgroups of U(2) . 46 2.5.1 The strategy . 47 2.5.2 Explicit decomposition of reflection groups . 48 2.6 Appendix: explicit decomposition of reflection groups . 52 3 New constructions of fundamental polyhedra for Mostow's lattices 59 3.1 Introduction . 60 3.2 Complex hyperbolic space . 62 3.2.1 Bisectors . 64 3 3.2.2 The group Γ(p; t) . 68 3.2.3 A canonical hexagon . 71 3.2.4 Computing the vertices of the hexagon . 72 2 3.3 Description of a fundamental polyhedron Π in HC . 74 3.3.1 The core hexagon . 76 3.3.2 The 3-faces H and H 0 . 76 3.3.3 The whole polyhedron Π . 78 3.3.4 The remaining 3-faces . 79 3.4 Topology and combinatorial structure of Π . 80 3.5 Using Poincar´e's polyhedron theorem . 83 3.5.1 Side-pairings . 84 3.5.2 Cycles and orbits of faces . 85 3.5.3 Verifying the tessellation conditions . 86 3.6 Beyond the critical phase shift . 97 3.7 Comparison with Mostow's domains . 98 3.8 Appendix: list of faces and combinatorial structure of Π . 99 4 Elliptic triangle groups in P U(2; 1), Lagrangian triples and momentum maps103 4.1 Introduction . 104 4.2 Elliptic triangle groups, a polygon of configurations . 105 4.2.1 Introduction . 105 4.2.2 The group product: a group-valued momentum map . 107 4.2.3 Walls and reducible groups . 108 4.2.4 Chambers and irreducible groups . 115 4.2.5 Which chambers are full ? . 117 4.3 Configurations of Lagrangian triples . 123 4.3.1 Lagrangian triples vs. elliptic triangles . 125 4.3.2 Parametrizing the configurations . 129 4.4 Examples and experimental pictures . 135 4.4.1 The two generators are complex reflections in a point . 136 4.4.2 One generator is a complex reflection in a point . 136 4.4.3 The two generators are complex reflections: a non-convex example . 137 4.4.4 One generator is a complex reflection: families containing Mostow's lattices Γ(p; t) . 137 4.4.5 Generic examples . 137 4.5 The search for discrete groups: experimental aspects . 139 4.5.1 Families containing Mostow's lattices Γ(p; t) . 141 4.5.2 Families containing R-Fuchsian groups . 144 4 0.1 Introduction en fran¸cais Ce travail se situe dans le cadre encore assez peu explor´e des groupes discrets d'isom´etries de l'espace hyperbolique complexe, et en particulier des r´eseaux de P U(2; 1). L'´etude des sous-groupes discrets des groupes de Lie semisimples est un sujet maintenant classique et bien d´evelopp´e (voir par exemple les livres [Rag] et [Mar2] ou les expos´es intro- ductifs [Mos3], [Pan]). Une distinction fondamentale s'op`ere entre les sous-groupes discrets de covolume fini, ou r´eseaux, et ceux de covolume infini, tant pour les questions qui se posent que pour les m´ethodes d'approche possibles (le covolume d'un sous-groupe Γ d'un groupe de Lie G est la mesure de Haar du quotient G=Γ). Typiquement, on peut esp´erer classer les r´eseaux qui sont beaucoup moins nombreux que leurs homologues de covolume infini, une notion cruciale ´etant celle d'arithm´eticit´e. Dans les cas qui nous int´eressent ou` l'espace sym´etrique associ´e est a` courbure n´egative, les r´eseaux sont des points isol´es dans un gros espace (pr´ecis´ement, le th´eor`eme de rigidit´e forte de Mostow dit que dans ces cas, les repr´esentations d'un groupe donn´e Γ dont l'image est un r´eseau de G sont des point isol´es dans l'espace des repr´esentations Hom(Γ; G)=G). A l'oppos´e, les repr´esentations discr`etes de covolume infini admettent en g´en´eral des d´eformations, dont l'´etude est un sujet riche et fascinant. On pourra par exemple se reporter aux articles de Weil ([W1], [W2]) ou au m´emoire [LM] pour la th´eorie g´en´erale des d´eformations, ainsi que [GM] pour le cas hyperbolique complexe. Le cas des repr´esentations de groupes de surfaces est particuli`erement riche, voir [Gol1], [Gol2] ainsi que [H], [Lab] pour les repr´esentations dans SL(n; R), et [Tol], [GKL] pour celles dans P U(n; 1). Mentionnons enfin a` ce propos la famille des groupes triangulaires de r´eflexions (complexes) dans P U(2; 1) dont l'´etude a ´et´e initi´ee pour le cas des triangles id´eaux dans [GolPar] et qui fait depuis l'objet de nombreuses recherches, voir par exemple le panorama [Sz1]. On s'int´eressera ici plut^ot aux r´eseaux, mais les m´ethodes g´eom´etriques par lesquelles on esp`ere trouver de nouveaux sous- groupes discrets de P U(2; 1) (voir en particulier le dernier chapitre) peuvent a priori fournir des exemples des deux types. Il existe une construction g´en´erale de r´eseaux dans un groupe de Lie semisimple, due a` Borel et Harish-Chandra, qui g´en´eralise la situation classique du r´eseau SL(n; Z) dans SL(n; R) (voir l'article original [BHC] ou le trait´e introductif [WM] pour la construction exacte et diff´erents exemples). Un r´eseau qui peut s'obtenir par ce biais est dit arithm´etique; cette approche permet en particulier de montrer que tout groupe de Lie semisimple admet des r´eseaux, cocompacts et non cocompacts (Γ est dit cocompact si G=Γ est compact). D'autres exemples classiques de r´eseaux arithm´etiques sont les groupes de Bianchi SL(2; d) SL(2; C) form´es des matrices ayant leurs coefficients dans un anneau d'entiers quadratiqueO imaginaire⊂ tel que les entiers Od de Gauss Z[i] ou les entiers d'Eisenstein Z[e2iπ=3]; ceux-ci ressemblent beaucoup aux premiers exemples de Picard dans SU(2; 1) dont nous reparlerons plus bas. Comme premier exemple de r´eseau non-arithm´etique, consid´erons les groupes triangulaires 2 1 de r´eflexions dans le plan hyperbolique HR HC (plan de Poincar´e). Ces groupes sont engendr´es par les r´eflexions par rapport aux'c^ot´es d'un triangle g´eod´esique de ce plan; il n'est pas difficile de voir que si les angles de ce triangle ont pour mesure π=p; π=q; π=r avec p; q; r Z (conditions de Coxeter) alors le groupe en question est un sous-groupe discret de P S2L(2;[Rf1g) SO (2; 1) et le triangle en est un domaine fondamental.