Quelques Contributions À La Théorie De La Commande Optimale Déterministe Et Stochastique
Total Page:16
File Type:pdf, Size:1020Kb
Université de Limoges Habilitation à diriger des recherches présentée par Francisco J. Silva Spécialité: Mathématiques Appliquées Quelques contributions à la théorie de la commande optimale déterministe et stochastique. Mémoire présenté le 15 novembre 2016 devant le jury composé de : Yves Achdou Rapporteur Guillaume Carlier Rapporteur Eduardo Casas Rapporteur Frédéric Bonnans Examinateur Pierre Cardaliaguet Examinateur Alejandro Jofré Examinateur Filippo Santambrogio Examinateur Lionel Thibault Examinateur Samir Adly Chargé de suivi ii A Fernanda. 1 Remerciements Je tiens tout d’abord à remercier Samir Adly pour avoir généreusement ac- cepté d’être le chargé de suivi de ce mémoire. Je voudrais remercier sincérement les rapporteurs de ce mémoire: Yves Achdou, dont les travaux sur l’approximation numérique des jeux à champ moyen sont une réference dans le domaine; Guillaume Carlier, pour l’intêret qu’il a témoigné pour mes travaux; et Eduardo Casas, dont les résultats sur les conditions d’optimalité en contrôle optimale des EDPs ont inspiré ma recherche dans ce domaine. J’adresse mes remerciements aussi aux autres membres du jury: Frédéric Bonnans, mon directeur de thèse qui a toujours suivi de près mes recherches et qui m’a soutenu depuis de longues années; Pierre Cardaliaguet, qui est une réference dans les domaines de jeux différentielles et de jeux à champ moyen; Alejandro Jofré, pour son accueil toujours chaleureux lors de plusieurs séjours de recherche au CMM, Université du Chili; Filippo Santambrogio, pour son intêret pour mes travaux en jeux à champs moyen et pour m’avoir proposé généreusement de travailler avec son ancien étudiant Alpar Richárd Mészáros sur un projet dont l’idée originale lui appartenait; et Lionel Thibault, pour me faire l’honneur d’être membre de mon jury. Je remercie tous mes collaborateurs et amis avec qui j’ai eu grand plaisir à travailler. Ils ont beaucoup contribué à la réussite de ma recherche ces dernières années. Je remercie notamment Jérôme Bolte pour son soutien tout au long de ma carrière et Julio Backhoff pour nos échanges toujours très intéressants et pour sa relecture de la troisième partie de ce mémoire. Un grand merci aux collègues du Departement de Mathématiques et Informatique (DMI) avec qui j’ai partagé mon quotidien au cours de ces dernières années. Je tiens à remercier tout particulièrment Anne Bellido, Joël Benoist, Paola Boito, Thomas Cluzeau, Odile Duval, François Laubie, Abdelkader Necer, Annie Nicolas, Olivier Prot, Olivier Ruatta, Marc Ry- bowicz, Alain Salinier, Débora Thomas, Stéphane Vinatier, Yolande Vieceli et Jacques Arthur Weil. Je remercie enfin Fernanda qui partage ma vie pour sa tendresse et sa patience lors de l’écriture de ce mémoire, et pour qui j’ai la plus grande pensée. 2 Abstract This thesis provides a summary of some selected research results obtained after my PhD thesis at the École Polytechnique in 2010. All of them concern optimal control problems. We have divided our contributions into three parts: I. Optimal control of partial differential equations. II. Mean field games. III. Stochastic optimal control. Inspired by the theory of Calculus of Variations, in the first part we con- sider strong local solutions of optimal control problems of partial differential equations. We introduce and characterize the notion of strong local solution satisfying a quadratic growth condition, first in the elliptic case, with pure control constraints, and then in the parabolic framework, where finitely many state constraints are also considered. In Part II, we first propose and study the main properties of a natural extension of classical semi-Lagrangian schemes to the case of Mean Field Games systems involving non-local couplings. Next, we present some results related to the variational formulation of some stationary Mean Field Games, with local couplings, where an additional density constraint is imposed in order to model some hard congestion effects. The aforementioned variational formulation is exploited also at the discrete level in order to propose, to implement and to compare several efficient first order algorithms for solving some Mean Field Games models. In Part III, we provide a first order sensitivity analysis for some parame- terized stochastic optimal control problems. For standard convex problems, this is done by means of a careful identification between the adjoint states appearing in a weak form of the stochastic Pontryagin’s principle and the Lagrange multipliers of the associated abstract optimization problem. We also consider the more delicate case of the utility maximization models in incomplete markets. Under a weak formulation, the optimization problem is reformulated in terms of a support function of a weakly compact set in a reflexive Banach space. This allows us to carry out a sensitivity analysis by means of classical tools. 3 Résumé Ce mémoire présente un résumé d’une sélection des travaux de recherche réalisés après ma thèse de doctorat soutenue à l’Ècole Polytechnique en 2010. Tous ces travaux portent sur le contrôle optimal et peuvent-être regroupés dans les trois thématiques suivantes: I. Contrôle optimal des équations aux dérivées partielles. II. Jeux à champ moyen. III. Contrôle optimal stochastique. Dans la première partie, inspirée par la théorie du Calcul des Variations, nous considérons des solutions locales dites fortes pour des problèmes de contrôle optimal des équations aux dérivées partielles. Nous introduisons et caractérisons la notion de solution locale forte satisfaisant une croissance quadratique, d’abord dans le cas elliptique et avec contraintes sur le contrôle, et puis dans le cas parabolique où, additionnellement, l’état est soumis à un nombre fini de contraintes finales. Dans la seconde partie, nous étudions d’abord les propriétés principales d’une extension naturelle des schémas semi-Lagrangians pour les jeux à champ moyen comportants des couplages non-locaux. Ensuite, nous présentons quelques résultats liés à la formulation variationnelle de certains jeux à champ moyen stationnaires, comportants des couplages locaux et contraintes sur la densité, afin de modéliser des effets de congestion forts. Enfin, cette formula- tion variationnelle est aussi utilisée pour implémenter et comparer plusieurs méthodes d’optimisation de premier ordre pour la résolution de systèmes de jeux à champ moyen discretisés. Dans la dernière partie du mémoire, nous réalisons une analyse de sensi- bilité de premier ordre pour des problèmes de contrôle optimal stochastique paramétrisés. Sous des hypothèses de convexité pour des problèmes stan- dards, nous dérivons les sensibilités de la fonction valeur en utilisant une identification entre les états adjoints d’une version faible du principe de Pon- tryagin stochastique et les multiplicateurs de Lagrange du problème abstrait associé. Nous considérons aussi le cas, plus difficile, des problèmes de max- imisation d’utilité dans des marchés incomplets. Sous une formulation faible, nous réécrivons le problème en termes d’une fonction d’appui d’un ensem- ble faiblement compact d’un espace de Banach réflexif, ce qui nous permet d’utiliser des techniques classiques pour obtenir des résultats d’analyse de sensibilité de la fonction valeur. 4 5 Contents 1 Introduction 7 1.1 Optimal control of PDEs . .7 1.1.1 Contributions . .9 1.2 Stochastic optimal control theory . 11 1.2.1 Contributions . 14 1.3 Mean Field Games . 15 1.3.1 Contributions . 17 2 Second order optimality conditions in the control of elliptic and parabolic PDEs 19 2.1 Optimal control of elliptic equations . 19 2.1.1 Preliminaries . 19 2.1.2 Optimal control problem and optimality conditions . 21 2.1.3 Characterization of strong solutions satisfying the quadratic growth condition . 24 2.1.4 Comments and perspectives . 27 2.2 Optimal control of parabolic equations . 27 2.2.1 Preliminaries . 27 2.2.2 Optimality conditions and strong solutions . 28 2.2.3 Comments and perspectives . 33 3 Some contributions in the theory of Mean Field Games 35 3.1 Semi-Lagrangian schemes for MFGs . 35 3.1.1 Introduction . 35 3.1.2 Notations and main asssumptions . 36 3.1.3 A Semi-Lagrangian scheme for the first order MFG sys- tem............................. 37 3.1.4 The SL scheme in the second order case . 42 3.1.5 Numerical tests . 45 3.1.6 Comments and perspectives . 46 3.2 On the variational formulation of some stationnary MFG . 48 6 3.2.1 Functional framework . 49 3.2.2 Main results . 50 3.2.3 Comments and perspectives . 53 3.3 Proximal methods to solve some stationary MFGs . 54 3.3.1 The discrete optimization problems . 55 3.3.2 The case without density constraint . 56 3.3.3 The density constrained case . 61 3.3.4 Comments and perspectives . 62 4 Sensitivity analysis of some stochastic optimal control prob- lems 65 4.1 Sensitivity analysis of standard stochastic control problems . 66 4.1.1 Functional framework and Lagrange multipliers . 67 4.1.2 Sensitivity Analysis . 71 4.1.2.1 Perturbation analysis for stochastic LQ prob- lems . 72 4.1.2.2 Perturbation analysis for Mean-Variance port- folio selection problems . 74 4.1.3 Comments and perspectives . 76 4.2 Utility maximization theory . 76 4.2.1 Preliminaries . 76 4.2.2 Sensitivity analysis for expected utility maximization in incomplete brownian market models . 81 4.2.3 Comments and perspectives . 84 A Review of some proximal point algorithms in convex opti- mization 87 7 Chapter 1 Introduction This thesis summarizes the published articles [54, 18, 67, 68, 150, 173, 20, 13] and the preprints [49, 12]. The contribution of these articles is divided into three related parts: optimal control of Partial Differential Equations (PDEs), Mean Field Games (MFG) and stochastic optimal control theory. The purpose of this introductory chapter is first to fix the notation that will be used through the thesis, and then to introduce and recall some well-known facts about the three subjects mentioned above and to briefly indicate the contributions of the works on which I have participated.