N◦ d’ordre : 41979 Université Lille 1 – Sciences et Technologies Université Catholique de l’Afrique de l’Ouest - Unité Universitaire du Togo (UCAO-UUT) THESE EN COTUTELLE Pour obtenir le grade de Docteur de l’Université Lille 1 Discipline : Mathématiques Appliquées Ecole doctorale : Sciences Pour l’Ingénieur On the consistency of some constrained maximum likelihood estimator used in crash data modelling Présentée par Issa Cherif GERALDO soutenue le 15 décembre 2015 devant le jury composé de : M. Célestin Kokonendji Pr., Université de Franche-Comté Président M. Sergio Alvarez-Andrade MdC, HDR, Université de Compiègne Examinateur M. Joseph Ngatchou-Wandji Pr., Université Nancy 1 Rapporteur M. Abdallah Mkhadri Pr., Université Cadi Ayyad (Maroc) Rapporteur M. Assi N’Guessan MdC, HDR, Université Lille 1 Directeur M. Kossi Essona Gneyou MdC, HDR, UCAO-UUT Co-Directeur 2 Remerciements Mes premiers remerciements iront à mes directeurs de thèse, Messieurs Assi N’Guessan et Kossi Gneyou. Malgré leurs nombreuses occupations, ils ont toujours su trouver le temps pour lire mes écrits. La rigueur scientifique dont ils ont fait preuve et le regard critique qu’ils ont toujours su porter sur mes travaux m’ont considérablement aidé tout au long de ces trois années de parcours. Je tiens à adresser une mention spéciale à Monsieur N’Guessan qui s’est démené pour me trouver les financements pour ma thèse. Je remercie Messieurs Célestin Kokonendji et Sergio Alvarez-Andrade pour l’honneur qu’ils me font en acceptant le rôle d’examinateurs de cette thèse. Mes remerciements vont également à l’endroit de Messieurs Abdallah Mkhadri et Joseph Ngatchou-Wandji pour avoir accepté la mission de rapporteurs de cette thèse. Je tiens à remercier Messieurs Komi Midzodzi Pekpe, Toyo Koffi Edarh-Bossou et François Messanvi Gbeassor pour toutes les aides qu’ils m’ont apportées tout au long de mon travail. Je n’oublie pas mes parents et mes petits frères pour tout le soutien qu’ils m’ont apporté ainsi que l’amour dont ils m’ont entouré pendant toutes ces années. Je tiens également à remercier Monsieur Marius Aduayi et son épouse, Monsieur Clément Hlomaschi et son épouse pour m’avoir hébergé lors de mes séjours en France. J’adresse ma gratitude à Monsieur François Recher pour tous ses conseils. Je n’oublie pas mes amis Djidula, Julien, Karim, Quentin 1, Quentin 2, Yinouss, Yasser pour tous les bons moments partagés lors de mes séjours à Lille. Je remercie l’UCAO-UUT, le Laboratoire Paul Painlevé, l’Université Lille 1, le Laboratoire d’Accidentologie et de Biomécanique (Renault/PSA) et tous ceux qui ont contribué à la réalisation de ce travail. A tous et à chacun, je dis un sincère Merci. 3 4 Résumé Dans cette thèse, nous étudions la convergence de certains estimateurs appartenant par- tiellement au simplexe multidimensionnel et proposés dans la littérature pour combiner des données d’accidents de la route. Les estimateurs proposés sont issus de modèles proba- bilistes discrets ayant pour but de modéliser à la fois les risques d’accidents et l’effet de modifications des conditions de la route. Les composantes des estimateurs étant fonction- nellement dépendantes, il est d’usage d’utiliser les méthodes itératives classiques sous con- traintes pour obtenir des valeurs numériques de ces estimateurs. Cependant, ces méthodes s’avèrent difficiles d’accès du fait du choix de points initiaux, de l’inversion des matrices d’information et de la convergence des solutions. Certains auteurs ont proposé un algo- rithme cyclique (CA) et itératif qui contourne ces difficultés mais les propriétés numériques et la convergence presque sûre de cet algorithme n’ont pas été abordées en profondeur. Cette thèse étudie, en profondeur, les propriétés de convergence numérique et théorique de cet algorithme. Sur le plan numérique, nous analysons les aspects les plus importants et les comparons à une large gamme d’algorithmes disponibles sous R et Matlab. Sur le plan théorique, nous démontrons la convergence presque sûre des estimateurs lorsque le nombre de données d’accidents tend vers l’infini. Des simulations de données d’accidents basées sur la loi uniforme, normale et de Dirichlet viennent illustrer les résultats. Enfin, nous étudions une extension de l’algorithme CA et obtenons des résultats théoriques de la con- vergence lorsque la même modification des conditions de la route est appliquée à plusieurs sites chacun comportant plusieurs types d’accidents. Mots clés. Optimisation sous contraintes – Modèles statistiques discrets – Maximum de vraisemblance - Complément de Schur – Convergence – Accident de la route – Sécurité Routière. 5 6 Abstract In this thesis, we study the convergence of some estimators which partially belong to a multidimensional simplex and which can be found in literature to combine crash data. The proposed estimators are derived from discrete probabilistic models aiming at modelling both road accident risks and the effect of changes in the road conditions. The estimators’ components being functionally dependent, classic iterative constrained methods are usually chosen to obtain numerical values of these estimators. However, these methods turn out to be difficult to use because of the choice of starting points, of the convergence of solutions and of the information matrix inversion. Some authors have suggested a cyclic iterative algorithm (CA) by-passing these difficulties but the numerical properties and the almost sure convergence of this algorithm have not been examined in depth. The theoretical and numerical convergence properties of this algorithm are thoroughly studied in this thesis. On the numerical level, we analyse the most important aspects and compare them to a wide range of available algorithms in R or Matlab. On the theoretical level, we prove the estimators’ almost sure convergence when the number of crash data approaches infinity. Road accident data simulations based on the uniform, Gaussian and Dirichlet distributions illustrate the results. Finally, we study an extension of the CA algorithm and we get theoretical convergence results when the same road condition modification is applied to several areas, each with several types of accidents. Keywords Constrained optimization – Discrete statistical models – Maximum likelihood - Schur complement – Convergence – Road accident – Road Safety. 7 8 Contents Remerciements3 Résumé 5 Abstract 7 Main abbreviations and notations 13 General introduction 15 1 On optimization algorithms and crash data models 19 1.1 Introduction.................................... 19 1.2 Numerical algorithms for unconstrained optimization............. 20 1.2.1 Fundamentals of unconstrained optimization............. 20 1.2.2 Newton’s algorithm and Fisher scoring................. 22 1.2.2.1 Newton’s method for solving F (β) = 0 ........... 22 1.2.2.2 Newton’s method for optimization.............. 23 1.2.2.3 Fisher’s scoring......................... 24 1.2.3 Quasi-Newton algorithms........................ 25 1.2.4 Line search methods........................... 27 1.2.5 MM and EM algorithms......................... 27 1.2.5.1 MM algorithms......................... 27 1.2.5.2 EM algorithms......................... 29 1.2.6 Block-relaxation Algorithms....................... 30 1.2.7 Trust region algorithms......................... 31 1.2.8 Special algorithms for least-squares optimization........... 32 1.2.8.1 Gauss-Newton algorithm................... 33 1.2.8.2 Levenberg-Marquardt algorithm............... 34 1.2.9 Derivative Free Optimization (DFO): Nelder-Mead’s algorithm... 34 1.3 Numerical algorithms for constrained optimization.............. 36 1.3.1 Fundamentals of constrained optimization............... 37 1.3.2 Penalty methods............................. 38 1.3.3 Barrier methods............................. 39 1.3.4 Augmented Lagrangian method..................... 39 9 10 Contents 1.3.5 Interior point methods.......................... 40 1.4 Statistical models for crash data: state of the art............... 41 1.4.1 Poisson regression model......................... 41 1.4.2 Negative binomial regression model................... 42 1.4.3 Poisson-lognormal and Poisson-Weibull models............ 42 1.4.4 Bivariate and multivariate models................... 42 1.4.4.1 Tanner’s model......................... 43 1.4.4.2 Generalizations of Tanner’s model.............. 43 1.4.4.3 Other bivariate/multivariate models............. 46 1.5 Conclusion.................................... 46 2 A cyclic algorithm for maximum likelihood estimation 49 2.1 Introduction.................................... 49 2.2 Schur complement and block matrix inversion................. 51 2.3 The cyclic algorithm: state of the art...................... 53 2.3.1 Problem setting and models....................... 53 2.3.2 Constrained maximum likelihood estimation of the parameters... 55 2.3.3 The cyclic algorithm (CA)........................ 58 2.4 Theoretical study of some numerical properties of the Cyclic Algorithm.. 62 2.5 Numerical experiments.............................. 68 2.5.1 Data generation principle........................ 72 2.5.2 Results.................................. 72 2.5.2.1 Numerical study of the cyclic algorithm........... 73 2.5.2.2 Comparison with other algorithms.............. 74 2.5.3 Illustration of Theorems 2.4.1 and 2.4.2................ 78 2.6 Conclusion.................................... 79 3 Strong consistency of the cyclic MLE 85 3.1 Introduction.................................... 85 3.2 Consistency of the MLE : an overview..................... 87 3.3