Acceleration for statistical model checking Benoît Barbot To cite this version: Benoît Barbot. Acceleration for statistical model checking. Other [cs.OH]. École normale supérieure de Cachan - ENS Cachan, 2014. English. NNT : 2014DENS0041. tel-01149034 HAL Id: tel-01149034 https://tel.archives-ouvertes.fr/tel-01149034 Submitted on 6 May 2015 HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non, lished or not. The documents may come from émanant des établissements d’enseignement et de teaching and research institutions in France or recherche français ou étrangers, des laboratoires abroad, or from public or private research centers. publics ou privés. THESE` DE DOCTORAT DE L’ECOLE´ NORMALE SUPERIEURE´ DE CACHAN Pr´esent´ee par Monsieur Benoˆıt BARBOT Pour obtenir le grade de DOCTEUR DE L’ECOLE´ NORMALE SUPERIEURE´ DE CACHAN Domaine : Informatique Sujet de la th`ese : Acc´el´eration pour le Model Checking Statistique Th`ese pr´esent´ee et soutenue `aCachan le 20 novembre 2014 devant le jury compos´ede : Pieter-Tjerk DE BOER Assistant Professor Rapporteur Serge HADDAD Professeur Co-directeur de th`ese Patrice MOREAUX Professeur Examinateur David PARKER Lecturer Examinateur Nihal PEKERGIN Professeur Examinatrice Claudine PICARONNY Maˆıtre de Conf´erences Co-directrice de th`ese Gerardo RUBINO Professeur Rapporteur Laboratoire Sp´ecification et V´erification ENS de Cachan, UMR 8643 du CNRS 61, avenue du Pr´esident Wilson 94235 CACHAN Cedex, France English title : Acceleration for Statistical Model Checking 2 Abstract In the past decades, the analysis of complex critical systems subject to uncer- tainty has become more and more important. In particular the quantitative analysis of these systems is necessary to guarantee that their probability of failure is very small. As their state space is extremly large and the probability of interest is very small, typically less than one in a billion, classical methods do not apply for such systems. Model Checking algorithms are used for the analysis of probabilistic systems, they take as input the system and its expected behaviour, and compute the probability with which the system behaves as expected. These algorithms have been broadly studied. They can be divided into two main families: Numerical Model Checking and Statistical Model Checking. The former computes small probabilities accurately by solving linear equation systems, but does not scale to very large systems due to the space size explosion problem. The latter is based on Monte Carlo Simulation and scales well to big systems, but cannot deal with small probabilities. The main contribution of this thesis is the design and implementation of a method combining the two approaches and returning a confidence interval of the probability of interest. This method applies to systems with both continuous and discrete time settings for time-bounded and time-unbounded properties. All the variants of this method rely on an abstraction of the model, this abstraction is analysed by a numerical model checker and the result is used to steer Monte Carlo simulations on the initial model. This abstraction should be small enough to be analysed by numerical methods and precise enough to improve the simulation. This abstraction can be build by the modeller, or alternatively a class of systems can be identified in which an abstraction can be automatically computed. This approach has been implemented in the tool Cosmos, and this method was successfully applied on classical benchmarks and a case study. 3 R´esum´e Ces derni`eres ann´ees, l’analyse de syst`emes complexes critiques est devenue de plus en plus importante. En particulier, l’analyse quantitative de tels syst`emes est n´ecessaire afin de pouvoir garantir que leur probabilit´ed’´echec est tr`es faible. La difficult´ede l’analyse de ces syst`emes r´eside dans le fait que leur espace d’´etat est tr`es grand et que la probabilit´erecherch´ee est extrˆemement petite, de l’ordre d’une chance sur un milliard, ce qui rend les m´ethodes usuelles inop´erantes. Les algorithmes de Model Checking quantitatif sont les algorithmes classiques pour l’analyse de syst`emes probabilistes. Ils prennent en entr´ee le syst`eme et son comportement attendu et calculent la probabilit´eavec laquelle les trajectoires du syst`eme correspondent `ace comportement. Ces algorithmes de Model Checking ont ´et´elargement ´etudi´es depuis leurs cr´eations. Deux familles d’algorithmes existent : le Model Checking num´erique r´eduit le probl`eme `ala r´esolution d’un syst`eme d’´equations. Il permet de calculer pr´ecis´ement des petites probabilit´es mais souffre du probl`eme d’explosion combinatoire; le Model Checking statistique est bas´esur la m´ethode de Monte-Carlo qui se prˆete bien `al’analyse de tr`es gros syst`emes mais qui ne permet pas de calculer de petites probabilit´es. La contribution principale de cette th`ese est le d´eveloppement d’une m´ethode combinant les avantages des deux approches et qui renvoie un r´esultat sous forme d’intervalles de confiance. Cette m´ethode s’applique `ala fois aux syst`emes discrets et continus pour des propri´et´es born´ees ou non born´ees temporellement. Cette m´ethode est bas´ee sur une abstraction du mod`ele qui est analys´ee `al’aide de m´ethodes num´eriques, puis le r´esultat de cette analyse est utilis´e pour guider une simulation du mod`ele initial. Ce mod`ele abstrait doit `ala fois ˆetre suffisamment petit pour ˆetre analys´epar des m´ethodes num´eriques et suffisamment pr´ecis pour guider efficacement la simulation. Dans le cas g´en´eral, cette abstraction doit ˆetre construite par le mod´elisateur. Cependant, une classe de syst`emes probabilistes a ´et´eidentifi´ee dans laquelle le mod`ele abstrait peut ˆetre calcul´eautomatiquement. Cette approche a ´et´eimpl´ement´ee dans l’outil Cosmos et des exp´eriences sur des mod`eles de r´ef´erence ainsi que sur une ´etude de cas ont ´et´eeffectu´ees, qui montrent l’efficacit´ede la m´ethode. 4 Remerciements Je remercie mes encadrants de th`ese Claudine Picaronny et Serge Haddad pour leur patience et leur gentillesse, ainsi que pour les conseils et les encouragements qu’ils m’ont prodigu´es tout au long de ces trois ann´ees. Grˆace `aleurs qualit´es scientifiques et humaines, ils m’ont permis de d´evelopper mon esprit critique et mon autonomie et de d´ecouvrir les diff´erentes facettes du m´etier d’enseignant-chercheur. Je remercie en particulier Serge pour m’avoir fait rencontrer un grand nombre de chercheurs de diff´erents horizons g´eographiques et scientifiques et pour m’avoir encourag´e`atravailler avec eux. Je tiens ´egalement `aremercier les deux rapporteurs de cette th`ese Pieter- Tjerk De Boer et Gerardo Rubino qui ont accept´ed’´evaluer ce manuscrit et m’ont fait part de remarques tr`es pertinentes pour la suite de mes travaux, ainsi que Patrice Moreaux, David Parker et Nihal Pekergin pour avoir accept´e de participer `amon jury de th`ese. Je remercie tous les membres du LSV qui m’ont chaleureusement accueilli et avec qui j’ai pu discuter et ´echanger sur mes travaux pendant ces trois ans. Je remercie Paolo Ballarini, Hilal Djafri et Nihal Perkergin, pour leurs collaborations sur l’outil Cosmos qui m’ont permis de participer `a l’impl´ementation d’un outil de v´erification. Je remercie ´egalement Elvio Amparore, Marco Beccuti, Susanna Donatelli et Giuliana Franceschinis ainsi que les membres du d´epartement informatique de l’universit´e de Turin pour m’avoir accueilli dans leur laboratoire lors de mon s´ejour en Italie. Je tiens `a mentionner que participer au projet CosyVerif qui m’a sensibilis´eau probl`eme de la visibilit´ede la recherche a ´et´eune expr´erience tr`es enrichissante. Merci `atous les participants de ce projet de m’avoir int´egr´edans leur ´equipe et en particulier `aMaximilien Colange, Cl´ement Desmoulin et Alban Linard avec qui j’ai le plus ´etroitement collabor´e. Je tiens `aremercier tous les membres du LSV qui ont rendu l’ambiance si conviviale et en particulier ceux avec qui j’ai collabor´esur des enseignements Cesar Rodriguez, David Baelde, Claudine Picaronny et Miche`ele Sebag. Un grand merci `al’´equipe administrative et technique qui m’a permis de travailler dans des conditions optimales. Je remercie ceux qui ont partag´e mon bureau : Aiswarya, Benjamin, Patrick, J´er´emie, Asal´eet Baptiste pour l’ambiance studieuse et amicale qu’ils y ont instaur´e. Merci aussi `atous les 5 nageurs du LSV qui m’ont aid´e`agarder la forme, j’ai en particulier une pens´ee pour Alban, Virginie, Paul, Thida, Sophie, Claudine et Francis. Je remercie tous les doctorants du LSV pour leurs camaraderie. Je tiens `a remercier chaleureusement Aiswarya et Benjamin dont les ‘chamailleries’ ont anim´ema vie au LSV, ainsi que Cesar que je n’ai jamais pu convaincre des bienfaits de la cuisine maison. J’aimerai enfin remercier toute ma famille, mes parents pour m’avoir motiv´e, soutenu et donn´ele goˆut d’apprendre, Paul pour m’avoir le premier initi´e`al’informatique et Antoine pour ˆetre un si bon conteur. Pour finir je remercie Elisa pour son aide, son amour et pour m’avoir aid´e`agarder confiance en moi. Benoˆıt Barbot Oxford, Novembre 2014 6 Contents Abstract 3 R´esum´e 4 Remerciements 5 Contents 7 1 Introduction 11 1.1 ModelChecking.........................