Towards Performance and Dependability Benchmarking of Distributed Fault Tolerance Protocols Divya. Gupta To cite this version: Divya. Gupta. Towards Performance and Dependability Benchmarking of Distributed Fault Tol- erance Protocols. Systems and Control [cs.SY]. Université Grenoble Alpes, 2016. English. NNT : 2016GREAM005. tel-01376741 HAL Id: tel-01376741 https://tel.archives-ouvertes.fr/tel-01376741 Submitted on 5 Oct 2016 HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non, lished or not. The documents may come from émanant des établissements d’enseignement et de teaching and research institutions in France or recherche français ou étrangers, des laboratoires abroad, or from public or private research centers. publics ou privés. THÈSE Pour obtenir le grade de DOCTEUR DE L’UNIVERSITÉ GRENOBLE ALPES Spécialité : Informatique Arrêté ministériel : Arrêté no Présentée par Divya GUPTA Thèse dirigée par Pr. Sara Bouchenak préparée au sein Laboratoire d’Informatique de Grenoble et de École Doctorale Mathématiques, Sciences et Technologies de l’Information, Informatique Performance et fiabilité des proto- coles de tolérance aux fautes Thèse soutenue publiquement le Mars 18, 2016, devant le jury composé de : Pr. Noel De Palma Grenoble Université Alpes, LIG, Président Asc. Pr. Eddy Caron Ecole Normale Superieure de Lyon, Rapporteur Pr. Gilles Grimaud Université de Lille 1, Rapporteur Asc. Pr. Luciana Arantes Université Pierre et Marie Curie, LIP6, Examinatrice Pr. Sara Bouchenak INSA Lyon, LIRIS, Directrice de thèse ii This thesis is dedicated to my beloved parents and grandparents. For their endless love, support and encouragement iii Acknowledgments I would like to take this opportunity, to express my sincere gratitude to the people for inspiring me to embark on my PhD candidature. My deepest appre- ciation to my supervisor who guided me throughout on this vast research area, Professor Sara Bouchenak. I am particularly thankful to her for giving me the opportunity to pursue this research under her guidance. My immeasurable appreciation for her time, emotional support, tremendous encouragement and for sharing an invaluable experience. I thank her for generously guiding me through all the phases of my PhD with enormous patience. I would like to ex- tend my gratitude to the jury members, Eddy Caron and Gilles Grimaud, for accepting to evaluate my work and provide their valuable comments, Luciana Arantes, for accepting to be the examiner, and Noel De Palma, for chairing the jury committee. I am obliged to thank Vivien Qu´ema, for occasional conversations on my research topic; his strong theoretical and technical skills greatly helped in structuring the solution for the complex problem of Byzantine. I am also grateful to Vania Marangozova-Martin, for giving her time to review my con- tributions and manuscript. I am thankful to Damian Serrano for his profitable discussions and advice on my work, and also guiding me through the initial phases of a PhD student. My sincere thanks to Lucas Perronne, for critiquing dispassionately about various aspects of the problems for understanding them better and improving the research approaches. I am fortunate to have wonderful colleagues in my team, ERODS. They have been very generous friends, supporting and moti- vating me throughout my work. My very special thanks to Raquel Oliveira, for being there by my side like a guiding light, helping me carve my path with immense patience. I am greatly indebted to her for encouraging and comfort- ing me during all my tough times. I acknowledge the help and support from Ecole Doctorale: Zilora Zouaoui, Pierre Tchounikine, Florence Maraninchi, Pierre Geneves and Brigitte Nonque for kindly helping me with professional and French bureaucratic problems. I am also grateful to the administration staff at LIG: Pascal Poulet, Laurence Schimicci, Muriel Paturel and Amelie Vazquez for assisting me with the complicated, time consuming administrative formalities. This dissertation would not have been possible without the unconditional love and constant encouragement from my parents, sister, brother and other family members. My grandfather taught me to work hard and value time. My parents always motivated me to achieve the impossible and go beyond the limits. Even though we are miles apart, but their positive thoughts and energy iv could be felt all the time. I am lucky to have my sister, Somya, who has been like a teacher, motivating me in the worse times. She stood firm like a pillar, giving me the strength to face all the difficulties. How can I forget, Nimit, my brother, his great discussions, reviews, comments and advice, throughout my PhD career. He made sure that I smiled every day, no matter what. I am fortunate to have two best friends, Shipra and Sushma, for their cheering and sharing my life experiences. I would like to express my warm thanks to all my friends across the globe and in France, for being supportive, encouraging, and believing in me, during my PhD journey. v R´esum´e A l’`ere de l’informatique omnipr´esente et `ala demande, o`ules applications et les services sont d´eploy´es sur des infrastructures bien g´er´ees et approvision- n´ees par des grands groupes de fournisseurs d’informatique en nuage (Cloud Computing), tels Amazon, Google, Microsoft, Oracle, etc., la performance et la fiabilit´ede ces syst`emes sont devenues des objectifs primordiaux. Cette in- formatique a rendu particuli`erement n´ecessaire la prise en compte des facteurs de la Qualit´ede Service (QoS pour Quality of Service), telles que la disponibil- it´e, la fiabilit´e, la vivacit´e, la suret´eet la s´ecurit´e, dans la d´efinition compl`ete d’un syst`eme. En effet, les syst`emes informatiques doivent ˆetre r´esistants aussi bien aux d´efaillances qu’aux attaques et ce, afin d’´eviter qu’ils ne deviennent inaccessibles, entrainent des couts de maintenance importants et la perte de parts de march´e. L’augmentation de la taille et la complexit´edes syst`emes en nuage rend de plus en plus commun les d´efauts, augmentant la fr´equence des pannes, et n’offrant donc plus la Garantie de Service vis´ee. Les fournisseurs d’informatique en nuage font ainsi face ´episodiquement `a des fautes arbitraires, dites Byzantines, durant lesquelles les syst`emes ont des comportements im- pr´evisibles comme, par exemple, des r´eponses incorrectes aux requˆetes d’un client, l’envoi de messages corrompus, la temporisation intentionnelle dans l’´echange de messages, le refus d’honorer des requˆetes, etc. Ce constat a amen´eles chercheurs `as’int´eresser de plus en plus `ala tol´erance aux fautes byzantines (BFT pour Byzantine Fault Tolerance) et `a proposer de nombreux prototypes de protocoles et logiciels. Ces solutions de BFT visent non seulement `afournir des services coh´erents et continus malgr´e des d´efaillances arbitraires, mais cherchent aussi `ar´eduire le coˆut et l’impact sur les performances des syst`emes sous-jacents. N´eanmoins les prototypes BFT ont ´et´e´evalu´es le plus souvent dans des contextes ad-hoc, soit dans des conditions id´eales, soit en limitant les sc´enarios de fautes. C’est pourquoi ces protocoles de BFT n’ont pas r´eussi `aconvaincre les professionnels des sys- t`emes distribu´es de les adopter. Tandis que certains consid`erent les protocoles de BFT trop coˆuteux et complexes `amettre en place pour contrer des d´efail- lances arbitraires, d’autres sont tout simplement sceptiques quant `al’utilit´e de ces techniques. Cette th`ese entend r´epondre `ace probl`eme en proposant un environnement complet de banc d’essai dont le but est de faciliter la cr´ea- tion de sc´enarios d’ex´ecution utilisables pour aussi bien analyser que comparer l’efficacit´eet la robustesse des propositions BFT existantes. Dans ce contexte, les contributions de cette th`ese sont les suivantes : • Nous introduisons une architecture g´en´erique pour analyser des proto- coles distribu´es. Cette architecture comprend des composants r´eutilis- vi ables permettant la mise en œuvre d’outils de mesure des performances et d’analyse de la fiabilit´edes protocoles distribu´es. Cette architecture permet de d´efinir la charge de travail, de d´efaillance, et l’injection de ces derni`eres. Elle fournit aussi des statistiques de performance, de fiabilit´e du syst`eme de bas niveau et du r´eseau. En outre, cette th`ese pr´esente les b´en´efices d’une architecture g´en´erale. • Nous pr´esentons BFT-Bench, le premier syst`eme de banc d’essai de la BFT, pour l’analyse et la comparaison d’un panel de protocoles BFT utilis´es dans des situations identiques. BFT-Bench permet aux utilisa- teurs d’´evaluer des impl´ementations diff´erentes pour lesquels ils d´efinis- sent des comportements d´efaillants avec diff´erentes charges de travail. Il permet de d´eployer automatiquement les protocoles BFT ´etudi´es dans un environnement distribu´eet offre la possibilit´ede suivre et de ren- dre compte des aspects performance et fiabilit´e. Parmi nos r´esultats, nous pr´esentons une comparaison de certains protocoles BFT actuels, r´ealis´ee avec BFT-Bench, en d´efinissant diff´erentes charges de travail et diff´erents sc´enarii de fautes. Cette r´eelle application de BFT-Bench en d´emontre l’efficacit´e. Globalement, cette th`ese vise `afaciliter l’analyse de performance et de fia- bilit´ede la BFT afin d’en encourager l’utilisation aussi bien par les d´eveloppeurs des protocoles BFT que ses utilisateurs finaux. Le logiciel BFT-Bench a ´et´e con¸cu en ce sens pour aider les utilisateurs `acomparer efficacement diff´erentes impl´ementations de BFT et apporter des solutions effectives aux lacunes iden- tifi´ees des prototypes BFT.