UNIVERSITÉ DE MONTRÉAL LOW-IMPACT SYSTEM PERFORMANCE ANALYSIS USING HARDWARE ASSISTED TRACING TECHNIQUES SUCHAKRAPANI DATT SHARMA DÉPARTEMENT DE GÉNIE INFORMATIQUE ET GÉNIE LOGICIEL ÉCOLE POLYTECHNIQUE DE MONTRÉAL THÈSE PRÉSENTÉE EN VUE DE L’OBTENTION DU DIPLÔME DE PHILOSOPHIÆ DOCTOR (GÉNIE INFORMATIQUE) FÉVRIER 2017 c Suchakrapani Datt Sharma, 2017. UNIVERSITÉ DE MONTRÉAL ÉCOLE POLYTECHNIQUE DE MONTRÉAL Cette thèse intitulée : LOW-IMPACT SYSTEM PERFORMANCE ANALYSIS USING HARDWARE ASSISTED TRACING TECHNIQUES présentée par : SHARMA Suchakrapani Datt en vue de l’obtention du diplôme de : Philosophiæ Doctor a été dûment acceptée par le jury d’examen constitué de : M. QUINTERO Alejandro, Doctorat, président M. DAGENAIS Michel, Ph. D., membre et directeur de recherche M. BOYER François-Raymond, Ph. D., membre M. GAGNON Étienne M., Ph. D., membre externe iii DEDICATION “Somewhere, something incredible is waiting to be known” - Carl Sagan Dedicated to the unknown cosmos. iv ACKNOWLEDGEMENTS I would first like to express my sincere gratitude to my research adviser and supervisor, Prof. Michel Dagenais, for giving me this opportunity to work under his guidance and helping me grow intellectually and personally. His interest in my work and passion in the field of research helped me steer through the largest of hurdles. I would also like to thank Francis Giraldeau who has been a professional companion and a dear friend for guiding me through the ups and downs of the PhD life. He welcomed me to this beautiful land of Québec and advised me from time to time with his vast experience and knowledge of computers. He has been a personal inspiration to me. I am also grateful to Genevieve Bastien for her support during my research. Her advice has been a key factor in development of technologies resulting from this work. A thanks is also due to Tanushri Chakravorty for being around for yet another graduation journey. Her moral support has been invaluable. I would like to thank Mathieu Desnoyers and Julien Desfossez for their work on tracers in Linux and giving me an opportunity to discuss Linux internals with them. I am also thankful to EfficiOS, Ericsson, the Natural Sciences and Engineering Research Council of Canada (NSERC) and prompt Québec for providing funds to carry out this research. I express my gratitude to all past and present inhabitants of the DORSAL Lab with whom I periodically engaged in intellectual exchanges – in particular, Simon Marchi, François Rajotte, Raphaël Beamonte, Hani Nemati, Mohamad Gebai, Houssem Daoud, Naser-Ezzati Jivan, Matthew Khouzam and Thomas Bertauld who have helped diversify my knowledge. Many thanks to Dream Theater, Indian Ocean and Indus Creed as well, for their inspiring music throughout these years. I would also like to thank my uncle Ganesh Dutt Sharma, for sharing with me his love for physics and my father for allowing excursions to his research lab. They have been instrumental in imbibing a scientific conscience and the culture of reason in me. Finally and most importantly, I would like to thank my mother for making me who I am as a human being. There are no words in any language that can express her importance in my research. v RÉSUMÉ Les applications modernes sont difficiles à diagnostiquer avec les outils de débogage et de profilage traditionnels. Dans les système de production, la première priorité est de minimiser la perturbation sur l’application cible. Les outils de traçage sont très appropriés pour l’étude des performances de tels systèmes car les événements sont enregistrés et l’analyse se fait a posteriori. Une des principales exigences des systèmes de traçage est le faible surcoût. L’activation d’un nombre réduit d’événements aide à respecter cette exigence, mais au prix de la diminution de la granularité de la trace. Dans cette thèse, nous présentons notre travail de recherche qui traite du problème de la gra- nularité limitée des traces en maintenant un faible surcoût sur les applications cibles. Nous présentons de nouvelles techniques et algorithmes qui abordent le problème en se basant d’abord sur une approche de filtrage logiciel et de traçage coopératif, puis en explorant des mécanismes plus avancés de traçage matériel. Nous avons proposé une approche efficace de traçage conditionnel dans l’espace noyau et utilisateur qui se base sur des mécanismes de filtrages compilés en code natif. Afin d’atteindre l’objectif d’avoir une trace détaillée du sys- tème, nous expliquons que les processeurs modernes contiennent des blocs de traçage matériel qui n’ont pas encore été entièrement exploités dans le domaine du traçage. Nous caractérisons leur performance et nous analysons les paquets de traces, leur relation avec l’exécution du lo- giciel, et les possibilités de les utiliser pour une trace détaillée. Nous proposons des techniques à faible surcoût, assistées par le matériel, rendant possible une analyse détaillée permettant la détection des latences d’interruption et des appels systèmes. Nous présentons aussi une nouvelle technique qui se base sur les paquets de trace à bas niveau du processeur pour analyser efficacement les processus et les ressources utilisées dans une machine virtuelle. De plus, nous avons identifié et solutionné des problèmes reliés au traçage matériel en utilisant l’assistance logicielle du système d’exploitation, ouvrant ainsi la voie à des recherches plus approfondies sur les approches coopératives de traçage matériel-logiciel. Comme nos tech- niques sont axées sur les exigences du traçage à haute vitesse dans les systèmes embarqués et de production traitant des transactions à haute fréquence, nous avons constaté que nos progrès dans le domaine du traçage matériel-logiciel se sont avérés très utiles pour détecter la contention des ressources et la latence dans les systèmes. vi ABSTRACT Modern applications are becoming hard to diagnose using traditional debugging and profil- ing tools. For production systems the first priority is to have minimal disturbance on the target application. To analyze performance of such systems, tracing tools are imperative where events can be logged and analyzed post-execution. One of the key requirements for tracing solutions however, is low overhead. A generic solution can be to select only a few events to trace, but at the cost of trace granularity. In this thesis, we present our research work that deals with the problem of lack of high granularity in traces while maintaining a low-overhead on target applications. We present our new techniques and algorithms that approach the problem initially from a software filtering and co-operative tracing approach, and then explore more advanced hardware tracing mechanisms that can be used. We have proposed an efficient kernel and userspace conditional tracing approach, with an enhanced native compiled filtering mechanism. Continuing towards our goal to have a detailed trace of a system, we further discuss how modern processors contain new hardware tracing blocks that have not yet been fully explored and exploited in the tracing domain. We characterize their performance and analyze the trace packets, their relation with software executions and opportunities to utilize them for a detailed trace. We therefore propose low-overhead hard- ware assisted techniques that allow a fine grained instruction based interrupt and system call latency detection mechanism. We also present a new algorithm that shows how such low- level trace packets coming directly from the processor, can be effectively utilized to analyze even the processes or resources consumed inside a VM. We have also identified and improved upon issues related to hardware tracing itself using software assistance from operating sys- tems thus laying out ground for further research in hardware-software co-operative tracing approaches. As our techniques are focused towards requirements of high speed tracing in embedded or production systems, catering high frequency transactions, we have found that our advancements in the hardware-software domain have proved to be invaluable in detecting resource contention and latency in systems. vii TABLE OF CONTENTS DEDICATION . iii ACKNOWLEDGEMENTS . iv RÉSUMÉ . v ABSTRACT . vi TABLE OF CONTENTS . vii LIST OF TABLES . xi LIST OF FIGURES . xii LIST OF ABBREVIATIONS . xv CHAPTER 1 INTRODUCTION . 1 1.1 Definitions and Basic Concepts . .1 1.1.1 Instrumentation . .1 1.1.2 Tracing . .3 1.1.3 Program Flow . .4 1.2 Problem and Scope . .5 1.3 Research Objectives . .6 1.4 Contributions . .7 1.5 Outline . .7 CHAPTER 2 LITERATURE REVIEW . 9 2.1 Tracing and Instrumentation . .9 2.1.1 CASE STUDY : DyTrace . .9 2.1.2 Kprobes . 13 2.1.3 TRACE_EVENT . 14 2.1.4 Tracing Infrastructure Hierarchy . 14 2.1.5 SystemTap . 16 2.1.6 LTTng . 18 2.2 Process Virtual Machines . 20 2.2.1 Design Strategies . 20 viii 2.2.2 Interpreter Dispatch Mechanisms . 22 2.2.3 DTrace . 24 2.2.4 Runtime Code Compilation . 25 2.2.5 Optimizing Filters . 28 2.3 Program Flow Tracing . 30 2.3.1 Software PFT Techniques . 31 2.3.2 Hardware PFT Techniques . 31 2.4 Hardware Trace Reconstruction . 32 2.5 Summary of Literature Review . 33 CHAPTER 3 RESEARCH METHODOLOGY . 35 3.1 Research Progression . 35 3.1.1 Research Leads . 35 3.1.2 Problem Definition . 36 3.1.3 Defining Scope . 36 3.1.4 Research Body . 37 3.1.5 Experimentation . 39 CHAPTER 4 ARTICLE 1 : ENHANCED USERSPACE AND IN-KERNEL TRACE FILTERING FOR PRODUCTION SYSTEMS . 40 4.1 Abstract . 40 4.2 Introduction . 41 4.3 Literature Review . 44 4.4 Background . 45 4.4.1 Tracing . 46 4.4.2 Filters . 47 4.4.3 Trace Filtering . 49 4.5 Filtered Tracing Architecture . 51 4.5.1 Base Framework . 52 4.6 Improved Tracing Infrastructure . 57 4.6.1 Dynamic Tracing . 58 4.6.2 Data Sharing . 58 4.6.3 KeBPF and UeBPF Interactions . 60 4.7 Experimentation and Results .