Testing for Structural Change Theory, Implementation and Applications DISSERTATION zur Erlangung des akademischen Grades eines Doktors der Naturwissenschaften der Universität Dortmund Dem Fachbereich Statistik der Universität Dortmund vorgelegt von Achim Zeileis Dortmund 2003 Prüfungskommission: Prof. Dr. Claus Weihs (Vorsitzender) Prof. Dr. Walter Krämer (Gutachter) Prof. Dr. Kurt Hornik (Gutachter) Prof. Dr. Götz Trenkler (Gutachter) Dr. Lars Tschiersch (Beisitzer) Tag der mündlichen Prüfung: 14. November 2003 Danksagung Nach drei Jahren Arbeit an der Technischen Universität Wien im Rahmen des vom FWF (Fonds zur Förderung der wissenschaftlichen Forschung) geförderten SFB 010 “Adaptive Information Systems and Modelling in Economics and Management Science” habe ich nun die vorliegende Dis- sertation abschließen können. Auch wenn auf dem Umschlag nur mein Name steht, so wäre die Aufnahme, Durchführung und erfolgreiche Beendi- gung ohne die Hilfe und Unterstützung vieler Kollegen und Freunde nicht möglich gewesen. An erster Stelle gilt mein Dank all denen, die durch gemeinsame Forschung die wissenschaftliche Basis zu dieser Arbeit gelegt haben: Insbesonders möchte ich Kurt Hornik danken, der diese Dissertation betreut hat, mir als wissenschaftlicher Mentor immer zur Seite stand und mir aber auch die Freiheit gelassen hat, meine Forschung nach eigenen Interessen auszurichten. Weiter danke ich Walter Krämer, der mein Interesse für das Themenge- biet dieser Arbeit überhaupt geweckt hat und mich von Beginn meiner Tätigkeit als studentische Hilfskraft an über die Diplomarbeit bis hin zum Abschluß dieser Dissertation unterstützt und mir im Institut für Wirtschafts- und Sozialstatistik an der Universität Dortmund immer eine Anlaufstelle geboten hat. Diese Beziehung von Wien nach Dortmund mit (wissen- schaftlichem) Leben gefüllt hat besonders Christian Kleiber, dem ich für iii iv sein Engagement und seine in der Regel kritischen aber immer konstruk- tiven Beiträge zu einer sehr angenehmen und produktiven Forschungsko- operation danke. Bei Friedrich Leisch möchte ich mich dafür bedanken, daß er mir geholfen hat, mich im Alltag des Universitätsgeschäfts zurecht- zufinden. Außerdem bin ich ihm und Kurt Hornik zu Dank verpflichtet, da sie mir nicht nur viel beigebracht haben über wissenschaftliches Ar- beiten im Allgemeinen und über die Umsetzung von statistischen Ideen in informatische Konzepte, sondern mir auch immer eine Plattform zu selb- ständigem Arbeiten geboten haben. Besonders danken möchte ich auch Torsten Hothorn, der in gewisser Weise an der Ausrichtung dieser Arbeit Schuld ist, da ich ohne ihn überhaupt nicht in Wien gelandet wäre. Zu- dem war er auch immer ein guter Diskussionspartner, sowohl für gemein- same wissenschaftliche Projekte als auch für darüber hinausgehende all- gemeinere Fragen. Für eine angenehme wissenschaftliche Zusammenarbeit sowie streng nicht- wissenschaftliche Aktivitäten abseits des Berufs möchte ich mich bei meinen Wiener Kollegen und Freunden bedanken: Evgenia Dimitriadou, Alexan- dros Karatzoglou und David Meyer haben über die letzten drei Jahre hin- weg unser Büro zu einem Ort gemacht, an dem ich gerne mehr als nur die Arbeitszeit verbracht habe. Auch Bettina Grün, die erst Anfang des Jahres, dazugekommen ist, hat sich sehr gut in diese Atmosphäre einge- fügt und sie bereichert. Ein spezieller Dank geht an Ortrun Veichtlbauer, die nicht nur für eine spannende interdisziplinäre Kooperation verant- wortlich ist, sondern auch mehr als einmal mein seelisches Gleichgewicht zurecht gerückt hat, und ohne dies hätte ich es vielleicht nicht so lang in Wien ausgehalten. Alle wissenschaftlichen Leistungen wären aber nicht viel wert, ohne die v Menschen, die mir im Leben außerhalb der Universität Kraft und Rückhalt geben. Deshalb möchte ich all meinen Freunden danken, die mich auch in Zeiten extremer Büroaufenthaltsdauern meinerseits nicht vergessen haben und für mich da waren, um mich an die wichtigeren Dinge im Leben zu erinnern. Das Fundament für all das habe ich aber meiner Familie zu ver- danken, meinen Eltern und meinem Bruder, die mich immer in jeder Hin- sicht unterstützen und ohne die ich nicht da wäre, wo ich heute bin. Achim Zeileis Wien, November 2003 vi Contents Abstract 1 Zusammenfassung 3 1 Introduction 5 1.1 Tests for Structural Change . 7 1.2 Diagnostic Checking vs. Data Exploration . 9 1.3 Visualization and Significance Testing . 11 1.4 Segmentation of Regression Models . 12 1.5 Overview . 13 2 Generalized M-Fluctuation Tests for Parameter Instability 17 2.1 Introduction . 17 2.2 The Model . 19 2.3 Generalized M-Fluctuation Processes . 20 2.3.1 Theoretical Fluctuation Processes . 20 2.3.2 Empirical Fluctuation Processes . 21 2.3.3 Local Alternatives . 23 2.3.4 Other Fluctuation Processes . 25 vii viii CONTENTS 2.4 Generalized M-Fluctuation Tests . 26 2.4.1 Choice of the Scores ψ .................. 26 2.4.2 Test Statistics . 28 2.4.3 Special Cases . 30 2.5 Testing for Parameter Instability in (Generalized) Linear Re- gression Models . 31 2.5.1 The General Linear Regression Model . 33 2.5.2 The Generalized Linear Regression Model . 36 2.5.3 Dependent Data . 39 2.6 Applications . 40 2.6.1 German M1 Money Demand . 40 2.6.2 Illegitimate Births in Großarl . 42 2.6.3 Artificial Binary Data . 43 2.6.4 Boston Homicide Data . 46 2.7 Conclusions . 47 3 Implementation of Tests for Structural Change in the R Package strucchange 49 3.1 Introduction . 49 3.2 The Model . 51 3.3 The R System . 52 3.4 The Data . 53 3.5 Generalized Fluctuation Tests . 57 3.5.1 Empirical Fluctuation Processes: Function efp .... 57 3.5.2 Boundaries and Plotting . 63 CONTENTS ix 3.5.3 Significance Testing with Empirical Fluctuation Pro- cesses . 68 3.6 F Tests . 70 3.6.1 F Statistics: Function Fstats .............. 71 3.6.2 Boundaries and Plotting . 72 3.6.3 Significance Testing with F Statistics . 73 3.7 Monitoring with the Generalized Fluctuation Test . 74 3.8 Conclusions . 79 4 Testing and Dating of Structural Changes in Practice 81 4.1 Introduction . 81 4.2 Model and Methods . 83 4.2.1 The Segmented Regression Model . 83 4.2.2 Testing Multiple Structural Changes . 84 4.2.3 Dating Multiple Structural Changes . 84 4.3 Implementation in strucchange ................. 86 4.4 The Nile Data . 88 4.5 The Seatbelt Data . 93 4.6 The Oil Price Data . 97 5 Summary 101 A Implementation Details for p Values 105 B strucchange Reference Manual 107 Bibliography 172 x CONTENTS List of Figures 174 Abstract An approach to testing for structural change in parametric models with a special emphasis on (generalized) linear regression models is introduced: First, a generalized framework for testing for parameter instability based on the partial sums of M-estimation equations is presented which allows for testing the stability of parameter coefficients derived from various es- timation techniques like ordinary least squares, maximum likelihood and M-estimation. The core idea of the procedure is to capture the fluctua- tion in the estimating equations and visualize these and asses their sig- nificance. Second, these generalized M-fluctuation tests and virtually all other standard tests for structural change in linear regression models are implemented in a unified framework in the R package strucchange re- flecting the common features of the testing procedures. Third, the useful- ness of the proposed procedures as well as a methodology for recovering the breakpoints of a multiple structural change model are illustrated using several "real world" data sets. 1 2 ABSTRACT Zusammenfassung Diese Arbeit stellt eine Methode zum Testen auf Strukturbruch bzw. Struk- turveränderung in parametrischen Modellen vor unter besonderer Berück- sichtigung von (verallgemeinerten) linearen Regresionsmodellen: Als er- stes wird eine allgemeine Methode zur Konstruktion von Tests auf Param- eterinstabilität vorgestellt, die auf Partialsummenprozessen von Schätz- gleichungen für M-Schätzer basiert. Diese ermöglichen es, die Stabilität von Parameterschätzungen zu testen, die durch verschiedene Schätztech- niken wie etwa gewöhnliche Kleinste-Quadrate-, Maximum-Likelihood- oder M-Schätzung ermittelt wurden. Die Grundidee des Verfahrens ist es, Prozesse zu berechnen, die die Fluktuation in den zu Grunde liegenden Schätzgleichungen einfängt, diese zu visualisieren und auf signifikante exzessive Fluktuation zu testen, die wiederum auf Parameterinstabiltät schließen ließe. Als zweites werden diese verallgmeinerten M-Fluktuationstests zusam- men mit nahezu allen anderen Standard-Testverfahren auf Strukturbruch in linearen Regressionsmodellen im R-Paket strucchange implementiert, das vereinheitlichte Werkzeuge zur Berechnung, Visualisierung und Bes- timmung der Signifikanz der verschiedenen Strukturbruchtests zur Verfü- gung stellt. Als drittes, wird die Nützlichkeit der behandelten Testverfahren in praxis- 3 4 ZUSAMMENFASSUNG nahen Anwendungen illustriert, wo neben den Tests auch Funktionalität zur Schätzung der Anzahl und Zeitpunkte multipler Brüche in linearen Regressionsmodellen vorgestellt wird. Chapter 1 Introduction This monograph is concerned with testing for structural change in para- metric models with a special emphasis on linear regression models: First, the theory for a general class of tests for structural change is established. Second, it is discussed how these and other tests for structural change are implemented in a unified framework reflecting the common properties of the tests in the R package strucchange. Third, the usefulness of the pro- posed procedures in connection with