Die approbierte Originalversion dieser Dissertation ist an der Hauptbibliothek der Technischen Universität Wien aufgestellt (http://www.ub.tuwien.ac.at). The approved original version of this thesis is available at the main library of the Vienna University of Technology (http://www.ub.tuwien.ac.at/englweb/). DISSERTATION THE CODIFFERENCE FUNCTION FOR a-STABLE PROCESSES: ESTIMATION AND INFERENCE ausgeführt zum Zwecke der Erlangung des akademischen Grades eines Doktors der technischen Wissenschaften unter der Leitung von o. UNIV. PROF. DIPL.-ING. DR. TECHN. MANFRED DEISTLER E 105 Institut für Wirtschaftsmathematik eingereicht an der Technischen Universität Wien Fakultät für Mathematik und Geoinformation von DEDI ROSADI Matrikelnummer: 0126963 Lorenz Müllergasse 1A/5209, A1200 Wien Wien, am 27.08.2004 This thesis is dedicated to My beloved Dad died December 13, 2001 May God rest his soul in peace. Contents Abstract v Kurzfassung vii Acknowledgement ix 1 Introduction 1 1.1 Motivation and background 1 1.2 Some problems in heavy-tail modelling 5 1.3 Thesis contribution 7 2 The a-stable distribution family 9 2.1 A short historical overview 9 2.2 Basic facts 10 2.2.1 Univariate stable distribution 10 2.2.2 Multivariate stable distribution 13 2.2.3 Stable stochastic processes 15 2.3 Fitting data to the stable distributions 16 2.4 The estimation of the stable distribution parameters 18 2.5 Generating the stable random variâtes 21 3 Review of heavy-tailed ARMA modelling 23 3.1 Heavy-tailed time series 23 3.2 Order selection of ARMA models 25 3.2.1 Estimation of the autocorrelation function 25 3.2.2 Estimation of the autocovariation function 27 3.2.3 Notes on the graphical order identification procedures 29 3.3 Parameter estimation of ARMA models 29 3.3.1 Yule-Walker and Generalized Yule-Walker Estimator 30 3.3.2 M-estimator 30 3.3.3 Summary of the other results 33 3.4 Diagnostic checking 33 iii iv CONTENTS 4 The codifference function 35 4.1 Definition of the codifference function 35 4.2 The asymptotic behavior of the codifference function 38 4.3 The estimator of the codifference function 46 4.4 The asymptotic properties of the estimator 47 4.5 Proof of Theorem 4.4.1 48 4.6 Proof of Theorem 4.4.2 50 4.7 Proof of Corollary 4.4.3 57 5 Application 61 5.1 Practical considerations 61 5.1.1 The choice of s 61 5.1.2 Simulation results 63 5.2 Order identification and estimation of a-stable moving averages 71 5.2.1 Introduction 71 5.2.2 Fitting moving average process 71 5.2.3 Simulation results 72 5.3 Testing for independence in heavy-tailed time series 79 5.3.1 Introduction 79 5.3.2 A Portmanteau-type test using the codifference function 80 5.3.3 Simulation results 81 6 Conclusions 87 A Appendix 89 A.I Some concepts related to the stable law 89 A.2 Stochastic processes 91 A.3 The autocovariance function 94 A.4 The central limit theorem for ECF of linear processes 95 A.5 The complex logarithmic function 95 Abstract In this thesis, we consider a strictly stationary univariate symmetric a-stable process {Xt, t € Z} with 0 < a < 2. For Gaussian process (a = 2), the covariance function completely describes the dependence structure over time for {Xt}. For a < 2, the second moments of the process are infinite, and therefore the population covariance function is not defined. However, the (noncentral) sample autocovaxiance and the sample autocorrelation function (SACF) are well defined random variables. Davis and Resnick (1986) showed that for a class of linear models with infinite variance, the SACF will converge, and when it is properly normalized, converges weakly to a limiting distribution. Unfortunately, as a tool for modelling, the SACF of linear time series models with infinite variance has some drawbacks (see Section 1.2). Due to the drawbacks of the SACF, for processes having no population second moments, it is desir- able to have a dependence measure which does not depend on the existence of (second) moments. For this purpose, some generalizations of the autocovariance function as dependence measures of stationary process with infinite variance have been proposed in literature, e.g., the autocovaria- tion (Cambanis and Miller, 1981), the codifference function (Kokoszka and Taqqu, 1994) and the dynamical function (Janicki and Weron, 1994&). In this thesis we study the codifference function and also consider the normalized codifference function of causal stable ARMA process with sym- metric a-stable noise, 0 < a < 2. We consider estimators of the codifference and the normalized codifference function based on the empirical characteristic function. We further show the asymp- totic properties of the proposed estimators. Finally, we discuss the application of the codifference function for identifying and estimating moving average models and doing Portmanteau-type test. This thesis is organized as follows. In the first part of this thesis, comprising Chapters 1-3, we present some important concepts, which will be required for further understanding of the thesis. In the introductory chapter, the background and motivations to the problem that we consider are presented. Chapter 2 gives the reader an overview of stable distributions. Chapter 3 provides an overview of results related to the a-stable ARMA modelling. The second part, consisting of Chapters 4-6, deals with the main results. Chapter 4 treats the codifference function. Here we provide the definition of the function, and give a summary of the asymptotic properties of the codifference function for causal stable ARMA case. Furthermore, based on the empirical characteristic function, we propose estimators of the codifference and the normalized codifference function. We show the consistency of the proposed estimators, where the underlying model is causal stable ARMA with symmetric a-stable noise, 0 < a < 2. In addition, we establish their limiting distributions. Chapter 5 deals with the application of the results presented in Chapter 4. In the first section of this chapter, we address some practical issues for the calculation of the sample codifference and the normalized codifference function from time series data with finite size. In section two, we describe an order identification and estimation method for moving average models which uses the codifference function. In the last section, we discuss the application of the codifference function for Portmanteau-type test, i.e., testing for independence against serial dependence alternatives. In the last chapter, we provide a brief summary, draw conclusions from the results presented in this thesis and outline possible further research directions. Kurzfassung In dieser Dissertation betrachten wir einen strikt stationären univariaten symmetrische a-stabilen Prozeß {Xt,t 6 Z}, wobei 0 < a < 2. Für einen Gaußschen Prozeß (a = 2) beschreibt die Kovarianzfunktion in eineindeutiger Weise die Abhängigkeitsstruktur von {Xt} über die Zeit hin- weg. Für a < 2 existieren die zweiten Momente des Prozesses hingegen nicht, und daher ist auch die Kovarianzfunktion nicht definiert. Die (nichtzentrierte) Sample-Autokovarianzfunktion und die Sample-Autokorrelationsfunktion (ACF) sind hingegen wohldefinierte Zufalls variablen. Davis and Resnick (1986) haben gezeigt, daß für eine Klasse von linearen Modellen mit unbeschränkter Varianz die Sample-ACF konvergiert, und daß, bei geeigneter Normalisierung, schwache Konver- genz gegen eine Grenzverteilung vorliegt. Leider hat die Sample-ACF als Modellierung-Tool bei linearen Zeitreihenmodellen mit unbeschränkter Varianz einige Nachteile (siehe Abschnitt 1.2). Wegen der oben angesprochenen Nachteile der Sample-ACF bei Prozessen mit unbeschränkten zweiten Momenten ist es wünschenswert ein Abhängigkeitsmaß zu betrachten, welches nicht von der Existenz (zweiter) Momente abhängt. Zu diesem Zweck wurden in der Literatur einige Ver- allgemeinerungen der Autokovarianzfunktion als Abhängigkeitsmaß für stationäre Prozesse mit unbeschränkter Varianz vorgeschlagen. Beispiele hierfür sind die Autokovariation (Cambanis and Miller, 1981), die Kodifferenzfunktion (Kokoszka and Taqqu, 1994) und die dynamische Funktion (Janicki and Weron, 19946). In dieser Dissertation betrachten wir die Kodifferenzfunktion und die normalisierte Kodifferenzfunktion eines kausalen stabilen ARMA Prozeß mit symmetrischem a-stabilen Rauschen, 0 < a < 2. Die Schätzer, welche wir für diese Funktionen definieren, basieren auf der empirischen charakteristischen Funktion. Wir zeigen die asymptotischen Eigenschaften der Schätzer und diskutieren die Anwendung der Kodifferenzfunktion bei statistischen Tests, die dem Portmanteau Test sehr ähnlich sind und bei der Identifizierung und Schätzung von MA-Modellen. Die Dissertation ist wie folgt gegliedert: Im ersten Teil, welcher aus den Kapiteln 1-3 besteht, präsentieren wir wichtige Konzepte, die für das Verständnis der Arbeit vonnöten sind. In der Einleitung wird der Hintergrund und die Motivation des betrachteten Problems beleuchtet. In Kapitel 2 erhält der Leser eine Übersicht über stabile Verteilungen. Kapitel 3 bietet eine Übersicht über bestehende Resultate zur a-stabilen ARMA-Modellierung. Der zweite Teil der Arbeit besteht aus den Kapiteln 4-6 und beinhaltet die Hauptresultate. Kapitel 4 beschäftigt sich mit der Kodifferenzfunktion. Wir geben eine Definition der besagten Funktion und eine Zusammenfassung der asymptotischen Eigenschaften der Kodifferenzfunktion im kausalen stabilen ARMA Prozeß. Weiters schlagen wir Schätzer der Kodifferenz- und norma- lisierten Kodifferenzfunktion vor, die auf der empirischen charakteristischen