Pontificia Universidad Catolica´ de Chile Facultad de Matematicas´ Departamento de Estad´ıstica Classification and Modeling of time series of astronomical data por Felipe Elorrieta Lopez´ Tesis presentada al Departamento de Estad´ıstica de la Pontificia Universidad Catolica´ de Chile para optar al grado de Doctor en Estad´ıstica Octubre, 2018 Director de Tesis: Dr. Susana Eyheramendy Duerr ⃝c Copyright por Felipe Elorrieta Lopez´ , 2018 FACULTAD DE MATEMATICAS´ PONTIFICIA UNIVERSIDAD CATOLICA´ DE CHILE INFORME DE APROBACION´ TESIS DE DOCTORADO Se informa a la Facultad de Matemat´ıcas que la Tesis de Doctorado presentada por el candidato Felipe Elorrieta Lopez´ ha sido aprobada por la Comision´ de Evaluacion´ de la Tesis como requisito para optar al grado de Doctor en Estad´ıstica, en el examen de Defensa de Tesis rendido el d´ıa 12 de Octubre de 2018. Director de Tesis Dr. Susana Eyheramendy Duerr Comision´ de Evaluacion´ de la Tesis Dr. Wilfredo Palma Manriquez Dr. Giovanni Motta Dr. Pablo Estevez Dr. Cristian Meza FACULTAD DE MATEMATICAS´ PONTIFICIA UNIVERSIDAD CATOLICA´ DE CHILE Fecha: 12 de Octubre 2018 Autor :Felipe Elorrieta Lopez´ T´ıtulo :Classification and Modelling of time series of astronomical data Departamento :Estad´ıstica Grado :Doctor Convocacion´ :Octubre 2018 Se le concede permiso para hacer circular y copiar, con propositos´ no comerciales, el t´ıtulo ante dicho para los requerimientos de individuos y/o instituciones. Firma del Autor EL AUTOR SE RESERVA LOS DERECHOS DE OTRAS PUBLICACIONES, Y NI LA TESIS NI EXTRACTOS EXTENSOS DE ELLA, PUEDEN SER IMPRESOS O REPRODUCIDOS SIN EL PERMISO ESCRITO DEL AUTOR. EL AUTOR ATESTIGUA QUE EL PERMISO SE HA OBTENIDO PARA EL USO DE CUALQUIER MATERIAL COPYRIGHTED QUE APAREZCA EN ESTA TESIS (CON EXCEPCION´ DE LOS BREVES EXTRACTOS QUE REQUIEREN SOLAMENTE EL RECONOCIMIENTO APROPIADO EN LA ESCRITURA DEL ESTUDIANTE) Y QUE TODO USO ESTE´ RECONOCIDO CLARAMENTE. ii Acknowledgments Un d´ıa de marzo de 2014, empezo´ esta aventura de mas´ de cuatro anos.˜ En este mo- mento, cuando al fin entrego mi trabajo de tesis de Doctorado, quiero agradecer a todas las personas que fueron de vital importancia para lograr este objetivo. En primer lugar, quiero agradecer a mi companera˜ de vida Milka Vescovi, por todo el´ apoyo y paciencia durante todo este tiempo. Te Amo. A mis hijos Inigo˜ y Julian´ por darme la fuerza para no flaquear con los inconvenientes que se presentaron en el camino. A mi madre Jovita Lopez´ por la formacion´ que me llevo a lograr este objetivo, a mi her- mano Pablo Elorrieta por el desinteresado apoyo durante todos mis anos˜ de estudio, a mi hermano mayor Gonzalo Elorrieta y a mi padre Julio Elorrieta, que se que habr´ıa estado muy orgulloso de este logro y su eterno recuerdo sigue siempre presente en mi. Ademas,´ quiero agradecer a mi profesora Gu´ıa Susana Eyheremandy, en primer lu- gar por la carta de recomendacion´ para la postulacion´ al programa de Doctorado en Es- tad´ıstica y a la Beca Conicyt. Luego, por darme la oportunidad de desarrollar este tema de Tesis y por toda la orientacion´ entregada durante estos cuatro anos.˜ Al profesor Wilfredo Palma, por su crucial apoyo para sacar este tema adelante. A los profesores de la comision´ evaluadora por los comentarios realizados, los cuales ayudaron a hacer de este un mejor trabajo. Al profesor Reinaldo Arellano, por guiar mi tesis de Magister y recomendarme al programa de Doctorado en Estad´ıstica y a la Beca Conicyt. Finalmente, quisiera hacer una mencion´ especial al profesor Francisco Torres, quien me incentivo´ a tomar la decision´ de seguir el camino del Doctorado en Estad´ıstica. Este trabajo esta´ dedicado a su memo- ria. Tambien,´ a todos los que fueron parte de mi vida durante estos anos.˜ A Francisca y Carolina por brindarme su apoyo y asistir a mi exposicion´ de defensa de grado. A mis amigos de la USACH Eto, Ruy y Diego que pese a las pocas veces que nos reunimos, cada una de ellas fue una inyeccion´ de energ´ıa para terminar este trabajo. Finalmente, quiero agradecer el apoyo del Instituto Milenio de Astrofisica (MAS) y a la Beca de Doctorado CONICYT No. 21140566. Contents List of Figures vii List of Tables xiii 1 Introduction xvii 1.1 Purpose of the study ............................. xx 1.1.1 General objective .......................... xx 1.1.2 Specific objectives ......................... xx 2 Literature Review xxiii 2.1 Astronomical Background ......................... xxiii 2.1.1 Light curves ............................ xxiv 2.1.2 Variable Stars ............................ xxv 2.1.3 Astronomical Surveys ....................... xxvii 2.2 Time Series Background .......................... xxxi 2.2.1 Analysis in Time Domain ..................... xxxi 2.2.2 Analysis in Frequency Domain ................... xxxix 2.3 Machine Learning Background ....................... xliii 2.3.1 The General Classification Problem ................ xliii 2.3.2 State-of-the-art Data Mining Algorithms .............. xliii 2.3.3 Measuring classifier performance ................. lii 3 Light Curves Classification lv 3.1 Light-curve extraction and pre-processing ................. lvi 3.2 Feature Extraction of Light Curves ..................... lviii 3.2.1 Periodic Features .......................... lix 3.2.2 Non-Periodic Features ....................... lx 3.3 A Machine Learned Classifier for RR Lyrae in the VVV Survey ..... lxiii 3.3.1 RRab classification in the VVV .................. lxiii 3.3.2 Classification Procedure ...................... lxiv 3.3.3 Training sets ............................ lxv iii iv 3.3.4 Choice of classifier ......................... lxvi 3.4 Optimization of Classification Algorithms ................. lxvii 3.4.1 Choice of aperture for photometry ................. lxx 3.4.2 Feature selection .......................... lxxiv 3.4.3 Sensitivity to training set choice .................. lxxv 3.4.4 Final classifier ........................... lxxvi 3.5 Performance on independent datasets .................... lxxvii 3.5.1 RRab in 2MASS-GC 02 and Terzan 10 .............. lxxviii 3.5.2 RRab in the outer bulge area of the VVV ............. lxxix 3.5.3 Census of RRab stars along the southern galactic disk. ...... lxxxi 4 Light Curves Modeling lxxxv 4.1 Irregular Autoregressive (IAR) model ................... lxxxv 4.1.1 Estimation of IAR Model ..................... lxxxviii 4.1.2 IAR Gamma ............................ lxxxix 4.1.3 Simulation Results ......................... xc 4.2 Complex Irregular Autoregressive (CIAR) model ............. xciv 4.2.1 State-Space Representation of CIAR Model ............ xcvi 4.2.2 Estimation of CIAR Model ..................... xcix 4.2.3 Simulation Results ......................... c 4.2.4 Comparing the CIAR with other time series models ........ c 4.2.5 Computing the Autocorrelation in an Harmonic Model ...... cii 4.3 Application of Irregular Time Series Models in Astronomical time series . civ 4.3.1 Irregular time series models to detect the harmonic model mis- specification ............................ cvii 4.3.2 Statistical test for the autocorrelation parameter .......... cxi 4.3.3 Irregular time series models to detect multiperiodic variable stars cxii 4.3.4 Classification Features estimated from the irregular time series models ............................... cxv 4.3.5 Exoplanet Transit light-curve .................... cxvii 4.4 AITS Package in R ............................. cxviii 4.4.1 The gentime function ........................ cxx 4.4.2 The harmonicfit function ...................... cxx 4.4.3 The foldlc function ......................... cxxi 4.4.4 Simulating the Irregular Time Series Processes .......... cxxi 4.4.5 Fitting the Irregular Time Series Processes ............ cxxii 4.4.6 Testing the significance of the parameters of the irregular models . cxxvii 5 Discussion cxxxi 5.1 Future Works ................................ cxxxiv v A Connection Between CAR(1) and IAR process cxlv vi List of Figures 1.1 Statistical challenges in the light curves analysis addressed in this work . xx 2.1 ‘Variability tree’ showing the many different types of stellar (and non- stellar) phenomena that are found in astronomy, (from Eyer & Mowlavi, 2008 [29]). ................................. xxvi 2.2 2MASS map of the inner Milky Way showing the VVV bulge (solid box, −10o < l < +10o and −10o < b < +5o) and plane survey areas (dotted box, −65o < l < 10o and −2o < b < +2o), (from Minniti, 2010 [48]). ... xxix 2.3 VVV Survey Area Tile Numbers Galactic Coordinates (from Catelan et al. 2013 [17]). ................................ xxix 2.4 Workflow of Ensemble Methods (from Utami, et al., 2014) [72]. ..... xlv 2.5 Illustration of the optimal hyperplane in SVC for a linearly separable (from Meyer, 2001) [47]. .......................... xlix 2.6 Illustration of multi-layer feed-forward networks (from Zhang, 2000) [75]. l 3.1 a) Original light curve of an RRab star observed in B295 field folded in its period. b) Light curve of the RRab star after the elimination of one observation with large magnitude error . c) Light curve of the RRab star after the elimination of two outliers observations. ............. lvii 3.2 Illustration of the process in which each light curve in the training set is represented as a vector of features. ..................... lviii 3.3 a) Folded light curve of an RRab star with R1 = 0:46 observed in B295 field of the VVV. b) Folded light curve of an RRab star with R1 = 0:77 observed in B295 field of the VVV . c) Folded light curve of a variable star with R1 = 1:18 observed in B295 field