Recent Methods from Statistics and Machine Learning for Credit Scoring Anne Kraus M¨unchen2014 Recent Methods from Statistics and Machine Learning for Credit Scoring Anne Kraus Dissertation an der Fakult¨atf¨urMathematik, Informatik und Statistik der Ludwig{Maximilians{Universit¨at M¨unchen vorgelegt von Anne Kraus aus Schweinfurt M¨unchen, den 10. M¨arz2014 Erstgutachter: Prof. Dr. Helmut K¨uchenhoff Zweitgutachter: Prof. Dr. Martin Missong Tag der Disputation: 22. Mai 2014 Mein besonderer Dank gilt • Prof. Dr. Helmut K¨uchenhoff, f¨urdie M¨oglichkeit bei ihm zu promovieren, die Begeisterung f¨urdas Thema und die hervorragende Betreuung in den letzten Jahren • Prof. Stefan Mittnik, Ph.D., f¨urdie Zweitbetreuung im Rahmen des Promotionsprogramms • Prof. Dr. Martin Missong, f¨urdie Bereitschaft, das Zweitgutachten zu ¨ubernehmen • allen Doktoranden und Mitarbeitern am Institut f¨urStatistik, f¨urdie freundliche Aufnahme und Unterst¨utzung,ganz besonders Monia Mahling • meinem Arbeitgeber, f¨urdie M¨oglichkeit der Freistellung • meinen Kollegen, f¨urihr Interesse und viele gemeinsame Mittagspausen • meinen Freunden, f¨urviel Verst¨andnisund Motivation, allen voran Karin Schr¨oter • meinen Geschwistern Eva Schmitt und Wolfgang Kraus samt Familien, f¨ur Aufmunterung und Ablenkung • meinen Eltern, f¨urihre grenzenlose Unterst¨utzungin jeglicher Hinsicht • Martin Tusch, f¨urunendlichen R¨uckhalt Abstract Credit scoring models are the basis for financial institutions like retail and consumer credit banks. The purpose of the models is to evaluate the likelihood of credit applicants defaulting in order to decide whether to grant them credit. The area under the receiver operating characteristic (ROC) curve (AUC) is one of the most commonly used measures to evaluate predictive performance in credit scoring. The aim of this thesis is to benchmark different methods for building scoring models in order to maximize the AUC. While this measure is used to evaluate the predictive accuracy of the presented algorithms, the AUC is especially introduced as direct optimization criterion. The logistic regression model is the most widely used method for creating credit scorecards and classifying applicants into risk classes. Since this development process, based on the logit model, is standard in the retail banking practice, the predictive accuracy of this proceeding is used for benchmark reasons throughout this thesis. The AUC approach is a main task introduced within this work. Instead of using the maximum likelihood estimation, the AUC is considered as objective function to optimize it directly. The coefficients are estimated by calculating the AUC measure with Wilcoxon{ Mann{Whitney and by using the Nelder{Mead algorithm for the optimization. The AUC optimization denotes a distribution-free approach, which is analyzed within a simulation study for investigating the theoretical considerations. It can be shown that the approach still works even if the underlying distribution is not logistic. In addition to the AUC approach and classical well-known methods like generalized additive models, new methods from statistics and machine learning are evaluated for the credit scoring case. Conditional inference trees, model-based recursive partitioning methods and random forests are presented as recursive partitioning algorithms. Boosting algorithms are also explored by additionally using the AUC as a loss function. The empirical evaluation is based on data from a German bank. From the application scoring, 26 attributes are included in the analysis. Besides the AUC, different performance measures are used for evaluating the predictive performance of scoring models. While classification trees cannot improve predictive accuracy for the current credit scoring case, the AUC approach and special boosting methods provide outperforming results compared to the robust classical scoring models regarding the predictive performance with the AUC measure. Zusammenfassung Scoringmodelle dienen Finanzinstituten als Grundlage daf¨ur,die Ausfallwahrscheinlichkeit von Kreditantragstellern zu berechnen und zu entscheiden ob ein Kredit gew¨ahrtwird oder nicht. Das AUC (area under the receiver operating characteristic curve) ist eines der am h¨aufigsten verwendeten Maße, um die Vorhersagekraft im Kreditscoring zu bewerten. Demzufolge besteht das Ziel dieser Arbeit darin, verschiedene Methoden zur Scoremodell- Bildung hinsichtlich eines optimierten AUC Maßes zu benchmarken\. W¨ahrenddas " genannte Maß dazu dient die vorgestellten Algorithmen hinsichtlich ihrer Trennsch¨arfezu bewerten, wird das AUC insbesondere als direktes Optimierungskriterium eingef¨uhrt. Die logistische Regression ist das am h¨aufigstenverwendete Verfahren zur Entwicklung von Scorekarten und die Einteilung der Antragsteller in Risikoklassen. Da der Entwick- lungsprozess mittels logistischer Regression im Retail-Bankenbereich stark etabliert ist, wird die Trennsch¨arfedieses Verfahrens in der vorliegenden Arbeit als Benchmark verwendet. Der AUC Ansatz wird als entscheidender Teil dieser Arbeit vorgestellt. Anstatt die Maximum Likelihood Sch¨atzungzu verwenden, wird das AUC als direkte Zielfunktion zur Optimierung verwendet. Die Koeffizienten werden gesch¨atzt,indem f¨urdie Berechnung des AUC die Wilcoxon Statistik und f¨urdie Optimierung der Nelder-Mead Algorithmus verwendet wird. Die AUC Optimierung stellt einen verteilungsfreien Ansatz dar, der im Rahmen einer Simulationsstudie untersucht wird, um die theoretischen Uberlegungen¨ zu analysieren. Es kann gezeigt werden, dass der Ansatz auch dann funktioniert, wenn in den Daten kein logistischer Zusammenhang vorliegt. Zus¨atzlich zum AUC Ansatz und bekannten Methoden wie Generalisierten Additiven Modellen, werden neue Methoden aus der Statistik und dem Machine Learning f¨urdas Kreditscoring evaluiert. Klassifikationsb¨aume,Modell-basierte Recursive Partitioning Methoden und Random Forests werden als Recursive Paritioning Methoden vorgestellt. Dar¨uberhinaus werden Boosting Algorithmen untersucht, die auch das AUC Maß als Verlustfunktion verwenden. Die empirische Analyse basiert auf Daten einer deutschen Kreditbank. 26 Variablen werden im Rahmen der Analyse untersucht. Neben dem AUC Maß werden verschieden Per- formancemaße verwendet, um die Trennsch¨arfevon Scoringmodellen zu bewerten. W¨ahrend Klassifikationsb¨aume im vorliegenden Kreditscoring Fall keine Verbesserungen erzielen, weisen der AUC Ansatz und einige Boosting Verfahren gute Ergebnisse im Vergleich zum robusten klassischen Scoringmodell hinsichtlich des AUC Maßes auf. Contents Abstract vi Zusammenfassung viii 1 Introduction1 1.1 Credit Scoring..................................1 1.2 Scope of the Work...............................3 2 Measures of Performance and Data Description5 2.1 Receiver Operating Characteristic and Area under the Curve........5 2.2 Data Description................................9 3 Logistic Regression 11 3.1 A Short Introduction to Logistic Regression................. 11 3.2 The Development of Scorecards........................ 12 3.3 Discussion of the Logistic Regression Model in Credit Scoring....... 16 4 Optimization AUC 19 4.1 A New Approach for AUC Optimization................... 19 4.2 Optimality Properties of the AUC Approach................. 21 4.2.1 Theoretical Considerations....................... 21 4.2.2 Simulation Study............................ 23 4.3 The AUC Approach in Credit Scoring..................... 32 4.4 Discussion of the AUC Approach in Credit Scoring............. 35 5 Generalized Additive Model 37 5.1 A Short Overview of Generalized Additive Model.............. 37 5.2 Generalized Additive Model for Credit Scoring................ 38 5.3 Discussion of a Generalized Additive Model in Credit Scoring....... 42 6 Recursive Partitioning 45 6.1 Classification and Regression Trees...................... 45 6.1.1 CART Algorithm............................ 46 6.1.2 Conditional Inference Trees...................... 49 xii Contents 6.2 Model-Based Recursive Partitioning...................... 52 6.3 Random Forests................................. 56 6.3.1 Random Forest Algorithm....................... 56 6.3.2 Importance Measures.......................... 57 6.4 Recursive Partitioning Methods for Credit Scoring.............. 60 6.4.1 Classification Trees for Credit Scoring................. 60 6.4.2 Model-Based Recursive Partitioning in Credit Scoring........ 69 6.4.3 Random Forests in Credit Scoring................... 74 6.5 Discussion of Recursive Partitioning Methods for Credit Scoring...... 85 7 Boosting 87 7.1 Boosting Algorithms.............................. 87 7.1.1 Rationale of Gradient Boosting.................... 87 7.1.2 Component-Wise Gradient Boosting................. 88 7.1.3 Base Learners.............................. 90 7.2 Boosting for Credit Scoring.......................... 91 7.2.1 Discrete, Real and Gentle AdaBoost................. 91 7.2.2 Boosting Logistic Regression...................... 94 7.2.3 Boosting Generalized Additive Model................. 97 7.3 Boosting and the Optimization concerning AUC............... 101 7.3.1 AUC as a Loss Function in Boosting Algorithms........... 101 7.3.2 Boosting AUC in Credit Scoring.................... 102 7.4 Discussion of Boosting Methods in Credit Scoring.............. 107 8 Summary and Outlook 109 A Supplementary Material 115 A.1 Optimization AUC - Chapter4........................ 115 A.2 Generalized Additive Model - Chapter5................... 118 A.3 Recursive Partitioning - Chapter6...................... 119 A.4