Machine Learning for Marketing Decision Support Doctoral Thesis to acquire the academic degree of doctor rerum politicarum (Doctor of Economics and Management Science) submitted to School of Business and Economics Humboldt-Universität zu Berlin by M.Sc. Johannes Sebastian Haupt President of Humboldt-Universität zu Berlin: Prof. Dr.-Ing. Dr. Sabine Kunst Dean of the School of Business and Economics: Prof. Dr. Daniel Klapper Reviewers: 1. Prof. Dr. Stefan Lessmann 2. Prof. Dr. Daniel Guhl Date of Colloquium: 24 June 2020 2 Abstract The digitization of the economy has fundamentally changed the way in which companies interact with customers and made customer targeting a key intersection of marketing and information systems. Marketers can choose very specifically which customers to serve with a marketing mes- sage based on detailed demographic and behavioral information. Building models of customer behavior at the scale of modern customer data requires development of tools at the intersection of data management and statistical knowledge discovery. The application of these models for successful targeting requires deep understanding of the underlying marketing decision problem and awareness of the ethical implications of data collection. This dissertation widens the scope of research on predictive modeling by focusing on the in- tersections of model building with data collection and decision support. Its goals are 1) to develop and validate new machine learning methods explicitly designed to optimize customer targeting decisions in direct marketing and customer retention management and 2) to study the implications of data collection for customer targeting from the perspective of the company and its customers. The thesis addresses the first goal by proposing methods that utilize the richness of e-commerce data, reduce the cost of data collection through efficient experiment design and address the tar- geting decision setting during model building. The underlying state-of-the-art machine learning models scale to high-dimensional customer data and can be conveniently applied and adapted by practitioners. These models further address the problem of causal inference that arises when the causal attribution of customer behavior to a marketing incentive is difficult. Marketers can directly apply the model estimates to identify profitable targeting policies in applications with complex cost structures. The analyses addressing the second goal of the thesis quantify the savings potential of efficient experiment design and the monetary cost of an internal principle of data privacy. Practitioners can follow the proposed methodology to evaluate internally collected data like a commodity and make informed decisions. An analysis of data collection practices in direct marketing emails re- veals the ubiquity of tracking mechanisms without user consent in e-commerce communication. These results form the basis for a machine-learning-based system for the detection and deletion of tracking elements from emails. Keywords: Customer Targeting, Machine Learning, Decision Support, Data Privacy i ii Zusammenfassung Die Digitalisierung der Wirtschaft hat die Interaktion zwischen Firmen und Kunden grundle- gend verändert und macht das Customer Targeting zu einer wichtigen Schnittmenge von Market- ing und Wirtschaftsinformatik. Marketingtreibende können auf Basis von soziodemografischen und Verhaltensdaten gezielt einzelne Kunden mit personalisierten Botschaften ansprechen. Die Erstellung von Modellen zur Vorhersage von Kundenverhalten, die hochdimensionalen, mod- ernen Kundendaten gerecht werden, erfordert die Weiterentwicklung von Methoden an der Schnittstelle von Datenmanagement und statistischer Analyse. Die Anwendung dieser Modelle für das gewinnbringende Auswahl individueller Zielkunden erfordert umfassendes Verständnis der zugrunde liegenden Entscheidungsprobleme im Marketing und ein Bewusstsein für die ethis- chen Aspekte der Datenerfassung. Die vorliegende Arbeit erweitert die Perspektive der Forschung im Bereich der modellbasierten Vorhersage von Kundenverhalten durch ihren Fokus auf die Schnittstellen der statistischen Modellierung zur Datenerfassung und Entscheidungsunterstützung. Ziel der Arbeit ist 1) die Entwicklung und Validierung neuer Methoden des maschinellen Lernens, die explizit darauf ausgelegt sind, die Profitabilität des Customer Targeting im Direktmarketing und im Kunden- bindungsmanagement zu optimieren, und 2) die Untersuchung der Datenerfassung mit Ziel des Customer Targeting aus Unternehmens- und Kundensicht. Die Arbeit adressiert das erste Ziel durch die Entwicklung von Methoden, welche den Umfang von E-Commerce-Daten nutzbar machen und die Rahmenbindungen der Marketingentscheidung während der Modellbildung berücksichtigen. Die zugrundeliegenden Modelle des maschinellen Lernens skalieren auf hochdimensionale Kundendaten und ermöglichen die unkomplizierte An- wendung und Erweiterung in der Praxis. Die vorgeschlagenen Methoden basieren zudem auf dem Verständnis des Customer Targeting als einem Problem der Identifikation von Kausalzusam- menhängen. Die Modellschätzung sind für die Umsetzung profitoptimierter Zielkampagnen unter Berücksichtigung komplexer Kostenstrukturen in der Praxisanwendung ausgelegt. Die Arbeit adressiert das zweite Ziel durch die Quantifizierung des Einsparpotenzials effizien- ter Versuchsplanung bei der Datensammlung und der monetären Kosten der Umsetzung des Prinzips der Datensparsamkeit. Die vorgeschlagene Methodik erlaubt Praxisanwendern die Evaluation potentieller Daten als Produktionsfaktor zur Modellschätzung, um auf dieser Basis fundierte Entscheidungen zu deren Erhebung treffen zu können. Eine Analyse der Datensamm- lungspraktiken im E-Mail-Direktmarketing zeigt zudem, dass eine Überwachung des Leseverhal- tens in der Marketingkommunikation von E-Commerce-Unternehmen ohne explizite Kunden- zustimmung weit verbreitet ist. Diese Erkenntnis bildet die Grundlage für ein auf maschinellem Lernen basierendes System zur Erkennung und Löschung von Tracking-Elementen in E-Mails. Schlagworte: Direktmarketing, Maschinelles Lernen, Entscheidungsunterstützung, Datenschutz iii iv Acknowledgments I wish to express my deepest gratitude to my supervisor, Prof. Stefan Lessmann, whose excellent teaching inspired me to start a PhD in machine learning. His support has given me the chance to pursue ideas that still fascinate me and his input and guidance have given me the means to turn these ideas into research. I want to express my gratitude to my second supervisor, Prof. Daniel Guhl, and to Prof. Dr. Daniel Klapper, who have introduced me to the field of quantitative marketing. I also thank Prof. Dr. Bart Baesens for inviting me to work with his group at KU Leuven. I am indebted to my coauthors, especially Prof. Ben Fabian, Dr. Annika Baumann, Benedict Bender, Daniel Jacob, Robin Gubela and Fabian Gebert, who have gifted me their knowledge and time on countless occasions. I am grateful to my colleagues and my fellow PhD students, among them Dr. Sebastian Gabel, Dr. Alona Zharova, Nikita Kozodoi, Narine Yegoryan, Tobias König, Marius Sterling, Elizaveta Zinovyeva, Alisa Kim, Gary Mena, Elias Baumann, Eugen Stripling and many others, for sharing the ups and downs of this path. Thank you all for the exciting discussions and happy lunches that we shared over the years. I would like to thank the students of the faculty for their curiosity and hard work. I would also like to thank Anna-Lena Bujarek and the Humboldt Lab for Empirical and Quantitative Research for their support. My deepest thanks go out to my parents, Werner and Evelyn, and my sister Anja for a lifetime of care and to my wonderful wife Anlin. This thesis would not exist without her encouragement, support and patience to discuss statistics in her free time. v vi Contents 1 Introduction 1 2 Changing Perspectives: Using Graph Metrics to Predict Purchase Probabil- ities 17 2.1 Introduction . 17 2.2 Related Work . 18 2.3 Methodology . 20 2.3.1 Clickstream and Graph Construction . 20 2.3.2 Selected Graph Metrics . 22 2.3.3 Prediction Model Training and Assessment . 23 2.4 Empirical Results . 26 2.4.1 Dataset Description . 26 2.4.2 Correlation Analysis of Graph Measures . 27 2.4.3 Predictive Performance . 28 2.4.4 Variable Importance . 30 2.5 Conclusion . 34 2.A Appendix . 39 3 Targeting Customers for Profit: An Ensemble Learning Framework to Sup- port Marketing Decision-Making 41 3.1 Introduction . 41 3.2 Background and Related Work . 43 3.3 Methodology . 46 3.3.1 Profit-Agnostic Targeting Models . 46 3.3.2 Target Group Selection and Model Assessment in Marketing Campaign Planning . 47 3.3.3 Profit-Conscious Ensemble Selection . 48 3.4 Empirical Design . 55 vii viii CONTENTS 3.4.1 Marketing Data Sets . 55 3.4.2 Benchmark Models . 55 3.4.3 Configuration of Ensemble Selection . 57 3.5 Empirical Results . 58 3.6 Discussion . 63 3.7 Summary . 65 3.7.1 Implications . 65 3.7.2 Limitations and Future Research . 67 3.A Working Example of Ensemble Selection . 70 3.B Statistical Comparison of Targeting Models . 71 3.C Campaign Profit Maximization Under a Budget Constraint . 76 4 Revenue Uplift Modeling 81 4.1 Introduction . 81 4.2 Uplift Modeling Fundamentals and Process Model . 83 4.3 Related Literature . 87 4.4 Uplift Taxonomy . 87 4.4.1 Conversion Response Transformation . 89 4.4.2 Revenue Response Transformation . 89 4.4.3 Covariate Transformation . 91 4.5 Experimental Design . 91 4.5.1 Data and Experimental Setting . 91 4.5.2 Base Learners . 93 4.5.3 Validation Strategy