Riku Poutanen ANALYSIS OF ONLINE ADVERTISE- MENT PERFORMANCE USING MARKOV CHAINS Case Fiksu Ruoka Oy Tekniikan ja luonnontieteiden tiedekunta Master’s thesis Maaliskuu 2020 i ABSTRACT Riku Poutanen: Analysis of online advertisement performance using Markov chains Master’s thesis Tampere University Industrial Engineering and Management March 2020 The measurement and performance analysis of online marketing is far from simple as it is usually conducted in multiple channels which results depend on each other. The results of the performance analysis can vary drastically depending on the attribution model used. An online marketing attribution analysis is needed to make better decisions on where to allocate marketing budgets. This thesis aims to provide a framework for more optimal budget alloca- tion by conducting a data-driven attribution model analysis to the case company’s dataset and comparing the results with the de-facto last-click attribution model’s results. The frame- work is currently utilized in the case company to improve the online marketing budget allo- cation and to gain better understanding of the marketing efforts. The thesis begins with literature review to online marketing, measurement techniques and most used attribution modeling models in the industry. The Markov’s attribution model was chosen to the analysis because of its promising results in other research and the ease of implementation with the dataset available. The dataset used in the analysis contains 582 111 user paths collected during 7 months period from the case company’s website. The analysis was conducted using R programming language and open source ChannelAttribution package that includes tools for fitting a k-order Markovian model in to a dataset and analyzing the results and the model’s reliability. The performance of the attribution model was analyzed using a ROC curve to evaluate the prediction accuracy of the model. The results of the research indicate the Markov’s model gives more reliable results on where to allocate the marketing budget than then last-click attribution model that is widely used in the industry. Overall the objectives of this thesis were achieved, and this study pro- vides a solid framework for marketing managers to analyze their marketing efforts and real- locate their marketing budgets in more optimal way. However, more research is needed to improve the prediction accuracy of the model and to improve the understanding of the effects of budget reallocation. Keywords: Online Marketing, Attribution, Markov’s chain The originality of this thesis has been checked using the Turnitin OriginalityCheck service. ii TIIVISTELMÄ Riku Poutanen: Digitaalisen mainonnan tehon analyysi käyttäen Markovin ketjua Diplomityö Tampereen yliopisto Tuotantotalous Maaliskuu 2020 Digitaalisen mainonnan tehon analysointi mittaaminen ja analysointi on kaukana yksinkertaisesta tehtävästä koska digitaalinen markkinointi tehdään usein samanaikaisesti monessa kanavassa ja kaikki nämä kanavat vaikuttavat toisiinsa. Analyysin tulokset vaihtelevat merkittävästi käytetystä attribuutiomalllista riippuen. Atributtioanalyysiä tarvitaan, jotta yritys osaa tehdä parempia päätöksiä siitä mihin kanavaan markkinointibudjettia kannattaa allokoida. Tämän diplomityön tavoitteena on löytää nykyistä vallalla olevaa atribuutiomallia (viimeiseen kosketukseen perustuva malli) parempi tapa allokoida budjettia eri markkinointikanaville. Diplomityössä käytetty attribuutiomalli on otettu käyttöön yrityksessä tukemaan markkinointikanavien välistä budjettien allokointia ja markkinoinnin analysointia. Työn tekeminen alkoi kirjallisuuskatsauksella digitaaliseen markkinointiin, mittaamistapoihin ja yleisimpiin atribuutiomalleihin. Työhön valikoitui atribuutiomalliksi korkeamman kertaluvun Markovin ketju, jolla on saatu aikaisemmin hyviä tuloksia saman tyyppisissä analyyseissä ja koska se oli sovitettavissa työssä mukana olleen yrityksen keräämään verkkosivujen käyttäjätietoihin. Näytedata sisälsi 582 111 käyttäjäpolkua, jotka oli kerätty 7 kuukauden aikana. Analyysi tehtiin käyttäen R ohjelmointikieltä ja ChannelAttribution vapaan lähdekoodin kirjastoa, joka sisältää työkalut korkeamman kertaluvun Markovin ketjun sovittamiseen näytedataan ja tulosten luotettavuuden analysointiin. Tulosten luotettavuutta ja mallin ennustuskykyä analysoitiin käyttämällä ROC - käyrää. Työn tulokset osoittavat, että Markovin malli antaa luotettavampia tuloksia markkinointibudjetin allokointiin kuin viimeiseen kosketukseen perustuva atribuutiomalli. Työn tavoitteet saavutettiin kokonaisuudessaan ja tämä työ tarjoaa yrityksen digitaalisesta markkinoinnista vastaaville henkilöille hyvän työkalun digitaalisen markkinoinnin tehon analysointiin ja markkinointibudjetin jakamiseen eri kanavien välillä. Lisätutkimusta vaaditaan kuitenkin, jotta mallin ennustuskykyä voidaan parantaa ja jotta ymmärrys budjetin uudelleenallokoinnin vaikutuksia voidaan ymmärtää paremmin. Avainsanat: Digitaalinen markkinointi, attribuutiomalli, Markovin ketju Tämän julkaisun alkuperäisyys on tarkastettu Turnitin OriginalityCheck –ohjelmalla. iii PREFACE I would like to thank everyone that pushed and motivated me during the thesis writing process. At first the journey seemed too long to even start with, but in the end the writing process was considerable reasonable. Special thanks for Tuuli for making sure I started the process and stuck with it even though the thesis wasn’t my highest priority and the writing was usually done on Sundays after a long week of work. I would also like to thank everyone at Fiksu Ruoka Oy so far for the amazing growth story that we have managed to build and making it possible for me to have a such an interest- ing problem to write a thesis on. Data-driven decision making is one of the most core values for the Fiksu Ruoka Oy team and this thesis is just one piece to the puzzle of building a highly optimized business that decreases food waste in the world and has a positive impact to the world we live in. Thank you also for my thesis instructor Tommi Mahlamäki for giving me comments throughout the whole writing process, understanding my time schedule challenges and of course for promoting marketing as a field of study in our university. Lastly, I would like to thank Indecs and its members for the challenges the board year offered me and all the amazing memories during my studies. Tampere, 21.3.2020 Riku Poutanen iv CONTENTS 1. INTRODUCTION .................................................................................................. 1 1.1 Research scope .......................................................................................... 2 1.2 Structure of the thesis ................................................................................. 2 2. ONLINE ADVERTISEMENT AND ATTRIBUTION MODELING ............................. 4 2.1 Digital advertisement tracking ..................................................................... 8 2.2 Attribution modeling in digital advertisement ............................................... 9 2.2.1 Rule-based attribution ................................................................. 11 2.2.2 Data-based attribution ................................................................. 14 2.3 Markov’s chains in attribution modeling .................................................... 17 3. DATA COLLECTION AND ANALYSIS METHODS ............................................. 21 3.1 Data description ........................................................................................ 21 3.2 Data processing and algorithms ............................................................... 23 4. RESULTS ........................................................................................................... 28 4.1 Transition probabilities .............................................................................. 34 4.2 Removal effects ........................................................................................ 35 4.3 Prediction accuracy and model reliability .................................................. 35 5. DISCUSSION...................................................................................................... 39 5.1 The value of marketing channels according to the Markov’s attribution model ................................................................................................................ 39 5.2 Comparing results of Markov’s attribution model to the last-click model ... 40 5.3 Recommendations of budget reallocation ................................................. 42 5.4 Roadmap for utilizing the attribution model in the case company .............. 43 5.5 Limitations of the study ............................................................................. 44 5.6 Topics for future research ......................................................................... 45 6. CONCLUSION .................................................................................................... 48 REFERENCES ........................................................................................................... 50 v LIST OF SYMBOLS AND ABBREVIATIONS Attribution model The principle of assigning credit to advertisement channels AUC Area Under the Curve FPR False Positive Rate Classifier Algorithm that classifies samples to two or more classes CPC Cost per click CPI Cost per impression CPM Cost per thousand impressions ROC Receiver Operating Characteristics TPR True Positive Rate 1 1. INTRODUCTION In the era of online advertisement,