Eingereicht von Bruce Ferwerda Angefertigt am Department of Compu- tational Perception Improving the User Erstbeurteiler Markus Schedl Experience of Music Zweitbeurteiler Marco de Gemmis Mitbetreuung Recommender Systems Marko Tkalcic Through Personality and Cultural Information Dissertation zur Erlangung des akademischen Grades Doktor der Technischen Wissenschaften im Doktoratsstudium der Technischen Wissenschaften JOHANNES KEPLER UNIVERSITAT¨ LINZ Altenbergerstraße 69 4040 Linz, Osterreich¨ www.jku.at DVR 0093696 “To dare is to do ... to fear is to fail.” — John Goddard Sworn Declaration I hereby declare under oath that the submitted Doctoral Dissertation has been written solely by me without any third-party assistance, information other than provided sources or aids have not been used and those used have been fully documented. Sources for literal, paraphrased and cited quotes have been accurately credited. The submitted document here present is identical to the electronically sub- mitted text document. Linz, August 1, 2016 Bruce Ferwerda Abstract (GER) Personalisierung ist der nachste¨ Schritt zur Verbesserung der User Expe- rience von Empfehlungssystemen. Mit Hilfe von Personalisierung konnen¨ sich Systeme auf das Verhalten, die Vorlieben und Bedurfnisse¨ der Be- nutzer anpassen. Um dies zu erreichen, erstellen Systeme Benutzer- modelle auf Basis der von ihnen generierten Daten, um sodann Adap- tierungen vornehmen zu konnen.¨ Hierbei stellt sich die Frage, woher genug hochqualitative Daten uber¨ einen (neuen) Benutzer gesammelt wer- den konnen,¨ um akkurate Modelle zu erstellen. Eine Moglichkeit¨ bieten Fragebogen,¨ sie sind jedoch aufdringlich und verlangen vom Benutzer Zeit und Aufwand, was deren Interaktion mit dem System beeintrachtigt.¨ Eine mogliche¨ Antwort auf den Mangel an Daten bietet der Trend, Systeme mit sozialen Netzwerken uber¨ sogenannte “single sign-on” Schalter fur¨ Lo- gin und Registrierung zu verbinden. Die Verbindung mit sozialen Netzw- erken ist nicht nur praktisch fur¨ Benutzer (z.B. durch Zeitersparnis beim Registrierungsprozess), sondern erlaubt auch dem System, weitere Infor- mationen uber¨ den Benutzer zu erhalten. Diese sind jedoch nicht immer di- rekt nutzlich¨ fur¨ das System. Um sie bestmoglich¨ zu verwerten, werden all- gemeine Benutzermodelle benotigt,¨ zu denen das Verhalten, die Vorlieben und Bedrfnisse der Nutzer in Relation gebracht werden konnen.¨ In dieser Dissertation werden Personlichkeit¨ und kultureller Hintergrund von Benutzern zur Benutzermodellierung betrachtet. Diese zwei Konzepte sind dauerhaft und bestandig,¨ und beeinflussen das Verhalten, die Vorlieben und die Bedrfnisse in realen Situationen. Der Einfluss dieser Konzepte im technologischen Kontext ist jedoch noch relativ unerforscht. Um diesen Mangel zu beseitigen und Benutzermodelle auf Basis ebendieser Konzepte zu erstellen, beinhaltet diese Dissertation die folgenden wissenschaftlichen Beitrge: 1. Sie untersucht, ob und wie Personlichkeit¨ und Kultur im Verhaltnis¨ zu Verhalten, Vorlieben und Bedurfnissen¨ stehen. 2. Sie beschreibt eine implizite Art personlichkeits-¨ und kulturrelevante Daten aus sozialen Netzwerken zu erlangen. Obwohl allgemeine Benutzermodelle in verschiedenen Kontexten ver- wendbar sind, beschaftigt¨ sich diese Dissertation spezifisch mit Empfehlungssystemen fur¨ Musik. Zu diesem Zweck, und Bezug nehmend auf das erste Ziel, wurden mehrere Studien uber¨ verschiedene Aspekte des gesamten Musikerlebnisses durchgefuhrt.¨ Ihre Ergebnisse zeigen, dass Personlichkeit¨ und kulturelle Aspekte Musikkonsumsverhalten, -vorlieben und -bedurfnisse¨ beeinflussen. Zusatzlich¨ zur Erforschung dieses Zusam- i menhangs wurde eine benutzerzentrierte Evaluierung von echten person- alisierten Musikempfehlungen durchgefuhrt.¨ Das zweite Ziel ermoglicht¨ das automatisierte Erstellen von personlichkeits-¨ und kulturbasierten Benutzermodellen mit Hilfe von sozialen Netzwerken wie Facebook, Twitter, und Instagram: 1) Forderung¨ von “Sharing”- und “Posting”-Verhalten auf Facebook, sodass mehr Informationen zur Benutzermodellierung zur Verfugung¨ stehen, 2) Be- nutzermodellierung auf Basis von limitierten Informationen aus dem Benutzerprofil auf Facebook, 3) das Ausnutzen von Bildeigenschaften von Instagram-Fotos um Personlichkeitsmerkmale¨ aufgrund der angewandten Fotomanipulationen zu lernen und 4) das Zusammenfuhren¨ von Informa- tionen aus verschiedenen sozialen Netzwerken, Twitter und Instagram, um Benutzermodelle zu verbessern. Die Ergebnisse dieser Dissertation beinhalten neue Erkenntnisse daruber,¨ wie die Personlichkeit¨ und der kulturelle Hintergrund von Benutzern ihr Ver- halten, ihre Vorlieben und ihre Bedurfnisse¨ in einem musikalischen Kon- text beeinflussen. Die Arbeit zeigt auch, wie Personlichkeits-¨ und kul- turelle Dimensionen aus sozialen Netzwerken gewonnen werden konnen.¨ Die durchgefuhrte¨ Forschung zeigt eine neue umfassende Art personal- isierte Musikempfehlungssysteme zu erstellen, insbesondere mit begren- zten Daten uber¨ das Benutzerverhalten. Verschiedene Aspekte zur Verbesserung der User Experience wurden berucksichtigt.¨ Sie lassen sich in drei allgemeine Kategorien un- terteilen: Verstehen der Benutzer und ihres Musikkonsumverhaltens, ihrer - • vorlieben und -bedurfnisse.¨ Impliziter Erwerb von Personlichkeitsmerkmalen¨ der Benutzer aus • sozialen Netzwerken. Benutzerzentrierte Evaluierung von Musikempfehlungssystemen. • Eine allgemeine Beschreibung des vorgestellten personalisierten Musiksystems findet sich in: Ferwerda, B., & Schedl, M. (2016) Personality-Based User Model- • ing for Music Recommender Systems. In Proceedings of the Euro- pean Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (Riva del Garda, IT). Ferwerda, B. (2015) The Soundtrack of My Life: Adjusting the Emo- • tion of Music. In the 1st Workshop on Collaborating with Intelligent Machines held in conjunction with the 33rd Annual ACM Conference on Human Factors in Computing Systems (Seoul, KR). ii Ferwerda, B., & Schedl, M. (2014) Enhancing Music Recommender • Systems with Personality Information and Emotional States: A Pro- posal. In Proceedings of the 2nd Workshop on Emotions and Per- sonality in Personalized Services held in conjunction with the 22nd Conference on User Modeling, Adaptation and Personalization (Aal- borg, DK). Artikel, die den oben vorgestellen Kategorien zugeordnet sind, sind im Fol- genden aufgefuhrt.¨ Verstehen der Benutzer und ihres Musikkonsumverhaltens, ihrer - vorlieben und -bed ¨urfnisse. Ferwerda, B., Tkalcic, M., & Schedl, M. (2016). Exploring Music • Diversity Needs Across Countries. In Proceedings of the 24th Con- ference on User Modeling, Adaptation and Personalization (Halifax, NS, CA). Ferwerda, B., & Schedl, M. (2016) Investigating the Relationship Be- • tween Diversity in Music Consumption Behavior and Cultural Dimen- sions: A Cross-country Analysis. In Extended Proceedings of the 24th Conference on User Modeling, Adaptation and Personalization: 1st Workshop on Surprise, Opposition, and Obstruction in Adaptive and Personalized Systems (Halifax, NS, CA). Ferwerda, B., Yang, E., Schedl, M., & Tkalcic, M. (2016) Personal- • ity and Taxonomy Preferences, and the Influence of Category Choice Set Size on the User Experience for Music Streaming Services. Un- der Review. Ferwerda, B., Yang, E., Schedl, M., & Tkalcic, M. (2015) Personality • Traits Predict Music Taxonomy Preferences. In Extended Abstracts Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems (Seoul, KR). Ferwerda, B., Schedl, M., & Tkalcic, M. (2015). Personality & Emo- • tional States: Understanding Users’ Music Listening Needs. In Pro- ceedings of the 23rd Conference on User Modeling, Adaptation and Personalization (Dublin, IR). Tkalcic, M., Ferwerda, B., Hauger, D., & Schedl, M. (2015) Person- • ality Correlates for Digital Concert Program Notes. In Proceedings of the 23rd Conference on User Modeling, Adaptation and Personaliza- tion (Dublin, IR). iii Impliziter Erwerb von Personlichkeitsmerkmalen¨ der Benutzer aus sozialen Netzwerken. Ferwerda, B., Schedl, M., & Tkalcic, M. (2016) Personality Traits • and the Relationship with (Non-)Disclosure Behavior on Facebook. In Companion Proceedings of the 25th International Conference on World Wide Web: 7th International Workshop on Modeling Social Me- dia (Montreal, QB, CA). Skowron, M., Ferwerda, B., Tkalcic, M., & Schedl, M. (2016) Fus- • ing Social Media Cues: Personality Prediction from Twitter and Insta- gram. In Companion Proceedings of the 25th International Confer- ence on World Wide Web (Montreal, QB, CA). Ferwerda, B., Schedl, M., & Tkalcic, M. (2016) Using Instagram Pic- • ture Features to Predict Users’ Personality. In Proceedings of the 22nd International Conference on MultiMedia Modeling (Miami, FL, US). Ferwerda, B., Schedl, M., & Tkalcic, M. (2015) Predicting Person- • ality Traits with Instagram Pictures. In Extended Proceedings of the 9th ACM Conference on Recommender Systems: 3rd Workshop on Emotions and Personality in Personalized Services (Vienna, AT). Ferwerda, B., Schedl, M., & Tkalcic, M. (2014) To Post or Not to Post: • The Effects of Persuasive Cues and Group Targeting Mechanisms on Posting Behavior. In Proceedings of the 6th International Conference on Social Computing (Stanford, CA, US). Benutzerzentrierte Evaluierung von Musikempfehlungssyste- men. Ferwerda, B., Graus, M., Vall, A., Tkalcic, M., & Schedl, M. (2017) • How Item Discovery Enabled by Diversity Leads to Increased Rec- ommendation