University of Passau Department of Informatics and Mathematics Chair of Distributed Information Systems Prof. Dr. Harald Kosch Dissertation Personalized Means of Interacting with Multimedia Content Günther Hölbling June the 06th, 2011 1st referee: Prof. Dr. Harald Kosch, University of Passau 2nd referee: Prof. Dr. Maximilian Eibl, Chemnitz University of Technology Acknowledgments First of all, I would like to thank my supervisor, Prof. Dr. Harald Kosch, for his extensive and kind supervision, and for the opportunity to take part in his research group. He supported me through all of the highs and lows of writing this work and always found the right words to encourage me to finish this thesis. I am also grateful to Prof. Dr. Maximilian Eibl, who gave me the opportunity to discuss and present my work with him and several members of his research group in an extensive manner. Their many suggestions and pieces of advice have helped me in many ways to complete this work. This work was further made possible by the support of several people who helped in different phases of its creation. Thanks go out to all colleagues of the Chair of Distributed Information Systems, and especially to Tilmann Rabl, David Coquil, Stella Stars, Mario Döller and Florian Stegmaier for many helpful hints, interesting discussions and valuable proofreading. Thanks also go out to my students Wolfgang Pfnür, Raphael Pigulla, Michael Pleschgatternig and Georg Stattenberger for all their work, and most notably to Andreas Thalhammer for the comprehensive discussions and his support of this work. I also acknowledge the kind help of many supporters who made the creation of our evaluation dataset possible, and Lauren Shaw for many hours of proofreading. Last but not least, I owe a debt of gratitude to my wife Ines and my two beautiful little children Simon and Sophie. Without their love, support and appreciation it would not have been possible for me to write this thesis. Abstract Today the world of multimedia is almost completely device- and content-centered. It focuses it’s energy nearly exclusively on technical issues such as computing power, network specifics or content and device characteristics and capabilities. In most multimedia systems, the presentation of multimedia content and the basic controls for playback are main issues. Because of this, a very passive user experience, comparable to that of traditional TV, is most often provided. In the face of recent developments and changes in the realm of multimedia and mass media, this ”traditional” focus seems outdated. The increasing use of multimedia content on mobile devices, along with the continuous growth in the amount and variety of content available, make necessary an urgent re-orientation of this domain. In order to highlight the depth of the increasingly difficult situation faced by users of such systems, it is only logical that these individuals be brought to the center of attention. In this thesis we consider these trends and developments by applying concepts and mechanisms to multimedia systems that were first introduced in the domain of user- centrism. Central to the concept of user-centrism is that devices should provide users with an easy way to access services and applications. Thus, the current challenge is to combine mobility, additional services and easy access in a single and user-centric approach. This thesis presents a framework for introducing and supporting several of the key concepts of user-centrism in multimedia systems. Additionally, a new definition of a user-centric multimedia framework has been developed and implemented. To satisfy the user’s need for mobility and flexibility, our framework makes possible seamless media and service consumption. The main aim of session mobility is to help people cope with the increasing number of different devices in use. Using a mobile agent system, multimedia sessions can be transfered between different devices in a context-sensitive way. The use of the international standard MPEG-21 guarantees extensibility and the integration of content adaptation mechanisms. Furthermore, a concept is presented that will allow for individualized and personalized selection and face the need for finding appropriate content. All of which can be done, using this approach, in an easy and intuitive way. Especially in the realm of television, the demand that such systems cater to the need of the audience is constantly growing. Our approach combines content-filtering methods, state-of-the-art classification techniques and mechanisms well known from the area of information retrieval and text mining. These are all utilized for the generation of recommendations in a promising new way. Additionally, concepts from the area of collaborative tagging systems are also used. An extensive experimental evaluation resulted in several interesting findings and proves the applicability of our approach. In contrast to the ”lean-back” experience of traditional media consumption, interactive media services offer a solution to make possible the active participation of the audience. Thus, we present a concept which enables the use of interactive media services on mobile devices in a personalized way. Finally, a use case for enriching TV with additional content and services demonstrates the feasibility of this concept. Zusammenfassung Die heutige Welt der Medien und der multimedialen Inhalte ist nahezu ausschließlich inhalts- und geräteorientiert. Im Fokus verschiedener Systeme und Entwicklungen stehen oft primär die Art und Weise der Inhaltspräsentation und technische Spezifika, die meist geräteabhängig sind. Die zunehmende Menge und Vielfalt an multimedialen Inhalten und der verstärkte Einsatz von mobilen Geräten machen ein Umdenken bei der Konzeption von Multimedia Systemen und Frameworks dringend notwendig. Statt an eher starren und passiven Konzepten, wie sie aus dem TV Umfeld bekannt sind, festzuhalten, sollte der Nutzer in den Fokus der multimedialen Konzepte rücken. Um dem Nutzer im Umgang mit dieser immer komplexeren und schwierigen Situation zu helfen, ist ein Umdenken im grundlegenden Paradigma des Medienkonsums notwendig. Durch eine Fokussierung auf den Nutzer kann der beschriebenen Situation entgegengewirkt werden. In der folgenden Arbeit wird auf Konzepte aus dem Bereich Nutzerzentrierung zurück- gegriffen, um diese auf den Medienbereich zu übertragen und sie im Sinne einer stärker nutzerspezifischen und nutzerorientierten Ausrichtung einzusetzen. Im Fokus steht hierbei der TV-Bereich, wobei die meisten Konzepte auch auf die allgemeine Mediennutzung übertragbar sind. Im Folgenden wird ein Framework für die Unterstützung der wichtigsten Konzepte der Nutzerzentrierung im Multimedia Bereich vorgestellt. Um dem Trend zur mobilen Mediennutzung Sorge zu tragen, ermöglicht das vorgestellte Framework die Nutzung von multimedialen Diensten und Inhalten auf und über die Grenzen verschiedener Geräte und Netzwerke hinweg (Session mobility). Durch die Nutzung einer mobilen Agentenplattform in Kombination mit dem MPEG-21 Standard konnte ein neuer und flexibel erweiterbarer Ansatz zur Mobilität von Benutzungssitzungen realisiert werden. Im Zusammenhang mit der stetig wachsenden Menge an Inhalten und Diensten stellt diese Arbeit ein Konzept zur einfachen und individualisierten Selektion und dem Auffinden von interessanten Inhalten und Diensten in einer kontextspezifischen Weise vor. Hierbei werden Konzepte und Methoden des inhaltsbasierten Filterns, aktuelle Klassifikationsmechanismen und Methoden aus dem Bereich des ”Textminings” in neuer Art und Weise in einem Multimedia Empfehlungssystem eingesetzt. Zusätzlich sind Methoden des Web 2.0 in eine als Tag-basierte kollaborative Komponente integriert. In einer umfassenden Evaluation wurde sowohl die Umsetzbarkeit als auch der Mehrwert dieser Komponente demonstriert. Eine aktivere Beteiligung im Medienkonsum ermöglicht unsere iTV Komponente. Sie unterstützt das Anbieten und die Nutzung von interaktiven Diensten, begleitend zum Medienkonsum, auf mobilen Geräten. Basierend auf einem Szenario zur Anreicherung von TV Sendungen um interaktive Dienste konnte die Umsetzbarkeit dieses Konzepts demonstriert werden. Contents List of Figuresv List of Tables ix 1 Introduction1 1.1 User-Centric Multimedia . .2 1.2 Framework Overview . .3 1.3 Structure of this Work . .5 2 Interactivity in TV and TV Metadata7 2.1 TV Interactivity . .7 2.1.1 Levels of Interactivity . .8 2.1.2 Basic Technologies for iTV . .9 2.1.3 Middleware Platforms . 12 2.1.4 The History and Future of iTV Standards . 28 2.2 TV Metadata and Standards . 30 2.2.1 DVB-SI . 32 2.2.2 MPEG-7 . 33 2.2.3 TV-Anytime . 37 2.2.4 XMLTV . 40 2.2.5 BBC Programmes Ontology . 41 2.2.6 Proprietary EPGs . 42 2.2.7 Metadata Sources . 43 2.2.8 Metadata Standard Selection . 44 3 Natural Language Processing 47 3.1 Principal Elements of Natural Text and Tokenization . 48 3.2 Morphology . 50 3.2.1 Stemming . 50 3.2.2 Lemmatizer . 52 3.2.3 Stop Words . 52 3.2.4 Compound Splitter . 52 3.3 Syntax . 54 3.3.1 PoS-Tagging . 54 3.4 Semantics . 56 i Contents 3.4.1 Word Sense Disambiguation . 56 3.4.2 Lexical and Semantic Network for Languages . 58 3.4.3 Named Entity Recognition . 62 3.4.4 Coreference Resolution . 63 4 Recommendation Systems 65 4.1 Categorization . 66 4.2 Content-Based Approaches . 68 4.3 Collaborative Approaches . 70 4.3.1 Similarity Measures . 73 4.3.2 Aggregation Functions . 75 4.4 Hybrid Approaches . 76 5 Session Mobility and TV Add-On Services 79 5.1 Agent based Session Mobility (AbSM) . 80 5.1.1 MPEG-21 . 81 5.1.2 Agent Systems . 83 5.1.3 Description of the System . 87 5.1.4 Session Migration . 91 5.1.5 Evaluation - Video Session Scenario . 93 5.1.6 Related Work . 94 5.1.7 Conclusion . 96 5.2 TV Add-On Services (Intertainment) . 96 5.2.1 UPnP . 97 5.2.2 Description of the System . 100 5.2.3 Use Cases . 103 5.2.4 Related Work . 104 5.2.5 Conclusion . 106 6 Personalization of Multimedia Consumption 107 6.1 Fundamental Concepts and Methods . 108 6.1.1 Enhanced Tokenization . 109 6.1.2 Spam Classifier .