Automatic Detection of Commercial Blocks in Broadcast TV Content Alexandre Ferreira Gomes Thesis to obtain the Master of Science Degree in Electrical and Computer Engineering Supervisors Prof. Maria Paula dos Santos Queluz Rodrigues Prof. Fernando Manuel Bernardo Pereira Examination Committee Chairperson: Prof. José Eduardo Charters Ribeiro da Cunha Sanguino Supervisor: Prof. Maria Paula dos Santos Queluz Rodrigues Members of the Committee: Prof. João Magalhães November 2016 Acknowledgements In first place, I would like to thank to my father Mário, my mother Carmen and my sisters Filipa and Inês for supporting me in every moments of this journey and for always do everything to help me. Anything I say is not enough to express my sense of debt to you. At the same level, a special word to Sara Mendes, whose grace and love made everything easier and makes me to improve every single day. A special thanks to professors Paula Queluz and Fernando Pereira, for all the availability, guidance and for helping me to better understand the importance of having a critical view about every situation – valuable lessons that will be useful in all my life; and to André Alexandre and Luis Nunes for the company and for sharing some tears with me! I would also thank to my uncle Rodrigo and my grandmother Isabel for the precious late meals and all the breakfasts; my grandparents Silvino and Deolinda for helping me to grow up as a better person; my uncles Pedro and Tânia and my beautiful cousins Afonso and Xavier for the amazing and relaxing Saturday afternoons in their home; to my cousin Ricardo for helping me out in a very sensitive moment; to Lurdes and her good mood. Finally, but not least at all, a heartfelt thanks to all my good friends that have been with me in past few years and will for sure remain in the next few decades: Alexandre Gabriel, Ricardo Sousa, Tiago Sebastião, Miguel Ramos, Pedro Gama, Guilherme Gil, João Melo, João Silva, David Oliveira, Ricardo Joaquinito and Carlos Silva. Also, a special word to João Brogueira. To my favourite Civil Engineering guys: Beatriz Loura, Filipe Vale, Mariana Antunes, João Rafael and also Ana Santos for her importance in some crucial moments. Finally, a warm hug to André Antunes, Gonçalo Vieira, Joana Freitas and Bárbara Santos. i Abstract As the global economy evolves, companies need to improve their marketing solutions in order to get some advantage over competitors; TV advertising commercials have emerged as a major tool for achieving this goal. From the video content point of view, TV commercials have some specific characteristics as they all target to capture the viewers´ attention. Naturally, it is also these characteristics that make it possible to automatically detect advertising content and eventually skip it. Commercials are always packed and broadcasted together in the so-called commercial blocks, containing a given amount of individual commercials. Moreover, their structure depend not only on the country and its relevant legislation, but also on the specific broadcaster, according to their advertising strategy and style. Motivated by the solutions proposed along the last few years for TV commercials detection, this Thesis presents an overview of the available state-of-the-art - notably to understand the current weaknesses - and proposes a new and effective solution. The proposed method for TV commercials detection is based on the presence or absence, in the screen, of a TV channel logo, which is a specific type of Digital on-Screen Graphic (DoG), as this logo is never present in commercial blocks. After segmenting the video, using a shot change detector, the resulting video shots are analyzed in terms of color and shape, to conclude on the existence or not of DoGs on the video content. A DoGs Database system containing the DoGs acquired over time is built and continuously updated. A systematic control of the DoGs Database is performed to conclude about the nature of each DoG and to classify each video segment as Regular Program or Commercial Block. For the used video dataset, that resulted from recordings of three different Portuguese TV channels, a minimum accuracy of 93,9% on commercials detection was achieved; furthermore, the measured and reported processing time suggests that the proposed solution could enable real time (i.e., while recording) detection of commercial blocks. Keywords: TV advertising; commercial blocks; shot detection; Digital on-Screen Graphics; logos detection; video processing. ii Resumo À medida que a economia global se desenvolve, as empresas têm a necessidade de melhorar as suas soluções de marketing de modo a obter alguma vantagem sobre a concorrência; neste âmbito, os anúncios televisivos têm emergido como uma ferramenta essencial para atingir este objetivo. Do ponto de vista do conteúdo, os anúncios publicitários têm algumas características específicas para que possam captar a atenção dos telespectadores. Naturalmente, são também essas características que permitem detetar automaticamente o conteúdo comercial. Os anúncios publicitários são habitualmente combinados e transmitidos pelos operadores televisivos em blocos comerciais que contêm um conjunto de anúncios sucessivos a diferentes marcas e entidades. A estrutura e o modo como a publicidade é transmitida em televisão dependem não apenas do país e da legislação em vigor, mas também do operador específico e da sua estratégia e abordagem à questão da publicidade. Motivado pelas soluções propostas ao longo dos anos, nesta Tese apresenta-se o estado- da-arte na área da deteção de blocos publicitários, analisando-se as debilidades dos métodos existentes, e propõe-se uma solução nova e eficaz. A solução proposta é baseada na presença (ou ausência), no ecrã, do logo de um canal televisivo, já que este nunca está presente em blocos publicitários; este logo é um caso particular de DoG – Digital on-Screen Graphic. Após segmentar o vídeo a analisar, utilizando um detetor de mudança de shots, os segmentos vídeo resultantes são analisados em termos de forma e cor, de modo a concluir-se sobre a existência, ou não, de DoGs no conteúdo vídeo. Neste contexto, é construída uma base de dados de DoGs cujo objetivo é armazenar os DoGs adquiridos ao longo do tempo e que é continuamente atualizada à medida que a análise do vídeo avança. É também realizado um controlo sistemático da informação que está na base de dados de DoGs de modo a que se conclua sobre a natureza de cada DoG. Finalmente, classifica-se cada segmento de vídeo previamente fragmentado como Programa ou Bloco Comercial, tendo em conta a classificação atribuída aos DoGs. Para o conjunto vídeos de teste utilizado, e que resultou de gravações de três canais de televisão portugueses, obteve-se uma exatidão mínima de 93,9% na deteção de tramas pertencentes a blocos comerciais; adicionalmente, o tempo de processamento medido sugere que a solução proposta permitirá a deteção de segmentos comerciais em tempo real (isto é, durante a gravação). Palavras-chave: Publicidade em TV; blocos comerciais; deteção de shots; Digital on-Screen Graphics; deteção de logos; processamento de vídeo. iii Table of Contents Acknowledgements .................................................................................................................. i Abstract .................................................................................................................................... ii Resumo ................................................................................................................................... iii Table of Contents .................................................................................................................... iv Index of Figures ..................................................................................................................... vii Index of Tables ....................................................................................................................... ix List of Acronyms ..................................................................................................................... x Chapter 1 - Context and Objectives ........................................................................................ 1 1.1 Motivation .................................................................................................................. 1 1.2 Objectives .................................................................................................................. 2 1.3 Main Contributions ..................................................................................................... 3 1.4 Thesis Outline ............................................................................................................ 3 Chapter 2 - TV Commercials: Legal Framework and Characterization .................................. 4 2.1 Legal Framework ....................................................................................................... 4 2.1.1 Advertising Legal Framework in the European Union ....................................... 4 2.1.2 Legal Framework for Advertising in Portugal .................................................... 4 2.2 Typical Structure of a Commercial Block .................................................................. 5 2.3 Intrinsic Characteristics ............................................................................................. 6 2.3.1 High Scene Cut Rates ......................................................................................