Universidad Politécnica De Valencia
Total Page：16
File Type：pdf, Size：1020Kb
Universidad Polit´ecnica de Valencia Departamento de Comunicaciones Tesis Doctoral T´ecnicasdean´alisis de secuencias de v´ıdeo. Aplicaci´on a la restauraci´on de pel´ıculas antiguas Presentada por: Valery Naranjo Ornedo Dirigida por: Dr. Antonio Albiol Colomer Valencia, 2002. ALuisyaFran “La mera formulaci´on de un problema suele ser m´as esencial que su soluci´on, la cual puede ser una simple cuesti´on de habilidad matem´atica o experimental. Plantear nuevas preguntas, nuevas posibilidades, contemplar viejos problemas des- de un nuevoangulo, ´ exige imaginaci´on creativa y marca adelantos reales en la ciencia.” Albert Einstein Agradecimientos Es muy dif´ıcil mostrar mi agradecimiento, con unas simples palabras, a todas aquellas personas que han hecho que haya llegado hasta aqu´ı, a´un as´ı, no quer´ıa dejar pasar la opor- tunidad de intentarlo. En primer lugar quiero mostrar mi agradecimiento a Antonio Albiol, que ha sido no s´olo mi director de tesis, sino tambi´en mi amigo, y mi maestro en todo lo que s´e de procesado de se˜nal. A mi familia y amigos por estar ah´ı siempre que los necesito, sin esperar nada a cambio, y sobre todo, por tener fe en m´ı. A Luis, mi marido, que siempre me apoya y me ayuda en todo, y hace que todos los esfuerzos tengan sentido. Amiscompa˜neros del Departamento de Comunicaciones que me han echado una mano en esta empresa: a Jos´e Manuel, por su paciencia, sus consejos y su ayuda desinteresada e inestimable; a Luis Vergara por tantas dudas de tratamiento de se˜nal resueltas, a Mar´ıa y Angel´ por sus observaciones y revisiones, a Paco y Pablo por sus consejos ling¨u´ısticos, y a Juan Carlos por sus consejos burocr´aticos. Adem´as, no puedo olvidar a todas la personas que han trabajado en el Grupo de Tratamiento de Imagen, aportando su trabajo, directa o indirectamente, al resultado final de esta tesis: Alberto Albiol, Josep, David, Esther, Inma, Pepa, Alvaro,´ To˜ni, Manolo, Rafa, Guillermo, Jes´us Molina y especialmente Jes´us Angulo. A todos ellos, tambi´en gracias por el apoyo y el cari˜no que siempre me han demostrado. Finalmente, gracias a Canal 9 Televisi´on Valenciana, a Domingo Santander y a Daniel Boluda por el material audio-visual cedido, que ha sido de gran utilidad en el desarrollo de este trabajo. Resumen La presente tesis propone una serie de t´ecnicas de an´alisis de secuencias de v´ıdeo con el fin de aplicarlas a la restauraci´on de pel´ıculas antiguas. Dicha restauraci´on consiste en eliminar, manteniendo la m´axima cantidad posible de informaci´on original en buen estado, todos aquellos defectos que, debidos al paso del tiempo, la mala conservaci´on de las pel´ıculas, y los errores mec´anicos, hacen que la calidad de la proyecci´on quede degradada notablemente. De todos los defectos presentes en una pel´ıcula antigua, en esta tesis nos hemos centrado en el tratamiento de algunos de ellos, aportando soluciones novedosas a los problemas que nos han surgido. Los aspectos tratados han sido: Segmentaci´on de las secuencias degradadas en planos, como paso previo a la restau- raci´on. Se han presentado una serie de m´etodos, basados en diferencias de luminosidad entre im´agenes de la secuencia comprimida, que consiguen detectar las transiciones abruptas o cortes con una elevada probabilidad de detecci´on y baja probabilidad de falsa alarma, incluso en el caso de im´agenes de baja calidad, que es el que nos ocu- pa. Tambi´en se presentan m´etodos para la detecci´on de transiciones graduales, como fundidos y cortinillas. Correcci´on de las variaciones de intensidad entre fotogramas del mismo plano. Para resolver este defecto, t´ıpico de las pel´ıculas en blanco y negro, se proponen dos m´etodos: uno basado en la estimaci´on de par´ametros para modelar la media y la varianza del plano, y otro basado en la ecualizaci´on de histograma de las diferentes im´agenes, para conseguir que dicho histograma no var´ıe r´apidamente a lo largo del plano. Reducci´on del ruido de grano dentro de cada plano. Se propone un filtrado FIR muy eficiente computacionalmente que reduce notablemente el ruido estacionario, bas´andose en la respuesta espacio-temporal del sistema visual humano, y consigui´endose un buen factor de reducci´on, sin introducir una degradaci´on visible. Detecci´on e interpolaci´on de defectos incorrelados en el tiempo (manchas). Se presen- tan tres m´etodos que se basan en operadores morfol´ogicos y no realizan estimaci´on de movimiento. Los m´etodos propuestos se utilizan tanto en la fase de detecci´on como en la de interpolaci´on. Para restaurar este tipo de defectos se han explotado las caracter´ısti- cas que presentan los mismos: alta variaci´on temporal, alto contraste y baja varianza espacial. Abstract In this PhD thesis, different methods to analyse video sequences are proposed, with the aim of applying them to the restoration of old movies. This restoration consists of removing those artifacts that, due to the material degradation along time, the bad conservation of the movies, and mechanical errors, lead to an important degradation of film quality. The restoration process must protect the correct original information as much as possible. We have focused in the treatment of some of these artifacts, contributing with novel solutions to the problems that have arisen us. The studied subjects have been: Segmentation in shots of degraded sequences has been taken as a starting point of the restoration process. We have presented several methods, based on brightness differences between images that belong to the compressed sequence. These methods are able to detect the abrupt transitions or cuts with a high detection probability and a low false alarm probability, even in the case of low quality images. We also present some methods for detecting gradual transitions, like dissolves and wipes. Flicker correction. In order to solve this artifact, very common in black and white movies, two methods are proposed: the first one based on an affine intensity transfor- mation which reduce the random and periodic variations of mean and variance, calcu- lating the transformation parameters with a temporal variation model of both statistics. The second method tries to improve the visual results using a nonlinear transformation based on an histogram matching. The purpose is to change each image histogram into a target histogram calculated as average of the image histogram and its neighbours. Noise reduction inside each shot. We present a FIR filter, with a high computational efficiency, that reduces significantly the stationary noise. This filter is based on the spatio-temporal response of human visual system, achieving a good reduction factor, without introducing a visible degradation. Detection and interpolation of missing data (blotches). Three methods are presented based on morphological operators without motion estimation. The proposed methods are used as in the detection phase as in the interpolation one. In order to restore this kind of artifacts we have exploited the blotches characteristics: high temporal variation, high contrast and low spatial variance. Resum La present tesi proposa una s`eriedet`ecniques d’an`alisi de seq¨u`encies de v´ıdeo a fi d’aplicar- les a la restauraci´odepel·l´ıcules antigues. La dita restauraci´o consisteix a eliminar, mantenint la m`axima quantitat possible d’informaci´o original en bon estat, tots aquells defectes que, deguts al pas del temps, la ro¨ına conservaci´odelespel·l´ıcules, i els errors mec`anics, fan que la qualitat de la projecci´o quede degradada notablement. De tots els defectes presents en una pel·l´ıcula antiga, en aquesta tesi ens hem centrat en el tractament d’alguns d’ells, aportant solucions noves als problemes que ens han sorgit. Els aspectes tractats han sigut: Segmentaci´odelesseq¨u`encies degradades en plans, com a pas previ a la restauraci´o. S’han presentat una s`erie de m`etodes, basats en difer`encies de lluminositat entre imatges de la seq¨u`encia comprimida, que aconsegueixen detectar les transicions abruptes o talls amb una elevada probabilitat de detecci´o i baixa probabilitat de falsa alarma, incl´us en el cas d’imatges de baixa qualitat, que ´es el que ens ocupa. Tamb´e es presenten m`etodes per a la detecci´o de transicions graduals, com esva¨ıments i cortinetes. Correcci´o de les variacions d’intensitat entre fotogrames del mateix pla. Per a resoldre aquest defecte, t´ıpic de les pel·l´ıcules en blanc i negre, es proposen dos m`etodes: un basat en l’estimaci´o de par`ametres per a modelar la mitjana i la vari`ancia del pla, i un altre basat en l’equalitzaci´o d’histograma de les diferents imatges, per a aconseguir que el dit histograma no varie r`apidament al llarg del pla. Reducci´o del soroll de gra dins de cada pla. Es proposa un filtrat FIR molt eficient com- putacionalment que redueix notablement el soroll estacionari, basant-se en la resposta espai-temporal del sistema visual hum`a, i aconseguint-se un bon factor de reducci´o, sense introduir una degradaci´o visible. Detecci´o i interpolaci´o de defectes incorrelats en el temps (taques). Es presenten tres m`etodes que es basen en operadors morfol`ogics i no realitzen estimaci´odemoviment. Els m`etodes proposats s’utilitzen tant en la fase de detecci´o com en la d’interpolaci´o. Per a restaurar aquest tipus de defectes s’han explotat les caracter´ıstiques que presenten els mateixos: alta variaci´o temporal, alt contrast i baixa vari`ancia espacial.