Computational Framework for the White Point
Total Page:16
File Type:pdf, Size:1020Kb
Universitat Autònoma de Barcelona Computational framework for the white point interpretation based on nameability A dissertation submitted by Francesc Tous Terrades at Universitat Aut`onoma de Barcelona to fulfil the degree of Doctor en Inform`atica. Bellaterra, May 26, 2006 Director: Dr. Maria Vanrell i Martorell Universitat Aut`onoma de Barcelona Dept. Ci`encies de la Computaci´o & Computer Vision Center Co-director: Dr. Ramon Baldrich i Caselles Universitat Aut`onoma de Barcelona Dept. Ci`encies de la Computaci´o & Computer Vision Center Centre de Visió per Computador This document was typeset by the author using LATEX2ε. The research described in this book was carried out at the Computer Vision Center, Universitat Aut`onoma de Barcelona. als meus pares Colour is a power which directly influences the soul. Colour is the key- board, the eyes are the hammers, the soul is the piano with many strings. The artist is the band that plays, touching one key or another to cause vibrations in the soul. Wassily Kandinsky Acknowledgements Previous to the presentation of this work, I would like to acknowledge some people that, in many ways, have helped me in its realisation. I will use different languages for a closer acknowledgement. Primerament agraeixo a la Maria Vanrell, la meva directora, tot el suport i l’esfor¸c continu durant aquests anys. Sobretot per confiar en mi en un principi, i per l’empenta final, que entenc que ha estat esgotador. Una gran part d’aquest treball, sin´otot,´es seva. Sincerament, moltes gr`acies per tot. Tamb´e vull agrair a en Ramon Baldrich, no dir´eels`anims, perqu`e qui el conegui m´ınimament sabr`aqueaix`olicostaunamica,per`os´ı tot l’esfor¸c i ajuda constant que m’ha donat. Ha estat un contrapunt perfecte a la Maria, i fins i tot en algun moment s’ha posat de part meva. Sense la seva inestimable ajuda aix`o no hauria pogut tirar endavant. Moltes gr`acies. Vull donar les gr`acies a tota la gent del CVC pel suport i `anims. Sobretot a aquells que fan que el centre funcioni dia a dia, la seva tasca tant de gesti´o com de suport ha estat imprescindible perqu`e ara mateix estigui acabant d’escriure aquest treball. Vull destacar en Josep Llad´os per donar-me l’oportunitat d’entrar a treballar al centre i de realitzar un doctorat (per aix`o´ultim no s´e si donar-li les gr`acies o culpar-lo). Tamb´e vull fer una menci´o especial de la Mari, pel seu suport, `anims i professionalitat, i, sobretot, de la Montse per la seva ajuda ianims ` constants i per ser una font d’energia positiva de la qual, crec, tot el CVC se’n nodreix. I would like to acknowledge Prof. Graham Finlayson for welcoming me at UEA and also for the interest, advice and kind help he has provided me the two times I have been there. Also, I would like to acknowledge Steve Hordley for his help and advice. I remember the rest of the people at the colour group: Jeff, Michal, Julia, David, Clement and Elisabetta. Also the important italian comunity, and non-italians, in Norwich: Luca, Sergio (crazy man), Sergio2, Johan, Onema, Marco, Federica, Key and Alessandra. Last, but not least, I would like to acknowledge Peter Morovic for many things: welcome, help, advice, slokavian cuisine, etc. and most important, friendship. Life is hard when you go abroad, but if you live with a happy family it’s not that bad. Vull tornar al CVC per agrair a la gent del grup de color i textura el suport, i ii ACKNOWLEDGEMENTS `anims i idees durant aquests anys de seminaris intermitents: Robert, Xavier, Susana, Eduard i Anna. A l’Eduard li vull donar les gr`acies per l’ajuda en aquest darrer tram. I a l’Anna li hauria d’agrair moltes coses, entre elles suportar el mal gust de les meves bromes, per`onom´es li agrair´e haver-me presentat el Javier, el Sam, el Bruno, la Daniela, etc. i deixar-me compartir amb ells una experi`encia molt especial. No em vull oblidar la gent amb qui he compartit sala i/o bar durant aquests anys. Sobretot a l’Agn´es, companya de batalles que m’ha donat un suport i `anims incondicionals, molt per sobre del que em mereixo. Tamb´e vull recordar la Carme (there is a light that will never go out..), en Jaume Garcia (amb qui espero poder compartir algun altre correllengua), en Batlle, en David, l’Agata,` l’Oriol, l’Aura, en Misael, en Xevi, l’Anton (home! tu per aqu´ı!), l’Eva (per saber perdonar i oblidar), i a la resta que potser em deixo. Gracias sinceras, con los dedos en las manos, a Jordi Sequero, de los Sequero de toda la vida, Lidia, M´onica y Vicente. Tamb´e a l’Agust´ı, l’Eduard, en Gustau, la S`onia, l’Enric, la Marta, en Dalmau, la Yaiza, en Pol, en Torra i en Miquel. A tots, pel suport ianims ` incondicionals. No em vull deixar a en Chris Peterson, Ignatius J. Reilly i Morrissey per ser font d’inspiraci´ocont´ınua. I a Gomaespuma per fer-me riure dia s´ı,idiatamb´e. Finalment vull acabar donant les gr`acies a la meua fam´ılia. A la meua iaia Teresa, al meu iaio Lu´ıs, als meus tios i a les meues cunyades Vicenta, Sandra i Ceci. Als meus germans Vicent, Lu´ıs i David pels seus `anims constants. Tamb´e als meus nebots David, Josep i Anna, que m’han fet molt feli¸cestos´ultims anys. I sobretot, done les gr`acies a ma mare per animar-me, ajudar-me, cuidar-me i soportar-me en els moments m´es dif´ıcils, que no ´es poc. Jo no ho hauria fet. Moltes gr`acies a tots. Abstract In this work we present a framework for white point estimation of images under uncal- ibrated conditions where multiple interpretable solutions can be considered. In this way, we propose to use the colour matching visual cue that has been proved as re- lated to colour constancy. The colour matching process is guided by the introduction of semantic information regarding the image content. Thus, we introduce high-level information of colours we expect to find in the images. Considering these two ideas, colour matching and semantic information, and existing computational colour con- stancy approaches, we propose a white point estimation method for uncalibrated conditions which delivers multiple solutions according to different interpretations of the colours in a scene. However, we present the selection of multiple solutions which enables to obtain more information of the scene than existing colour constancy meth- ods, which normally select a unique solution. In this case, the multiple solutions are weighted by the degree of colour matching between colours in the image and semantic information introduced. Finally, we prove that the feasible set of solutions can be reduced to a smaller and more significant set with a semantic interpretation. Our study is framed in a global image annotation project which aims to obtain descriptors which depict the image, in this work we focus on illuminant descriptors. We define two different sets of conditions for this project: (a) calibrated conditions, when we have some information about the acquisition process and (b) uncalibrated conditions, when we do not know the acquisition process. Although we have focused on the uncalibrated case, for calibrated conditions we also propose a colour constancy method which introduces the relaxed grey-world assumption to produce a reduced feasible set of solutions. This method delivers good performance similar to existing methods and reduces the size of the feasible set obtained. iii iv ABSTRACT Resum En aquest treball presentem un marc per a l’estimaci´o del punt blanc en imatges sota condicions no calibrades, on considerem m´ultiples solucions interpretades. D’aquesta manera, proposem la utilitzaci´o d’una cua visual que ha estat relacionada amb la const`ancia de color: aparellament de colors. Aquest aparellament de colors est`aguiat per la introducci´o d’informaci´osem`antica referent al contingut de la imatge. Aix´ı doncs, introdu¨ım informaci´o d’alt nivell dels colors que esperem trobar en les imatges. Tenint en compte aquestes dues idees, aparellament de colors i informaci´osem`antica, i les aproximacions computacionals a la const`ancia de color existents, proposem un m`etode d’estimaci´o de punt blanc per condicions no calibrades que lliura m´ultiples solucions, en funci´o de diferents interpretacions dels colors d’una escena. Plantegem l’extracci´odem´ultiples solucions ja que pot permetre extreure m´es informaci´ode l’escena que els algorismes cl`assics de const`ancia de color. En aquest cas, les m´ultiples solucions venen ponderades pel seu grau d’aparellament dels colors amb la informaci´o sem`antica introdu¨ıda. Finalment demostrem que la soluci´o plantejada permet reduir el conjunt de solucions possibles a un conjunt m´es significant, que ´es petit i f`acilment interpretable. El nostre estudi est`a emmarcat en un projecte d’anotaci´o d’imatges que pret´en obtenir descriptors que representen la imatge, en concret, els descriptors de la llum de l’escena. Definim dos contextos diferents per aquest projecte: condicions calibrades, quan coneixem alguna informaci´o del sistema d’adquisici´o, i condicions no calibrades, quan no coneixem res del proc´es d’adquisici´o. Si b´e ens hem centrat en el cas no calibrat, pel cas calibrat hem proposat tamb´eunm`etode computacional de const`ancia de color que introdueix l’assumpci´ode’m´on gris’ relaxada per a generar un conjunt de solucions possibles m´es redu¨ıt.