Color harmony : experimental and computational modeling Christel Chamaret To cite this version: Christel Chamaret. Color harmony : experimental and computational modeling. Image Processing [eess.IV]. Université Rennes 1, 2016. English. NNT : 2016REN1S015. tel-01382750 HAL Id: tel-01382750 https://tel.archives-ouvertes.fr/tel-01382750 Submitted on 17 Oct 2016 HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non, lished or not. The documents may come from émanant des établissements d’enseignement et de teaching and research institutions in France or recherche français ou étrangers, des laboratoires abroad, or from public or private research centers. publics ou privés. ANNEE´ 2016 THESE` / UNIVERSITE´ DE RENNES 1 sous le sceau de l'Universit´eBretagne Loire pour le grade de DOCTEUR DE L'UNIVERSITE´ DE RENNES 1 Mention : Informatique Ecole doctorale Matisse pr´esent´eepar Christel Chamaret pr´epar´ee`al'IRISA (Institut de recherches en informatique et syst`emesal´eatoires) et Technicolor Th`esesoutenue `aRennes Color Harmony: le 28 Avril 2016 experimental and devant le jury compos´ede : Pr Alain Tr´emeau Professeur, Universit´ede Saint-Etienne / rapporteur computational Dr Vincent Courboulay Ma^ıtre de conf´erences HDR, Universit´e de La modeling. Rochelle / rapporteur Pr Patrick Le Callet Professeur, Universit´ede Nantes / examinateur Dr Frederic Devinck Ma^ıtrede conf´erencesHDR, Universit´ede Rennes 2 / examinateur Pr Luce Morin Professeur, INSA Rennes / examinateur Dr Olivier Le Meur Ma^ıtrede conf´erencesHDR, Universit´ede Rennes 1 / directeur de th`ese Abstract While the consumption of digital media exploded in the last decade, consequent improvements happened in the area of medical imaging, leading to a better understanding of vision mechanisms. More than ever, making aesthetic pictures quickly - with or without artistic expertise - is a research topic. Different axis of investigations remain possible: high resolution, high dynamic range or wide color gamut. Additionally to these objective image properties, more perceptual and artistic insights could be of benefit to any user manipulating pictures. In such context, this thesis deals with the topic of Color Harmony. The literature related to this topic is limited, but involves many different scientific areas: color science, image processing, psychology, biology and so on. The valid- ity of collected data is questionable due to their limitation to two- or three-colors patches. The models extrapolated from these data remain non-exploitable on natural pictures. Other models depicting rules or areas on color wheel lack sci- entific guidelines for their utilization. Nonetheless, some algorithms employing color harmony theory and models as a core concept showed up in the literature, but suffered from being quantitatively tested and validated. This is typically due to the deficiency of available ground truth. In this thesis, two views are put in perspective in order to respond to the previous statements: an experimental and a computational approaches. The conducted experiment allowed observing some effects with an eye-tracking pro- tocol, never applied before with a task on color harmony assessment. From the collected data of our experimental work, we designed a method to gener- ate a ground truth, which would serve to the validation of the two proposed computational methods. First, we improved an existing architecture for automatic color harmoniza- tion and demonstrated exhaustively the benefit of our approach. As a second computational contribution, a novel quality metric is introduced that integrates the concepts of visual masking and color harmony. Thus, we may predict which areas would be perceived harmonious regarding its neighborhood and then the potential masking effects. As a last contribution, two editing tools made ac- cessible the color harmony theory through a hidden formulation of it and a user-friendly and intuitive interface. i R´esum´een Fran¸cais Contexte et Motivation La couleur est un ´el´ement dominant de la vision humaine. Excluant la pathologie li´eeau daltonisme, la plupart des ^etreshumains - gr^ace`aleur syst`emevisuel - sont capables de d´ecoder et analyser leur environnement en interpr´etant les couleurs et leurs nuances. Ainsi, depuis le plus jeune ^age,la connaissance des diff´erentes couleurs composant notre ecosyst`emeest transf´er´eeet la conscience d'un monde color´eest acquise. En m^emetemps que les premiers philosophes grecs commenc`erent `ase ques- tionner sur leur environnement et ses fonctionnalit´es,l'association des couleurs et leur signification sont devenus un sujet majeur. Parce qu'il est intimement li´eau domaine artistique, diff´erentes communaut´esont ´etudi´el'association des couleurs, plus tard d´enomm´eel'Harmonie des couleurs. Ainsi, des physi- ciens, peintres, designers, publicitaires, psychologues etc montr`erent un int´er^et `ala compr´ehensionde l'harmonie des couleurs. En 1704, Isaac Newton mis en ´evidenceles propri´et´escirculaires des diff´erentes longueurs d'onde et proposa un am´enagemennt des couleurs sous forme de roue [181]. Cons´ecutif`acette d´ecouverte, plusieurs personnages influents d´efinirent leur propre roue des couleurs qui amen`erent `aune caract´erisation,parfois dif- f´erente, de ce que sont les meilleurs combinaisons ou associations de couleurs [52, 177, 110, 26, 94]. C'est le d´ebutde la conceptualisation de l'harmonie des couleurs. Alors que le r^oleet l’influence des artistes rest`erent pr´epond´erants aux 18e et 19e si`ecle,ce sujet f^utsoutenu plut^otpar la communaut´ede color science au 20e si`ecle[267]. A partir du milieu du 20e si`ecle,la tendance ´etaitde collecter des donn´ees au travers de questionnaires reflettant l'opinion des participants `apropos de la bonne association des couleurs. Ainsi, des protocoles exp´erimentaux, s'´etendant parfois sur des ann´ees[168], ont ´et´emis en oeuvre. Une fois collect´ees, ces donn´eesont permis de construire une repr´esentation empirique de l'harmonie des couleurs, malgr´eles limites ´evidentes de ce genre d'approche: diversit´ecul- turelle, nombre de stimuli, temps de collecte ou d'exp´erience... En parall`ele, les techniques d'imagerie m´edicalese sont am´elior´eesafin de mieux comprendre les m´ecanismes du cerveau et plus pr´ecis´ement le comportement du syst`emevi- suel humain. Cependant, `ala fin du 20e si`ecle,nous ´etionsencore incapables de ii mesurer et d'expliquer la notion d'harmonie des couleurs. Dans le m^emesens, les psychologues d´efendirent la th´eoriede l'idiosyncrasie rendant le probl`emebeau- coup plus complexe et ind´etermin´e.Ils insist`erent sur le fait que les diff´erences culturelles, pr´ef´erencespersonnelles, l'´epoque, l'humeur etc avaient un impact fort sur le jugement port´e`al'harmonie des couleurs [193]. A partir du 21eme si`ecle, le sujet revint au devant de la sc`ene, de part l'expansion de nouvelles technologies. Un nouveau genre d'artiste est apparu dans les communaut´esde web design, photographie num´erique, computer graphic. En cons´equence,ils ont eu besoin d'outils efficaces et faciles `amanipuler afin d'exploiter ces nouvelles opportunit´esnum´eriques. De plus, internet et les r´eseauxsociaux ont facilit´ele d´eploiement d'exp´eriences`alarge ´echelle dont les donn´eessont collect´ees `ala fois rapidement et `atravers le monde. Dans ce contexte, nous avons identifi´eune opportunit´ede contribuer `ace monde artistique ´emergeant en ´etudiant le th`emede l'harmonie des couleurs sous une nouvelle perspective. Une approche interdisciplinaire Nous avons d´ecid´ed'aborder ce th`emeavec une approche interdisciplinaire telle que cela a ´et´e´evoqu´edans l'historique pr´ec´edent. Ainsi, cette vue interdis- ciplinaire a ´et´es´epar´eeen deux approches qui vont se rejoindre ensuite: des algorithmes et mod`elesnum´eriquesont ´et´econ¸cuset impl´ement´es en prenant en compte les observations et v´erit´eterrain g´en´er´eslors de notre approche exp´erimentale. Pendant ce travail de recherche, nous avons gard´e`al'esprit les limitations existantes des outils d'´editiond'image et proposer ainsi des in- terfaces et usage qui exploitent nos algorithmes et mod`elesde fa¸contransparente pour l'utilisateur. L'approache exp´erimentale Dans cette partie, nous avons choisi de mettre en place deux protocoles distincts, jamais explor´esdans le cadre de l'harmonie des couleurs. Dans un premier temps, nous avons abord´ecette probl`ematiqueexp´erimentale localement en questionnant le r^oledu syst`emevisuel humain. Il semblait raisonnable de faire l'hypoth`eseque le syst`emevisuel humain est partie prenante dans l'´evaluation de l'harmonie des couleurs. Ainsi, comme l'attention vi- suelle est principalement mesur´ee`al'aide d'oculom`etre,nous proposons de car- act´eriserl'harmonie des couleurs au travers des mouvements oculaires mesur´es avec un protocole faisant intervenir une t^ache. En d'autres termes, ce qui at- tire l'attention va vraissemblablement d´eterminerou influencer notre opinion `a propos de la t^ache consid´er´ee[275, 64, 248, 88]. Apr`esavoir conclus sur les effets ´evalu´es`al'aide de mouvements oculaires, nous exploitons ces donn´eescollect´eesafin de concevoir une base de donn´eesqui servira `al'´evaluation des mod`eles´etudi´es. iii Dans un second temps, nous examinons le concept d'harmonie des couleurs globalement. Dans