Utilization of 3D Data in Face Recognition Nesli Erdogmus
Total Page：16
File Type：pdf, Size：1020Kb
Utilization of 3D data in face recognition Nesli Erdogmus To cite this version: Nesli Erdogmus. Utilization of 3D data in face recognition. Human health and pathology. Télécom ParisTech, 2012. English. NNT : 2012ENST0012. pastel-00982374 HAL Id: pastel-00982374 https://pastel.archives-ouvertes.fr/pastel-00982374 Submitted on 23 Apr 2014 HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non, lished or not. The documents may come from émanant des établissements d’enseignement et de teaching and research institutions in France or recherche français ou étrangers, des laboratoires abroad, or from public or private research centers. publics ou privés. 2012-ENST-0012 EDITE - ED 130 Doctorat ParisTech THÈSE pour obtenir le grade de docteur délivré par TELECOM ParisTech Spécialité « Biométrie Faciale 3D » présentée et soutenue publiquement par Nesli ERDOGMUS le jour mois année Utilization of 3D Data in Face Recognition Directeur de thèse : Jean-Luc Dugelay Jury M. Bulent SANKUR, Professeur, Université Bosphore Rapporteur M. Marc ANTONINI, Directeur de Recherche, Laboratoire I3S 2000, CNRS Rapporteur M. Joseph COLINEAU, Expert Senior du Groupe de Recherches, THALES Examinateur M. Igor S. PANDZIC, Assistant Professeur, Université Zagreb Examinateur M. Mohamed DAOUDI, Professeur, Telecom Lille 1 Examinateur TELECOM ParisTech école de l’Institut Télécom - membre de ParisTech UTILIZATION OF 3D DATA IN FACE RECOGNITION Nesli Erdo mu A doctoral dissertation submitted to: INSTITUT Mines-Télécom in partial fulfillment of the requirements for the degree of D CT R F PHIL S PHY Ma(or sub(ect: Image Processing, Biometrics Approved by the following e.amining committee: Supervisor: Prof. 0ean-Luc Dugelay President of the (ury: Prof. Mohamed Daoudi 1.aminer: Prof. B2lent San3ur 1.aminer: Prof. Marc Antonini Member: Asst. Prof. Igor Pand4ic Member: 0oseph Colineau 20th March 2012 R1F: 2012-1NST-012 UTILI8ATI N F 3D DATA IN FAC1 R1C :NITI N UTILI8ATI N F 3D DATA IN FAC1 R1C :NITI N Abstract As the need and investment for security applications grow vastly, one particular topic has certainly been attracting higher attention than many other pattern recognition fields: biometrics ; recognition of humans based on their physical and/or behavioral traits. Among those traits, face stands out with its favorable reconcilement between accessibility and reliability. In this doctoral dissertation, we principally investigate 3D shape which is a relatively more recent modality in face recognition. Being advantageous to its 2D counterpart for being intrinsically invariant to illumination and pose changes, 3D face recognition still encounters ma(or challenges such as acquisition inadequacy or facial surface deformations due to e.pressions or occlusion. Bearing those in mind, a thorough study is carried out on this topic, including pre-processing of 3D facial data, automatic landmar3ing, facial e.pression and alteration simulations in 3D, 3D feature e.traction and 3D regional surface analysis. We firstly study pre-processing techniques for 3D face. The pre-processing includes e.traction of the facial region, elimination of spi3es and holes in the facial mesh and finally smoothing. Additionally, we present an automatic landmar3ing method that utili4es both modalities (i.e. shape and te.ture) according to inherent characteristics of different regions on face. Then, we investigate the advantages of 3D face information in an asymmetrical scenario in which a combined enrollment is reali4ed by both 2D and 3D information whereas the target images are still 2D images. Despite the decades of research, 2D face recognition systems still encounter difficulties with intra-sub(ect variations, especially in case of few sample images which cannot capture all those possible deviations. For this problem, we propose a face recognition system that synthesi4es various facial e.pressions for each sub(ect to augment a given gallery set. By adopting a Thin Plate Spline (TPS) ; based method, we warp a generic model to generate client-specific MP1:-4 compliant animatable face models for facial e.pression simulations and we demonstrate the beneficial effects of the proposed gallery augmentation in recognition performances. Ne.t, as a useful by-product of the previous framewor3, we propose to employ the TPS parameters that are obtained by warping the generic model as biometric signatures and analy4e their discriminative properties. Those parameters which have mostly been overloo3ed as superfluous sediment in registration applications represent the deviations from the conventional and they are proven to possess concentrated information about the UTILI8ATI N F 3D DATA IN FAC1 R1C :NITI N facial shape. However, the results also revealed a frailty in the presence of facial e.pressions. Subsequently, we present a regional confidence level estimation algorithm for facial surfaces based on local primitive shape distributions. Face is divided into A non- overlapping regions that are to be evaluated according to the presence of mesh distortions. For each segment, an Artificial Neural Network (ANN) is utili4ed to estimate a confidence level. The ANNs are trained using regional quality scores automatically measured by an Iterative Closest Point (ICP)-based method. Here, BqualityC implies the absence of occlusions or e.pressions, rather than mesh resolution, noisiness, etc. In the end, we e.ploit the reliability score estimations to combine the regional match scores for verification and identification purposes via three different fusion methods at score level: Sum rule, Borda Count and a probabilistic approach which converts match scores into probabilities. Finally, an emerging field of research in 3D face recognition is e.plored: susceptibility to evasion in a recognition setting by partially modifying the facial surface. Those modifications can be achieved via plastic surgery, prosthetic ma3e-up, late. appliances, etc. and they can be in countless different ways and amounts. However studies on their possible impacts are still very limited. In this dissertation, we analy4e how such changes on nose region can affect the face recognition performances based on e.periments conducted by using several benchmar3 algorithms. For this purpose, a simulated face database is prepared in which nose of each probe sample is replaced with another randomly chosen one and the impact of the nose alterations on the recognition performances is assessed. UTILI8ATI N F 3D DATA IN FAC1 R1C :NITI N Résumé Avec lDaugmentation des applications de sécurité, un su(et particulier a attiré plus dDattention que de nombreu. autres domaines en reconnaissance de formes : la biométrie ; la reconnaissance des personnes en fonction de leur physique et/ou de leurs traits comportementau.. Parmi ces traits, le visage se distingue par un compromis favorable entre accessibilité et fiabilité. Dans cette thEse, nous avons principalement travaillé sur une modalité relativement plus récente en reconnaissance du visage : la forme 3D. Plus avantageuse que son homologue en 2D, car intrinsEquement invariant au. changements dDillumination de pose, lDanalyse 3D du visage se heurte encore F des défis ma(eurs tels que les déformations de surface du visage dues au. e.pressions ou occultations. 1n conséquence, une étude approfondie est effectuée sur ce su(et incluant le prétraitement des données 3D du visage, lDannotation automatique, la simulation dDaltération et dDe.pressions en 3D, lDe.traction de caractéristiques 3D et lDanalyse locale de surface. Tout dDabord, nous étudions les représentations 3D du visage et des techniques de prétraitement associées. Le prétraitement comprend lDe.traction de la région faciale, lDélimination des pics et des trous dans le maillage du visage et enfin le lissage. De plus, nous présentons une méthode dDannotation automatique qui utilise les deu. modalités (forme et te.ture) en fonction des caractéristiques inhérentes des différentes régions sur le visage. 1nsuite, nous étudions les avantages du 3D dans un scénario asymétrique dans lequel un enrGlement combiné est réalisé en 2D et en 3D alors que les images cibles sont tou(ours des images 2D. Malgré des décennies de recherche, les systEmes de reconnaissance faciale 2D rencontrent encore des difficultés avec les variations intra- individus, en particulier lorsque les échantillons dDimage sont peu nombreu. et ne peuvent pas couvrir toutes les variations possibles. Pour ce problEme, nous proposons un systEme de reconnaissance faciale qui synthétise diverses e.pressions faciales pour chaque individu afin dDaugmenter un ensemble H galerie I donné. A lDaide dDune approche TPS nous adoptons un modEle générique pour produire des clients compatibles avec les modEles animables MP1:-4 pour les simulations des e.pressions faciales et nous démontrons les effets positifs liés F lDaugmentation proposée de la galerie. 1nsuite, en tant quDapplication dérivée du travail précédant, nous proposons dDutiliser les paramEtres TPS qui sont obtenus par déformation du modEle générique comme des signatures biométriques et dDanalyser leurs propriétés discriminantes. Ces paramEtres, qui UTILI8ATI N F 3D DATA IN FAC1 R1C :NITI N ont surtout été négligés en tant que éléments superflus en recalage représentent les écarts par rapport F une valeur moyen et par conséquent, on