Université Pierre et Marie Curie Paris 6 – Jussieu Manuscrit présenté pour l’obtention d’une Habilitation à Diriger des Recherches Spécialité: Informatique Interactive Multimedia Content par Jean-Claude Dufourd Paris, Octobre 2010 1 Table des matières: 1. Résumé ....................................................................................................................... 3 2. Summary..................................................................................................................... 4 3. Rapport Scientifique.................................................................................................... 5 3.1. Introduction ..............................................................................................................................................................5 3.2. Interactive Graphics Formats............................................................................................................................5 3.2.1. MPEG-4 BIFS ......................................................................................................................................................... 5 3.2.2. MPEG-4 XMT-A...................................................................................................................................................10 3.2.3. W3C SVG Tiny 1.2..............................................................................................................................................11 3.2.4. MPEG-4 LASeR....................................................................................................................................................13 3.2.5. 3GPP DIMS and OMA RME ............................................................................................................................17 3.2.6. Formats Review and Optimization............................................................................................................18 3.2.7. Service-Enabling Extensions........................................................................................................................19 3.3. Compression ..........................................................................................................................................................21 3.3.1. BIFS.........................................................................................................................................................................21 3.3.2. LASeR......................................................................................................................................................................22 3.4. Multimedia packaging........................................................................................................................................24 3.4.1. MP4 file format ..................................................................................................................................................24 3.4.2. Multimedia Streaming with SAF ................................................................................................................25 3.5. Authoring.................................................................................................................................................................27 3.5.1. GUI to content.....................................................................................................................................................27 3.5.2. GUI-assisted templates ...................................................................................................................................29 3.5.3. Simple text to content .....................................................................................................................................32 3.5.4. Program to content..........................................................................................................................................35 3.6. Adaptation...............................................................................................................................................................37 3.6.1. Adaptation of content to rendering context .........................................................................................37 3.6.2. Format translation...........................................................................................................................................39 3.7. Rendering................................................................................................................................................................42 3.7.1. Rendering for QoS.............................................................................................................................................42 3.7.2. Multi-format rendering..................................................................................................................................44 3.8. Widening the scope.............................................................................................................................................45 3.8.1. Compound DocUment Format.....................................................................................................................45 3.8.2. Widgets..................................................................................................................................................................46 3.8.3. HbbTV ....................................................................................................................................................................48 3.9. Conclusion...............................................................................................................................................................49 3.10. References............................................................................................................................................................49 4. Curriculum Vitae ....................................................................................................... 55 4.1. Postes occupés ......................................................................................................................................................55 4.2. Standards.................................................................................................................................................................57 4.3. Education.................................................................................................................................................................57 4.4. Publications............................................................................................................................................................58 4.5. Contrats de recherche (ENST)........................................................................................................................62 2 1. Résumé J’ai travaillé sur de nombreux projets situés tout au long de la chaine de traitement du « rich media ». Certains projets étaient dans un contexte de financement européen ou national, d’autres dans des contextes de thèses : ceux-ci ont été publiés. D’autres projets encore ont eu lieu dans le contexte de la création d’une entreprise nommée Streamezzo dont j’ai été co-fondateur, et donc ont été peu publiés. D’autres enfin ont eu lieu dans des organisations de standardisation et la forme du résultat dépend de l’organisation : - Formats : o MPEG-4 BIFS : conception de format de description de scène o XMT-A : format de description de scène basé XML pour BIFS o W3C SVG Tiny 1.2 o LASeR: format de description de scène pour mobiles o OMA Rich Media Environment et 3GPP Dynamic Interactive Multimedia Scenes o Optimisation de format o Extensions pour faciliter les services - Compression: o Encodage de scenes binaires: BIFS o Encodage LASeR - Packaging: o Format de fichier MP4 o Format de streaming SAF - Création, outils auteur: o MPro: une interface graphique pour la création de contenu o Harmonia: des templates assistés par une interface graphique o B4: création de contenu à partir d’un format texte o RSP: création de contenu à partir d’un langage de programmation - Adaptation/traduction: o Adaptation de contenu au contexte de rendu o Traduction vers un autre format: SVG vers BIFS, Flash vers « tout », PPT vers « tout » - Rendu: o Qualité d’expérience o Multi-format: GPAC - Elargir le spectre: o Compound Document Format o Widgets o HbbTV Le rapport scientifique ci-dessous est un ensemble de sections décrivant mes contributions et celles de mon équipe sur chacun des sujets ci-dessus. 3 2. Summary I have worked on many projects along the rich media chain. Some have been in the context of European or national projects, some in the context of PhD theses: these have been published. Some projects have been done in the context of the creation or running of a company called Streamezzo that I co-founded, and as such, have scarcely been published. Some have taken place in standards organization, and the form of the result depends on the organization: - Formats: o MPEG-4 BIFS: scene description format design o XMT-A: XML-based scene description for BIFS o W3C SVG Tiny 1.2 o LASeR: scene description for mobiles o OMA Rich Media Environment and 3GPP Dynamic Interactive Multimedia Scenes o Format optimization o Service-enabling extensions - Compression: o Scene binary encoding: BIFS o LASeR encoding - Packaging: o Multimedia packaging: MP4 file format o Multimedia