Acad´emie de Paris Universit´e Paris 6 { Pierre et Marie Curie Ecole´ Doctorale d'Informatique THESE` DE DOCTORAT sp´ecialit´e ACOUSTIQUE, TRAITEMENT DE SIGNAL ET INFORMATIQUE APPLIQUES´ A` LA MUSIQUE pr´esent´ee par Diemo Schwarz pour obtenir le grade de DOCTEUR de l'UNIVERSITE´ PARIS 6 { PIERRE ET MARIE CURIE DATA-DRIVEN CONCATENATIVE SOUND SYNTHESIS soutenue le 23. 1. 2004 devant le jury compos´e de XAVIER RODET Directeur de Th`ese UDO ZOLZER¨ Rapporteur FRANC¸ OIS PACHET Rapporteur THIERRY DUTOIT Examinateur GERARD´ CHOLLET Examinateur JEAN-FRANC¸ OIS PERROT Examinateur ii PhD Thesis in Acoustics, Computer Science, Signal Processing Applied to Music Data-Driven Concatenative Sound Synthesis Diemo Schwarz
[email protected] http://www.ircam.fr/anasyn/schwarz Version 1.01 19th January 2004 Ircam { Centre Pompidou 1, place Igor{Stravinsky 75004 Paris, France http://www.ircam.fr University of Paris 6 { Pierre et Marie Curie iv v . a` Marie-Eve` Chapter Overview Abstract ix R´esum´e xi Acknowledgments xiii Contents xv 1 Introduction 1 I Previous and Related Work 7 2 Overview 9 3 Speech Synthesis 15 4 Musical Sound Synthesis 23 II Automatic Alignment 31 5 Introduction 33 6 Dynamic Time Warping 49 7 Hidden Markov Models 67 8 Discussion 79 III The Data-Driven Sound Synthesis System Caterpillar 81 9 System Overview 83 10 Sound Descriptors 85 11 Characteristic Values 101 12 Database 109 vi CHAPTER OVERVIEW vii 13 Database Interface 115 14 The Caterpillar Database Schema 121 15 Corpus Examples and Statistics 133 16 Synthesis 149 17 Applications