Modèles D'instruments Pour L'aide À L'orchestration
Total Page：16
File Type：pdf, Size：1020Kb
THESE DE DOCTORAT DE L’UNIVERSITE PIERRE ET MARIE CURIE Spécialité Acoustique, traitement du signal et informatique appliqués à la musique Présentée par M. Damien Tardieu Pour obtenir le grade de DOCTEUR de l’UNIVERSITÉ PIERRE ET MARIE CURIE Sujet de la thèse : Modèles d’instruments pour l’aide à l’orchestration soutenue le 15/12/2008 devant le jury composé de : M. Xavier Rodet Directeur de thèse M. Philippe Leray Rapporteur M. François Pachet Rapporteur M.Gaël Richard Examinateur M.Stephen McAdams Examinateur M.Jean Dominique Polack Examinateur M.Geoffroy Peeters Examinateur Université Pierre & Marie Curie - Paris 6 Tél. Secrétariat : 01 42 34 68 35 Bureau d’accueil, inscription des doctorants et base de Fax : 01 42 34 68 40 données Tél. pour les étudiants de A à EL : 01 42 34 69 54 Esc G, 2ème étage Tél. pour les étudiants de EM à ME : 01 42 34 68 41 15 rue de l’école de médecine Tél. pour les étudiants de MF à Z : 01 42 34 68 51 75270-PARIS CEDEX 06 E-mail : [email protected] 2 3 Résumé Modèles d’instruments pour l’aide à l’orchestration Cette thèse traite de la conception d’une nouvelle méthode d’orchestration assistée par ordinateur. L’orchestration est considérée ici comme l’art de manipuler le timbre d’un orchestre par l’assemblage des timbres des différents instruments. Nous proposons la formulation suivante du problème de l’or- chestration assistée par ordinateur : Il consiste à trouver les combinaisons de sons instrumentaux dont le timbre se rapproche le plus possible d’un timbre cible fournit par le compositeur. Cette cible est spécifiée sous forme de son enregistré. Les connaissances du système sur le timbre des instruments doivent être extraites de bases d’échantillons. La première étape est donc de définir un ensemble de descripteurs du signal sonore qui permette de décrire le timbre des instruments de l’orchestre. Ces des- cripteurs doivent être liés à la perception du timbre. La seconde étape consiste à définir une méthode d’apprentissage de ces descripteurs pour les différents instruments. Dans ce but, nous proposons une taxinomie des modes de jeu instrumentaux. L’apprentissage consiste alors à estimer la distribution des descripteurs pour les différentes valeurs des variables de la taxinomie. Ensuite une méthode d’agréga- tion des distributions permet de déduire des modèles pour un vaste ensemble de sons. Cette méthode d’agrégation, issue du domaine de la décision collective, permet un haut niveau de généralisation et donc la déduction de modèles de sons absents de la base d’apprentissage. À partir des modèles d’ins- truments, nous pouvons déduire le modèle d’une combinaison de sons instrumentaux et donc évaluer la probabilité que cette combinaison soit perceptivement proche de la cible. Mots-clefs : orchestration, modèle probabiliste d’instrument, identification d’instrument, timbre, des- cripteur audio, logarithmic opinion pool, modes de jeu instrumentaux. 4 Abstract Instrument models for computer aided orchestration This thesis deals with the design of a new method for computer aided orchestration . Orchestration is seen as the art of manipulating the timbre of an orchestra by the combination of different instruments. The orchestrating task we focus on is the following one : To find combinations of instrumental sounds whose timbre is close to a target sound provided by the composer. This target is specified by a recorded sound. The knowledge of the system on the instrument timbre is extracted from sample databases. First, a set of features that describe the timbre of the instruments is presented. Then we propose a probabilistic model of these features. This model is based on a taxonomy of the various instruments playing techniques and on the approximation of the feature distributions by a product of Gaussians. The model parameters are learned on the sample databases. This model and the proposed learning technique allow the inference of sounds that are missing in the databases. From the instrument models, we find the model of a combination of sounds to assess the similarity between this combination and the target sound. Proposed methods are tested on solo and polyphonic sound classification tasks. Keywords : orchestration, probabilistic instrument models, instrument classification, timbre, audio features, logarithmic opinion pool, instrument playing technique. Table des matières Introduction 15 1 Différents points de vue sur l’orchestration 17 1.1 Introduction . 17 1.2 les traités . 17 1.3 Les formalisations . 18 1.3.1 Koechlin . 18 1.3.2 La psychologie . 20 1.4 Orchestration assistée par ordinateur . 22 2 Formulation et questions soulevées 25 2.1 Approche choisie . 25 2.2 Décrire les sons . 26 2.2.1 Approche psychoacoustique . 26 2.2.2 Approche computationelle . 27 2.3 Comparer des sons . 28 2.3.1 Qu’est ce que la similarité . 28 2.3.2 Variabilité de la similarité . 29 2.3.3 Proposition de mesure de similarité . 30 2.4 Généralisation du savoir instrumental . 30 2.5 Combiner des descripteurs et les modèles . 31 2.6 La combinatoire . 31 2.7 Description du système d’orchestration . 32 2.7.1 Introduction . 32 2.7.2 Un problème multicritères . 32 2.7.3 Un problème probabiliste . 33 2.7.4 Définition formelle du problème de l’orchestration . 34 3 Instruments et modes de jeu considérés 35 3.1 Introduction . 35 3.2 Description des instruments et des modes de jeu . 35 3.2.1 Vue d’ensemble . 35 3.2.2 Les modes de jeu des cordes . 36 5 6 TABLE DES MATIÈRES 3.2.3 Les modes de jeu des cuivres . 38 3.2.4 Les modes de jeu des bois . 38 3.2.5 Les modes de jeu des anches doubles . 39 3.2.6 Combinaisons de modes de jeu . 39 3.3 Bases d’échantillons utilisées et répartition . 39 3.4 Organisations des modes de jeu . 40 3.4.1 Similarité de techniques entre instruments . 40 3.4.2 Taxinomie proposée . 41 3.4.3 Utilisation de la taxinomie pour la simulation des orchestrations . 45 4 Description du son et des combinaisons 49 4.1 Problématique du choix des descripteurs . 49 4.2 Les descripteurs utilisés . 49 4.2.1 La sonie et l’énergie . 49 4.2.2 Structure harmonique . 52 4.2.3 L’énergie par bandes de Mel . 56 4.2.4 L’enveloppe spectrale sur les bandes de Mel . 56 4.2.5 Le centroïde et l’étendue spectrale . 56 4.2.6 L’enveloppe du bruit . 57 4.2.7 Moyenne des descripteurs spectraux et normalisation . 57 4.2.8 Les modulations . 58 4.2.9 Temps d’attaque . 60 4.3 Liste complète des descripteurs et abréviations utilisées . 61 5 L’addition des descripteurs et des modèles 63 5.1 Introduction . 63 5.2 Addition de signaux . 64 5.2.1 Énergie d’une somme de signaux . 64 5.2.2 Interaction entre sons sinusoïdaux . 64 5.2.3 L’effet de salle . 68 5.2.4 Conclusion . 69 5.3 Expériences perceptives . 72 5.3.1 Introduction . 72 5.3.2 Expérience 1 : Jugement de fusion . 72 5.3.3 Expérience 2 : similarité entre mélanges . 76 5.3.4 Conclusion . 78 5.4 Formules d’additions . 79 5.4.1 Introduction . 79 5.4.2 Les descripteurs du spectre . 79 5.4.3 Le centroïde spectral . 80 5.4.4 La noisiness . 80 5.4.5 L’ambitus de la modulation d’énergie . 80 5.4.6 Le logarithme du temps d’attaque . 82 TABLE DES MATIÈRES 7 5.5 Distribution des descripteurs des combinaison . 82 5.5.1 Cas d’une distribution normale . 82 5.5.2 Cas d’une distribution log-normale . 82 6 Modèle d’instrument 85 6.1 Introduction . 85 6.2 Distribution modélisée . 85 6.3 Problème posé par la formulation. 86 6.4 Grouper hauteurs et nuances . 86 6.4.1 Principe . 86 6.4.2 Relation entre le niveau de sonie et l’énergie . 87 6.4.3 Calcul de la distribution conditionnelle . 88 6.5 Mode de Jeu . 89 6.5.1 Motivations . 89 6.5.2 Factorisation de la distribution . 90 6.5.3 Utilisation de la taxinomie des modes de jeu . 91 6.5.4 Apprentissage des modèles des sous-problèmes . 91 6.5.5 Calcul des modèles finaux : résumé . 91 6.6 Agrégation des distributions finales . 92 6.6.1 Introduction . 92 6.6.2 Les méthodes d’agrégation . 93 6.6.3 Cas gaussien pour le logarithmic opinion pool . 94 6.6.4 Choix des poids . ..