PERFORMANCE AUDIOVISUELLE ET PRATIQUE DU VJING

1 Published : 2017-06-21 License : GPLv2+

2 INTRODUCTION 1. PERFORMANCE AUDIOVISUELLE ET PRATIQUE DU VJING ? 2. HISTORIQUE 3. ÉCOSYSTÈME 4. PERFORMANCE AUDIOVISUELLE, PRATIQUE PROTÉIFORME

3 1. PERFORMANCE AUDIOVISUELLE ET PRATIQUE DU VJING ?

Ce livre aborde les pratiques artistiques placées sous la dénomination de "performance audiovisuelle" ou de "VJing", à travers le prisme de la culture, des logiciels et matériels libres qui concourent à leur réalisation.

Il débute par un propos introductif où il s'agit de replacer ces pratiques dans un contexte historique et dans leur écosystème actuel, illustré par des projets artistiques que l'on peut associer à cette dénomination.

Ce livre propose également une approche concrète de ces pratiques, en apportant des ressources cognitives, logicielles et matérielles aux artistes et curieux souhaitant s'intéresser au versant libre d'une pratique qu'ils exercent peut-être déjà.

Nous avons décidé de débuter par la préparation et le choix des médias et sources utilisés. En effet, avant de se lancer dans la manipulation d'images en temps réel, il est important de connaître les bases de l'image numérique, et les spécificités des sources existantes (séquence vidéo, image fixe, caméra, texte, flux vidéo en réseau, objets 3D, images génératives...).

Dans une seconde section, sont abordés le traitement et la manipulation des sources, les possibilités de mélange des images, l'application d'effets, le contrôle de lecture et la composition de l'image. Il est ensuite expliqué comment contrôler les paramètres de lecture de ces sources à l'aide de périphériques, manuellement, de manière automatique ou à distance. On notera que les projets illustrant cet ouvrage mélangent joyeusement ces manières de faire.

La partie suivante recense les différents supports utilisés pour la diffusion : en projection (multiprojection, mapping), sur des écrans ou téléviseurs, en streaming, ou via un enregistrement pour une utilisation ultérieure.

Une section de ce livre traite plus particulièrement de quelques logiciels libres de manipulation de vidéo en temps réel et explique leur installation, leur utilisation et présente leurs spécificités.

Enfin, des annexes proposent un glossaire et des ressources complémentaires pour ouvrir sur des pratiques artistiques alternatives et outils connexes.

4 Exemple de dispositif de VJing.

Source : VJing, Wikipedia.org

5 2. HISTORIQUE

Le terme VJing est utilisé pour décrire la performance visuelle au sens large. Le VJing se caractérise par la création ou la manipulation d'images en temps réel au moyen d'un dispositif technologique, face à un public et en combinaison avec de la musique. Le VJing s'exerce souvent lors de concerts, dans des discothèques, pendant des festivals et peut se combiner avec d'autres disciplines, devenant une performance multimédia incluant musique, comédiens et danseurs. Le terme "VJ" (Video Jockey) s'est construit en analogie au DJ (Disc Jockey), et s'est répandu au début des années 90.

Le VJing réfère à la sélection et la manipulation de visuels, de la même manière que le DJing désigne la sélection et la manipulation de sons. Un des éléments clés de cette pratique est le mix de contenus issus d'une bibliothèque de médias stockés sur cassettes VHS, DVDs, disques durs, avec des flux provenant de caméras ou des visuels générés en temps réel. Le mix inclut également le traitement du matériau visuel par des effets et des transitions. ANTÉCÉDENTS

Les origines du VJing remontent aux premières expériences de synesthésie1, cherchant à relier la sensation visuelle à celle du son. Cette longue filiation peut être retracée depuis la camera obscura jusqu'aux spectacles de fluides lumineux de l'ère psychédélique, en passant par le panorama et le diorama, la lanterne magique et l'orgue à couleurs.

Illustration tirée de "Ars Magna Lucis et Ombrae" d'Athanasius Kircher, 1645-46.

6 Dans les clubs et boîtes de nuit des années 60, l'usage de diapositives, de "boules disco" et de projections lumineuses vise à offrir aux noctambules des expériences sensorielles novatrices. À San Francisco, les spectacles lumineux créés par des collectifs d'artistes (Joshua Light Show, Brotherhood of Light) ont accompagné des concerts du Grateful Dead, inspirés par la Beat Generation et visant à une "extension du champ de la conscience".

En 1966, 9 evenings: theatre and engineering2, une série d'expérimentations collectives réunit 10 artistes et 30 ingénieurs autour de dispositifs audiovisuels et d'instruments scientifiques à destination des expressions scéniques.

À la même période, le collectif Exploding Plastic Inevitable, mené par Andy Warhol, contribue à fusionner musique et visuels dans un contexte festif et hédoniste. Dans ce New York nocturne vibrant au son du Velvet Underground, la fête est considérée comme un format artistique expérimental, au sein duquel le Exploding Party Project, qui mêle danses, performances et projections 16mm, s'attache à illustrer les ambiances sonores.

À la fin des années 1970, la vidéo quitte les laboratoires et studios de télévision et se rapproche de la performance musicale par l’intermédiaire de collectifs d'artistes (Videoheads, Ant Farm, Raindance Corporation). Dans le champ émergeant de la musique électronique, des groupes comme Cabaret Voltaire utilisent un équipement de montage vidéo rudimentaire pour créer des collages d'images rythmées et politisées.

L'effervescence des musiques électroniques (en particulier les genres house et techno), du fait de la disparition du groupe de musiciens au profit du performer et de ses machines, offrent de nouvelles possibilités visuelles. La popularité de la chaîne MTV conduit l'industrie musicale à investir davantage dans la production de vidéo et de nombreux clubs diffusent ces clips afin de créer une ambiance.

Parallèlement, le développement de transistors et de circuits intégrés bon marché entraîne la mise sur le marché des mixeurs incluant des effets numériques tels le Fairlight Computer Vision Instrument (connu sous l'abréviation CVI) qui sont à portée de bourse de propriétaires de boîtes de nuit, voire de VJs. L'émergence des raves techno pousse ces derniers à délaisser les nightclubs pour exercer leur art dans des soirées underground.

Videonics MX-Pro

7 La combinaison de la scène rave, avec la disponibilité de produits grand public (Videonics, Panasonic) permet l'apparition de visuels lors de soirées. Toutefois, le coût de ces équipements vidéo reste encore trop élevé pour nombre d'artistes. De ce fait, l'usage de projecteurs à diapositives, de moniteurs ou de téléviseurs avec des magnétoscopes VHS et autres antiquités persiste. LES PREMIERS LOGICIELS DE VJING

Le premier logiciel de VJing reconnu comme tel est Vujak, créé en 1992 sur Mac OS par l'artiste Brian Kane, à l'usage du groupe vidéo dont il fait partie, Emergency Broadcast Network. À la fin des années 90, divers logiciels font leur apparition : certains sont dédiés à l'image générative, comme MooNSTER, Aestesis, ou Advanced Visualization Studio, tandis que d'autre permettent de jouer des banques de séquences vidéo, comme Motion Dive, ArKaos, ou VJamm.

Des environnements de programmation, comme Max/MSP et sa bibliothèque Nato, son pendant libre Puredata et sa bibliothèque Gem, Macromedia Director et plus tard Quartz Composer, sont utilisés pour créer des interfaces, voire des applications indépendantes comme VDMX ou pixmix. Grâce à ces logiciels, à la puissance accrue des processeurs et des cartes graphiques, les VJs sont de plus en plus nombreux à employer des ordinateurs pour leurs sets.

Le début des années 2000 apporte une nouvelle dynamique dans le champ de la performance visuelle. Si la majorité des VJs travaille jusqu'ici de manière autodidacte et dans un relatif isolement, l'essor de l'Internet favorise l'apparition d'une communauté internationale nomade, et facilite grandement l'apparition de festivals et la dissémination des œuvres. On note également l'imbrication croissante de son avec la vidéo : on parle alors d'« images sonores ». MASHUP, RECYCLAGE, DÉTOURNEMENT, RÉAPPROPRIATION

L'apparition de la vidéo a facilité la copie de contenus diffusés à la télévision ou de dupliquer des bandes VHS. Le VJ agit souvent à la frontière de la piraterie, du fait de ses méthodes de travail échappant à la logique du droit d'auteur. Cependant, il est indéniable qu'une tradition de copie, d'imitation et d’appropriation a toujours eu sa place dans les disciplines traditionnelles des Beaux-Arts. La transmission artistique, bâtie sur les notions d’œuvre et de chef- d’œuvre, découpe son enseignement en disciplines où les élèves copient les maîtres jusqu'au moment où ils les dépassent et deviennent maîtres à leur tour (dans le meilleur des cas).

Depuis les années 1920 avec les dadaïstes, jusque dans les années 70 et 80 avec les structuralistes et post-structuralistes, la notion d'auteur a été largement critiquée, et par là même, la notion d'originalité. En 1941, avec Lambeth Walk - Nazi Style, le cinéaste Charles A. Ridley détourne Le triomphe de la volonté de Leni Riefenstahl, documentaire officiel du IIIème Reich. Considéré comme un des premiers remix politiques audiovisuels, il constitue un bel exemple de contre- propagande. Le public des films de série B et de zombies des années 70 forme une subculture qui détourne les codes de l'idéologie occidentale universaliste.

8 Marcel Duchamp, Roland Barthes et Michel Foucault ont ouvert la voie en relativisant la notion de l'auteur comme démiurge, montrant que le sens émerge de la confrontation des points de vue par le lecteur. L'auteur n'a qu'une opinion parmi d'autres sur son œuvre. Le VJ illustre cette schizophrénie entre l'écriture de l'auteur et le recyclage de fragments, surfant allègrement sur la vague des contradictions régnant entre les usages consuméristes, la revendication du bien commun, et le lobbying des industries culturelles.

1. cf. Marcella Lista, L’Œuvre d’art totale à la naissance des avant- gardes (1908-1914), CTHS - INHA, 2006 ^ 2. cf. http://en.wikipedia.org/wiki/9_Evenings:_Theatre_and_Engineering ^

9 3. ÉCOSYSTÈME

Par écosystème, nous entendons le réseau où cohabitent lieux, institutions, individus et collectifs, états, acteurs industriels et lobbyistes de l'image, tous avec des buts et des parcours différents mais coexistants dans le même espace-temps. Dans quel écosystème évoluent les artistes qui réalisent des performances audiovisuelles et pratiquent le VJing ? Il est évident que celui-ci a évolué au fil du temps, comme évoqué au chapitre précédent, sans cesser de se ramifier. Cette dynamique se trouve désormais amplifiée par les capacités mondiales et instantanées d'échange proposées par l'internet. Du fait de la simplicité d'accès aux outils informatiques, aux connaissances ainsi qu'aux sources d'images, ce "milieu" artistique se développe et se diversifie de façon exponentielle, aussi vite que le retour des pratiques de partage.

Cet écosystème a donc vu se développer différentes formes de propositions artistiques, parfois mues par des évolutions matérielles ou logicielles, parfois nées de rencontres avec d'autres disciplines, lors de festivals et d’événements dédiés à ce type de pratiques.

Trois mires de télévision. La mire centrale provient de la télévision nationale syrienne. LES PRINCIPAUX COURANTS

Des pionniers de l'expérimentation audiovisuelle, nous sommes désormais passés à une pratique populaire et que l'on retrouve dans différents contextes. Tentons d'en bâtir une typologie.

Le VJ set : mix d'images qui "dialogue" en général avec un set DJ quel que soit le contexte. En club où le public vient essentiellement pour la musique, le VJ sera souvent très peu mis en avant dans la communication, et comme inféodé au DJ. On rencontre également (bien que plus rarement) dans ce contexte le VDJ qui mixe simultanément des images et des sons issus de clips vidéo ou de ses propres productions.

Les performances audiovisuelles : la création son et image est ici imaginée simultanément. La diffusion de la création peut prendre la forme d'un concert où l'image a une part égale à celle de la musique. Partant de cette définition basique, il faut imaginer une multiplicité de déclinaisons : images et sons s'influençant les uns les autres, interventions corporelles ou plastiques et autres projections sur des supports en volume

10 Les approches transdisciplinaires : si le couple vidéo-danse était déjà très présent dans les années 80, il était circonscrit à des productions institutionnelles. La baisse tendancielle du prix du matériel et l'émergence d'une culture de l'image forte ont vu des chorégraphes, metteurs en scène et artistes plasticiens intégrer ce média à leurs créations. La combinaison de disciplines donne alors lieu à de nouvelles formes hybrides, telles que les "opéras multimédias", le "théâtre documentaire" ou le "live cinema".

L'animation événementielle : qu'il s'agisse d'institutions publiques, de collectivités locales ou d'entreprises à l'échelle internationale, l'image en mouvement fait désormais partie de l'attirail marketing pour promouvoir une marque ou valoriser une action culturelle, patrimoniale.

Le performeur audiovisuel ou le VJ évoluent donc dans une économie mixte : la scène émergente et les festivals défricheurs étant souvent peu fortunés, la participation à des événements plus "corporate" permet de financer un pan d'activités moins lucratif mais où la créativité s'exprime plus librement.

Image de la performance de B.Cadon & P.Coudert : Laboratoire de dystopie programmée (JulBel fanclub), Juin 2011. LES LOGICIELS

Ces pratiques se sont épanouies en lien avec l'évolution des logiciels et du matériel capables de traiter la vidéo en temps réel. Abordons tout d'abord la question des logiciels selon leur nature – libre ou propriétaire – ou encore leur capacité à donner naissance à d'autres logiciels.

Les logiciels libres traitant la vidéo ont émergé plus tardivement que leurs pendants propriétaires. Au-delà de l'intérêt philosophique et éthique du mouvement des logiciels libres, il faut préciser que le multimédia a longtemps été un parent pauvre dans le domaine du libre, mais qu'il rattrape une partie de son retard. On trouve ainsi aujourd'hui des logiciels de montage et d'encodage (, , , ffmpeg, mencoder, transcoder, vlc, ...) qui permettent de préparer les médias, et aussi des logiciels pour les diffuser de façon performée (Veejay, Lives, GemQ, P4Live, FreeJ). 11

Joli moment de geekerie: le gestionnaire de paquets aptitude en cours d’exécution dans un terminal.

Il existe aujourd'hui de nombreuses solutions sur les systèmes d'exploitation propriétaires (Windows et Mac OSX), pour préparer, monter et diffuser ses médias et créations. Ces logiciels propriétaires, qu'ils soient portés par de petites équipes de développeurs ou par des multinationales, ont aussi contribué à la popularisation de ces pratiques et à leur évolution, parfois aussi en contournant leurs protections.

Mentionnons également les environnements de programmation libres (, Processing, openFramework, Cinder, Gamuza, Pocode) et propriétaires (Max/MSP/Jitter, Isadora, vvvv, Eyesweb, QuartzComposer) qui proposent soit un mode de programmation sous forme graphique (des "boîtes" que l'on relie entre elles pour y faire passer les données, on parle de dataflow ou flot de données), soit un mode de programmation en lignes de code que l'on compile pour les rendre exécutables.

12 Fenêtre d'édition de Pure Data.

Ces environnements de programmation permettent de développer des instruments audiovisuels "en temps réel", 'est-à-dire dont on peut modifier les paramètres pendant la performance et dont la réactivité est telle qu'un être humain la perçoit comme immédiate. Les frameworks libres existent pour les trois principaux systèmes d'exploitation, tandis que les propriétaires sont souvent cantonnés à une voire deux plates-formes. Ces logiciels, qui permettent eux- mêmes de créer de nouveaux logiciels, ouvrent des perspectives ∞ à la création, d'autant qu'ils tirent souvent efficacement parti des ressources matérielles des ordinateurs, tout en nécessitant un temps d'apprentissage plus long que des logiciels "prêts à l'emploi". On a ainsi vu apparaître la figure de l'artiste-codeur.

Il faut également évoquer quelques logiciels "ovni" inspirés de la demoscene, tels que Fluxus qui permet de faire du live coding (programmation en direct), soit en laissant le spectateur voir le code en train d'évoluer, soit en l'occultant. Citons également Ibniz qui propose une approche similaire, mais "bas niveau" (c.-à-d. plus proche du silicium, le haut niveau étant plus proche du langage naturel humain).

13 Performance de "live-coding" avec Fluxus, au festival Resonance (Ghent, 2009). Photo de Peter Coen. LE MATÉRIEL

Historiquement, les performances visuelles ont tout d'abord été réalisées avec des projecteurs à diapositives et vidéo analogique, des sources de lumière bidouillées, des synthétiseurs vidéo analogiques, pour arriver aux magnétoscopes VHS et aux consoles de mixage vidéo qui permettaient de mélanger plusieurs sources en direct. Nous nous arrêterons plutôt ici sur les matériels couramment utilisés aujourd'hui.

Les ordinateurs ont grandement supplanté ces appareils, leurs capacités de calcul et d'affichage ayant beaucoup évolué, en parallèle avec les appareils de vidéoprojection. Avec leur aide, on réalise toutes les opérations anciennement dévolues à des appareils spécifiques. On peut en effet brancher une caméra sur un ordinateur et récupérer son flux d'images, générer formes et couleurs, lire des séries de photos et de vidéos, jusqu'à mixer plusieurs vidéos en haute définition et projeter ce mix avec la même qualité, fluidité et résolution.

14 Le HSS3, synthé analogique de ouf customisable

Plus original, une nouvelle génération de synthétiseurs vidéo est apparue, à l'image du projet Milkymist (http://milkymist.org), générateur d'images acceptant le flux vidéo d'une caméra basé sur du matériel libre, le Hard Soft Synth (http://gieskes.nl/instruments/? file=hard-soft-synth-3) créé par Gijs Gieskes, la TinyVGA (http://conceptlab.com/pixel/), conçue par le Néerlandais Arjan Scherpenisse et implémentée par l'artiste Garnet Hertz dans son installation Floor Arc, composée de 57 écrans LCD affichant des pulsations et strobes colorés commandés par des cartes électroniques réalisées sur mesure.

15 Vue de l'installation "Floor Arc" LES COMMUNAUTÉS ET RÉSEAUX

En novembre 2003, le premier festival Piksel se déroule à Bergen, en Norvège, avec pour objectif de fédérer des développeurs de logiciels audiovisuels libres (http://www.piksel.no/piksel03). Cet événement permet la rencontre des auteurs de Veejay, LiveS, FreeJ, PDP, PiDiP, MøB et EffecTV, et jette les bases de diverses collaborations. On retiendra notamment LiViDO, et sa continuation , qui consiste en une API destinée à faciliter la création d'effets vidéo pouvant être exploité dans différentes applications.

Au cours de ces échanges, les développeurs prennent également conscience de la difficulté pour des personnes tierces à tirer parti de ces outils, souvent fortement dépendants d'un environnement logiciel mouvant, et par là même difficile à reconstituer. Composé à l'issue du workshop, l'hymne "No user no cry" fait écho à ce désenchantement:

16 No user, no cry; No user, no cry; No user, no cry; No user, no cry. said said said i remember trying 2 compile video in bergen download Veejay from .net but im missing all the libs so i turn my eyes to the Free-J try 2 install in 3 different ways only jah knows whats wrong in SDL if only LIVeS could change our No user, no cry; No user, no cry; No user, no cry; No user, no cry. Said Said Said i want to make experimental avi so i turned my work to ap but the framerate it goes so slow its the graphics card, you know try to install P i D i P but only got as far as P D P I found mob but carlo was walking up a hill so all that was left was EffecTV on playstation 3 everythings gonna b alright everythings gonna b alright everythings gonna b alright

Si l'observateur extérieur retient davantage de leur interprétation parodique du standard de Bob Marley le fait que ces développeurs soient de piètres chanteurs, il est cependant intéressant de voir que sont évoqués ici des thèmes propres aux communautés libristes comme la jungle du code, véritable Bibliothèque de Babel, le mano a mano avec l'évolution du matériel, la solitude du développeur face à ses utilisateurs, le dédale des dépôts publics de code.

La galaxie de l'image et du son s'est jetée avec voracité sur les outils de communication tels les forums comme VJFrance.com et codelab.fr, les canaux de discussion IRC tels freenode.net, véritables lieux de partage communautaire d'expérience, les plates-formes de mutualisation comme monflux.org, mur.at , association autrichienne de promotion de l'art en réseau, sans oublier les dépôts de code comme Sourceforge, Github, Gitorious, Launchpad, TuxFamily, où les artistes ne se contentent pas de présenter leur travail ou de le commenter, mais le tiennent à la disposition de tout un chacun, et attendent commentaires, correctifs, rapports de bugs.

Pour filer la métaphore de l'écosystème, on peut réellement qualifier de symbiotique la relation des acteurs de cette scène avec le réseau des réseaux. Ce perpétuel processus de naissance de niches s’appuie autant sur la nouveauté technologique, promptement réappropriée, que sur les cadavres laissés par des sociétés fondées sur le mythe de la croissance et la réalité de l'obsolescence programmée. Ces niches viennent au grand jour dans les médias de masse, les industries culturelles s'en emparent, entraînant la fuite vers de nouveaux horizons numériques. ÉDUCATION À L'IMAGE

17 Les usages culturels liés aux images font de celles-ci une source d'illustrations de textes ou de propos oraux, de codes culturels établis. L'image, quand elle n'est pas ainsi instrumentalisée, est sacralisée dans le milieu artistique, réduite au rôle de simple commodité1, et par là même désamorcée de son potentiel de transformation sociale. Les avant-gardes du début du XXème siècle n'imaginaient pas dissocier l'art de la vie. Tout courant artistique est indissociable de son ancrage politique. Aujourd'hui les milieux de l'art s'enferment dans des élitismes star-system ou pseudo-underground quand Robert Filliou disait déjà dans les années 60 que "l'art est ce qui rend la vie plus intéressante que l'art". Dans le cadre d'une éducation à l'image et plus largement d'une réflexion sur l'image, nous devons d'abord nous demander avec Jean-Claude Moineau "Qu’est-ce que l’art a à faire des images ?"2.

Contrairement à ces usages conventionnels de l'image, la performance VJ est de l'ordre de l'expression non verbale, de la communication transdisciplinaire, car elle ne dépend plus d'une définition puriste liée à l'essence d'un seul médium. Dans la performance audiovisuelle, l'image est désacralisée, utilisée comme trace ou déclencheur d'expériences. La performance devient performative3 si son impact va au-delà de l'endroit où elle a lieu, au- delà de la sphère sociale qui la légitime.

Le VJing surgit tel un droit de réponse lié à la surabondance d'images et de flux dans les sociétés baignant dans les cultures d'écrans et de communication normative. On peut sans doute y trouver l'une des raisons à l'enracinement urbain du DJing comme du VJing. L'image live est un moyen pour projeter son imaginaire et de représenter une pensée en train de se faire, une pensée en rythmes, dans une relation in situ critique. Cette dynamique qui veut donner corps à la pensée ne perdure que par la conscience de soi "live", entre acte de langage et pensée performative. Comment représenter à la fois un être-le-là-au-monde4 et une vision du monde à la fois, afin de partager des singularités dans le contexte coercitif des sociétés de contrôle5. 1. Boris Groÿs, Art Power, MIT Press, 2008^ 2. http://fr.wikipedia.org/wiki/Jean-Claude_Moineau^ 3. John L. Austin, How to do things with words, The William James Lectures delivered at Harvard University in 1955. Ed. J. O. Urmson, Oxford: Clarendon, 1962.^ 4. cf. Jean-Luc Nancy, Le Sens du monde, Paris, Galilée, 1993, 2001. http://fr.wikipedia.org/wiki/Jean-Luc_Nancy^ 5. cf. Michel Foucault, Surveiller et punir. Naissance de la prison, Paris, Gallimard, 1975 & Gilles Deleuze, Post-scriptum sur les sociétés de contrôle in Pourparlers 1972 - 1990, Les éditions de Minuit, Paris, 1990 ^

18 4. PERFORMANCE AUDIOVISUELLE, PRATIQUE PROTÉIFORME

Il s'agit dans cette partie d'illustrer les pratiques du VJing et plus largement de la performance audiovisuelle utilisant des logiciels libres, par quelques exemples de démarches et de projets artistiques.

Mali Motion - DJ Mo, Chanana, Nye Blen, Olivier Heinry

Mali Motion est une performance basée sur le son électro-marabout de DJ Mo, accompagné du MC et chanteur Chanana, tous deux habités par la rage des quartiers chauds de Bamako. La scénographie est assurée par Nye Blen, réalisateur et initiateur de la technique du VJing en Afrique de l’Ouest. L'équipe collabore avec le français Olivier Heinry qui imprime une dimension interactive au set en proposant aux DJ et MC une installation qui leur permet une maîtrise physique des éléments sonores et visuels en temps réel s'appuyant sur Pure Data.

Vidéo: http://www.dailymotion.com/nyeblen#videoId=xa7r3t

Textes, photo: http://olivier.heinry.fr/?category/Performances/Mali- Motion

Grand Huit - Carole Thibaud et Meriadeg Orgebin

19 Projet de VJing préhistorique, Grand Huit est une performance où les images des projecteurs super8 se superposent et se mêlent à une création sonore et musicale physique et hypnotique.

Entre obscurités et silences, s’entrelacent images et sons, lumières et fréquences. Aux souffles et cliquetis des projecteurs répondent larsens et textures électroniques. Lecture, enregistrement, marche, arrêt, superposition, chacun monte et démonte entre écriture et improvisation.

Dispositif : 4 projecteurs super8 - 1 oscillateur - 1 magnéto à bandes - 1 chambre d'écho.

Carole Thibaud (www.carolethibaud.com)

Meriadeg Orgebin (http://rumori-enregistrement.blogspot.com/).

UrbanTerrorMod - Rep

L'artiste français Rep propose au spectateur une approche immersive et participative d'un jeu vidéo hacké: plusieurs spectateurs peuvent simultanément devenir joueurs dans un espace où les textures des zones urbaines ont été effacées et se retrouvent dans un univers cyberpunk à la croisée de Tron et Starship Troopers. Réalisé avec le moteur de jeu Open Arena, 2008. http://fichiers.cumulonimbus.fr/240___Projet_UrbanTerrorMod/

20 Aether9

Performance en réseau donnée en Avril 2008 lors du Festival de la Imagen à Manizales (Colombie).

Entre 2007 et 2010, le collectif Aether9 a donné des performances vidéo dont les participants étaient localisés à divers endroits du globe. Utilisant Pure Data pour la capture et la transmission de l'image, ainsi qu'une interface HTML et JavaScript pour le visionnement, ces performances pouvaient être suivies en temps réel par les internautes au biais d'un navigateur. À mi-chemin entre l'improvisation et les structures narratives, ce projet hybride mélange VJing, Live Cinema, et art télématique.

Aether9 (http://www.aether9.org)

2013 - Benjamin Cadon

21 2013 est une performance audiovisuelle qui illustre le bug survenu le 21 décembre 2012 à l'échelle de l'univers. Cette performance est basée sur le fameux blockbuster "2012" réorchestré en live à la façon de Martin Arnold, c'est à dire en déconstruisant le film par une lecture en boucle de courtes séquences qui progressent lentement ou se télescopent. L'outil développé en Pure Data pour cette performance permet de déplacer la tête de lecture sur la vidéo et l'audio de façon synchrone et d'opérer à des bouclages qui peuvent s'enchaîner ou s'entrechoquer. Ce projet est aussi l'occasion de questionner la capacité juridique de s'approprier une œuvre non libre de droits pour la détourner et en faire une nouvelle création.

Pour en savoir plus : www.01xy.fr/2013.htm

Fotograma Completo Principal - Aniara Rodado

Représentation à Laboral, Gijón, Septembre 2011. Photo: Txalo Toloza CC-BY-SA.

Dans cette pièce audiovisuelle interactive, la chorégraphe colombienne Aniara Rodado invite le spectateur à se glisser sur scène avec elle, au milieu de représentations réfractées de la guerre et de l'implication des femmes dans celle-ci. Elle y explore la représentation du corps dans un contexte de guerre, l'intime et l'extérieur, le corps privé et le corps politique, dans une relation intense entre les images, le son et le corps. Cette performance ne pourrait exister sans l'œil d'un ordinateur qui analyse en temps réel les mouvements depuis un point de vue zénithal (programmation OpenCV avec OpenFrameworks de Peripecio), avant de rediriger ses informations aux 4 vidéo-projections pilotées par Pure Data (Luca Carruba & Olivier Heinry) et aux patches génératifs du compositeur NoishX (Pd). http://aniara-rodado.com/fr/164/

B0DYSC4PES - 1minute69

22 Performance "B0DYSC4PES" à la Salle des Rancy, Lyon, Janvier 2012. Photo: Claire Zuliani CC-BY-SA.

B0DYSC4PES est une performance audiovisuelle interactive qui interroge notre relation au corps et au rôle prépondérant qu’il joue dans nos rapports sociaux. En mêlant intimement expression corporelle et matière audiovisuelle grâce aux techniques de tracking 3D et de mapping vidéo, le corps devient acteur-objet de la performance, pour proposer au spectateur de sortir des schémas habituels de la perception du corps et de s’interroger sur la construction culturelle des individualités perçues.

Le projet explore les possibilités d’une écriture interactive des gestes, en utilisant une captation en temps-réel du corps en scène par caméra infra-rouge (kinect) dont les données sont transmises via OSC au logiciel Processing pour contrôler une partie des visuels générés en live. Cette performance hybride et intimiste est également l'occasion pour Aurélie Dumaret et Emilie Villemagne de questionner les frontières entre les différentes formes artistiques et de s'affranchir des représentations figées d'auteur et d'interprète. http://www.1minute69.com/B0DYSC4PES.html

RESURGO EX - neologos (Laurent Carlier ) - 2012 (Moncton & Paris)

Michel Foucault glitché "qu'est-ce que le présent?"

23 "Resurgo" a mené Icare et Sisyphe au bout de leurs mythes, entre idéalisme et fatalisme, l'imagination porte au-delà des utopies, et la raison au delà du pessimisme. Le virtuel, synonyme de finalités sans fin et d'auto-engendrement, ménage le laboratoire d'altérités en chacun et chacune. Cette creatio ex nihilo quotidienne tient autant des rythmes informes non conscients que des inventions bricolées lucidement dans son coin. S'inventer dans ses environnements fera alors se conjuguer le présent ici et maintenant, avec l'existence des présences qui conspirent, c'est-à-dire qui respirent ensemble.

Technique mixte (photos, vidéos, performance corporelle, actions sur le public, syphon) - Performance VJ sonore. Préparation des sources avec VLC, ffmpeg,

Enghien - Collectif AntiVJ

"Enghien", performance audiovisuelle au Festival des Bains Numériques, Enghien-les-Bains, Juin 2009

ANTIVJ est un label d'art visuel initié par un groupe d'artistes européens dont le travail se focalise sur l'utilisation de la lumière projetée dans un cadre architectural, utilisant des applications développées par leur soin, entre autres avec openFrameworks ou Processing. Le label ANTIVJ (www.antivj.com) inclut Simon Geilfus, Thomas Vaquié, Yannick Jacquet (Legoman), Joanie Lemercier (Crustea), Olivier Ratsi et Romain Tardy (Aalto). Le projet présenté ici est emblématique de la technique dite de "projection mapping" sur un bâtiment. Cette technique consiste à adapter la création et la projection à l'architecture d'un bâtiment, à ses volumes.

Voir la vidéo : http://vimeo.com/10890650

24 CHOISIR ET PRÉPARER SES SOURCES 5. BASES DE L'IMAGE NUMÉRIQUE 6. IMAGE FIXE 7. SÉQUENCES VIDÉO 8. CAMÉRAS 9. TEXTE 10. FLUX VIDÉO EN RÉSEAU ET INTER- APPLICATIFS 11. OBJETS 3D 12. IMAGES GÉNÉRATIVES

25 5. BASES DE L'IMAGE NUMÉRIQUE

Nous allons préciser ici quelques principes fondamentaux liés à la nature de l'image numérique. L'appellation "image numérique" désigne toute image acquise, créée, traitée et stockée sous forme binaire : acquise par des convertisseurs analogiques-numériques, créée directement par des programmes informatiques, stockée sur un support informatique.

En effet quand l'image analogique type photographique comporte les trois notions, indice, icône et symbole1, l'image numérique n'a plus de relation directe de trace avec ce qui est représenté. Ainsi le numérique tend à conforter l'hypothèse que tout est simulation et que la réalité n'existe pas2. L'image numérique ne serait donc plus indice mais uniquement icône et symbole. DIMENSIONS

Source : wikimedia.org - Licence CC BY-SA 3.0

L'image est composée d’une matrice (tableau) de points à plusieurs dimensions, chaque dimension représentant une dimension spatiale (hauteur, largeur, profondeur), temporelle (durée) ou autre (par exemple, un niveau de résolution). Dans le cas des images à deux dimensions (le plus courant), les points sont appelés pixels.

Une image numérique peut être caractérisée par sa taille exprimée en points de base (ou pixels de base), ses dimensions réelles (exprimées en centimètres ou en pouces), sa résolution, qui s'exprime en points (ou pixels) par pouce (ppp ou, en anglais, dpi).

Dans le cas de pixels carrés, les trois valeurs sont liées entre elles. Il suffit de connaître la valeur de deux d'entre elles pour déterminer la valeur de la troisième :

Taille en pixels = Résolution x Dimensions réelles

Dimensions réelles = Taille en pixels / Résolution

Résolution = Taille en pixels / Dimensions réelles

La définition d'une image est définie par le nombre de points la composant. En image numérique, cela correspond au nombre de pixels qui compose l'image en hauteur (axe vertical) et en largeur (axe horizontal) : 200 pixels par 450 pixels par exemple, abrégé en 200 × 450.

26 La résolution d'une image est définie par un nombre de pixels par unité de longueur de la structure à numériser. Ce paramètre est défini lors de la numérisation, et dépend principalement des caractéristiques du matériel utilisé lors de la numérisation. Plus le nombre de pixels par unité de longueur de la structure à numériser est élevé, plus la quantité d'information qui décrit cette structure est importante et plus la résolution est élevée. La résolution d'une image numérique définit le degré de détail de l’image. Ainsi, plus la résolution est élevée, meilleure est la restitution. Cependant, pour une même dimension d'image, plus la résolution est élevée, plus le nombre de pixels composant l'image est grand. Le nombre de pixels est proportionnel au carré de la résolution, étant donné le caractère bidimensionnel de l'image : si la résolution est multipliée par deux, le nombre de pixels est multiplié par quatre. Augmenter la résolution peut entraîner des temps de visualisation plus longs, et conduire à une taille trop importante du fichier contenant l'image et à de la place excessive occupée en mémoire.

Tableau comparatif des formats vidéo FORMAT PIXEL FORMAT RÉSOLUTION DÉFINITION ÉCRAN NTSC 640 x 480 carré SD Simple Définition DV NTSC 720 x 480 rectangulaire SD Simple Définition DV NTSC 16/9 720 x 480 rectangulaire SD Simple Définition PAL 768 x 576 carré SD Simple Définition DV PAL 720 x 576 rectangulaire SD Simple Définition DV PAL 16/9 720 x 576 rectangulaire SD Simple Définition HD WXGA 1280 x 720 carré HD Haute Définition HD Full 1920 x 1080 carré HD Haute Définition 2K D-Cinéma 2048 x1080 carré HD Haute Définition 4K D-Cinéma 4096 x2160 carré HD Haute Définition Super Hi-vision 7680 x4096 carré HD Haute Définition

ESPACE COLORIMÉTRIQUE

Ce terme décrit la manière dont est codée la couleur pour tous les pixels d'une image. À l'intérieur d'un fichier vidéo ou image, c'est souvent le codec qui détermine l'espace utilisé (par exemple le MJPEG stockera l'image en YUV et l'Animation+ en RVBA). Lors du traitement, des conversions sont possibles et ces espaces offrent des possibilités et ont des performances variables selon les cas d'utilisation. Cela sera géré automatiquement dans la plupart des programmes de VJing. Certains logiciels tels que PureData permettent de le gérer manuellement.

L'espace le plus commun est basé sur une synthèse additive des couleurs, c'est-à-dire que l'addition des trois composantes R, V, et B à leur valeur maximum donne du blanc, à l'instar de la lumière. Le mélange de ces trois couleurs à des proportions diverses permet de reproduire à l'écran une part importante du spectre visible.

L'espace des niveaux de gris ne comprend qu'une seule couche et ne permet donc que le codage d'une image en noir et blanc. Comme le RVB, le YUV est également composé de 3 canaux, le canal Y pour la luminance et les canaux U et V pour la chrominance.

Source : fr.wikipedia.org/wiki/Image_numérique

27 CANAL ALPHA

On peut attribuer à une image un canal supplémentaire, appelé canal alpha, qui définit le degré de transparence de l'image. Il s'agit d'un canal similaire aux canaux traditionnels définissant les composantes de couleur, codé sur un nombre fixe de bits par pixel. On échelonne ainsi linéairement la translucidité d'un pixel, de l'opacité à la transparence. On parlera ainsi d'espace de couleur RVBA (ou RGBA) pour une image RVB ayant un canal alpha.

Source : fr.wikipedia.org/wiki/Image_numérique RATIO D'ASPECT

Le ratio d'aspect (ou aspect ratio) désigne le rapport de la largeur d'une image par sa hauteur. Les plus courants sont 4:3 (normes PAL et NTSC) et 16:9 (normes PAL, NTSC et HD), mais nombre d'écrans informatiques ont des ratio de 5:4 et 16:10, afin principalement de pouvoir afficher une image dans l'un des standards vidéo précités tout en laissant un espace pour l'interface informatique proprement dite.

Le ratio d'aspect de pixel (pixel aspect ratio ou PAR) désigne le rapport de la largeur d'un pixel par sa hauteur. ce terme est apparu avec l'apparition de pixels rectangulaires sur certaine caméras et écran. Un exemple de cela aujourd'hui pour enregistrer du 1080p en 16/9 : certaines caméras proposent deux codecs, MP4 à 1440x1080 et AVCHD 1920x1080. Le PAR du premier est de 1.33, indiquant que lors de la lecture, l'image doit être étirée horizontalement pour atteindre le 16/9 de l'image à afficher, alors que le second propose des pixels carrés avec un PAR de 1. On peut dire que le PAR correspond à l'anamorphose* à appliquer à l'image lors de son affichage. CODEC

Un codec* est un procédé logiciel de compression/décompression d'un signal numérique.

Le codec sélectionné conditionne la taille du fichier résultant mais aussi sa qualité de restitution ainsi que le temps et les ressources (processeur ou mémoire) nécessaires pour que l'ordinateur le décompresse.

C'est un traitement numérique qui réduit le volume d'information d'un fichier ou d'un flux de données numériques et permet de le reconstituer avec ou sans altération. On peut ainsi distinguer deux formes de codec:

Les codecs sans perte : une compression mathématique ré- encode le fichier son ou vidéo initial pour qu'il nécessite moins d'espace disque. La décompression restituera à l'identique le fichier initial à partir du fichier compressé. Les codecs avec perte : La décompression ne sera alors pas capable de recréer le contenu initial sans l'altérer. Dans la pratique, s'agissant de contenu audio et vidéo, on s'efforce néanmoins de reconstituer un contenu acceptable pour les sens humains en profitant au maximum de leur tolérance (ou de leur relative insensibilité) à certaines variations.

La compression spatiale utilisée dans les codecs d'image est une opération intra-image qui consiste à réduire le volume d'informations par détection des pixels similaires d'une même zone.

28 La compression temporelle, quant à elle, est une technique de compression inter-image et donc propre à l'image en mouvement. Cette technique tire partie de la redondance d'informations entre les images consécutives pour réduire la quantité de données nécessaires à la restitution de la séquence. Les séquences ainsi compressées temporellement contiennent généralement des images-clés* à intervalles réguliers.

Exemple de réglage d'export dans le programme avec le codec H264. Sous le curseur, le réglage du GOP est établi à 1, ce qui permet de forcer le calcul d'une image-clé pour chaque image.

Pour la lecture de fichiers vidéo avec sauts fréquents en différents points de la séquence comme pour la lecture accélérée ou en arrière ou pour "scratcher" dans la séquence vidéo, les codecs préconisés pour la préparation des séquences vidéo utilisées en VJing seront ceux qui ne font pas de compression temporelle. Citons par exemple le MJPEG (Motion-JPEG) et le Photo-JPEG, ou le H.264 en forçant une image-clé à chaque image.

Notons également que certains codecs propriétaires sont utilisés pour la décompression de fichier HD. Le H.264 profite d'une accélération matérielle au moyen d'un chip dédié sur les cartes graphiques actuelles. Le Apple Pro Res distribue la décompression sur plusieurs cœurs du CPU*, profitant des architectures de processeur multicœurs.

1. J-M Schaeffer, H-B de Sausurre^ 2. http://fr.wikipedia.org/wiki/Jean_Baudrillard^

29 6. IMAGE FIXE

Les images fixes (photos, dessins, captures d'écran, vidéogrammes*, etc.), dans les différents formats numériques (JPG, PNG, et autres), peuvent être traitées par les logiciels VJ au même titre que les séquences vidéo.

L'image photographique argentique, avec la chronophotographie*, est à l'origine du procédé cinématographique d'enchaînement de photogrammes à vitesse et espacements réguliers. Tirant partidu phénomène physiologique de la persistance rétinienne, une sensation de continuité émane de la succession d'images fixes, jusqu'à la représentation du mouvement.

Photogrammes issus d'une séquence de la vidéaste Carole Thibaud.

Dans le contexte de la performance vidéo, on peut désirer travailler avec des images fixes et profiter de leur plus haute résolution.

L'utilisation d'effets (agissant sur l'échelle, la position, la couleur, générant des déformations, etc.) permettra d'insuffler un dynamisme à une séquence basée sur des images fixes.

On peut ainsi imaginer baser une séquence sur un déplacement dans image panoramique.

Anarmanumapped Libérathon, Olivier Heinry, 2012, CC-BY-SA

Une image fixe sert également souvent de masque en premier plan afin de laisser apparaître les images des plans inférieurs. C'est suivant ce principe que les logos et filigranes numériques sont appliqués. La transparence est obtenue soit en utilisant un effet de mixage, soit en utilisant la valeur transparente Alpha lors de la création du masque. Voir le chapitre "Canal Alpha" dans la section "Bases de l'image numérique".

30 Motifs urbains, cadavre exquis audiovisuel réalisé avec Toonloop par Isabelle Caron et Alexandre Quessy à Montréal en 2008.

L'utilisation d'une fonction de diaporama est possible dans certains logiciels. Si le diaporama sert pour diffuser des photos prises en mode rafale, il rejoindra le rendu du procédé chrono-photographique. Il pourra alors y avoir reconstitution d'un mouvement. Les vidéos aux rendus saccadés image par image sont dites être faites en stop- motion (esthétique des films d'animation). On peut notamment citer le logiciel libre Toonloop d'Alexandre Quessy (http://www.toonloop.com/) qui peut générer automatiquement ou à la demande des images fixes à partir d'une caméra ou webcam des boucles en direct. Son usage immodéré a rendu l'artiste Julien Bellanger totalement accro.

31 7. SÉQUENCES VIDÉO

Parmi les types de media qui peuvent servir de contenu source dans un logiciel de VJing, les plus couramment utilisés sont sans doute les séquences vidéo.

Ces séquences vidéo peuvent avoir plusieurs provenances, mais il est préférable de les préparer de façon homogène afin de pouvoir les exploiter ensemble de façon fluide dans un logiciel de VJing.

Ainsi, on choisit généralement d'utiliser dans un même set VJing des vidéos qui sont toutes compressées avec le même codec, qui ont toutes les mêmes dimensions et le même ratio. CRÉATION, RÉAPPROPRIATION, DÉTOURNEMENT

Les techniques employées pour préparer des séquences vidéo sources varient d'une personne à l'autre et dépendent avant tout de positionnements artistiques, éthiques et politiques. Les supports de diffusion envisagés et le contexte de monstration de la performance audiovisuelle peuvent également être des facteurs déterminants dans la préparation d'une banque de media.

On peut distinguer deux grandes tendances dans les façons de préparer des vidéos dédiées à être mixées en live : la création personnelle et le sampling.

Filmer avec sa caméra, faire du stop-motion en animant des images prises avec un appareil photo, créer des animations en motion design, les procédés sont nombreux pour créer ses propres séquences vidéo.

Le sampling, quant à lui, consiste à prélever dans une production vidéo préexistante un court échantillon de vidéo afin de lui donner un nouveau sens, que ce soit par la répétition, la juxtaposition avec d'autres, l'accélération ou le ralentissement du mouvement, par exemple.

Dans les deux cas, une fois la matière brute élaborée, on l'exporte selon les spécificités techniques que l'on a choisies pour ses media (format de fichier, codec, dimensions, proportions, espace colorimétrique, taux d'échantillonnage), après l'avoir éventuellement re-travaillée dans un logiciel de montage vidéo.

Pour en savoir plus sur la technique du sampling, voir le très bon docu-mix de Ouananiche : l'Odyssée du Sample - http://vimeo.com/5337294)

32 Nombreux sont les VJs qui ont commencé à mixer en recyclant des boucles d'images créées par d'autres, qu'elles soient dans le domaine public, sous licence libre ou protégées par copyright, pour se faire la main et trouver leur propre style, en y incorporant peu à peu leurs créations personnelles jusqu'à créer l'ensemble de leurs sources. EN PRATIQUE

Au-delà des généralités évoquées dans le chapitre "Bases de l'image numérique" qui concernent tous types d'images (fixes ou animées, préexistantes ou capturées en direct), il est conseillé de respecter certains principes propres au medium vidéo pour optimiser ses séquences avant de les utiliser au cours d'une performance audiovisuelle.

Durée des séquences

Très souvent, on utilise en VJing des séquences vidéo très brèves (de quelques secondes à une minute maximum) que l'on enchaîne ou que l'on répète.

La durée des séquences sources n'est pas limitée par les logiciels eux-mêmes, mais plus la séquence est longue, plus le poids du fichier est important et requiert des ressources importantes de l'ordinateur, notamment pour être utilisée en combinaison avec d'autres.

Cependant, certains artistes travaillent volontairement avec des séquences longues, par exemple pour développer un fil narratif.

Notion de boucle

Un autre aspect important dans la préparation d'une séquence vidéo en vue d'une utilisation live est d'en faire une boucle, si l'on veut pouvoir la faire se répéter sans saute d'image en conservant toujours le même sens de lecture. C'est-à-dire faire en sorte que la dernière image de la séquence soit identique à la première (ou s'enchaîne de façon fluide avec la première avec un fondu au noir, au blanc, ou fondu enchaîné par exemple). OUTILS D'ENCODAGE

Il existe un grand nombre d'utilitaires libres destinés à encoder des fichiers vidéo dans des formats variés. On choisira l'outil le plus approprié pour la diversité de codecs* qu'il offre, le nombre de réglages disponibles, et la fonction de traitement par lots (batch encoding) qui peut s'avérer utile si on a une grande quantité de clips à traiter.

Avidemux est un logiciel multi-plateforme (GNU/, Windows, OSX), qui propose le codec MJPEG, ainsi que le traitement par lots. HandBrake est également disponible pour ces plates-formes, mais n'offre pas de MJPEG/PhotoJPEG (toutefois Theora est disponible).

D'innombrables autres outils existent, par exemple WinFF (pour GNU/Linux et Windows), ffmpegX (pour OSX), VirtualDub (Windows), Transmageddon et GMerlin transcoder (GNU/Linux)... Hormis ces outils dédiés, la plupart des logiciels de montage vidéo offrent également des fonctions d'exportation et d'encodage. On peut citer l'éditeur Kdenlive (pour GNU/Linux), pourvu de fonctions de préparation des médias intéressantes.

33 Finalement, il existe de nombreux outils fonctionnant en mode terminal, pratique pour le traitement par lots : ffmpeg, MEncoder, Transcode (sous GNU/Linux), ffmpeg2theora (pour GNU/Linux, OSX et Windows)...

Encodage avec le logiciel Avidemux. ERREURS D'ENCODAGE ET DATAMOSHING

Après avoir passé quelque temps à défricher la jungle des formats vidéos, on constatera à l'usage que les résultats des processus d'encodage ne sont pas toujours ceux attendus. En particulier le ré- encodage à partir d'un codec utilisant une forte compression temporelle (DivX, Xvid, x264), peut entraîner la perte de keyframes, obligeant le logiciel à combler les vides avec du contenu plus ou moins aléatoire. Pour le VJ à l'affut de nouvelles esthétiques, ces erreurs d'encodage peuvent devenir une source appréciable de matériaux visuels originaux. Le phénomène à même donné lieu à un néologisme – le datamoshing – qui décrit l'acte de dégrader intentionellement l'encodage d'une vidéo.

Erreur d'encodage involontaire. N3krozoft Ltd, 2005 (CC-Zero).

34 8. CAMÉRAS

Une autre source communément utilisée est la capture d'images provenant de caméras en temps réel. Depuis le début des années 1990, les ordinateurs comportent des ports (on peut citer l'USB, le Firewire aussi connu sous le nom d'iLink), permettant de connecter des webcams, des caméscopes numériques grand public, ou des caméras pros et semi-pro DV. De nombreuses cartes d'acquisition, internes ou externes, permettent également de capturer de la vidéo analogique et digitale. MATÉRIEL LIBRE

Le projet le plus notable est celui de la caméra Elphel, dont le matériel comme le logiciel sont libres. Il existe toute une gamme d'options (montures C/CS, GPS, ports IDE & SATA, port Gigabit Ethernet, RS232, POE, prise de vue stéréoscopique, prise de vue 360°) que vous pouvez consulter sur http://www.elphel.com. Il s'agit cependant d'un modèle particulièrement onéreux destiné à des productions solides. Les hackers se tourneront plutôt vers la leanxcam , beaucoup plus abordable.

http://www.scs-vision.ch/en/leanxcam/index.html. WEBCAMS ET AUTRES CAMÉRAS USB

Les plus répandues et les moins chères des caméras sont bien évidemment les webcams, elles sont aujourd'hui intégrées à la majorité des ordinateurs portables. Elles ne disposent pas de mémoire interne et ne fonctionnent donc que de pair avec un ordinateur. Elles sont le plus souvent dotées d'un petit trépied intégré qui permet donc de les orienter comme désiré. Conçues avant tout pour la vidéo-conférence, elles ne sont généralement équipées que d'une lentille fixe grand angle, avantageuse une fois la mise au point réglée à l'infini, et demandant une faible quantité de lumière. Leur capteur est le plus souvent de type CMOS.

Les fabricants de webcams fournissent pour la plupart des drivers Windows sur tous leurs modèles et certains proposent aussi des drivers Mac OSX. S'il ne le font pas MACAM, un driver générique, permet d'activer un grand nombre de celle disponible pour Windows. Sur GNU/Linux, ce sera au cas par cas, selon la caméra et la distribution de l'OS. Le driver libre UVC supporte cependant un nombre toujours croissant de modèles.

35 De gauche à droite: une webcam Logitech STX Communicate, une webcam Logitech C910 pouvant atteindre la résolution HD 1080p, et une Aiptek VGA+, la dernière non supportée sous Linux.

Notons aussi la possibilité d'utiliser des caméras dédiées à des consoles de jeu vidéo, la PS3-Eye, appréciée pour sa hackabilité et son framerate de 60 fps, particulièrement utile pour la construction d'une reacTABLE et la Kinect, permettant de filmer en 3D par le biais d'un système infrarouge. Des drivers sont disponibles sur les trois plate-formes précitées pour ces deux derniers modèles. CAMÉRAS DV

Apple est parvenu à imposer le port Firewire au début des années 90, qui a ensuite évolué en la norme IEEE1394. Ce port, qui était à l'époque supérieur aux autres connections du fait de son débit, de 400 puis 800 Mb/s, et la possibilité de branchement à chaud, est aujourd’hui en voie de disparaître, suite à l'arrivée de l'USB 3.0 et à la décision d'Apple de ne plus en équiper ses portables. Cependant, nombre de caméras miniDV et DV très fiables sont toujours utilisées. Elles ont généralement l'avantage sur les webcams d'avoir un bloc optique de bien meilleure qualité, comprenant le plus souvent un zoom motorisé et une bague de mise au point manuelle. Des modèles tels que la Sony Z1 HDV se sont très vite imposés du fait de la possibilité d'une plus haute résolution, de débrayer de nombreuses fonctionnalités, d'adapter de nombreux objectifs, des micros symétriques, une télécommande, toutes choses dont sont dépourvues les webcams. Il ne s'agit évidemment pas de la même gamme de prix. Les capteurs adoptés sur ce type de caméras sont le plus souvent de type CCD ou tri-CCD, qui manquent souvent de sensibilité dans les basses lumières, mais ont un rendu colorimétrique bien plus fidèle. Ces caméras sont aujourd'hui supplantées par les modèles AVCHD équipés de mémoire de masse, bien plus économiques car ne comportant pas de pièces mécaniques, ni de fragiles têtes de lecture comparés au cassettes DV et miniDV vites onéreuses et à la capacité d'enregistrement limité à 60mn. CARTES D'ACQUISITION

36 Tous les modèles d'ordinateur ne comportent pas de ports d'acquisition vidéo. Plus récemment, les nouvelles gammes de caméscopiques numériques d'entrée de gamme ne sont plus équipées de sortie Firewire, mais d'un port USB permettant uniquement de copier des fichiers depuis la mémoire interne, ou alors d'une sortie HDMI. On peut cependant contourner ce problème en équipant les machines de bureau d'une carte d'acquisition, au format PCI, PCMCI ou ExpressCard pour les portables. Certaines cartes externes USB sont d'usage universel comme le modèle Intensity Shuttle du constructeur Black Magic, qui permet indifféremment de capturer au format HDMI ou composante. L'intérêt de ces cartes réside également dans l'absence de perte lors de la capture de signaux numériques, sans devoir batailler lors du montage avec le format toujours plus répandu AVCHD.

À gauche, une caméra HD de marque Sony enregistrant sur carte mémoire au catastrophique format AVCHD, un câble mini-HDMI- HDMI, et une carte d'acquisition HDMI BlackMagic Design. Il s'agit du modèle pour Mac, reconnaissable au câble propriétaire Thunderbolt.

Il existe malheureusement très peu de matériel libre dans le domaine de la vidéo. Les modèles les plus populaires de carte d'acquisition analogique sous GNU/Linux sont ceux équipés d'une puce de la famille bttv (cf http://linuxtv.org) dont les pilotes sont intégrés nativement depuis la version 2.6 du noyau. Les personnes travaillant avec un OS libre ont souvent intérêt à se renseigner au préalalable de toute acquisition de matériel sur la disponibilité ou pas de pilotes. Une ressource de choix est le site http://hardware4linux.info/.

37 9. TEXTE

Dans l'histoire de l'image animée, l'utilisation de texte, de glyphes et de typographie a été explorée par des cinéastes et artistes. On peut citer des représentants du mouvement lettriste comme Maurice Lemaître (Le film est déjà commencé ?, 1951), les fameux génériques de films du graphiste américain Saul Bass (notamment La mort aux trousses d'Alfred Hitchcock, 1959), ou encore l'usage emblématique des titres et intertitres par Jean-Luc Godard (si bien qu'une fonte lui a été dédiée en 2010).

Contact, performance de HP Process (Hortense Gauthier & Philippe Boisnard)

Si l'utilisation du texte dans les performances audiovisuelles demeure une voie peu explorée, de nombreux logiciels de mixage d'images offrent néanmoins la possibilité d'afficher et de manipuler du texte. En superposant des phrases à des images vidéo, un effet de titrage rappelant le cinéma peut être obtenu. Dans une voie plus minimale et graphique, en influant sur des paramètres comme la taille, la couleur, la fonte et le positionnement dans un espace tri-dimensionnel, on peut concevoir des performances cinétiques entièrement composées d'éléments typographiques.

On peut ainsi distinguer l'utilisation du texte comme matière première graphique et plastique, de l'utilisation de mots et de phrases pour le sens qu'ils véhiculent en tant que tel par une approche typographique. Une autre distinction peut être faite entre l'usage de textes préalablement écrits et la saisie de textes live, à l'image du projet "Demolecularisation" du collectif ProjectSinge qui détourne un banc-titre de son usage premier pour l'intégrer dans une création audiovisuelle "glitch". www.projectsinge.net

38 Enfin, la grande quantité de flux textuels brassés sur le réseau Internet – qui comme tout système informatique est composé de code, donc de texte – peut donner lieu à des performances intégrant des captations de messages en temps réel. Un exemple : la pièce de théâtre Breaking, par Eli Commins, qui intègre des flux textuels provenant de Twitter, faisant surgir dans l'espace scénique "ce qui fait événement dans l'actualité du monde, à travers les existences réelles de ceux qui sont confrontés à une catastrophe naturelle, une crise politique ou sociale, un crime, ou tout autre bouleversement de leur environnement immédiat (www.elicommins.fr/Breaking).

39 10. FLUX VIDÉO EN RÉSEAU ET INTER-APPLICATIFS

Considérons maintenant d'autres sources d'images pour la création audiovisuelle live : la possibilité d'utiliser des flux vidéos issus d'Internet, d'un "media center" ou d'une caméra réseau en live streaming, et la possibilité de combiner deux logiciels pour nourrir l'un avec la sortie de l'autre et bénéficier ainsi des possibilités de création de plusieurs outils à la fois. UTILISER DE LA VIDÉO EN DIRECT EN STREAMING

Si à l'époque où les premiers programmes multimédias sont apparus, le réseau ne permettait pas réellement de diffuser (streamer) de la vidéo, les progrès des techniques de compression comme la croissance continue du débit de l'Internet et des réseaux locaux permettent aujourd’hui d'intégrer la vidéo issue d'un réseau local, d'Internet aussi bien que de son disque dur. Certains programmes évoqués dans ce manuel (les bibliothèques pour Pure data Gem et PDP par exemple) permettent en effet de ne pas avoir à télécharger préalablement des contenus vidéo et de les utiliser directement en les appelant sur les serveurs où ils sont hébergés pendant le temps de la performance. Cela n'a d'intérêt que s'il s'agit d'utiliser des flux vidéos en direct, sinon, il est préférable de télécharger préalablement les vidéos voulues pour éviter toute déconvenue pendant la performance due à une congestion du réseau.

Dans un registre voisin, des artistes ont utilisé des flux vidéos issus de satellites pour les rejouer et transformer en direct, à l'image du projet "Signal Sever" réalisé durant les nuits blanches 2004, connecté avec le Festival Art+Communication à Riga.

40 Performance "Signal Sever !" réalisée par Projekt Atol - Nuit Blanche à Paris en 2004 LES SERVEURS DE MÉDIAS

On peut aussi appuyer une performance sur un serveur de médias qui "servira" les vidéos au fur et à mesure des besoins d'un live dans un réseau local. De plus en plus de lieux de spectacles sont équipés de serveurs de medias. Ces serveurs sont généralement utilisés pour la diffusion de contenus vidéo-projetés ou diffusés sur téléviseurs. Souvent peu transformables et "bidouillables" car basés sur des solutions propriétaires.

Il est possible de se constituer un serveur de médias avec des outils libres. il existe des distributions linux de type "media center", plutôt développées pour un usage à domicile, ou des serveurs plus spécifiques qui peuvent être montés avec des outils comme VLC ou GStreamer. LES CAMÉRAS IP

Autre source de vidéo en réseau, celle transmise par les caméras IP. Ce sont des caméras dont la sortie est une prise réseau (comme un réseau informatique local câblé en RJ45) et qui transmettent leurs images via ce réseau à l'ordinateur connecté.

41 Ce type de caméra présente l'avantage de pouvoir être déportée sur de grandes distances, il est en effet relativement facile de faire transiter sur de longues distances des quantités d'images à travers des câbles et switchs réseau. Aujourd'hui, ce type de caméra et de transmission d'images se retrouve plutôt dans le monde industriel, on peut donc être amené à utiliser ce type de matériel lorsque l'on a des besoins spécifiques : caméra infrarouge industrielle, caméra à vitesse rapide, caméra pilotable à distance ou intégrant un algorithme de vision par ordinateur directement dans son électronique.

Caméra Elphel NC353L développée sur le modèle du matériel libre (voir http://www3.elphel.com/), discussions à ce propos à retrouver sur le forum http://www.openipcam.com COMBINER PLUSIEURS LOGICIELS

Il peut être tout à fait intéressant de combiner plusieurs logiciels pour bénéficier des potentiels créatifs de chacun. La méthode la plus simple est d'utiliser plusieurs ordinateurs et de faire en sorte que l'ordinateur "source" sorte le signal vidéo dans un format que le deuxième ordinateur puisse acquérir, soit un signal vidéo analogique envoyé sur une carte d'acquisition pour faire au plus simple. Cette configuration n'est pas des plus pratiques car elle nécessite beaucoup de matériel et ne permet pas de garder de grandes résolutions d'image.

Heureusement il existe d'autres solutions plus légères et performantes mais bien différentes d'un système d'exploitation à l'autre. La combinaison de logiciels sur un même ordinateur peut être fortement consommatrice de ressources, puisqu'à l'activité des deux logiciels il faut en plus ajouter les ressources nécessaires pour transférer les images de l'un à l'autre, mais elle permet par exemple de répartir automatiquement les calculs entre les différents cœurs du CPU*.

Sous GNU/Linux

42 Plusieurs possibilités sont offertes, on peut utiliser par exemple un logiciel comme Webcamstudio (http://www.ws4gl.org/) qui permet de capturer une partie de l'écran et restituer ces images sous la forme d'un périphérique type webcam dans n'importe quel autre logiciel capable d'afficher l'image d'une caméra. Notons que sa configuration est plutôt simple, qu'il est assez performant et qu'il permet également de streamer de la vidéo vers un serveur Icecast.

Autre possibilité sous Linux, utiliser Gstreamer qui est en quelque sorte le "couteau suisse" de la vidéo et qui permet de faire des pipes, des tuyaux vidéo entre des applications. Pour cela les applications doivent être compatibles avec Gstreamer.

C'est le cas de Pure Data qui comprend dans les dernières version de la librairie GEM un objet spécifique (PdGST) qui donne accès à toutes les fonctions du logiciel : appeler des images issues d'un autre logiciel visuel compatible avec GStreamer ou encore streamer la sortie de Pure Data. Cet objet doit être compilé à part, pour cela voir les instructions sur cette page : http://wiki.labomedia.org/index.php/Pure_Data_vs_GStreamer#Installation_PdGst

Plus d'informations sur GStreamer (GNU/Linux) : http://gstreamer.freedesktop.org/ et http://fr.wikipedia.org/wiki/GStreamer

Webcamstudio envoyant une image du bureau de l'ordinateur dans Pure Data/GEM mise en abîme.

Sous Mac OS X

Depuis août 2010, la technologie libre Syphon, développée par Tom Butterworth et Anton Marini, permet de faire passer des visuels d'un logiciel à l'autre en temps réel, en utilisant l'accélération matérielle de la carte graphique de l'ordinateur.

À l'heure actuelle, une vingtaine de logiciels de vidéo temps réel ou de programmation multimédia intègrent les fonctionnalités client et serveur rendues possible par Syphon. L'implémentation est en cours de développement dans une demi-douzaine d'autres applications.

43 Dans le logiciel source, le serveur Syphon apparaît comme une sortie, au même titre qu'un deuxième écran. Dans le logiciel cible, on sélectionne le client Syphon comme n'importe quel autre type de contenu source (séquence vidéo, image fixe, camera, etc) et on le place sur le calque désiré pour le mixer avec les autres médias.

Si le client ou le serveur Syphon n'est pas encore implémenté dans le logiciel utilisé, il suffit d'utiliser l'un des plugins proposés (Quartz Composer, FreeFrame GL, Max 6 et Unity 3D Pro)

Des tutoriaux vidéo sont disponibles (entre autres pour l'utilisation des plugins Quartz Composer et FreeFrame GL) sur le site http://syphon.v002.info

En bas, l'image de l'animation générée avec Processing, envoyée au logiciel de mix vidéo par Syphon. En haut, le résultat de cette animation mixée avec un autre contenu dans la fenêtre de sortie du logiciel VJing.

Sous windows

Cette opération est apparemment possible sous Windows depuis Windows Vista en utilisant DirectX, voir à ce sujet la discussion "directx shared resources on windows" sur le forum de Syphon : http://v002.info/forums. Un utilisateur semble avoir réussi à utiliser cette technique avec le logiciel vvvv.

44 11. OBJETS 3D

Nous nous intéresserons plus spécifiquement à l'intégration d'objets issus de programmes de modélisation dédiés comme Blender ou leurs équivalents propriétaires. Les objets 3D sont rélaisés en assemblant des éléments de base nommés vecteurs et primitives (triangles, cubes, extrusions). On peut aussi assembler des objets 3D dans des logiciels comme Pure Data et Processing (voir l'article "images génératives"). LE FORMAT WAVEFRONT

Il s'agit originellement d'un format de fichier au format texte ASCII, pendant libre d'un format binaire propriétaire issu du monde Silicon Graphics. Les fichiers Wavefront se distinguent le plus souvent par leur extension de fichier .obj et contiennent une description textuelle d'objets géométriques (lignes et courbes de Béziers, polygones, formes libres). La librairie Gem de Puredata permet de les ouvrir et de les afficher, seuls ou par groupes, sans toutefois pouvoir les modifier. Pour cela, on fera appel à un modeleur 3D tel que Blender, Xara Xtreme ou Wings3D et ensuite enregistrer ses objets au format .obj.

Modélisation 3D réalisée avec Blender affichée par le programme Puredata/Gem. Auteur: Bathie Baye Fall, Licence GNU/GPL. Extrait de la valise pédagogique de Ker-Thiossane, Dakar. LE MOTEUR OGRE

OGRE est un moteur 3D libre et multiplateforme, distribué sous forme de framework de programmation orienté objet avec le langage C++. Il permet de gérer des éléments 3d complexes contenant à la fois des acteurs 3D, les informations nécessaires au mapping de leurs textures, et différentes animations de ces acteurs dans une scène 3D en temps réel. On peut également y intégrer des algorithmes sous forme de shaders. Il tire parti de l'accélération matérielle des cartes graphiques modernes. Il est intégré dans de nombreuses applications, notamment Blender. 45 Capture d'écran OGRE - NeD80 sous licence CC-BY-SA LE MOTEUR DE JEU DE BLENDER

Le programme 3D Blender est une exception dans la mesure où il peut à la fois être utilisé pour modeler, calculer un rendu, effectuer un montage vidéo, être scripté en Python, mais également contrôlé de façon interactive par le biais de son moteur de jeu, ou game engine. Il s'agit d'un outil de programmation de haut niveau, constitué par l'assemblage de briques logiques de 3 types : les capteurs, les contrôleurs et les actuateurs, ne nécessitant pas l'apprentissage préalable d'une langue de programmation. Le wiki de www.blender.org regorge de documentation, en anglais comme en français. La consultation du tutoriel de Jean-Michel Soler est également un bon point de départ (http://jmsoler.free.fr/didacticiel/blender/tutor/bgameengine_basis.htm).

Photo d'écran de l'interface de Blender Game version 2.6. L'utilisateur s'apprête à insérer un capteur de type Détection de collision.

46 Dans le spectacle Même pas morte de la cie Mabel Octobre, une marionnette 3D nommée Vesna est animée en direct par ce game engine. Ses mouvements de tête et du corps sont commandés en direct par un Space Navigator (une sorte de joystick 3D). Son image est projetée sur un tulle. Les comédiens, qui interagissent avec elle, se trouvent dans l'espace situé juste après ce tulle et sont éclairés de telle sorte qu'une image hybride soit recomposée avec la rétro- projection depuis l'arrière-scène. http://www.mabeloctobre.net/creations/meme-pas-morte/. LES HACKS DE MOTEURS DE JEU LIBRES

La libération du code source du moteur du célèbre jeu de combat multijoueurs en vision subjective Quake en 2005 a permis la naissance d'une importante communauté de joueurs "libérés". Des développeurs ont également publié des ressources graphiques, des personnages, des cartes. Très rapidement, des artistes-joueurs s'en sont emparés pour les hacker et les utiliser au cœur de leurs performances et sets de VJ. On peut notamment citer l'artiste français Rep (http://www.314r.net/) et l'artiste anglais Julian Oliver, lequel a également développé une extension à son programme permettant de sonifier le jeu avec Puredata.

"q3apd Lovebytes", 2006,CC by-SA Julian Oliver & Steven Pickles

"q3apd", 2003, CC by-SA Julian Oliver & Steven Pickles

On peut également citer les moteurs de jeu libres Irrlicht (irrlicht.sourceforge.net)et Sauerbraten (www.sauerbraten.org).

47 12. IMAGES GÉNÉRATIVES

On appelle art génératif les formes artistiques caractérisées par la volonté d'un artiste de transférer à son œuvre tout ou parties de sa capacité à générer des émotions, en donnant à sa création l'autonomie qui lui permet de se développer librement, voire de se créer et se transformer d'elle-même. SURVOL HISTORIQUE

Certains courants artistiques textuels ou picturaux explorent depuis les années 1950-60 les notions d'aléatoire et de sérialité. On peut citer par exemple la technique du Cut-Up en littérature, expérimentée notamment par William S. Burroughs, qui consiste à découper aléatoirement un texte et réarranger les fragments obtenus pour en créer un nouveau.

En 1959, les artistes argentins Eduardo Macentyre et Miguel Ángel Vidal créent le mouvement Arte Generativo avec pour volonté de mettre en avant une esthétique de la géométrie des lignes et des formes, et produisent des séquences optiques par déplacements circulaires, verticaux et horizontaux.

Dans le domaine de la sculpture, le travail de Sol LeWitt, pionnier de l'art conceptuel et minimal, met en scène des structures géométriques organisées en réseau. Avec ses Infinite Open Cubes, il étudie la figure du carré et ses potentielles combinaisons en respectant des procédés arithmétiques.

Structures 1965-2006, rétrospective Sol LeWitt au City Hall Park de New York, 2011. Crédit photo : Rob Zand, licence CC BY-SA.

48 Évoquons enfin, dans cette partie historique, le livre de John Maeda "Design by number" publié en 1999. John Maeda, professeur au MIT, a souhaité à travers ce livre ouvrir à un plus grand nombre la possibilité de réaliser des oeuvres d'art génératives en réalisant des programmes informatiques. Il considérait en effet que ce processus de programmation était fort laborieux et qu'il était nécessaire d'inventer d'autres formes de programmation pour les personnes peu enclines aux mathématiques et à l'informatique. Cela a donné naissance au logiciel DBN que Ben Fry et Casey Reas qui travaillaient avec Maeda ont transformé en "Processing", logiciel abordé dans ce manuel.

Image de l'exposition de John Maeda à la fondation Cartier en 2005 DESIGN GÉNÉRATIF

Le développement de l'outil informatique permet par la suite un essor important de l'art génératif. Des logiciels de programmation orientés vers la création artistique voient le jour et contribuent à transformer les processus créatifs. La conception du code (l'outil qui va permettre la création elle-même) fait ainsi désormais partie de la création, brouillant les frontières entre art et technologie, et ouvrant une infinité de nouvelles possibilités de création. On parle alors de creative coding, ou code créatif.

Ces logiciels permettent, entre autres, de concevoir des images non pré-déterminées qui se génèrent d'elles-mêmes en se basant sur des algorithmes informatiques créés par l'utilisateur. Celui-ci écrit une suite d'instructions ou un programme, qui, lorsqu'il est exécuté, entraîne la création autonome d'une séquence d'images. L'introduction de variables aléatoires permet de donner un caractère quasi organique à ces créations numériques, et de créer ainsi des œuvres uniques et originales à chaque nouvelle exécution du programme.

49 Parmi les logiciels libres de code créatif, citons entre autres Processing (Windows, Mac OSX, GNU/Linux : http://www.processing.org), Pure Data (Windows, Mac OSX, GNU/Linux : http://puredata.info), Field (Mac OSX, GNU/Linux : http://openendedgroup.com/field/) et Nodebox (Mac OS seulement : http://nodebox.net/code/index.php/Home).

Différentes étapes de génération de l'image du logo Floss Manuals dans Processing avec le sketch Spider Web Drawing écrit par Christopher Webb (http://christopher-webb.net/). Le programme compare la couleur de deux pixels choisis aléatoirement dans l'image d'origine et les relie par un trait si elle est suffisamment similaire. Le processus est répété en boucle jusqu'à l'arrêt du programme. UTILISER LE CODE CRÉATIF EN LIVE

Les logiciels de code créatif ont pour but de générer de l'image en temps réel et non de créer des fichiers d'images enregistrables. Aussi, bien que ce soit possible dans Processing, ces logiciels ne proposent généralement pas la possibilité d'exporter l'œuvre créée sous forme de vidéo pour pouvoir l'associer à d'autre media dans un mix ou une performance audiovisuelle réalisée dans un autre logiciel. Il existe cependant des manipulations possibles pour contourner ce problème.

Exporter en vidéo depuis Processing

Une animation créée dans Processing peut être enregistrée en vidéo en utilisant l'objet MovieMaker. Lorsque le programme est lancé, la commande initialise un fichier vidéo (.mov) et y ajoute des images au fur et à mesure de l'exécution du programme jusqu'à ce que le programme donne l'instruction de finaliser le fichier vidéo. 50 Cette fonction n'est cependant pas disponible sous GNU/Linux car la bibliothèque Video de Processing nécessite Quicktime qui n'est implémenté que sous Windows et Mac OS. L'alternative pour les utilisateurs GNU/Linux est d'utiliser la commande saveFrame() pour exporter une série d'images et créer une séquence vidéo à partir de celles-ci dans un logiciel de montage.

Utiliser le résultat dans une autre application

Une autre solution est d'utiliser une passerelle logicielle (comme Syphon sous Mac OSX ou gStreamer sous GNU/Linux) pour renvoyer le contenu de la fenêtre de rendu de Processing (ou d'un autre de ces logiciels de code créatif) comme source dans un autre logiciel dans lequel on effectue l'enregistrement, ou dans lequel on exploite directement l'image live (pour plus de détails à ce sujet, voir le chapitre Flux vidéo en réseau et inter-applicatifs). UTILISER DES SHADERS POUR GÉNÉRER DES IMAGES

exemple de shader _ source : wiki.labomedia.org/index.php/Pure_Data_vs_OpenGL

Les shaders* sont de petits programmes permettant de créer des objets virtuels 2D/3D de transformer l'absorption et la diffusion de la lumière, la texture, les réflexions et réfractions, l'ombrage, le déplacement de primitives, tout cela en utilisant des instructions OpenGL.

Ils tirent parti de la puissance de calcul des cartes graphiques puisque ces codes seront d'abord compilés puis exécutés directement sur le processeur de la carte graphique appelé GPU.

Il est également possible de glaner des shaders libres de droits sur le web et de les transformer. Ces programmes sont généralement courts, se résumant souvent à quelques lignes de code, mais sont capables de produire des visuels complexes.

En raison des divers intervenants industriels et de la forte évolution du secteur, différents langages de shader ont été développés, dont le ARB, le GLSL, le Cg et le HLSL. Les shaders sont notamment supportés par Pure Data / Gem, ainsi que par Blender, à travers le langage GLSL.

51 TRAITER ET MANIPULER SES SOURCES 13. CONTRÔLER LA LECTURE, LE COMPOSITING 14. MÉLANGER DES SOURCES 15. APPLIQUER DES EFFETS

52 13. CONTRÔLER LA LECTURE, LE COMPOSITING

Si diffuser des images en temps réel est un moyen extrêmement efficace de véhiculer des émotions, c'est la cohérence de leur organisation, la façon de les jouer et les traitements qu'on leur apporte qui créent sens et signification. Un mix VJ est une création éphémère, ce qui implique que deux performances ne seront jamais identiques, même si elles sont réalisées avec les mêmes contenus et au moyen du même logiciel. ORGANISER SES MEDIA

Le choix des media utilisé peut être établi à l'avance (pour tout ou partie du set), ou complètement improvisé au moment de la performance. Dans les deux cas, il est primordial d'anticiper dès la préparation des sources, et d'organiser leur stockage de façon à pouvoir y accéder sans hésitation au moment où l'on souhaite s'en servir.

Que ce soit pour l'archivage des media sur l'ordinateur ou pour leur présentation dans la banque de media du logiciel, on peut opter pour un mode de classement qui stimule les associations d'images et de sens au lieu de les figer dans des catégories hermétiques. On constate d'ailleurs à l'heure actuelle une modification des usages en ce qui concerne les méthodes de référencement, passant de l'arborescence de dossiers à une indexation par mots-clés.

Les logiciels de mixage vidéo permettent généralement de contrôler les paramètres de lecture des séquences vidéo. La plupart fonctionnent sur un principe de calques superposés et proposent également des commandes directes en matière de composition de l'image. BOUCLES, VITESSE ET SENS DE LECTURE

Contrairement à un logiciel de lecture vidéo classique qui n'offre qu'une vitesse de lecture, un logiciel dédié au VJing offrira des possibilités multiples d'intervention sur le mode de défilement. La vitesse pourra être ralentie, accélérée, ou inversée. Un logiciel permettra souvent de moduler la vitesse (désignée par Speed, Vel ou Velocity) au moyen d'une glissière, ou par une entrée numérique. Traduite en valeur chiffrée, la vitesse pourra être relative (1 exprimant la vitesse normale, 0.5 une vitesse réduite de moitié, 0 un arrêt, -1 une lecture inversée), ou encore exprimée en images par seconde (fps pour frames per second).

Pour permettre une certaine forme d'improvisation, il est courant de travailler avec un grand nombre de séquences de courte durée. En réponse à cette pratique, la configuration par défaut d'un logiciel de VJing sera de lire une séquence vidéo en boucle. L'utilisateur pourra choisir un autre mode comme la lecture palindromique (ou bounce en anglais), consistant à lire le fichier en alternant les directions : en avant, puis en arrière, puis en avant, puis en arrière...

53 Une technique répandue consiste à scratcher une vidéo, c'est-à-dire de procéder à des lectures rapides en avant et en arrière : une technique qui évoque le scratch d'un vinyle par un DJ hip-hop. Certaines interfaces graphiques offrent une glissette dédiée pour le scratch. Pour avoir un meilleur ressenti physique, certains préféreront scratcher au moyen d'un contrôleur périphérique, en assignant celui- ci à la position de la tête de lecture.

La définition des points d'entrée et de sortie permet de redéfinir à la volée le début et la fin d'une séquence. En déplaçant ces points progressivement, alors que la vidéo est jouée en boucle, une séquence des plus anodines finira par exercer un effet déroutant, voire hypnotique de répétitions décalées.

Détail de l'interface de GemQ, incluant le contrôle de la vitesse (Vel), le scratch, et la définition de points d'entrée et de sortie (loop in / loop out). COMPOSITING

Sur le principe des logiciels de compositing, les applications dédiées au mix vidéo proposent dans leur grande majorité de manipuler les contenus sources dans une logique de calques superposés. Bien entendu, s'il ne contient aucune zone transparente, le contenu du calque placé au premier plan masquera les calques suivants.

La valeur de l'opacité des calques est l'un des paramètres principaux contrôlables directement par la grande majorité des logiciels de VJing. L'illustration ci-dessous montre un exemple tiré du logiciel P4Live. Sur l'image 1, l'opacité (ici nommée "alpha") du calque supérieur est à 100%. Le contenu de couleur blanche placé sur ce calque recouvre donc totalement le contenu de couleur mauve placé sur le calque au deuxième plan. On voit ensuite sur les images 2 et 3 le résultat de la réduction graduelle de l'opacité du calque supérieur.

54 Détail de l'interface de P4Live présentant les 3 calques de contenu et les contrôles proposés pour chacun, notamment la valeur de l'opacité (Alpha).

De la même façon, on peut bien souvent modifier l'intensité des couleurs primaires en synthèse additive indépendamment les unes des autres (grâce à des glissières R V B).

D'autres contrôles courants tels que le déplacement, la rotation ou le redimensionnement de l'image sont généralement accessibles pour chaque calque. On peut ainsi juxtaposer plusieurs images afin de les mettre en relation et créer une nouvelle signification, ce que nous verrons dans la prochaine partie. Le fait de contrôler ces paramètres en direct donne la possibilité de modifier progressivement la composition de l'image de façon synchrone avec le rythme de la musique, ou au contraire en rupture avec celui-ci selon l'effet qu'on veut donner.

Rythme et cadence de la musique ne doivent pas être confondus. La cadence, ou le tempo, est le nombre de mesures par minute ou seconde. Le rythme est une notion complexe (avec au moins une composante rythmique par fréquence sonore et par type de sonorité). L'alternance de sources vidéos différentes lors du mix VJ donne une épaisseur au rythme visuel par des stimulations et des fils conducteurs complémentaires.

55 14. MÉLANGER DES SOURCES

Dans une performance audiovisuelle ou un set VJ, on peut être amené à mélanger des sources, soit pour effectuer des transitions afin de lier les médias entre eux, soit pour recomposer de nouvelles images en appliquant des superpositions.

Mélanger au moins deux sources c'est rapprocher deux éléments aux propriétés esthétiques et cognitives hétérogènes. Le mix est ainsi à la fois dynamique au niveau du sens et au niveau des émotions et des sentiments représentés et provoqués. LA TRANSITION

Rapprocher deux séquences c'est faire émerger un troisième terme qui résulte de ce rapprochement. C'est la base des théories du montage cinématographique. Le sens est une construction.

Lev Koulechov, cinéaste et théoricien russe, dans les années 1920 développe une étude scientifique sur l'interprétation de rapprochements d'images. Par exemple l'interprétation diffère selon le rapprochement d'un plan d'un visage inexpressif avec un plan d'un bol de soupe sur une table, puis avec celui d'un cadavre et avec celui d'une femme nue http://fr.wikipedia.org/wiki/Lev_Koulechov

Une illustration de l'effet Koulechov. Sources: Jewish Historical Society of the Upper Midwest; Diana House (CC-BY); Jules-Armand Hanriot.

56 De ses travaux émane le constat qu'une image seule n'a pas de sens (ou trop). Le sens commence avec les juxtapositions d'images et les relations au contexte de diffusion. Les notions de montage réflexe et montage des attractions sont également établies. Le montage réflexe s'applique aux associations de plans fluides dont la logique est émotionnelle, et le montage des attractions pour des plans hétérogènes pour lesquels l'association intellectuelle des sens respectifs est basée sur le sensationnel.

« Le montage est l'art d'exprimer ou de signifier par le rapport de deux plans juxtaposés de telle sorte que cette juxtaposition fasse naître l'idée ou exprime quelque chose qui n'est contenu dans aucun des deux plans pris séparément. L'ensemble est supérieur à la somme des parties. » Citation de Sergueï Mikhaïlovitch Eisenstein qui utilisa le montage pour orienter le sens a des fins politiques, le "cinéma poing".

Au contraire du cinéma poing, Dziga Vertov (http://fr.wikipedia.org/wiki/Dziga_Vertov) développe plutôt un cinéma- œil, cinéma documentaire non littéraire (sans narration), dont le montage est lié au "mouvement du réel". Pour lui, « le "ciné-drame" (fiction) est l'opium du peuple ».

En gardant en tête la préoccupation du sens et des orientations esthétiques, on peut donc choisir de passer d'une séquence à une autre sans transition particulière : c'est le montage cut. Dans un set VJ, cela peut permettre de donner du rythme à un enchaînement de séquences, en suivant ou non les impulsions de la musique. Cela permet aussi plus de sobriété, mais c'est une question de point de vue.

Il est aussi possible d'enchaîner les séquences en appliquant une transition qui utilise un mode de fusion choisi à l'avance (voir chapitre "Appliquer des effets"). Cette transition est généralement contrôlable sur l'interface utilisée grâce à une glissière (ou fader) horizontale ou verticale. La transition la plus souvent utilisée est le fondu enchaîné, qui utilise le mode de fusion "normal". Il est utilisé pour obtenir un passage progressif entre deux séquences.

On peut gérer ces transitions simplement grâce à l'interface du logiciel utilisé. Il est également possible de programmer un enchaînement de séquences les unes à la suite des autres grâce au séquenceur, en général présent sur les logiciels de VJing.

57 Séquenceur du programme Veejay

Enfin, certains VJs utilisent des mélangeurs vidéo matériels afin de mixer les sources issues de leur ordinateur avec des sources de provenances différentes, comme, un lecteur DVD ou une caméra analogique. Le mélangeur est en quelque sorte l'ancêtre du logiciel de VJing, il était fréquemment utilisé dans les années 1990. Les quatre fonctions principales du mélangeur sont :

CUT (commutation direct d'une image à l'autre) MIX ou Dissolve (fondu enchaîné) WIPE (volet ou médaillon) KEY (incrustation)

Mélangeur vidéo Sony BVS-3200CP - Source : wikimedia Licence CC BY-SA LA SUPERPOSITION

Il est possible de mélanger des sources de différentes manières, chaque mode de superposition (ou mode de compositing) correspondant à un calcul différent : addition des niveaux de luminosité de l'image de dessous et de celle de dessus, soustraction des niveaux de luminosité, ou d'intensité colorée. Les modes de fusions déterminent la façon dont un pixel va interagir, se mélanger avec celui situé immédiatement en dessous.

Les superpositions sont à utiliser avec prudence et plutôt avec des images sobres. Le VJ sait quelles images il utilise alors que le public non. Le VJ peut distinguer et identifier ses images mélangées facilement, alors que le public ne percevra qu'une image abstraite. Ponctuellement cela est une agréable référence au psychédélisme, mais quand il n'y a que cela, on parlera de bouillie ou de "pizza".

Selon le logiciel utilisé, différents modes de fusion sont possibles.

Quelques exemples de mélange de ces deux images :

58 Normal : si elle ne comporte aucune zone transparente, l'image du 1er plan masque complètement celle du dessous. Cette dernière réapparaît progressivement quand on baisse l'opacité.

Différence : les valeurs sont inversées. Cela fait ressortir les différences entre les deux images.

Produit (multiply) : c’est l’effet de deux diapositives superposées dans un projecteur. L'image finale est donc assombrie.

Superposition : c'est l'opposé du produit. Ce mode compresse les valeurs les plus claires plutôt que de les écrêter. L'image est donc éclaircie.

Incrustation lumineuse (luma key) : combinaison d'un produit et d'une superposition. C'est la luminosité de l'image du dessous qui détermine le mode utilisé. Les valeurs les plus sombres engendrent un produit, les plus claires une superposition.

59

Éclaircir (lighten) : conserve les pixels les plus clairs des deux images sans aucune modification.

Obscurcir (darken) : conserve les pixels les plus sombres des deux images sans aucune modification.

Images : Carole Thibaud - Licence CC BY-SA

La construction du sens et des ambiances évoquée par le mix ou la performance émane donc des images rapprochées, qu'elles soient déjà avec des traitements ou que ceux-ci soient rajoutés grâce au logiciel VJ. Ce que nous allons voir, ainsi que l'influence du processus et du cadre de diffusion.

60 15. APPLIQUER DES EFFETS

Il existe deux types d'effets, les filtres qui agissent sur les pixels calculés par le processeur (par le programme les appelant ou via un système de plugins), et les shaders, effets en temps réel rendus par la carte graphique. Les effets (ou filtres comme ils sont techniquement décrits), peuvent être répartis en différentes sous- catégories suivant leur fonction. Les générateurs n'ont pas de source video, mais produisent de la vidéo, comme des aplats colorés, du bruit, du plasma. Les transitions permettent de mélanger ou superposer deux sources vidéo pour n'en faire plus qu'une. Les effets à proprement parler que nous allons aborder ici ont une source vidéo et une seule sortie. Par abus de langage, on désigne souvent par effet l'ensemble de ces catégories. LES FILTRES INTÉGRÉS AUX LOGICIELS

La plupart des outils de mix vidéo possèdent une série d'effets applicables aux médias importés. Ils correspondent généralement à ceux que l'on peut trouver dans des logiciels de traitement d'image ou de montage vidéo.

Un filtre est une transformation mathématique (appelée produit de convolution) permettant, pour chaque pixel de la zone à laquelle il s'applique, de modifier sa valeur en fonction des valeurs des pixels avoisinants, affectées de coefficients.

On distingue généralement les types de filtres suivants :

Les filtres d'atténuation généralement utilisés pour atténuer le bruit de l'image, c'est la raison pour laquelle on parle habituellement de lissage. Les filtres moyenneurs sont un type de filtre dont le principe est de faire la moyenne des valeurs des pixels avoisinants. Le résultat de ce filtre est une image plus floue.

Les filtres d'accentuation, qui permettent notamment d'accentuer les détails et le contraste.

Les filtres directionnels, qui appliquent une transformation selon une direction donnée.

61 Les filtres de couleur agissant sur la teinte, la saturation et l'étalonnage des couleurs RVB.

Images : Laurent Carlier - Licence CC BY-SA

Ces effets sont parfois paramétrables, et selon le logiciel, il est possible de les combiner entre eux. Un effet peut modifier totalement une image, la rendre abstraite, et l'application d'effets peut être utilisée de manière exclusive et constituer une pratique particulière du VJing, un style de performance vidéo. LES STANDARDS D'EFFETS COLLABORATIFS

Deux initiatives collaboratives notables ont vu le jour pour mutualiser les efforts des développeurs de plugins d'effets vidéo libres : Freeframe (http://community.freeframe.org) et freiOr (http://www.dyne.org/software/frei0r/). Ces deux projets ont pour point commun de proposer aux programmeurs un cadre de développement standardisé afin que leurs plugins soient compatibles avec de nombreux logiciels de traitement vidéo (qu'ils soient dédiés au mix ou au montage vidéo).

Le standard freiOr, conçu par Georg Seidel, Phillip Promesberger et Martin Bayer, s'adresse en priorité à la communauté GNU/Linux, mais a également été porté sous Mac OS X et est notamment supporté par les logiciels LiVES, VeeJay, FreeJ, Gephex et PureData, parmi beaucoup d'autres.

Le framework* Freeframe, créé par Russell Blakeborough et Marcus Clement avec l'aide de Pete Warden, a, lui été pensé dès sa création comme cadre de développement multi-plateforme. Le site http://community.freeframe.org/plugindatabase recense donc aussi bien des effets vidéo utilisables sous GNU/Linux que sous Mac OS X et Windows.

62 Sélection de filtres disponibles sur freeframe.org. DÉVELOPPER SES PROPRES EFFETS AVEC DES SHADERS

Les shaders, préalablement évoqués dans la partie "Images génératives", sont donc des programmes que l'on va pouvoir faire exécuter directement par la carte graphique. Ces programmes s'appuient sur les instructions OpenGL comprises par la carte graphique et sont donc exécutés très rapidement et efficacement, d'autant qu'aujourd'hui, sous la pression de l'industrie du jeu vidéo, les cartes graphiques sont devenues de véritables bêtes de calcul.

Il est ainsi tout à fait possible de récupérer ou de programmer des effets spéciaux en utilisant un langage comme le GLSL qui va permettre de produire des shaders. A nouveau, ces shaders peuvent être utilisés au sein d'environnements de programmation comme Processing, Pure Data, openFramework ou encore dans des langages comme Python.

Ce mode de programmation est un peu particulier dans la mesure où via les shaders, on a accès à chaque pixel de l'image, c'est à dire aux vertex* (la position dans les 3 dimensions de chaque pixel), et aux fragments (les pixels en eux-mêmes : couleur, transparence). Cela permet de développer toute une kyrielle d'effets, des classiques flous et filtres évoqués précédemment à des effets originaux et élaborés.

Pour appréhender les bases du langage GLSL, un tutoriel : http://www.siteduzero.com/tutoriel-3-8862-les-bases-du-langage.html

Shader simulant la profondeur de champ d'un objectif de caméra développé par Guido Tamino

63 CONTRÔLER LES PARAMÈTRES 16. AVEC DES PÉRIPHÉRIQUES 17. PAR AUTOMATISATION 18. À DISTANCE

64 16. AVEC DES PÉRIPHÉRIQUES

Une fois que le VJ a préparé ses media, et pris en main le programme de VJing, il lui faut interagir avec ledit programme. C'est toute la problématique de l'interface homme-machine, puisque cette dernière ne comprend pas de façon native le langage humain, qu'il soit corporel ou oral. Pour y pallier, toute une série de périphériques a été développée au fil du temps, permettant de transmettre ses instructions à la machine par le biais d'une interaction physique.

Nous présentons ici une liste de périphériques allant des plus communs et simples d'usage, tels que clavier et souris, aux plus avancés telle que le Lémur, en passant par des appareils moins grand public mais tout particulièrement dignes d'intérêt dans un contexte libriste. L'utilisation de ces périphériques passera généralement par une étape d'assignation d'une commande à une touche ou un potentiomètre. SOURIS, TRACKPADS & TRACKBALLS

Les souris sont des périphériques permettant de déplacer un curseur en fonction du déplacement physique du périphérique. Ils permettent de travailler sur deux axes à la fois et intègrent généralement deux boutons et une molette de défilement. Ils permettent de naviguer dans l'interface utilisateur des logiciels de VJing, mais ne permettent de ne changer qu'un paramètre à la fois.

Les trackballs, de moins en moins répandus, ont l'avantage d'avoir une embase statique évitant les déplacements inopportuns. les trackpads sont des périphériques pratiques et peu encombrants car ils font partie intégrante de l'ordinateur portable (ce qui permet également de ne jamais les oublier !). Les dernières générations de trackpads sont souvent multipoints et leurs pilotes possèdent des fonctions de reconnaissance de motifs. On peut notamment citer Unity et GEISS, de Ubuntu, qui permettent notamment de reconnaître des mouvements combinant de 2 à 4 doigts avec de nombreux matériels, dont le Apple Magic Trackpad. CLAVIER INFORMATIQUE

Le clavier est un périphérique équipé de touches, généralement porteuses de symboles, permettant de donner des instructions à l'ordinateur auquel il est raccordé. Ce périphérique est présent sur tous les ordinateurs, l'utilisateur en dispose donc par défaut. Il est tout à fait approprié pour rappeler des pré-réglages ou lancer des séquences. TABLETTES GRAPHIQUES

Une tablette graphique est une surface de contrôle constituée d'un support plat sur lequel on vient directement écrire, généralement au moyen d'un stylet. Contrairement à la souris traditionnelle, où le curseur se trouve à l'écran là où le mouvement de la souris s'est arrêté, la tablette donne un positionnement absolu : lorsque le stylet se trouve appliqué en haut à gauche de la tablette, le curseur va lui aussi sauter directement en haut à gauche de l'écran.

65 Les tablettes permettent également de restituer des paramètres plus fins, telles que la pression exercée et l'angle. La surface plane possède généralement quelques touches assignables, qui permettent de basculer d'un type d'outil à un autre. Les tablettes de la marque Wacom, un des constructeurs dominants, ont l'intérêt d'avoir des pilotes disponibles pour les trois principales plateformes, Windows, Mac OS X et GNU/Linux.

Inconvénients : dans une configuration multi-écrans, il faut préciser via le pilote de la tablette la zone à laquelle le déplacement absolu correspond. Il faut également calibrer la tablette afin de compenser la parallaxe*.

Une tablette Wacom et son stylet, accompagnés de l'ouvrage VJing, par 375 Wikipédiens. CONTRÔLEURS MIDI

Ce sont des périphériques d'abord développés pour les musiciens désirant contrôler des synthétiseurs à la manière d'instruments classiques tel qu'un piano ou une batterie.

Ils obéissent à une norme industrielle édictée au début des années 80 (Musical Interface Digital Instrument) permettant à de nombreux appareils de communiquer entre eux. Il s'agit à la fois d'un standard matériel, logiciel et d'un protocole de communication. Si les premiers périphériques non informatiques étaient équipés d'une encombrante prise de type DIN, que l'on retrouve en général sur les cartes son de gamme moyenne, la mise au point du driver universel USB a permis l'éclosion d'une multitude de périphériques informatiques ne produisant pas de son mais dédiés à servir d'interface homme- machine.

66 Carte son Edirol UA-25, fonctionnant avec le driver universel USB. On distingue au milieu les 2 prises MIDI in et out à la norme DIN, juste à côté de la prise USB femelle qui sert aussi à l'alimentation.

On peut distinguer deux sortes d'événements principaux produits par ces appareils : d'une part les notes, qui sont ponctuelles, et correspondent généralement à l'abaissement d'une touche (NoteOn) et à son relâchement (NoteOff), d'autre part les contrôleurs, qui produisent un signal continu variant entre les valeurs 0 et 127.

2 contrôleurs MIDI USB (en haut le Kenton KillaMix, en bas le Korg Nano Kontrol), et un contrôleur Bluetooth Nintendo Wiimote. (Notez les jolis stickers apposés par les propriétaires de ces objets!) ÉCRANS TACTILES

Bien qu'existant depuis belle lurette, les écrans tactiles n'ont été mis à disposition du grand public que récemment (après avoir été cantonnés pendant longtemps au rayon des caisses enregistreuses). Grâce à des applications telles que TouchOSC (disponible sur Android et iPad/iPhone), les smartphones et autres tablettes tactiles permettent des manipulations multipoint, sur le même principe que le défunt Lémur.

67 Exemple de manipulation multipoint sur un iPad avec le programme TouchOSC. Très pratique pour les artistes sans doigt opposable.

Il n'existe pas à l'heure actuelle d'équipement libre construit en série ayant des spécifications similaires. Néanmoins, on peut citer quelques pistes susceptibles d'ouvrir une brèche dans laquelle les hackers ne manqueront pas de s'engouffrer, essentiellement avec l'arrivée du tant attendu Rapsberry Pi, mais également autour de la BeagleBoard et de ses avatars PandaBoard, Igep, etc. Il s'agit de cartes équipées de façon très complète du chipset OMAP avec une ou plusieurs sorties vidéo permettant de connecter un écran tactile, une puce d'accélération graphique, des entrées-sorties, le wifi, le Bluetooth et l'USB.

Justin d'AntipastoHW a posté dès 2010 sur internet des instructions pour équiper une carte Beagleboard d'un écran tactile et de l'OS Android. CAPTEURS

68 Les capteurs sont des composants matériels qui ont pour rôle de saisir une grandeur physique et de la convertir en information numérique, une fois connectés à un circuit électronique faisant le pont entre le monde virtuel de la programmation informatique (concepts formels et logiques) et le monde physique (interaction électromécanique des objets), comme une carte Arduino.

Il est ainsi possible de capter la plupart des phénomènes physiques comme le vent, la pression, la température, la lumière, la torsion, la distance, etc. On peut classifier l'ensemble des capteurs en trois familles suivant le type d'informations qu'ils renvoient.

(source : http://fr.flossmanuals.net/arduino)

Les Arduino peuvent être équipés de cartes d'extensions parfois nommées shields* permettant de leur ajouter de nouvelles fonctionnalités, comme augmenter le nombre d'entrées analogiques, ce qui pratique pour ajouter des boutons-poussoirs et autres switches à la manière des notes On/Off émises par un clavier MIDI.

Pédalier doté de 24 poussoirs réalisé autour d'un Arduino par Pascal Ferrari. CC BY-SA. Voir également sur https://vimeo.com/36914018 une démonstration vidéo.

69 17. PAR AUTOMATISATION

L'automation consiste à faire exécuter une série de tâches par une machine ou un programme sans intervention humaine. PAR L'ANALYSE DE DONNÉES CONTEXTUELLES

Vision par ordinateur

De gauche à droite, image RVB, masque obtenu par soustraction du fond et soustraction des images consécutives.

Il est également possible d'utiliser les caméras comme capteurs. Pour ce faire, il faut appliquer un traitement algorithmique à l'image pour lui faire produire du sens. Ce procédé technique est appelé vision par ordinateur. La librairie OpenCV et ses diverses implémentations est un très bon outil libre pour ce faire.

Il faut noter ici que pour cette analyse, il est important d'opter pour une caméra débrayable, c'est-à-dire où l'exposition et la mise au point peuvent être mises en mode manuel.

L'analyse par soustraction du fond ou background subtraction permet la détection de présence comme de mouvement. Elle compare le flux vidéo à une image de référence, le fond, capturé une fois au début du processus. Elle permet de détecter les différences entre le fond et cette image, c.à.d. les corps ou objets distinguables, dits blobs, qui s'y meuvent. On pourra ensuite récupérer les positions et tailles de ces blobs dans l'image en utilisant un blobber. En plus de désactiver les réglages automatiques de la caméra, il faut que les conditions d'éclairage de la scène qu'on observe soit constant car si la lumière varie, le fond varie également, cette technique ne s'applique donc que dans des espaces clos sans lumière du jour directe, de nuit ou encore avec un éclairage infrarouge.

L'analyse par soustraction des images consécutives permet uniquement la détection de mouvement. L'image de référence pour la comparaison étant l'image précédente, ce procéder permet de distinguer les pixels où la couleur change. Si un objet ou une personne cesse de bouger, il disparaît. Si une forme de couleur unie s'y déplace seul son contour sera distingué, alors qu'un objet avec de petits motifs sera reconnu intégralement. Si tant est que de petites erreurs soit admissibles dans le processus où sera envoyé la quantité de mouvement ainsi calculée, ce type d'analyse est à préconiser car plus adapté à des conditions d'éclairages moins stables. Il faut noter enfin que cette analyse est souvent utilisée en corrélation avec des masques de zones ou un système de détection par cellules. Cela permet d'observer plusieurs zones en utilisant plusieurs caméras.

70 De nombreuses autres opérations sont possibles. Il est possible de repérer des objets en fonction de leur couleur, des visages humains, ou encore des marqueurs de réalité augmentée utilisés comme curseurs avec la Reactable.

Enfin il faut citer la Kinect, caméra développée par Microsoft pour sa console XBOX360. cette dernière a la particularité de "voir" en 3D. Libfreenect, outil libre développé par OpenKinect, contenant des drivers et bibliothèques sorti tout de suite après le lancement de la Kinect, permet d'utiliser cette dernière sur Windows, GNU/Linux, and Mac OSX. En plus des couches RVB d'une caméra classique, une couche Z est disponible, où chaque pixel décrit non pas la couleur mais la distance des éléments à l'objectif de la caméra, ce qui ouvre la porte à des tonnes de possibilités.

À gauche la couche Z, à droite l'image RVB, obtenue au moyen de Libfreenect et d'une Kinect.

Programmes libres : Pure Data avec GEM, Gridflow, PDP, Open Frameworks, Oskeleton, Gamuza, TUIO.

Programmes privateurs : ReactiVision, Max/MSP+Jitter, Eyesweb, faceOSC.

Analyse de flux audio

L'analyse du flux audio est bien évidemment un aspect tout aussi essentiel que complexe pour le VJ ou l'artiste désireux de voir ses visuels synchronisés avec ceux provenant de micros, d'un DJ ou d'un instrumentiste. L'une des principales difficultés avec l'analyse audio temps réel réside dans le nécessaire compromis entre la puissance de calcul nécessaire et le temps de latence induit par ce calcul, ainsi que la taille de la fenêtre. Les analyses dites offline sont en général bien plus précises mais c'est un cas de figure qui sort du cadre choisi. L'acoustique est un domaine particulièrement vaste, nous allons donc nous contenter de survoler trois types d'analyses usuelles: la détection du rythme, la détection de hauteur et les analyses FFT de fréquences, avec des exemples d'objets du langage Puredata et de la bibliothèque de fonctions Aubio.

71 La détection de rythme la plus simple consiste à analyser l'enveloppe de l'énergie du son au cours du temps, en mettant plus ou moins l'accent sur les hautes fréquences. C'est ce que réalise par exemple l'objet [env~] de Puredata. On ne va cependant pas très loin avec ce type d'analyse basé sur la somme de toutes les fréquences, avec de nombreuses analyses fantômes. Une méthode plus efficace consiste à pratiquer l'analyse sur plusieurs bandes de fréquences puis effectuer leur sommation, en tablant sur le ratio de chaque bande plutôt que la différence, ceci afin de normaliser l'analyse. C'est l'approche retenue par Miller Puckette dans l'objet [bonk~] de Puredata.

Avec Aubio, une autre approche est utilisé, puisque la librairie est disponible comme objet pour Puredata, mais aussi comme libraire C ou Python, ou encore comme programme autonome pouvant procéder au slicing, c'est à dire au découpage d'un enregistrement audio en une multitude de petits fichiers audio démarrant juste après la détection d'une attaque.

L'étape suivante après la détection des attaques, consiste à faire découvrir au programme si le rythme joué correspond à un motif déjà connu. C'est là qu'intervient la connaissance musicale de l'artiste.

72 Spectrogramme représentant la note La, de gauche à droite, jouée par un piano, par une guitare, par un vibraphone et par une harpe. L'axe des abcisses représente la durée, l'axe des ordonnées la fréquence donnée en Hertz. Les couleurs chaudes représentent des fréquences plus intenses. Source: Paul M. Brossier.

Le but de la détection de hauteur (ou pitch tracking) est de déterminer la fréquence exprimée en Hertz perçue par l'auditeur comme la hauteur d'un son. Nombre de sons, y compris certains sons percussifs, sont perçus comme dotés de cette hauteur. Certains, comme une cymbale crash et autres timbres percussids, ne sont pas perçus comme ayant une hauteur. Les sons musicaux sont souvent un alliage de sons dépourvus comme dotés d'une hauteur, qui peuvent se retrouver articulés en une suite de variations très rapides. Le but d'un système de détection de hauteur est donc d'identifier les sons qui donnent une sensation de hauteur, de suivre la fréquence correspondant à cette hauteur perçue, et d'éviter les sons dépourvus de hauteur. Autant cela est une tâche abordable avec un son monophonique, autant c'est une tâche complexe dans un contexte polyphonique, qui est le cas le plus familier. Elle consiste à identifier avant tout une fréquence fondamentale, puis ses harmoniques, en essayant de ne pas se retrouver trompé par les sons transitoires.

73 Exemple de patch Puredata faisant appel à l'objet [sigmund~]. Source: Dan Ellis, CC BY SA.

Le dernier type d'analyse envisagée ici l'analyse spectrale, qui consiste à analyser la hauteur d'ensemble de bandes de fréquences, le plus souvent 12, avec l'aide de la transformation de Fourier, connu sous le nom de FFT.

Illustration de l'article "Working with sound" de Thor Magnusson tirée de l'ouvrage "Digital artist's Handbook"

Une fois ces analyses effectuées, il est particulièrement aisé de transmettre leurs résultats aux programmes vidéo par une liaison MIDI ou encore en OSC.

Sources: Music signal processing, cours de Dan Ellis, Université de Colombia. Automatic Annotation of Musical Audio for Interactive Applications, PhD de Paul Brossier, Centre for Digital Music, Queen Mary University of London.

Capteurs à distance

74 Les capteurs constituent la première étape, dans la chaîne de l'interactivité, celle de l'acquisition. Leur fonction est de convertir des grandeurs physiques en valeurs mesurables et exploitables dans un circuit électronique et/ou informatique. Les capteurs sont présents partout dans la vie courante, de la cellule photo-électrique ouvrant la porte d'un magasin, aux RFID incrustées dans les passeports. On les trouve également sur scène ou dans les installations, que ce soit des capteurs propriétaires comme ceux construits par les Parisiens d'Interface-Z, ou des éléments distribués en licence Open Hardware produits par les toulousains de Snootlab, qui se greffent sur un Arduino.

On ne peut plus travailler en matériel électronique libre aujourd’hui sans évoquer cette dernière carte, conçue dans un but pédagogique par l'enseignant italien Massimo Banzi, une carte micro-contrôleur à bas prix permettant d'interfacer un ordinateur avec le monde physique. Elle a connu un succès fulgurant parmi les étudiants en design et en arts, comme parmi les performeurs de tout poil et les accros du DIY.

2 shields sur un arduino

De bas en haut : un Arduino, un shield Ethernet, un Shield lecteur audio avec une carte SD

Elle peut être connectée à 13 entrées ou sorties numériques, dont 3 PWM (pouvant donner 3 sorties analogiques : cf l’article PWM sur wikipédia) et 6 entrées analogiques convertissant en 10 bit. Dans la version la plus courante, la communication avec l’ordinateur se fait par un port USB. Il existe plusieurs versions de l’Arduino, dont une version miniaturisée, et de nombreux autres clones comme le Seeeduino. La carte dispose d’un logiciel système interne (modifiable) et de programmes utilisateurs.

La carte Arduino peut être autonome: elle dispose de sa propre alimentation électrique et fonctionne en exécutant le programme autonome écrit avec l'IDE libre Arduino ou encore l'IDE propriétaire AVR Studio. On peut également l'utiliser comme simple interface relié à un ordinateur via le port série ou plus communément un port USB. On flashe alors sur la carte un programme standard baptisé Firmata permettant de communiquer avec de nombreux programmes exécutés sur le PC comme les logiciels libres Processing, Pure Data, SuperCollider, mais aussi des programmes propriétaires comme Max/MSP, Macromedia Flash, etc.

Les Arduino peuvent être équipées de cartes d'extensions nommées shields qui étendent leurs capacités et leur permettent d'avoir des sorties vidéos, des capacités de lecture de système de fichiers sur carte SD, des capacités de réseaux filaire (Ethernet) ou sans fil (Bluetooth, Zigbee, Wifi), etc.

Sources : Jean-Noël Montagné, CRASlab, 2006. http://www.ci- diguente.net/cat/decouvrir/technologies-decouvrir/

75 18. À DISTANCE

Si un contrôleur placé entre les mains savantes du VJ permet d'instaurer un lien physique et organique avec les visuels, il permet également de remettre en question l'emplacement du performer, de la machine, et de la surface de projection. Les données transmises d'un ordinateur à l'autre pouvant voyager à travers les réseaux en une fraction de seconde, il devient imaginable de diriger une performance à distance.

Cette méthode peut être adoptée pour répondre à de simples contraintes pratiques : dans une salle de spectacle de grande dimension, on peut être confronté à des problèmes de câblage vidéo. En effet, la distance sur laquelle les signaux vidéo peuvent être transmis par un câble VGA sans dégradation est limitée à quelques dizaines de mètres. Ainsi, il peut être pratique de placer l'ordinateur contenant les fichiers média près du projecteur, tandis que le VJ, situé à un autre endroit de la salle, contrôle cet ordinateur à distance, par transmission de signaux de commande.

Certains logiciels se prêtent mieux que d'autres à ce type de dispositif : Veejay, basé sur une architecture serveur/client, anticipe cette situation. FreeJ, qui s'opère via la ligne de commande, se prête également à cet usage. Pour d'autres logiciels, on pourra assez facilement construire un "pont" en exploitant les protocoles MIDI et OSC. MIDI

Évoqué dans le chapitre précédent ("Avec des périphériques"), le protocole MIDI peut être utilisé pour la transmission de signaux par le réseau. L'ordinateur auquel le périphérique MIDI est connecté transmet ce signal à une autre machine, située à distance. Un logiciel comme Pure Data pourra servir de connecteur, acceptant le signal MIDI via l'objet [ctlin], et le transmettant par le protocole OSC.

Exemple dans Pure Data de la captation d'un signal MIDI et de sa transmission par le protocole OSC.

Le livre Floss Manuals consacré à Pure Data comporte un chapitre dédié à l'utilisation du MIDI.

76 OSC

Le protocole Open Sound Control (OSC) est probablement le plus répandu actuellement dans les logiciels de musique et pour les arts numériques, et figure comme un des successeurs du MIDI. Il permet non seulement d'envoyer des chiffres, mais aussi des listes, du texte et d'autres types de données (notamment des blobs, ou fichiers binaires). OSC offre une granularité* nettement supérieure à celle du MIDI, et permet donc une plus grande précision. Surtout utilisé pour la communication entre logiciels, il est également implémenté dans un nombre grandissant de périphériques, comme le Monome (www.monome.org), ou la Milkymist One (www.milkymist.org).

À gauche: Monome, photo par Matthew Davidson (licence CC-BY). À droite: Milkymist One, photo par bthrewww (licence CC-BY).

Les données OSC peuvent être transmises via le réseau en employant un protocole standard : UDP ou TCP. UDP est plus simple à implémenter (c'est la méthode standard pour les objets OSC de Pure Data). Toutefois ce protocole est sujet à une "perte de paquets" : si de nombreux chiffres sont transmis, il est possible qu'un signal n'arrive pas à destination. Cela ne posera pas de problème avec une interface de type glissette ou bouton rotatif, où une valeur perdue sur quelques centaines reste sans conséquence. Pour un bouton de type "activé / désactivé", cela peut s'avérer problématique. Dans ce cas, a fortiori lorsque la transmission passe par le réseau Internet, on utilise le protocole TCP, plus fiable.

Pour plus de détails, voir le chapitre consacré à OSC dans le manuel Floss Manuals consacré à Pure Data, ainsi que le site de référence www.opensoundcontrol.org. TUIO

TUIO (www.tuio.org) est un protocole pour la conception de surfaces tactiles multipoint (ou multitouch). Son objectif est de permettre la création de surfaces interactives, dont les signaux peuvent être interprétés par des logiciels. Il est basé sur OSC, ce qui assure une grande compatibilité, et se définit comme un "standard communautaire". Une application dédiée (multi-plateforme et sous licence GPL), reacTIVision (reactivision.sourceforge.net), a été développée pour encoder les données de contrôle, et les transmettre à des programmes de visualisation. Des implémentations existent pour les langages Java, C++, PureData, Max/MSP, SuperCollider et Flash. Parmi les projets artistiques utilisant cette technologie, le plus fameux est la reacTable (www.reactable.com), table interactive créant son et image en réaction au positionnement de divers objets. Mentionnons également MesaQ – Table User Interface, par le collectif Estereotips (www.estereotips.net/mesaq). 77 Une reacTable, au Altman Center à New York, 2007. CC-BY-SA Daniel Williams. RÉSEAUX SOCIAUX

On peut aussi envisager d'utiliser des réseaux sociaux comme sources d'interaction à distance afin de nourrir et/ou de contrôler des paramètres lors d'une performance audiovisuelle. Pour cela, on utilise une interface de programmation appelée API (pour Application Public Interface) qui va permettre d'interroger le site et recueillir des informations, des données.

Évoquons à titre d'exemple Twitter et son pendant libre Identi.ca, sites communautaires d'échange de mini-messages produisent des flux de contribution sur lesquelles il est possible de se "brancher" via leur API respective. Mentionnons également le site Cosm (ex- Pachube) qui a été développé pour recevoir des informations issues de capteurs environnementaux (qualité de l'air, données atmosphériques, consommation d'énergie) et les restituer sous différentes formes, permettant là aussi de récupérer des valeurs et les utiliser comme paramètres dans les logiciels de traitement audiovisuel (www.cosm.com). TÉLÉPHONIE ET SMS

L'utilisation de la téléphonie peut permettre à un large public d'intervenir dans une performance ou un système visuel. Lors de la première édition de l'installation urbaine Blinkenlights, créée en 2001 sur le Alexanderplatz à Berlin par des membres du Chaos Computer Club, le public pouvait interagir avec un immense écran en jouant au jeu Pong via le clavier de leur téléphone (blinkenlights.net/blinkenlights/pong), ou encore y afficher des lettres d'amour.

78 Parmi d'autres projets impliquant la téléphonie, on peut citer le spectaculaire projet Sky Ear de Usman Haque (2004, www.haque.co.uk/skyear.php), Larsen3G de Blixlab (www.larsen3g.com), mix audiovisuel à partir des contributions envoyées par les spectateurs avec leur téléphone ou encore le projet SMSlingshot, par le collectif VR/Urban (2009, http://vrurban.org/smslingshot.html), qui utilise XBee, un module Arduino pour la communication sans fil (xbee.wikispaces.com).

À gauche: Blinkenlights, rendering 3D de .as, licence CC- BY-SA. A droite: SMSlinghot, messages projetés au mur, photo de chloester, licence CC-BY-SA.

79 DIFFUSER SES IMAGES 19. PROJECTION 20. PROJECTION MAPPING 21. ÉCRANS, TÉLÉVISEURS 22. ENREGISTREMENT 23. STREAMING

80 19. PROJECTION

Les performances audiovisuelles ou VJ sont des expressions par l'image. Elles auront des impacts différents selon qu'elles soient partagées par projection, par diffusion sur écrans LCD ou cathodique, diffusées en direct ou en différé sur l'internet, ou enregistrées sur un support matériel ou immatériel mis en circulation ultérieurement (DVD, supports de stockage, serveurs internet, vidéo à la demande...). CONTEXTE DE PROJECTION

Le mode de diffusion le plus courant des performances VJ ou audiovisuelles/multimédia est la projection dans des lieux ou des équipements culturels comme des bars, des discothèques, des salles de spectacle, des friches culturelles, des scènes de festivals, à l'intérieur ou l'extérieur de monuments pour le mapping vidéo.

Dans ces cas, il utilise en général les moyens techniques mis à disposition en s'étant concertés préalablement avec le directeur technique ou le régisseur du lieu autour d'une fiche technique précisant les besoins spécifiques du dispositif. Un conflit historique oppose performeurs audiovisuels ou VJ et "lighteux" car ils partagent le spectre visible et ces $*£* de lighteux ont généralement plus de puissance lumineuse à leur disposition. Aujourd'hui les régisseurs lumière s'emparent de plus en plus de la vidéo dans leur travail scénographique alors que les artistes intègrent de plus en plus la question de la lumière dans leur spectacle, jusqu'à les piloter directement depuis leur outil. Ce rapprochement est de plus en plus vrai, considérant que les logiciels de VJing permettent de piloter des projecteurs automatiques, et que l'on trouve désormais des vidéoprojecteurs sur lyre donc mobiles, fin du conflit ?

Anne de Vries et Rafael Rozendaal ont initié à Berlin un principe amusant de rencontre : BYOB pour "Bring Your Own Beamer", c'est à dire que chacun est invité à participer à la soirée en amenant un vidéo-projecteur et en proposant un contenu. Ce principe de soirée a maintenant été repris dans plusieurs pays, voire http://www.byobworldwide.com.

Intervention du Graffiti Research Lab sur un bâtiment de Verizon aux Etats-Unis pour célébrer l'anniversaire d'une loi instiguée par la N.S.A. protégeant les opérateurs télécom de poursuites relatives à des écoutes illégales, http://www.graffitiresearchlab.com.

Des projections, ou d'autres modes de diffusion, peuvent prendre place de manière plus improvisée, voire sauvage, sans passer par des demandes d'autorisation. Ce type d'intervention peut être un moyen de se réapproprier l'espace public à une époque où l'image est omniprésente, ou utilisée comme moyen de libre expression politique et militante pour véhiculer des contenus qui ne trouvent pas de place sur d'autres canaux.

81 La législation ou les forces de l'ordre en place peuvent trouver des prétextes comme le danger d'un rassemblement techno non autorisé1, un volume sonore tapageur, ou bien la violation de la législation sur le droit d'auteur, mais il n'y a pas encore eu à notre connaissance de cas de condamnation pour des projections vidéo spontanées dans l'espace public.

Guerilla VJ bike. Photo: Ville Hyvönen, CC-BY-SA

La performance audiovisuelle in situ, au-delà des contraintes statiques des lieux et commanditaires éventuels, prend une place grandissante dans les pratiques vidéo live. Il s'agit alors de prendre en compte dans la proposition artistique les particularités historiques, sociales, et architecturales des endroits pour décupler l’expérience du spectateur en libérant son imaginaire et favoriser ainsi les rencontres par un environnement altérant (qui met hors de soi, hors de ses repères auto-centrés, qui fait devenir autre à l’écoute des autres, dans des ailleurs inventés/habités à plusieurs et partagés de manière éphémère). VIDÉO-PROJECTEURS

Que ce soit en intérieur ou extérieur, l'outil le plus courant pour diffuser ses images reste le vidéo-projecteur. Il existe de nombreuses sortes de matériel de projection, du produit grand public destiné au home cinéma au matériel professionnel coûteux mais extrêmement puissant, en passant par une gamme de projecteurs qui tiennent dans la main et qui permettent de projeter des images de taille réduite dans une obscurité poussée, le plus souvent sur batterie avec une carte mémoire : les pico-projecteurs.

Avec peu de moyens mais beaucoup de motivation, il est également possible de se fabriquer son propre vidéoprojecteur Do It Yourself : http://fr.wikibooks.org/wiki/Vid%C3%A9oprojecteur_DIY/Optique

Distance de projection

Pour obtenir de bons résultats en projection vidéo, il faut tenir compte de plusieurs paramètres dans les réglages du vidéo projecteur. Le rapport focale/distance de projection définissent la taille de l'image.

Calcul de la distance : La taille de l'écran est liée à la focale de l'objectif utilisé pour la projection et à la distance entre le projecteur et l'écran selon une simple règle de trois :

D = l x f 82 D = l x f

l = D / f

Avec : D = distance entre le projecteur et l'écran l = dimension de la base de l'image f = distance focale de l'objectif

Toutes les dimensions doivent être exprimées avec la même unité, le millimètre par exemple.

Détails et schémas explicatifs sur http://www.lightool.net/fr_video.html Outil de calcul en ligne : http://www.projectorcentral.com/projection- calculator-pro.cfm

La résolution native de l'appareil a également une incidence sur la qualité de l'image selon la distance entre le public et l'image projetée. Enfin, des lentilles permettent de projeter en 360°, type fish-eye avec correcteur de déformations.

Corrections de la géométrie de l'image

Si le vidéoprojecteur n'est pas exactement en face de la surface de projection, il est possible de corriger la déformation de l'image. Ces corrections dépendent de l'amplitude des déformations et de la qualité du vidéoprojecteur : voir keystone* et parallaxe*. Petit détail pratique : gardez toujours la télécommande du vidéo projecteur avec vous et vérifiez les piles !

SUPPORTS DE PROJECTION

83 Il est possible d'utiliser une grande gamme de surfaces de projection qui offrent des rendus esthétiques et des possibilités scénographiques différents (écrans non rectangulaires, en volume, tissus ou autres matières souples, eau, fumée...). Les matières transparentes permettent d'utiliser une succession d'écrans et de démultiplier l'image.

Il est préférable de créer ses images en fonction de leurs conditions de monstration, par exemple appliquer peu de compression spatiale pour une très grande projection, et peu de compression temporelle si le VJ a tendance à scratcher ses vidéos, c'est-à-dire lire ses séquences en effectuant des sauts fréquents en différents points. (voir "codec" dans chap. "Bases de l'image numérique").

Si la projection se fait par l'arrière de la surface de projection, on parle de rétro-projection. Il faut alors un écran perlé : une toile spéciale rétro-projection qui laisse transparaître une image lumineuse sur la face de l'écran opposée au vidéo-projecteur (ce qui n'est pas le cas lorsqu'un écran classique est utilisé). On peut également utiliser des produits moins coûteux comme du tulle, ou des moustiquaires, fort communes sous les tropiques.

Le faisceau de lumière émanant du projecteur, ou cône de projection, offre des possibilités d'intervention supplémentaire à la performance. La lumière ne se matérialisant que lorsque ses rayons heurtent un corps réfléchissant, on peut diffuser sur du brouillard, un rideau de fines gouttelettes d'eau devenant un écran immatériel, à la manière des créateurs lumière travaillant dans le domaine du théâtre. CONNECTIQUES ET CÂBLAGE

La longueur de câble entre la source et le projecteur peut avoir une incidence sur l'intensité du signal. En général, il n'est pas recommandé d'avoir des longueurs supérieures à 50m pour le VGA. Un rehausseur de signal peut être utilisé pour atteindre de plus grandes longueurs, au détriment parfois de la qualité de l'image. Du fait de la bande passante plus restreinte, on est parfois amené à abaisser la fréquence de rafraîchissement.

Les signaux numériques peuvent être transportés sur de la fibre optique, au coût élevé, mais garantissant une qualité parfaite, ou par le transport sur câble réseau Catégorie 5 (100 Mbps) équipé de connecteurs RJ45. On peut alors atteindre des distances de 100m en Full HD pour une fraction du montant nécessaire avec de la fibre.

84 À gauche, un caméscope branché via sa sortie numérique HDMI sur un boîtier émetteur. En gris, le câble réseau transportant le signal vidéo. L'ajout d'un second câble permet de transporter les pistes audio. Le boîtier récepteur doit être alimenté en courant continu. Enfin, à droite, une carte d'acquisition. MULTI-PROJECTION

L'utilisation de plusieurs vidéoprojecteurs est possible pour diffuser des images différentes comme pour dupliquer une seule image. Dans ce dernier cas on peut utiliser un boîtier dispatcher, parfois aussi nommé splitter.

Pour avoir différentes images, il faudra utiliser soit des sorties autonomes de la carte graphique de l'ordinateur, soit des boîtiers vidéo Matrox (DualHead pour 2 sorties, TripleHead pour 3 sorties). Dans ce cas il est possible de découper une image pour que chaque partie soit projetée indépendamment (panoramique horizontal ou vertical ou chaque partie projetée dissociée), mais il est aussi possible d'avoir des images autonomes projetées et pilotées par un seul ordinateur.

En haut, de gauche à droite l'entrée VGA, l'entrée DVI et l'alimentation électrique via USB d'une Matrox TripleHeadToGo. En bas, les trois sorties DVI compatibles VGA par le biais d'adaptateurs.

Les proportions d'une image en panoramique horizontal sont la somme des images associées, par exemple 2 images en 4:3 donneront un rapport total 8:3 , 3 images en 16:9 donneront un rapport total de 48:9, etc.

Si plusieurs ordinateurs servent de sources pour projeter différentes images, il est possible de les synchroniser (voir la partie "contrôler les paramètres à distance").

La multi-projection est notamment utilisée en mapping vidéo (voir chapitre suivant).

85 1. Amendement Mariani de la LSQ (Loi sur la Sécurité Quotidienne) datant de 2002 pouvant conduire à la saisie du matériel d'un sound-system. Ne concerne que la France mais a porté un sérieux coup d'arrêt au mouvement techno.^

86 20. PROJECTION MAPPING

Le terme de mapping vidéo est tiré du mapping de texture qui décrit l'application d'une image ou texture à une forme 3D lors de la génération d'images de synthèse telles que nous les connaissons au cinéma ou dans les jeux vidéos.

Le mapping vidéo (ou projection mapping) consiste lui en la projection sur des structures en relief. Celles-ci servant de support de projection se voient ainsi comme habillées par l'image. Grâce à l'utilisation de logiciels spécifiques (VPT, MadMapper), ou de programmes comme 4corners avec Pure Data, les volumes sont dessinés et reproduits, afin de faire coïncider le mieux possible telle image avec telle face ou partie de la structure. Ces logiciels permettent de projeter un ou plusieurs clips sur différentes zones de projection.

Ainsi on peut réaliser des effets de trompe-l’œil, liés à l'esthétique de l'hyper-réalisme. Les performances audiovisuelles utilisant la technique du mapping vidéo jouent sur l'ambiguïté entre ce qui est perçu et ce qui est su. L'illusion d'optique rend indéterminée la différence entre surfaces matérielles et projections immatérielles, et permet ainsi d'envisager des propositions visuelles se rapprochant de la réalité augmentée.

Source: PATMAP, installation interactive avec mapping sur sculpture de Marcio Ambrosio réalisée en collaboration avec Yacine Sebti, septembre 2011. Photo: Marcio Ambrosio, licence CC-BY-SA.

87 21. ÉCRANS, TÉLÉVISEURS

Il s'agit ici des écrans LCD*, plasma, à LED (écrans plein jour), ou cathodique. Ils peuvent être utilisés par choix artistique ou esthétique, ou pour des raisons de lumière (par exemple le lieu de diffusion ne pouvant pas être occulté), ou de place (pas besoin de distance minimum de projection).

Les différents types d'écrans peuvent se raccorder à un ordinateur de différentes manières : en VGA ou DVI, en utilisant une entrée-sortie HDMI ou, pour les écrans à tube cathodique, en passant par un transcodeur pour transformer la sortie VGA de l'ordinateur en signal vidéo composite (à connecter sur la prise péritel du téléviseur) ou encore en utilisant une carte vidéo qui propose directement une sortie vidéo analogique à connecter sur la télé.

Les écrans à tube cathodique peuvent évoquer l'esthétique vintage et le balayage d'électrons peut être modifié et contrôlé pour donner lieu à une création.

Par exemple, le projet Cracked Ray Tube est un travail collaboratif en temps réel de James Connolly et Kyle Evans. Le projet crée un environnement audio/vidéo synchronisé par le traitement de réseaux de communication de deux technologies obsolètes - des télévisions analogiques et leurs émetteurs vidéo et des écrans cathodiques d'ordinateur et leurs signaux VGA. Les signaux vidéo rouges, verts et bleus du câble VGA sont traités et renvoyés à travers une console son et génèrent simultanément l'information audio et vidéo qui est reçue, déchiffrée et affichée par plusieurs moniteurs. En outre, la vidéo diffusée est distordue à travers le contact physique avec un circuit utilisant la capacité du corps humain comme une interface de contrôle, et par la flexion électromagnétique de faisceaux d'électrons de grande puissance au sein de téléviseurs modifiés.

Cracked Ray Tube de James Connolly et Kyle Evans - Photo : Andy Rivera - Licence CC BY-SA

88 Le projet /CARPETGOO// du collectif JODI est également un exemple d'utilisation originale de l'écran comme surface de diffusion et comme matière première pour la performance. http://vimeo.com/22120982

89 22. ENREGISTREMENT

Les performances audiovisuelles, comme les sets VJ, sont éphémères. Les enregistrer permet d'en garder une archive, de les diffuser plus largement, ou de créer des séquences réutilisables dans un mix ultérieur (telles quelles ou retravaillées). Voyons quelques-unes des possibilités offertes par les logiciels de mix eux-mêmes ou par d'autres moyens, tels que filmer l'écran ou passer par une carte d'acquisition pour archiver sur un support externe. VIA LE LOGICIEL DE MIX

En général les logiciels de VJing permettent d'enregistrer dans un fichier vidéo le résultat des traitements et manipulations effectués en direct, mais certains offrent la possibilité d'enregistrer les commandes données au logiciel afin de les rejouer. Cette méthode ne ralentit pas le logiciel et demande moins de ressources que la création d'un fichier à partir de la sortie vidéo, qui peut être problématique en fonction des paramètres (dimensions, encodage, etc.) du fichier vidéo, de la carte vidéo et de la puissance du processeur de l'ordinateur. Par contre, lorsque l'on utilise la technique d'enregistrement des commandes, les images des caméras potentiellement utilisées comme sources live ne peuvent évidemment pas être archivées. AUTRES SOLUTIONS

Il existe d'autres possibilités d'enregistrement d'un mix d'images en temps réel que celles offertes par les logiciels déjà utilisés pour réaliser la performance. La plupart d'entre elles permettent de diminuer le recours aux ressources de l'ordinateur, et de réserver ainsi toute la puissance de calcul du processeur et de la carte graphique à la performance elle-même.

Filmer la projection, le moniteur ou la TV est une possibilité, à condition d'adapter la vitesse d'obturation de la caméra à la fréquence d'affichage du vidéo-projecteur ou du moniteur pour éviter un effet de balayage désagréable à l'œil.

On peut également faire l'acquisition du visuel issu de la performance en utilisant une carte d'acquisition vidéo, en reliant par exemple l'ordinateur équipé du logiciel de VJing à un autre ordinateur uniquement dédié à l'enregistrement.

Une autre solution peut être le screencast, capture vidéo de l'écran. Des outils permettant de faire une capture vidéo de l'écran existent sur les 3 systèmes d'exploitation, il faut néanmoins considérer que cette opération est gourmande en ressources, il faut donc adapter la taille de la capture aux capacités de la machine en prenant en compte les ressources déjà utilisées par le logiciel qui diffuse les images. Les logiciels les plus récents gèrent des formats de fichier de tailles assez variées et possèdent des fonctionnalités plus élaborées comme le suivi du pointeur de la souris, et la narration audio.

Le VJ peut ainsi s'exercer tout seul sans public et garder une trace de ce qu'il fait, soit pour archiver soit pour envoyer afin de se faire connaître et d'être programmé. Ainsi, avec ou sans sélection et montage, il pourra graver son mix sur support et le diffuser sur le net. Les "démos" de VJ sont ainsi des objets hybrides, des montages de traces de performances, souvent sur une même bande-son, entre le clip et le mix en direct.

90 91 23. STREAMING

Il est également tout à fait possible de diffuser une performance audiovisuelle ou un mix vidéo en direct sur Internet (en "streaming") afin de partager ce moment avec d'autres personnes à distance. Et inversement, on peut donner la possibilité à des spectateurs d'être présents virtuellement sur le lieu de la performance grâce à un dispositif de télé-présence. DIFFUSION AUDIOVISUELLE EN LIGNE

Le débit des accès à Internet comme la puissance des ordinateurs et serveurs permettent désormais de diffuser de la vidéo en direct avec une bonne à très bonne qualité. Pour ce faire, il faut installer un logiciel d'encodage sur un ordinateur présent sur le lieu du spectacle, et envoyer le flux vidéo encodé vers un serveur de streaming sur lequel se connectent des spectateurs depuis chez eux pour le visualiser.

Pour faire l'opération d'encodage et d'envoi sur le serveur, on peut utiliser des logiciels qui "regardent" ce qui est diffusé sur la sortie de l'ordinateur et l'encodent (avec des outils comme VLC, Webcamstudio, ffmpeg ou ffmpeg2theora) ou encore des composantes logiciels directement intégrés dans les outils de mix et de création, comme c'est le cas pour FreeJ ou encore Pure Data.

Voici un exemple de ligne de commande qui permet d'envoyer un flux vidéo avec ffmpeg depuis une machine Windows sur les téléphones portables les plus courants, soumis par emoc sur le forum codelab.fr :

ffmpeg -i test.m4v -vcodec libx264 -fpre "c:\ffmpegpresets\.ffmpeg\libx264-ipod320.ffpreset" -s 320x240 -b 180k -ac 1 -ab 48k outlow.mp4

L'installation des pré-réglages pour ffmpeg sous windows est assez tordue, il faut créer une variable d'environnement, la méthode est expliquée ici : http://forum.doom9.org/showthread.php?t=148777

Côté serveur, on peut s'appuyer sur des plateformes commerciales (bambuser, ustream, justintv) ou plutôt préférer (bien évidemment !) des solutions libres comme Giss.tv qui proposent à quiconque d'utiliser des serveurs Icecast librement, ou encore d'installer son propre serveur Icecast ou Flumotion.

Il faut considérer que l'opération d'encodage est assez gourmande en ressources, on utilisera donc si nécessaire une autre machine que celle utilisée pour la performance en démultipliant sa sortie pour la faire "avaler" à un ordinateur dédié qui se chargera de l'encoder et de l'envoyer au bon format sur le serveur de diffusion.

Pour lire ce flux vidéo, on peut soit utiliser un navigateur compatible avec le format envoyé, soit utiliser VLC en tant que lecteur. TÉLÉ-PRÉSENCE

Une autre possibilité de diffusion est de mettre en place un dispositif de télé-présence pour que des spectateurs puissent être visibles et participer virtuellement à la performance.

92 Annie Abrahams: "Angry Women - Take 3" (2011), performance utilisant la télé-présence.

Des artistes s'emparent aussi de ces technologies de télé-présence pour réaliser des œuvres audiovisuelles en réseau. Les flux vidéo sont dans ce cas de figure bi-directionnel, c'est à dire que deux personnes distantes peuvent ainsi se parler, interagir de façon corporelle ou plus informatique. À noter que la Société des Arts Technologiques a par exemple développé Scenic (http://code.sat.qc.ca/redmine/projects/scenic/wiki), un logiciel dédié à ce type de pratique.

L'interface du logiciel Scenic en action.

93 DÉCOUVRIR DES LOGICIELS LIBRES 24. VEEJAY 25. GEMQ 26. LIVES 27. P4LIVE

94 24. VEEJAY

Veejay est un logiciel de mix et de sampling vidéo. Avec Veejay, on peut jouer des vidéos comme on jouerait du piano préparé.

Tous les effets sont appliqués en temps réel, et Veejay apprécie autant l'audio que la vidéo car il permet de garder une très bonne synchronisation entre son et image, y compris en changeant la vitesse et la position de la tête de lecture à la volée. De plus Veejay peut s'appuyer sur le serveur audio Jack pour des effets audio complémentaires et propose d'enregistrer directement sur le disque dur de l'ordinateur votre mix vidéo.

Les auteurs de ce logiciel sont Niels Elburg et Matthijs van Henten. Ce logiciel ne marche aujourd'hui que sur Linux.

Il est possible de combiner plusieurs ordinateurs utilisant VeeJay via une interconnexion réseau pour réaliser une multiprojection, ou encore piloter Veejay à distance, l'interface graphique de contrôle étant dissocié du moteur de rendu et Veejay acceptant aussi l'envoi de commande texte via le réseau. INSTALLATION http://doc.ubuntu-fr.org/tutoriel/compilation.

Des instructions en français décrivant la procédure de compilation et d'installation de Veejay sous Ubuntu 10.04 et Debian Wheezy peuvent être trouvées sur le site de Labomédia : http://wiki.labomedia.org/index.php/Veejay. DÉMARRAGE DE VEEJAY

95 Pour lancer Veejay, il faut tout d'abord lancer la partie serveur de rendu et y connecter ensuite l'interface graphique de contrôle (appelée "reloaded"), dans un premier terminal taper : veejay -d

Taper ensuite dans un deuxième terminal : reloaded

Apparait alors le panneau de connexion ci-dessus, il convient de cliquer sur "Connect", l'interface graphique de gestion décrite ci- dessous apparait alors. PRÉSENTATION DE L'INTERFACE

Partie 1 :

96 Onglet Fx : gestion des paramètres de l'effet sélectionné (effet sur l'image ou effet de mixage entre 2 sources). Onglet Fx Anim : possibilité de définir une évolution dans le temps d'un ou plusieurs des paramètres de l'effet. Onglet SEQ : Séquenceur de vidéos permettant de définir dans le temps l'enchaînement des vidéos présentes dans la Samplebank (partie 4). Onglet MT : Permets de brancher plusieurs interfaces de contrôle (reloaded) sur un même serveur de rendu et de diffusion séparé en autant de Track. Onglet SRT : Permets d'intégrer des fichiers de sous-titres (.srt) dans la composition visuelle. Onglet Sample : Permets d'enregistrer (de sampler) ce qui "sort" de Veejay et de l'utiliser comme nouvelle source vidéo.

Partie 2 :

Écran de prévisualisation de la sortie de Veejay à activer en cochant la case "liveview on/off", possibilité de réduire la qualité de prévisualisation et de la passer en niveaux de gris. Boutons de contrôle de la tête de lecture : lecture, pause, arrêt, avance rapide, avance image par image, retour au début ou à la fin. Boutons pour faire une photo de la sortie de Veejay, pour définir le point d'entrée et de sortie de la tête de lecture sur un fichier vidéo, possibilité de créer un masque de mélange à partir d'un instantané. Choix du mode de lecture : en boucle, répété une fois, sans répétition, une seule fois, au hasard. Possibilité de changer la vitesse de lecture (de -25 à +25) ou d'appliquer un ralenti.

Partie 3 :

Onglet FX List : possibilité d'affecter à la vidéo lue soit des effets vidéo divers, soit des effets de mixage avec d'autres vidéos ou images fixes. Une fois l'effet sélectionné par double clic, il apparait dans la partie 4 de l'interface, ses contrôles sont affichés dans la partie 1, onglet "FX". Onglet Mixing sources : après avoir choisi un effet de mixage, cet onglet permet de définir entre quelles sources le mixage va s'opérer. Onglet RGB control : permets de changer la couleur d'un objet "solid", d'un aplat de couleur utilisable comme source.

Partie 4 :

Onglet Samplebank : affiche les medias disponibles pour le mixage. Ces médias peuvent être répartis en différentes banques (bank), on peut ajouter des médias dans chaque banque via le menu "GVeejay" > "Sample" > "New from file". Onglet FX Chain : permets d'accumuler les effets les uns par dessus les autres. Onglet Veejay : permets différents réglages du logiciel, notamment sur la synchro audio, le choix du port de communication entre l'interface et le serveur de rendu, permet également de voir les messages VIMS issus par exemple d'échanges avec le logiciel Pure Data. Onglet Media : permet d'ajouter des répertoires comme dossier de médias.

97 Partie 5 :

Cette fenêtre constitue la "sortie" de Veejay qui peut être vidéoprojetée en plein écran sur la deuxième sortie de sa carte graphique, plusieurs configurations sont possibles, pour cela voir les indications de la page http://www.veejayhq.net/docs/getting-started/. SPÉCIFICITÉS DE VEEJAY

Veejay propose les fonctionnalités les plus couramment rencontrées dans les logiciels de veejaying, il dispose de quelques fonctionnalités originales avec notamment la possibilité de synchroniser finement et efficacement la lecture de l'audio et de la vidéo (possibilité de ralentir ou accélérer la lecture, de "promener" la tête de lecture en gardant la synchro son-image).

Une autre caractéristique importante est dans la dissociation de l'interface graphique de contrôle du moteur de rendu qui génère la vidéo projetée en plein écran. Cette caractéristique permet de piloter Veejay à distance sur un autre ordinateur que celui branché sur le vidéoprojecteur, voir de piloter un seul moteur de rendu à partir de plusieurs ordinateurs / interfaces graphiques de contrôle distinct, permettant des performances audiovisuelles collaboratives. Cette caractéristique permet aussi a contrario de piloter plusieurs ordinateurs avec une seule interface graphique pour faire de la multiprojection.

Une autre fonctionnalité sympathique réside dans la possibilité de piloter Veejay avec le logiciel libre Pure Data : cela donne accès à la plupart des fonctionnalités du logiciel et là aussi de faire du pilotage à distance ou selon des dispositifs interactifs programmés dans Pure Data.

98 25. GEMQ

GemQ est un logiciel conçu par Luca Franceschini et Luca Carrubba, basé sur Pure Data et la librairie Gem. Une première version, nommée Qeve, fut développée avec le soutien de l'association d'artistes Telenoika et du centre d'art Hangar (Barcelone). L'objectif de GemQ est de fournir une interface simple d'utilisation pour le mixage vidéo en temps réel. INSTALLATION

GemQ est disponible sous forme de packages fournis pour différents systèmes, dont Debian/Ubuntu et OSX (10.6). Une version pour Windows est également disponible, mais les développeurs indiquent qu'elle n'est pas considérée comme stable. L'installation préalable de Pure Data est requise, dans la version Pd-0.42.5-extended, qui peut être obtenue sur www.puredata.info. PRÉSENTATION DE L'INTERFACE

L'interface de GemQ offre trois canaux de mixage (1), pouvant jouer du texte, des fichiers vidéo, des fichiers image, ou capter une image live provenant d'une caméra. Le canal alpha peut être contrôlé, permettant des fondus ou des superpositions par transparence. Les canaux vidéo et caméra peuvent être modifiés par une vingtaine d'effets, provenant de la librairie FreeFrame.

Une grille visuelle (2) permet d'afficher les vignettes de fichiers image et vidéo, et offre ainsi un accès rapide à une banque de médias.

Le séquenceur (3), divisé en 8 pas, permet d'enregistrer de courtes séquences vidéo dans la mémoire vive de l'ordinateur, afin de les rejouer. Il est ainsi possible de construire une performance sans matériaux préalables, en captant sur le vif des séquences visuelles qui seront manipulées. MÉLANGER DES SOURCES DANS GEMQ

99 Pour mélanger des sources dans GemQ, il suffit d'alimenter les différents canaux ou "channel" (1) avec des contenus différents et de moduler l'opacité de chaque canal ("l'alpha"), en premier lieu celle du canal 1 qui se retrouve "au dessus" des canaux 2 et 3.

Une autre façon de mélanger des sources est de placer sur les canaux supérieurs (les channel 1 et 2) des images partiellement transparentes (disposant d'une couche alpha et de zones transparentes), ou de réduire la taille des médias placés sur ces canaux pour laisser apparaître les contenus situés "en dessous". AUTOMATISATION

GemQ offre des possibilités d'automatisation, sur deux modes distincts :

En mode "Clock", les actions automatiques sont déclenchées par une horloge interne, dont le tempo est défini par l'utilisateur. En mode "Audio", les actions sont déclenchées par les volumes audio entrants, divisés en fréquences hautes, médianes et basses. On pourra ainsi se calquer sur le rythme d'une musique, ou encore piloter les images par le son de la voix.

GemQ comporte également la possibilité de piloter des paramètres depuis un contrôleur MIDI. A cet effet, on utilisera le logiciel JACK pour assigner la transmission des commandes MIDI à GemQ. ENCODAGE DES VIDÉOS AVEC QVIDEOCONVERTER

Afin de faciliter la préparation de fichiers vidéo adaptés à la lecture, la version GNU/Linux de GemQ est accompagnée d'un script d'encodage : qVideoConverter (après l'installation, ce script est disponible dans le menu Applications > Son et vidéo). Il s'agit d'une interface minimale permettant de choisir un dossier contenant des vidéos. Celles-ci seront automatiquement converties dans un format approprié (le script utilise FFmpeg pour réencoder les vidéos avec le codec Motion JPEG).

RÉFÉRENCES : pantaliqa.org [en ligne]. Disponible sur : [consulté le 14 mai 2012]. C'est le principal site de référence, donnant accès aux installeurs.

100 Estereotips. «GemQ» [en ligne]. Disponible sur : [consulté le 14 mai 2012].

Installateur Ubuntu LTS 10.04 disponible depuis le wiki du Labomédia: [consulté le 14 mai 2012].

Spuk Kommune. «GemQ free VJ software for Linux» [vidéo en ligne]. 28 juin 2010. Disponible sur : [consulté le 14 mai 2012]. Une vidéo de présentation (en langue anglaise), donnée en 2010 au festival Cannibal Caniche à Berlin.

101 26. LIVES

Le logiciel LiVES a la particularité d'offrir une double fonction&. D'une part, il s'agit d'un éditeur vidéo destiné à produire des montages. D'autre part, ses capacités à appliquer des effets en temps réel permettent de l'utiliser comme un outil de VJing. LiVES est développé depuis 2002 par Gabriel "Salsaman" Finch. INSTALLATION

Sous GNU/Linux, LiVES peut être installé très simplement via Synaptic* puisqu'il est présent dans les dépôts de Debian et Ubuntu. Pour d'autres plates-formes, les procédures d'installation sont disponibles sur le site lives.sourceforge.net. Des packages existent pour de nombreuses distributions GNU/Linux. INTERFACE

L'interface de LiVES peut être configurée en mode clip (une piste), afin de traiter un séquence unique (déterminer les points de débuts et de fin, appliquer des effets), ou en mode multipistes, ce qui permet d'effectuer un montage avec plusieurs vidéos.

UTILISATION PERFORMATIVE

L'utilisation de LiVES comme outil de performance passe par l'assignation de raccourcis clavier à des événements, permettant de lancer des séquences, d'en modifier direction et vitesse de lecture, et d'assigner des effets. Le contrôle est également possible par des périphériques externes, via les protocoles MIDI et OSC, ainsi que par la Wii.

102 27. P4LIVE

Créé et développé par Lot Amorós, P4live est un logiciel multi- plateforme (Gnu/Linux, Mac OS X, Windows) basé sur Processing, qui permet de mélanger jusqu'à trois sources générées par des programmes (ou sketches) créés dans Processing.

P4live permet également d'appliquer des effets supplémentaires à ces sources et de les contrôler de façon automatisée par l'analyse du son et par des commandes MIDI et OSC. INSTALLATION

Les fichiers et instructions d'installation pour Windows, Mac et Linux sont disponibles sur le site http://code.google.com/p/p4live/. PRÉSENTATION DE L'INTERFACE

PARTICULARITÉS

Un aspect intéressant du logiciel vient du fait que l'analyse de l'image de la webcam par le logiciel dédié P4Vision (disponible sur http://code.google.com/p/p4vj/wiki/P4Vision) est retransmise par OSC.

103 CONCLUSION 28. LA PERFORMANCE AUDIOVISUELLE, OPÉRA CONTEMPORAIN ?

104 28. LA PERFORMANCE AUDIOVISUELLE, OPÉRA CONTEMPORAIN ?

Comment apporter une conclusion à un ouvrage qui traite de disciplines artistiques en perpétuelle mutation ? L'avènement du VJing, de la performance audiovisuelle tend à montrer que ces formes de spectacle multi-sensoriel recueillent un engouement des spectateurs et stimule la création des artistes.

Cette dynamique de création a surtout été facilitée par des progrès techniques, rendant les outils et moyens de diffusion beaucoup plus accessibles ces dernières années, grâce notamment au mouvement des logiciels libres. Ce mouvement a favorisé l'émergence d'applications permettant de manipuler du son et de l'image en temps réel ou encore permettant de soi-même créer ses propres logiciels et instruments audiovisuels numériques, avec, par extension, du matériel libre comme les cartes Arduino qui ont rendu l'interfaçage homme/contexte - machine beaucoup plus abordable.

L'histoire de l'art regorge en effet déjà depuis le milieu du XXème siècle d'expérimentations diverses impliquant une approche transdisciplinaire. Ces expérimentations restaient néanmoins cantonnées à un nombre restreint d'artistes qui devaient s'associer à des ingénieurs et des entreprises ou laboratoire de recherche pour faire exister leurs idées. Les logiciels et matériels libres et leur documentation marquent donc à ce titre un tournant que nous nous sommes attachés à baliser pour les générations futures. UN MANUEL PRATIQUE POUR APPRENDRE À UTILISER DES OUTILS VIDÉO ET AUDIOVISUELS LIBRES

Ce manuel a en effet l'ambition de faciliter l'appropriation de ces outils libres. Il s'articule autour d'une approche pratique et concrète, en commençant par aborder la préparation des médias pour traiter ensuite de leur manipulation avant et pendant le temps de la performance, et considérer la diffusion de ce travail.

Un certain nombre de logiciels ont été abordés dans ce manuel avec toujours en tête la volonté d'avoir une approche multiplateforme et le souci de la facilité d'utilisation, de la fiabilité, de la pérennité. Cette volonté n'a été comblée qu'en partie aujourd'hui, ces critères n'étant que partiellement remplis pour les logiciels les plus "prêts à l'emploi", alors que les environnements de développement qui permettent de se fabriquer sur mesure ses outils numériques audiovisuels sont eux très largement utilisés et répandus dans la communauté artistique et au-delà. REPRÉSENTATION SENSIBLE VS REPRÉSENTATION POLITIQUE/ÉTHIQUE

105 Ces formes d'expression artistique questionnent notre rapport à la réalité sous différents angles. Elles questionnent tout d'abord notre rapport à l'image dans un monde où l'écran devient omniprésent pour ne pas dire omnipotent, focalisant un temps d'attention toujours croissant. Le monde et la "réalité" étant de plus en plus représentés, imagés, notre capacité d'abstraction, de regard distancié se transforme avec la société qui nous entoure au gré des évolutions de notre paysage cérébral que l'on espère encore divers et vallonné à l'avenir.

On peut ainsi différencier 2 types de contexte selon que le public est plutôt contraint à rester attentif, sérieux, et concentré sur la performance multimédia ou s'il est libre de vaquer à des occupations diverses. On peut utiliser la notion de perception distraite de Walter Benjamin dans ce dernier cas, alors qu'il sera question de perception captive dans le premier. La perception distraite (distraction) s'applique aussi au zapping et au cut-up, dont les set VJ sont des formes actives et en live, avec une certaine prise de distance entre intention et action, afin de ne pas prendre au premier degré la société du spectacle et sa propension croissante à proposer un divertissement facteur d'aculturation marchande.

C'est bien le rôle de l'artiste que de questionner librement ces évolutions sociétales, par une approche croisant sensibilité et expression "politique". Nous espérons donc que ce manuel contribuera modestement à favoriser le "vivre ensemble" en aidant des artistes à s'exprimer, en imaginant qu'un plus grand nombre de personnes y trouvera des moyens d'expression propices à la réflexion et à l'émerveillement.

Le tunnel de la perception par Vj Lidl - 2006 106 107 ANNEXES 29. A PROPOS DE CE LIVRE 30. GLOSSAIRE 31. RESSOURCES

108 29. A PROPOS DE CE LIVRE

Ce livre s'adresse à toute personne curieuse d'en apprendre davantage sur les techniques et outils libres de manipulation en direct de vidéos et d'images fixes et plus particulièrement à des VJ et vidéastes qui souhaiteraient utiliser des logiciels libres dans leur pratique.

Le cœur et la structure de l'ouvrage de plus de 124 pages ont été réalisés en 5 jours dans le cadre d'un Libérathon qui s'est tenu à Genève en Suisse dans le cadre du Festival Mapping du 14 au 18 mai 2012 grâce au soutien de l'Organisation internationale de la Francophonie (http://www.francophonie.org), du Festival Mapping (http://mappingfestival.ch) et du BAC (Bâtiment d'Art Contemporain).

Expérimentée et popularisée par la Floss Manuals Foundation et Floss Manuals Francophone dans le cadre de ses activités de création de manuels multilingues sur les logiciels et pratiques libres, la méthodologie du Libérathon (Booksprint en anglais) permet de rédiger en un temps très court des livres de qualité. Floss Manuals Francophone est une association loi 1901 dont l'objectif est d'organiser et de faciliter l'écriture ou la traduction de documentations en français.

Un groupe de sept co-auteurs originaires d'Europe et d'Afrique ont travaillé ensemble en veillant à représenter la diversité des utilisatrices et utilisateurs francophones.

Co-rédacteurs présents lors du booksprint :

Benjamin Cadon (France), artiste multi-média qui vit à Orléans où il coordonne le Labomédia, une association culturelle tournée vers l'art et les technologies numériques libres (www.labomedia.net et www.01xy.fr).

109 Laurent Carlier (France), VJ depuis une quinzaine d'années (co-VJ soirées TesT), initiateur et directeur de Vision'R VJ Festival (festival international nomade), a également créé Vision'R Ecole VJ, un cycle de formation en ateliers nomades orientés éducation populaire post- disciplinaire. Délégué général de l'association des Réseaux de la Création, il participe à des projets inter-associatifs comme VideoBase avec Regarde à Vue. Depuis 2009, il est directeur artistique des soirées mensuelles IRL performances (Centre Mercoeur 75011) qui fait partie de Mercore VJ Lab. http://vision-r.fr (festival VJ), http://irl.vision-r.org (performances IRL), http://regardeavue.com (vidéo citoyenne).

Olivier Heinry (France) travaille dans le domaine de la performance, de la danse et du théâtre à la croisée de l'image en mouvement, du son, de la lumière et de leurs interactions, mis en œuvre avec des outils libres. http://olivier.heinry.fr

Manuel Schmalstieg (Suisse) opère à la croisée de la vidéo, de la performance et des arts numériques. Depuis quelques années, il expérimente les transformations de l'écrit avec le projet Greyscale Press. En 2010, dans le cadre du festival Mapping, il organise un wiki- sprint, atelier d’écriture collaborative couvrant les pratiques de "Vjing" sur Wikipédia. http://ms-studio.net, http://greyscalepress.com

Yacine Sebti (Maroc / Belgique). Artiste multimédia, créateur d'œuvres numériques interactives nominés dans plusieurs festivals, performeur, il collabore également à des productions de théâtre et de danse. Il intervient également en tant qu’artiste formateur à iMal, centre bruxellois de cultures et technologies digitales.

Carole Thibaud (France). Du film documentaire à l'installation, de la pellicule à la programmation informatique, le travail de Carole Thibaud est une exploration de la vidéo à travers ses multiples supports et applications. Passionnée de cinéma, c'est finalement sa pratique du VJing qui la pousse à prendre la caméra. Elle a également participé au wiki-sprint sur le Vjing organisé en 2010 dans le cadre du Festival Mapping. http://www.carolethibaud.com

Emilie Villemagne (France). C'est par la ré-appropriation ironique des médias de masse qu'eMTv commence le mix vidéo en 2004. Animée par un esprit de partage des savoirs et des savoir-faire, elle devient modératrice du forum VJFrance.com et organise des rencontres- ateliers autour de l'expression live par l'image et le son. Au-delà du VJing, elle hybride ses pratiques avec le collectif 1minute69, en se consacrant désormais aux performances et installations audiovisuelles interactives ou immersives. http://www.vjemtv.net, http://www.1minute69.com, http://www.vjfrance.com

Elisa de Castro Guerra (France), facilitatrice du Libérathon est par ailleurs graphiste utilisant les logiciels libres, auteur et formatrice sur les logiciels libres. Elle est également fondatrice de FMfr et de l'Afgral. UN MANUEL LIBRE DISPONIBLE SOUS PLUSIEURS FORMATS ET SUPPORTS

Écrit en collaboration, ce manuel d'initiation a été inspiré par les valeurs du libre. Il est disponible depuis le site de Flossmanuals sous plusieurs formes : livre imprimé, pages web, PDF et ePub, ce dernier format permettant de le consulter facilement sur des appareils portatifs.

Publié sous licence GPLv2 ce manuel peut être lu et copié librement.

110 Par ailleurs, la version électronique de cet ouvrage évoluera encore au fur et à mesure des contributions et des avancées des logiciels et de la pratique liés au VJing. Pour consulter la dernière version actualisée, nous vous invitons à visiter régulièrement le volet francophone de Floss Manuals sur le site http://fr.flossmanuals.net/

N'hésitez pas à votre tour à améliorer ce manuel en nous faisant part de vos commentaires dans la liste de diffusion francophone de Floss Manuals. Si vous avez des talents de rédacteur et une bonne connaissance de la manipulation audio-vidéo numérique, l'envie d'ajouter une remarque ou un détail, inscrivez-vous en tant que contributeur pour proposer la création de nouveaux chapitres ou améliorer les chapitres existants.

Vous consultez la première édition du 19 mai 2012.

111 30. GLOSSAIRE

Bit Unité fondamentale de stockage et traitement de l'information. elle n'a que deux valeurs possible. Lorsque l'on parlera de 8bits pour décrire la profondeur de couleur d'une image en niveau de gris, cela voudra dire que du noir au blanc, il n'y aura 256 valeurs possibles (2^8). Chronophotographie La chronophotographie est le terme historique qui désigne une technique photographique qui permet de prendre une succession de photos à intervalles réguliers permettant d'étudier le mouvement en décomposé de l'objet photographié. Le principe est d'impressionner une portion vierge de plaque ou de pellicule à chaque intervalle de temps. Plusieurs systèmes furent utilisés comme les appareils à objectifs multiples à déclenchements successifs mais la solution finalement apportée fut la synchronisation de la fermeture de l'obturateur et du déplacement de la surface sensible impressionnée. (source wikipédia) Codec Issu de la contraction des mots Compression et Décompression, le terme codec désigne un composant logiciel (ou matériel) ayant pour mission la compression ou décompression de fichiers musicaux ou vidéo à l'aide d'un algorithme spécialisé. (Par exemple, mp3 et flac sont des codecs audio; h264 et theora sont des codecs vidéo). Compiler L'action de compiler un logiciel consiste à traiter le code source pour produire une application exécutable (cette dernière est appelée binary, car il s'agit de code binaire en 0 et 1). Cette procédure est souvent réservée aux programmeurs, mais elle peut s'avérer nécessaire dans diverses situations : quand on souhaite utiliser une version très récente d'une application, basée sur le code le plus frais; ou encore, quand aucune version exécutable n'est disponible pour un système donné. Dans ce cas, en suivant scrupuleusement la documentation accompagnant le code, il est souvent possible d'obtenir un logiciel fonctionnel en entrant quelques lignes de code dans le terminal. Pour plus d'informations, voir http://doc.ubuntu-fr.org/tutoriel/compilation. CPU Le processeur, ou CPU (de l'anglais Central Processing Unit, « Unité centrale de traitement »), est le composant de l'ordinateur qui exécute les programmes informatiques. Avec la mémoire notamment, c'est l'un des composants qui existent depuis les premiers ordinateurs et qui sont présents dans tous les ordinateurs. Un processeur construit en un seul circuit intégré est un microprocesseur. CRT Un tube cathodique (en anglais,Cathode Ray Tube: CRT) est un tube à vide constitué d’un filament chauffé, d'électrodes en forme de lentilles trouées qui, soumises à une différence de potentiel (tension), créent un champ électrique accélérant les électrons. Ces derniers viennent frapper l’écran, sur lequel est déposée une couche électroluminescente réagissant au choc des électrons en créant un point lumineux. La trajectoire du flux d'électrons de la cathode vers l'écran est rendue possible par la présence d’une anode alimentée à un très fort potentiel (environ 25000 V) qui attire celui-ci. DB15 nom donnés aux connecteurs présents au deux extrémités d'un

112 cable VGA. Diorama Système de présentation par mise en situation ou mise en scène d'un modèle d'exposition (un personnage historique, fictif, un animal disparu ou encore vivant à notre ère...), le faisant apparaître dans son environnement habituel. DLP La technologie Digital Light Processing (abrégé en DLP, qu'on pourrait traduire par « traitement numérique de la lumière ») est utilisée dans les vidéoprojecteurs, ainsi que dans certains téléviseurs. À l'origine, cette technologie a été mise au point par l'entreprise américaine Texas Instruments (TI) en 1987 et plus particulièrement par le Dr Larry Hornberk. DVI Digital Visual Interface (DVI) est un type de connexion numérique qui sert à relier une carte graphique à un écran. Elle n’est avantageuse (par rapport au connecteur VGA) que pour les écrans dont les pixels sont physiquement séparés (et donc indépendants), ce qui est le cas des écrans LCD, plasma et des futurs OLED mais pas des écrans à tube cathodique (où le faisceau d’électrons reproduit — en temps réel — les variations du signal analogique). La liaison DVI améliore sensiblement la qualité de l’affichage par rapport à la connexion VGA : grâce à une séparation des nuances de couleur pour chaque pixel : image parfaitement nette, et grâce à une transmission numérique (sans perte) des nuances de couleur. Fragment ou Fragment shader Le fragment shader ou pixel shader est un shader dont le but est de calculer la couleur de chaque pixel individuellement. Il prend ainsi en entrée les données de chaque pixel de l'image (position, coordonnées de texture, couleur) et renvoie la couleur de celui- ci. (source wikipédia) Framework En programmation informatique, un framework est un kit de composants logiciels structurels, qui sert à créer les fondations ainsi que les grandes lignes de tout ou d’une partie d'un logiciel (architecture). Un framework se distingue d'une simple bibliothèque logicielle principalement par son caractère générique, faiblement spécialisé, contrairement à certaines bibliothèques, et par le "cadre de travail" qu'il impose de part sa construction même, guidant l'architecture logicielle voire conduisant le développeur à respecter certains patterns. Granularité La notion de granularité définit la taille du plus petit élément, de la plus grande finesse d'un système. Quand on arrive au niveau de granularité d'un système, on ne peut plus découper l'information. Par exemple dans une population, la granularité est l'individu. En physique la granularité a longtemps été l'atome. (source wikipédia) HDMI Le High Definition Multimedia Interface (en français, « Interface Multimédia Haute Définition ») est une norme et interface audio/vidéo totalement numérique pour transmettre des flux chiffrés, principalement non compressés et destinés au marché grand public. Le HDMI permet de relier une source audio/vidéo DRM – comme un lecteur Blu-ray, un ordinateur ou une console de jeu – à un dispositif compatible – tel un téléviseur HD ou un vidéoprojecteur. Image-clé Dans une séquence vidéo, une image-clé est une image qui contient toutes les informations nécessaires à son affichage. C'est une image complète qui va servir de référence pour la reconstruction des images partielles de la séquence. Latence

113 Dans le domaine de l'image vidéo en temps réel, la latence désigne le délai à l'affichage de l'image. Ce délai est souvent causé par la décompression du format vidéo (voir Codec). LCD L'écran à cristaux liquides, (LCD pour liquid crystal display, en anglais), permet la création d’écran plat à faible consommation électrique. Aujourd'hui ces écrans sont utilisés dans presque tous les affichages électroniques. Les écrans a cristaux liquides utilisent la polarisation de la lumière par des filtres polarisants et la biréfringuance de certains cristaux liquides en phase nématique, dont on peut faire varier l’orientation en fonction du champ électrique. Du point de vue optique, l’écran à cristaux liquides est un dispositif passif : il n’émet pas de lumière, seul sa transparence varie, et il doit donc disposer d'un éclairage. Libre Se dit d'une production, logicielle, artistique ou matérielle, dont la licence respecte les 4 libertés fondamentales suivantes: celle de l'utiliser pour tous usages, celle de pouvoir l'étudier, celle de copier et redistribuer des copies, celle de modifier cette production et de publier ces modifications. Libriste Culture ou une personne inspirée et militante des valeurs de la culture libre (transparence, partage, remixage) Live coding Performance centrée sur l'utilisation de code informatique interactive et improvisée, créant sons et images en temps réel. Le Live coding est particulièrement répandu dans la musique électronique, et combine composition algorithmique et improvisation. Typiquement, le processus d'écriture est rendu visible par la projection de l'écran d'ordinateur. Keystone Le keystone (clef de voûte en français) est utilisé lorsqu'il y a tentative de projection d'une image sur une surface à un angle donné, comme avec un projecteur pas assez centré par rapport à l'écran sur lequel l'image doit être projetée. C'est une distorsion des dimensions de l'image, la rendant trapézoïdale, prenant la forme d'une clef de voûte architecturale, d'où le nom de la fonction. Dans le cas typique d'un projecteur posé sur une table, et orienté vers le haut de l'écran, l'image est plus large en haut qu'en bas. La mise au point sur certaines zones de l'écran peut ne pas être correcte dans la mesure où la lentille du projecteur est réglée sur une distance moyenne. Open source La désignation open source s'applique aux logiciels dont la licence respecte des critères précisément établis par l'Open Source Initiative, c'est-à-dire la possibilité de libre redistribution, d'accès au code source et aux travaux dérivés. Souvent, un logiciel libre est qualifié d'open source, car les licences compatibles open source englobent les licences libres selon la définition de la FSF. Le terme open source est en concurrence avec le terme recommandé par la FSF. Le terme (gratuiciel) désigne des logiciels gratuits qui ne sont ni ouverts, ni libres. Parallaxe La parallaxe est l’incidence du changement de position de l’observateur sur l’observation d’un objet. En d'autres termes, la parallaxe est l'impact (ou l'effet) de changement de position de l'observateur sur un objet observé. Sample / sampling Échantillon en français, extrait de musique ou d'image réutilisé dans une nouvelle composition ou création, et souvent joué ou lu en boucle. Le sampling est l'acte de réappropriation d'une portion de vidéo préexistante (souvent protégée par copyright) et réutilisée pour créer une nouvelle vidéo. Le code juridique est

114 peu clair sur le sujet. Set VJ Désigne la forme de performance archétypique pratiquée par un VJ. Celui-ci produit ses images en accompagnement d'un musicien ou plus souvent d'un DJ (disk jockey), dans un contexte festif et nocturne. Shader Programmes permettant de générer ou modifier des textures ou des formes 3D. Ces programmes présentent l'avantage d'être calculés par la carte graphique libérant le CPU. Shield Arduino ce terme décrit des cartes électroniques se branchant avec la arduino pour y ajouter des fonctionnalités, communiquer en OSC avec un ethernet shield, contrôler des moteurs avec un motor shield, rajouter un écran avec un display shield... Synaptic (Gestionnaire de paquets) Synaptic est un gestionnaire graphique de paquets, disponible sur Debian et les distributions dérivées (Ubuntu, Mint, Apodio...). Il permet d'installer facilement des logiciels sans avoir à les compiler manuellement. Avec le bureau Gnome 2, il est généralement accessible par le menu Système > Administration > Gestionnaire de paquets Synaptic. Son interface permet de chercher des logiciels par leur nom, ou de parcourir des répertoires thématiques ("Graphisme", "Logiciels vidéo", "Multimédia"...). Pour plus d'informations, voir http://doc.ubuntu- fr.org/synaptic. Son pendant graphique dans un terminal se nomme aptitude. TFT LCD Évolution des LCD classiques ayant plusieurs avantage, par exemple, plus de clarté et de contraste. VGA (câble) Utilisé pour connecter une carte graphique à un moniteur informatique en analogique. Ce connecteur est parfois appelé connecteur RGB, HD-15 ou D-sub 15. Il possède 15 broches organisées en trois rangées. Ce connecteur existe en deux générations : version originelle, et version DDC2, qui permet la détection automatique du type de moniteur. Certains ordinateurs portables sont équipés d'une variante miniature de ce connecteur, le Mini-VGA. Vertex Un vertex ou sommet est un type spécial du point qui décrit les coins et est aux intersections de formes géométriques. Ce terme est particulièrement utilisé lorsque l'on aborde les shaders, mode de programmation graphique décrit sommairement dans ce manuel, il décrit alors par un vecteur ce point particulier. Vidéogramme Image fixe provenant d'une vidéo (généralement nommée frame en anglais).

115 31. RESSOURCES

SITES DE LA COMMUNAUTÉ FRANCOPHONE

Floss Manuals Francophone : http://fr.flossmanuals.net/

Labomedia (association basée à Orléans): http://labomedia.org/

Codelab (forum consacré aux pratiques expérimentales de création): http://codelab.fr/

Forum francophone VJ : http://vjfrance.com

LeCollagiste VJ webmag : http://blog.lecollagiste.com/

Rencontres mensuelles VJ "IRL Performances" : http://i-r-l.vision-r.org FESTIVALS

Afropixel (Dakar) : http://www.afropixel.org/

Fête 01 (Orléans) : http://fete01.labomedia.net/

ElectroPixel (Nantes) : http://www.apo33.org/electropixel/

MakeArt (Poitiers) : http://makeart.goto10.org/

Mapping Festival (Genève) : http://mappingfestival.ch/

Vision'R (Paris) : http://vision-r.org/

116