1 Mikko Lahti Virtuaalisen esittelijän ja liikkeenkaappausjärjestelmän käyttöönotto Opinnäytetyö Syksy 2015 SeAMK Tekniikka Tietotekniikan tutkinto-ohjelma 2 SEINÄJOEN AMMATTIKORKEAKOULU Opinnäytetyön tiivistelmä Koulutusyksikkö: Tekniikan yksikkö Tutkinto-ohjelma: Tietotekniikan koulutusohjelma Suuntautumisvaihtoehto: Mekatroniikka Tekijä: Mikko Lahti Työn nimi: Virtuaalisen esittelijän ja liikkeenkaappausjärjestelmän käyttöönotto Ohjaaja: Hellman Tapio Vuosi: 2015 Sivumäärä: 52 Liitteiden lukumäärä: 1 SeAMKin virtuaalitekniikan laboratorion CAVE-studion esittelyitä on suuri tarve virtaviivaistaa, koska nykyisellään tämä vie paljon henkilökunnan aikaa, ja palkattua varahenkilöstöä ei ole. CAVE-studion optisen paikannusjärjestelmän käyttöä liikkeenkaappausjärjestelmänä on myös syytä tutkia ja kehittää, koska hyvin toteutettuna se saattaa lisätä kaupallisia yhteistyöprojekteja liikkeenkaappauksesta kiinnostuneiden tahojen kanssa. Tämän työn tavoitteena oli toteuttaa VR4MAX-visualisointirajapintaa käyttävä CAVE-esitys, johon on sisällytetty Motive-ohjelmiston liikkeenkaappauksella animoitu, Make Human -ohjelmistolla luotu ja 3ds Max -ohjelmistolla mallinnettu esittelijähahmo, sekä text-to-speech-menetelmällä luotu CAVE:n esittelypuhe. Työssä tutkittiin liikkeenkaappausjärjestelmän kunnollista käyttöönottoa ja optimaalista työnkulkua. Valmiiksi tulokseksi saatiin toimiva CAVE-esitys ja liikkeenkaappausjärjestelmän käyttöönotto onnistui. Avainsanat: liikkeenkaappaus, animaatio, Motive, 3ds Max, VR4MAX 3 SEINÄJOKI UNIVERSITY OF APPLIED SCIENCES Thesis abstract Faculty: School of Technology Degree programme: Information Technology Specialisation: Mechatronics Author: Mikko Lahti Title of thesis: Commissioning a virtual presenter and a motion capture system Supervisor: Tapio Hellman Year: 2015 Number of pages: 52 Number of appendices: 1 The CAVE studio in the virtual laboratory of Seinäjoki University of Applied Sciences is in great need of streamlining its introduction demo, because currently this takes a lot of staff time, and there is no paid substitute staff. Researching and developing the optical tracking system of the CAVE studio to be used in motion capture applications is also necessary, because if implemented well, it may increase the commercial collaborations with parties interested in motion capture. The objective of this work was a CAVE presentation, carried out using the VR4MAX visualization interface. This includes a character created in Make Human character creation software, animated in Motive motion capture software and modelled in 3ds Max 3D modelling software. There is also a CAVE presentation speech, created by using the text-to-speech method. This thesis studied the commissioning of a motion capture system and its optimal workflow. The thesis resulted in a functioning CAVE presentation and the commissioning of the motion capture system was successful. Keywords: motion capture, animation, Motive, 3ds Max, VR4MAX 4 SISÄLTÖ Opinnäytetyön tiivistelmä..................................................................... 2 Thesis abstract .................................................................................... 3 SISÄLTÖ…. ........................................................................................ 4 Kuvio- ja taulukkoluettelo..................................................................... 6 Käytetyt termit ja lyhenteet .................................................................. 8 1 JOHDANTO .................................................................................. 11 1.1 Työn tausta ..................................................................................... 11 1.2 Työn tavoite .................................................................................... 11 1.3 Työn rakenne .................................................................................. 12 1.4 Virtuaalitekniikan laboratorion esittely ............................................. 13 2 LIIKKEENKAAPPAUSJÄRJESTELMÄ .......................................... 14 2.1 Työnkulun suunnittelu ..................................................................... 14 2.2 Optinen paikannusjärjestelmä ......................................................... 16 2.2.1 OptiTrack Flex 3 ...................................................................... 17 2.2.2 OptiTrack-liikkeenkaappauspuku ............................................ 20 2.3 Ohjelmistot (Motive, 3ds Max) ........................................................ 22 2.3.1 Motive................................................... ................................... 23 2.3.2 Tiedostoformaatit .................................................................... 24 2.4 Liikkeenkaappaus ........................................................................... 25 2.4.1 Kamerajärjestelmän kalibrointi ................................................ 25 2.4.2 Näyttelijän valmistelu .............................................................. 29 2.4.3 Motive Skeleton ....................................................................... 30 2.4.4 Liiketiedon kaappaus ja tallennus ........................................... 32 2.4.5 Liiketiedon korjaus .................................................................. 33 2.4.6 Liiketiedon ratautus ................................................................. 35 2.5 Liiketiedon vienti 3ds Maxiin ........................................................... 36 3 VIRTUAALINEN ESITTELIJÄ ....................................................... 37 3.1 Ohjelmistot (Make Human, 3ds Max, VR4MAX) ............................. 37 3.2 3D-hahmon generointi .................................................................... 40 3.3 3D-hahmon riggaus ........................................................................ 41 5 3.4 3D-hahmon skinnaus ...................................................................... 44 3.5 Lipsync……………………………………… ...................................... 46 3.6 Esityksen vienti VR4MAX-ohjelmaan .............................................. 48 4 YHTEENVETO .............................................................................. 49 LÄHTEET.... ...................................................................................... 50 LIITTEET..... ...................................................................................... 52 6 Kuvio- ja taulukkoluettelo Kuvio 1. Virtuaalitekniikan laboratorio ja CAVE. ................................... 13 Kuvio 2. CAVE:n paikannusjärjestelmä. ............................................... 16 Kuvio 3. NaturalPoint OptiTrack Flex 3. ............................................... 17 Kuvio 4. Heijastinmerkkejä. .................................................................. 18 Kuvio 5. NaturalPoint OptiTrack -liikkeenkaappauspuku. .................... 20 Kuvio 6. Motiven käyttämä 37:n heijastinmerkin järjestelmä. ............... 21 Kuvio 7. Liikkeenkaappauksen ja ohjelmistojen työnkulku. .................. 22 Kuvio 8. Motive. ................................................................................... 23 Kuvio 9. NaturalPoint OptiTrack Wand. ............................................... 26 Kuvio 10. Sauvominen. ........................................................................ 27 Kuvio 11. NaturalPoint OptiTrack -kalibrointikolmio. ............................ 28 Kuvio 12. Näyttelijä liikkeenkaappauspuvussa..................................... 29 Kuvio 13. Motive Skeletonin luonti. ...................................................... 30 Kuvio 14. Näyttelijä T-asennossa Motivessa. ....................................... 32 Kuvio 15. Katkonainen liike Motiven editorissa. ................................... 33 Kuvio 16. Korjattu liike Motiven editorissa. ........................................... 34 Kuvio 17. Liikkeen ratautus Trajectorize-työkalulla. ............................. 35 Kuvio 18. Liiketiedon vienti Motivesta. ................................................. 36 Kuvio 19. Make Human. ....................................................................... 37 Kuvio 20. Autodesk 3ds Max................................................................ 38 7 Kuvio 21. Tree-C VR4MAX. ................................................................. 39 Kuvio 22. Hahmon generointia Make Humanissa. ............................... 40 Kuvio 23. Bipedin luonti 3ds Maxissa. .................................................. 41 Kuvio 24. Bipedin sovitus 3D-hahmoon. .............................................. 42 Kuvio 25. Liiketiedon tuominen Bipedin luihin. ..................................... 43 Kuvio 26. Skin-muokkaimen luonti. ...................................................... 44 Kuvio 27. Luiden vaikutusalueen määrittäminen. ................................. 45 Kuvio 28. Huulten valinta ja Ripple-muokkain. ..................................... 46 Kuvio 29. AudioPosition-ohjaimen luonti ja äänitiedoston tuonti. ......... 47 Kuvio 30. 3D-animaation vienti VR4MAX-ohjelmaan. .......................... 48 Kuvio 31. Valmis virtuaalinen esittelijä VR4MAXissa ........................... 53 8 Käytetyt termit ja lyhenteet 3D-geometria Käsittää 3D-mallissa olevat kappaleet tai massat. 3D-grafiikka Kolmiulotteista grafiikkaa, jossa on pituus-, leveys- ja syvyysulottuvuudet. 3D-malli 3D-mallinnusohjelmistolla luotu kokonaisuus. 3ds Max Autodesk 3ds Max on Autodesk ohjelmistokehittäjän 3D- mallinnusohjelmisto. Bone Luu eli yksittäinen kiinteä 3D-objekti luurangossa. CAVE Cave Automatic Virtual Environment on vähintään