Kinect & PlayStation Eye

Susanne Kerndle

Entwerfen Spezialisierter Themen

entwerfen spezialisierter Themen SS 12 1/14 Kerndle Susanne Abstract

Kinect & PlayStation Eye

Microsoft Kinect und PlayStation Eye bzw. PlayStation Move sind in jüngster Vergangenheit entwickelte „motion sensing input devices“ für Spielekonsolen. Im Gegensatz zu traditionellen Controllern basieren diese auf der Erkennung von Bewegung, Gesten und Sprache.

Kinect ist eine Erweiterung für die Xbox 360 Videospielekonsole, die Ende 2010 von Microsoft veröffentlicht wurde. Kinect enthält einen Tiefensensor, ein 3D- Mikrofon, eine Kamera sowie eigens entwickelte Software. Kinect wird zur Steuerung einiger speziell dafür entwickelter Spiele verwendet. Anfang 2011 veröffentlichte Microsoft außerdem eine Entwicklungsumgebung, die es ermöglicht, Kinect-Anwendungen für Xbox 360 und für PCs zu entwickeln. Bereits zuvor wurden Open Source Treiber für die Entwicklung von der Community erstellt.

PlayStation Move ist ein bewegungsempfindlicher Controller für die PlayStation 3 Spielekonsole, ähnlich dem Nintendo Wii Controller, der Ende 2010 von Sony veröffentlicht wurde. Das PlayStation Eye ist eine Kamera, die Bewegungen erfasst und unter anderem für das Tracking von Move Controllern benötigt wird. Die PlayStation Eye Kamera wurde unabhängig von den Move Controllern schon im Jahr 2007 veröffentlicht. Obwohl Sony keine offiziellen Treiber für das PlayStation Eye zur Verfügung stellt um es auf anderen Plattformen zu verwenden, gibt es von der Community erstellte Treiber für Windows, Mac OS, Linux und NetBSD.

Weiterführend wird versucht, die Eingabegeräte Kinect und PlayStation Eye hinsichtlich ihrer Eignung als Raumkommunikationssysteme zu analysieren. Sollte die Realisierung von Raumkommunikationssystemen möglich sein, so wird weiter untersucht welche Möglichkeiten bzw. Einschränkungen bestehen.

entwerfen spezialisierter Themen SS 12 2/14 Kerndle Susanne Einleitung

In der jüngeren Vergangenheit haben die so genannten „motion sensing input devices“, Eingabegeräte die auf die Bewegungen der Benutzer reagieren, sehr an Bedeutung gewonnen. Die aktuell am Markt verfügbaren Videospielkonsolen haben maßgeblich zu dieser Entwicklung beigetragen. Der japanische Hersteller Nintendo spielte hierbei eine Vorreiterrolle. Die Ende 2006 erschienene Nintendo Wii Konsole setzte auf einen bewegungsempfindlichen Controller als Eingabegerät. Auch die beiden anderen großen Konsolenhersteller, Microsoft und Sony, entwickelten daraufhin Erweiterungen für ihre Konsolen, die Bewegungssteuerung ermöglichen.

Kinect ist eine Erweiterung für die Xbox 360 Videospielekonsole, die Ende 2010 von Microsoft veröffentlicht wurde. Kinect enthält einen Tiefensensor, ein 3D- Mikrofon, eine Kamera sowie eigens entwickelte Software. Kinect wird zur Steuerung des Xbox 360 Dashboards sowie einer wachsenden Anzahl speziell dafür entwickelter Spiele verwendet.

PlayStation Move ist ein bewegungsempfindlicher Controller für die PlayStation 3 Spielekonsole, ähnlich dem Nintendo Wii Controller, der Ende 2010 von Sony veröffentlicht wurde. Charakteristisch an den Controllern ist eine leuchtende Kugel an deren Spitze. Diese wird zur Verfolgung der Controller verwendet und kann auch ihre Farbe ändern. Das PlayStation Eye ist eine Kamera, die Bewegungen erfasst und unter anderem für das Tracking von Move Controllern benötigt wird. Die PlayStation Eye Kamera wurde unabhängig von den Move Controllern schon im Jahr 2007 veröffentlicht.

Neben dem vorrangigen Verwendungszweck, der Steuerung von Spielen, gibt es für Kinect und PlayStation Move einige andere Anwendungen, die von Hobbyentwicklern erstellt wurden. Hierfür werden Open Source Treiber verwendet, die von der Entwickler-Community geschrieben wurden. Microsoft hat zusätzlich Anfang 2011 eine offizielle Kinect Entwicklungsumgebung für PC veröffentlicht.

Im Rahmen dieses Papers werden die technischen Funktionsweisen von Kinect und PlayStation Move, deren Möglichkeiten und Einschränkungen sowie einige Anwendungsbeispiele beschrieben.

entwerfen spezialisierter Themen SS 12 3/14 Kerndle Susanne Technik & Funktionsweise

Kinect

Der Kinect-Sensor (Abb. 1) wird über ein USB-Kabel an die Xbox 360 Konsole bzw. den Computer angeschlossen. Zusätzlich ist der Anschluss eines Netzteils nötig, da die Motoren für das Kippen des Sensors mehr Energie verbrauchen, als über USB bezogen werden kann.

Abbildung 1: Kinect-Sensor. Quelle: www.xbox.com

Der Kinect-Sensor enthält eine RGB-Kamera mit VGA-Auflösung (640 x 480 Pixel) und einer Frequenz von 30 Hz. Zusätzlich ist ein Tiefensensor enthalten, der aus einem Infrarot-Laser und einem CMOS-Sensor besteht. Weiters enthält der Sensor ein Mikrofon-Array bestehend aus vier Mikrofonen.

Die Software zu Kinect wurde von den Firmen Rare und PrimeSense entwickelt. Kinect ist imstande, Körperbewegungen und Gesten, Personen und Sprachbefehle zu erkennen. Kinect kann bis zu sechs Personen gleichzeitig erfassen, wovon maximal zwei aktive Spieler sein können. 1,2

Zur Erkennung der Spieler verwendet Kinect eine Reihe von Technologien: Spieler werden mittels Gesichtserkennung, Erkennung und Verfolgung der Farbe der Kleidung sowie Einschätzung der Größe erkannt und verfolgt. Durch das Einloggen über Kinect, bei dem sich der Spieler vor das Gerät stellt, winkt und in die Kamera sieht, lernt Kinect das Aussehen der Personen. Zusätzlich lernt Kinect durch fortlaufende Erkennung und Klassifizierung aller Personen im Blickfeld dazu und verbessert so die Erkennungsrate3.

1 Microsoft – Kinect Fact Sheet, www.microsoft.com/en-us/news/presskits/xbox/docs/KinectFS.docx 2 OpenKinect – Hardwareinformationen, http://openkinect.org/wiki/Hardware_info 3 Leyvand T. et al. - Kinect Identity: Technology and Experience, IEEE Computer, vol.44, no.4, pp.94-96 entwerfen spezialisierter Themen SS 12 4/14 Kerndle Susanne entwerfen spezialisierter Themen SS 12 5/14 Kerndle Susanne PlayStation Move & Eye

Das PlayStation Eye ist ein Zusatzgerät für die PlayStation 3, das im Oktober 2007 veröffentlicht wurde. Es enthält eine Kamera, die Aufnahmen mit einer Auflösung von 640 x 480 Pixeln bei 60 Hz oder 320 x 240 Pixeln bei 120 Hz unterstützt. Die Kamera enthält ein zweistufiges Zoom-Objektiv, das entweder Nahaufnahmen oder Ganzkörperaufnahmen ermöglicht. Zusätzlich ist ein Mikrofon-Array bestehend aus 4 Mikrofonen enthalten.4

Das PlayStation Move Bewegungssteuerungssystem wurde Ende 2010 veröffentlicht und baut auf das PlayStation Eye auf. Der PlayStation Move Motion Controller ist ein stabförmiger Controller, der in einer Hand gehalten wird und an dessen Spitze sich ein Marker in Form einer leuchtenden Kugel befindet. Diese enthält RGB-LEDs und kann so die Farbe beliebig ändern. Das PlayStation Eye verfolgt diese Marker und deren Bewegungen im Raum. Anhand der Größe der Marker ist auch ein Tracking der Entfernung möglich. Diese Tracking-Technologie ist sehr einfach und daher auch sehr schnell. Bis zu vier Motion Controller können zugleich an einer PlayStation 3 Konsole verwendet werden.

Am Controller befinden sich neben der Marker-Kugel noch einige Knöpfe, ein Trigger sowie eine Schlaufe für das Handgelenk. Er enthält einen Beschleunigungssensor, einen Drehratensensor und einen Magnetfeldsensor um Bewegungen sowie Rotationen zu registrieren und das Tracking der Marker zu ergänzen wenn diese verdeckt sind. Die Software-Library von Move unterstützt Motion-Tracking sowie Gesichtserkennung. 5, 6 Sony hat eine offizielle Softwareentwicklungsumgebung namens Move.me veröffentlicht, allerdings ist diese derzeit nur für die akademische Verwendung verfügbar. 7

Der Controller dient nicht ausschließlich der Eingabe; er kann über Vibrationen und Farbänderungen des Markers auch Informationen an den Benutzer ausgeben.

4 PlayStation Eye Pressemitteilung, http://us.playstation.com/News/PressReleases/396 5 PlayStation Move Motion Controller, http://us.playstation.com/ps3/accessories/playstation-move-motion-controller-ps3.html 6 Sony Computer Entertainment of America – Enhanced Reality, http://www.research.scea.com/research/pdfs/SIGGRAPHsketch2001RICK_pp.pdf 7 Move.me, http://de.playstation.com/moveme/ entwerfen spezialisierter Themen SS 12 6/14 Kerndle Susanne Anwendungsbeispiele

Im Folgenden werden einige Anwendungen vorgestellt, die PlayStation Move / Eye oder Kinect verwenden und Bezug zu Raumkommunikationssystemen haben bzw. Inspirationen für diese liefern können.

PlayStation Move & Eye

Johann Sebastian Joust8

Johann Sebastian Joust ist ein Spiel der dänischen Independent- Spieleentwickler Die Gute Fabrik. Es handelt sich dabei um ein digital unterstütztes Real-Life Spiel für zwei bis sieben Spieler. Es benötigt Motion Controller wie zum Beispiel die Nintendo WiiMote oder den PlayStation Move Controller. Das Spiel findet typischerweise im freien oder in einem großen, offenen Raum statt. Jeder Spieler hat einen Move Controller. Die Musik – eine Auswahl aus Johann Sebastian Bachs Brandenburgischen Konzerten – spielt dabei eine große Rolle. Spielt die Musik langsam so sind die Controller sehr bewegungsempfindlich. Wer den Controller zu schnell bewegt, dessen Marker geht aus und er scheidet aus dem Spiel aus. Wenn die Musik schneller wird dann wird die Bewegungstoleranz erhöht und die Spieler können sich kurzzeitig etwas schneller bewegen. Somit gilt es, den Move Controller so ruhig wie möglich zu halten und gleichzeitig mit der freien Hand auf die Controller der Gegenspieler zu schlagen oder diese aus dem Gleichgewicht zu bringen. Der letzte verbleibende Spieler gewinnt die Runde.

Abbildung 2: Johann Sebastian Joust, Quelle: http://gutefabrik.com/

8 Johann Sebastian Joust, http://gutefabrik.com/joust.html entwerfen spezialisierter Themen SS 12 7/14 Kerndle Susanne Kinect

NAVI – Navigational Aids for the Visually Impaired9

NAVI ist ein Projekt, das von Studenten der Uni Konstanz entwickelt wurde und die Verbesserung der Navigation für sehbehinderte Menschen zum Ziel hat. NAVI besteht aus einem Kinect-Sensor, der auf einen Helm montiert wurde, einem vibrotaktilen Gürtel und AR-Toolkit-Markern. Der gezeigte Prototyp (siehe Abbildung 3) ist mit einem Laptop verbunden, der in einem Rucksack transportiert wird.

Der Kinect Sensor fungiert – zusammen mit einer eigens entwickelten Software – als Navigationshilfe. Im Rahmen des Tests wurden im Gebäude AR-Toolkit- Marker auf Wänden und Türen angebracht. Zusätzlich ermittelt Kinect die Entfernungen zu Markern und Hindernissen mittels depth-processing. Anhand dieser kann NAVI die Position ermitteln. Der Benutzer wird mittels Sprachausgabe durch das Gebäude geleitet. Der vibrotaktile Gürtel enthält vorne und an beiden Seiten Vibrationsmotoren, die den Benutzern ein Bild des Raumes vermitteln sollen.

Abbildung 4: NAVI in Aktion

9 NAVI, http://hci.uni-konstanz.de/blog/2011/03/15/navi/ entwerfen spezialisierter Themen SS 12 8/14 Kerndle Susanne wi-GO10

Das Ziel von wi-GO ist die Verbesserung der Lebensqualität sowie die bessere Integration (u.a.) von behinderten und älteren Menschen, die Probleme damit haben Lasten zu transportieren. Wie in dem verlinkten Video zu sehen ist, handelt es sich bei wi-GO um ein Robotersystem, das auf dem Kinect-Sensor basiert. Der Roboter ähnelt einem Einkaufswagen, folgt dem Besitzer und ermöglicht diesem so, seine Einkäufe zu verstauen. Während das Einsatzgebiet dieses Projekts ein sehr spezielles ist, lässt es erahnen dass im Bereich der Robotik mit Hilfe von Kinect einiges möglich ist.

Abbildung 5: Ein Prototyp des wi-GO Roboters im Einsatz

10 Video zu wi-GO: http://vimeo.com/24542706 entwerfen spezialisierter Themen SS 12 9/14 Kerndle Susanne Augmented Projectors111213

Augmented Projectors ist ein Projekt von Microsoft Research, das neuartige tragbare Projektoren für Pervasive Computing14 in Räumen erforscht. Das Team hat zwei Arten von Projektoren entwickelt, die unterschiedliche Ansätze verfolgen. Die eine Art (RoomProjector) benötigt dabei eine Infrastruktur, bestehend aus mehreren Kinect-Sensoren, während die Andere Art (SLAMProjector) über eingebaute Kinect Hardware verfügt. Die Projektoren sind sich ihrer Lage und ihrer Umgebung bewusst. Sie unterstützen eine Anzahl verschiedener Interaktionen die durch diese beiden Technologien möglich werden; wie etwa Interaktionen durch Berührungen, sowie berührungslose Gesten in der Luft die den Schatten des Benutzers für Interaktionen nützen.

Abbildung 6: Beispielhafte Interaktionen die durch das System ermöglicht werden

A und B: Der User interagiert mit virtuellen physikalisch beeinflussbaren Objekten indem er den Schatten seiner Hand nützt. C: Durch erkennen des Schattens der Hand des Users wird ein Schreiben auf der Wand ermöglicht. Der Projektor verhält sich hierbei wie eine virtuelle Taschenlampe, die Bereiche sichtbar macht. D: Durch erkennen der Hand des Users wird ein schreiben in der Luft ermöglicht. E: Verwenden des Projektors wie eine Taschenlampe um virtuelle Objekte im Raum sichtbar zu machen. F: Illustration der Physikinteraktion durch raycasting von Stäben auf die 3d Szene.

11 Video zu Augmented Projectors: http://www.youtube.com/watch?v=frGEzlrhve0&feature=player_embedded 12 Project Page: http://research.microsoft.com/en-us/projects/augmentedprojectors/default.aspx 13 Paper zum Projekt: research.microsoft.com/en-us/people/xiangc/pervasive2012_projectorpervasive.pdf 14 http://de.wikipedia.org/wiki/Pervasive_Computing entwerfen spezialisierter Themen SS 12 10/14 Kerndle Susanne Augmented Reality Sandbox1516

Die Augmented Reality Sandbox ist ein Projekt, das eine echte Sandkiste mit einer virtuellen Topographiesimulation kombiniert. Hardwareseitig besteht das Projekt aus einer Sandkiste, einem Projektor und einem Kinect-Sensor. Das Ziel des Projektes ist es, ein echtzeitbasiertes Augmented Reality System zu erstellen, welches die Darstellung und Simulation von topographischen Modellen ermöglicht die in Echtzeit an einen Computer übertragen und dort weiter verarbeitet werden können. Die Sandbox erlaubt das erstellen von topographischen Modellen durch das Formen von Sand, auf welchen dann Höhenschichtlinien, eine farblich kodierte Höhenkarte und simuliertes Wasser projiziert werden. Das System lehrt so geografische, geologische und hydrologische Prozesse.

Abbildung 7: Projektaufbau mit ausgeschalteter Abbildung 8: eingeschaltete Sandbox mit Sandbox und sichtbarem Projektor und Kinect- Höhenschichtlinien, Höhenkarte und simuliertem Sensor Wasser

15 Hompage der Augmented Reality Sandbox: http://idav.ucdavis.edu/~okreylos/ResDev/SARndbox/ 16 Video des Projektes: http://www.youtube.com/watch?v=j9JXtTj0mzE&feature=player_embedded entwerfen spezialisierter Themen SS 12 11/14 Kerndle Susanne Möglichkeiten bzw. Einschränkungen

Die kurze Nachforschung im Rahmen dieser Arbeit hat ergeben, dass es bereits sehr viele Projekte gibt. Die meisten davon wurden für Kinect entwickelt, was aufzeigt dass es eine sehr große, aktive Entwickler-Community für die Plattform gibt. Ein großer Vorteil von Kinect ist zweifellos der geringe Preis für ein Gerät, das sehr viele Möglichkeiten eröffnet. Microsoft hat einen offiziellen SDK für Kinect für PC veröffentlicht und unterstützt die Kinectentwicklung auch, beispielsweise mit dem Kinect Accelerator.

PS3 Eye und Move wurden von der Community nicht in einem so großen Ausmaß angenommen; hier gibt es nur eine geringe Anzahl existierender Projekte. Ein Grund hierfür könnte sein, dass Kinect viele Funktionalitäten in einem Gerät vereint, während für PS Move zusätzlich zur Kamera Controller verwendet werden müssen, was die Möglichkeiten einschränkt.

Beide Geräte verfügen über geringe Auflösungen bei der Videoaufnahme. Zweifellos wird der geringe Preis nicht zuletzt dadurch ermöglicht, jedoch handelt es sich dabei auch um eine Einschränkung, speziell für Anwendungen die hohe Präzision erfordern.

Viele Projekte beschäftigen sich mit den klassischen Anwendungen, wie bewegungsgesteuerte Spiele. Allerdings zeigen die in diesem Paper beschriebenen Projekte deutlich das vieles möglich ist und bei der Entwicklung Kinect gesteuerter Projekte der Phantasie kleine Grenzen gesetzt sind.

entwerfen spezialisierter Themen SS 12 12/14 Kerndle Susanne Fazit

Im Laufe meiner Recherche habe ich eine Unzahl an Projekten gesehen. Einige sind eher kleinere Spielereien und Techdemos zur Bewegungssteuerung, andere hingegen sind sehr aufwändige und interessante Projekte, die das Potential der Kinect auf die verschiedensten Arten und Weisen ausloten. Es gibt bisher zwar wenige Projekte, die sich konkret mit Raumkommunikation befassen; einige haben jedoch Überschneidungen mit dem Thema. Obwohl die Komponenten der Kinect, wie bereits erwähnt, nicht die qualitativ hochwertigsten sind, ist sie durch ihren Preis und die leichte Zugänglichkeit für die Öffentlichkeit ein wunderbares mittel die Kreativität der User anzuregen. Deshalb denke ich das durch diese Möglichkeit in Zukunft sehr interessante und auch innovative Projekte entstehen werden. Was das PS3 Eye und die Move Controller anbelangt kann ich wegen Mangels an Projekten keine Einschätzung liefern. Allerdings denke ich, dass diese, wenn man nach ihren technischen Spezifikationen geht, ein großes Potential beherbergen. Bisher ist die Anzahl der Projekte sowie der Entwickler für PS Move und Eye spärlich. Grund dafür könnte das Fehlen eines umfangreichen, öffentlich verfügbaren SDKs sowie einer Dokumentation sein. Sony hat hier bisher nur einen ersten Ansatz mit dem Move.me Projekt gezeigt. Dieses ist allerdings nur eingeschränkt verfügbar. Hier hat Sony gegenüber Microsoft eindeutig Aufholbedarf.

Bewegungssteuerungen wie Kinect oder PS Eye / Move haben viele neue Möglichkeiten eröffnet. Einige Projekte nutzen diese bereits sehr Eindrucksvoll. Es wird sehr interessant zu sehen, welche Entwicklungen und Innovationen in diesem Bereich es in der Zukunft noch geben wird.

entwerfen spezialisierter Themen SS 12 13/14 Kerndle Susanne Weitere interessante Projekte http://www.activityrecognition.com/ http://www.hml.queensu.ca/telehuman http://gestsure.com/ http://vimeo.com/35702615

entwerfen spezialisierter Themen SS 12 14/14 Kerndle Susanne