Kamera Kaynakli Işitsel-Sanat Araci Arayüzü Geliştirilmesi
Total Page:16
File Type:pdf, Size:1020Kb
BAHÇEŞEHİR ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ BİLGİSAYAR MÜHENDİSLİĞİ ANABİLİM DALI BİLGİ TEKNOLOJİLERİ PROGRAMI KAMERA KAYNAKLI İŞİTSEL-SANAT ARACI ARAYÜZÜ GELİŞTİRİLMESİ Yüksek Lisans Tezi Serkan ŞİMŞEK (Lisans: Yıldız Teknik Üniversitesi, İletişim Tasarımı Bölümü) Tez Danışmanı: Doç. Dr. Adem KARAHOCA İSTANBUL, 2008 II ÖNSÖZ “Kamera Kaynaklı İşitsel-Sanat Aracı Arayüzü Geliştirilmesi” konulu bu tez çalışması Bahçeşehir Üniversitesi, Fen Bilimleri Enstitüsü, Bilgisayar Mühendisliği Anabilim Dalı, Bilgi Teknolojileri Yüksek Lisans Programı’nda hazırlanmıştır. Tez çalışmamız boyunca geliştirdiğimiz bu araç, ses ve görüntü etkileşimi konusunda yapacağımız akademik çalışmaların başlangıcını oluşturmaktadır. Uzun bir yol olarak görülen etkileşimli ortam tasarımının derinlerine indikçe, yapacaklarımızın heyecanını daha yoğun hissediyorum. Yüksek lisans tezimin bu son noktasında; çalışmamızın, artısı ve eksisiyle bize ait olan özgün bir eser olmasının memnuniyetini yaşamaktayım. Yüksek lisans programına başvurduğum günden bugüne kadar yanımda olan, tez sürecinde disiplinler arası nitelikte özgün bir çalışma yapmam konusunda benden desteğini hiçbir zaman esirgemeyen ve tavırlarıyla cesaretlendiren, her konuda bana olan güvenini hissettirerek motivasyonumu yüksek tutmamı sağlayan danışmanım Doç. Dr. Adem Karahoca’ya yüksek lisans eğitimim süresince yaptığı her şey için çok teşekkür ederim. Ayrıca; seslerin ve renklerin fiziksel özelliklerini araştırmam ve kaynaklara ulaşmam konusunda yardımlarını esirgemeyen İstanbul Teknik Üniversitesi Fizik Bölümü Araştırma Görevlisi Muzaffer Erdoğan’a yardımlarından dolayı teşekkürü borç bilirim. Ve, her zaman olduğu gibi bu çalışmamda da yanımda olan, karşılıksız sevgileri ve fedakarlıkları ile kendimi hep şanslı hissetmemi sağlayan, bugüne gelmem de emeklerinin karşılığını asla ödeyemeyeceğim aileme, tez çalışmam süresince verdikleri manevi destekten dolayı sonsuz teşekkürlerimi sunarım. Mayıs, 2008 Serkan Şimşek III İÇİNDEKİLER ÖNSÖZ .......................................................................................................................... III İÇİNDEKİLER ............................................................................................................ IV ŞEKİLLER ................................................................................................................ VIII TABLOLAR ............................................................................................................... XVI KISALTMALAR ..................................................................................................... XVII SEMBOLLER ........................................................................................................ XVIII ÖZET ........................................................................................................................... XIX ABSTRACT ................................................................................................................ XXI 1. GİRİŞ ........................................................................................................................ 1 1.1 MOTİVASYON ................................................................................................ 1 1.2 İŞİTSEL-SANAT .............................................................................................. 3 1.3 ARKA PLAN .................................................................................................... 5 1.4 HEDEF ............................................................................................................ 40 2. MALZEME ve YÖNTEM .................................................................................... 43 2.1 MALZEME ..................................................................................................... 43 2.1.1 Sesin Fiziksel Özellikleri .......................................................................... 43 2.1.2 Analog ve Dijital Ses Teknolojisi ............................................................. 48 2.1.3 Hoparlörler ................................................................................................ 51 2.1.4 Renklerin Fiziksel Özellikleri ................................................................... 53 2.1.5 Kameralar .................................................................................................. 57 2.2 YÖNTEM ........................................................................................................ 60 2.2.1 Araç Geliştirme Or t a mı ............................................................................. 60 2.2.1.1 Temel nitelikler ..................................................................................... 60 2.2.1.2 Nesneye dayalı programlama ................................................................ 61 2.2.1.3 Java ........................................................................................................ 62 2.2.1.4 Processing .............................................................................................. 63 2.2.1.5 Video ..................................................................................................... 64 2.2.1.6 Minim .................................................................................................... 66 2.2.2 Ses ve Görüntünün Eşlenmesi ................................................................... 68 3. BULGULAR ........................................................................................................... 73 IV 3.1 ARACIN ÖZELLİKLERİ ............................................................................. 73 3.1.1 Genel Özellikler ........................................................................................ 73 3.1.2 Görüntü ve Ses Sinyallerinin Tanımlayıcı Parametreleri .......................... 74 3.1.3 Görüntü Sinyalleri ile Ses Sinyallerinin Eşlenmesi .................................. 76 3.1.4 Ses Sinyallerinin Spektrum Kontrolleri .................................................... 77 3.1.5 Ses Kaynağının Kamera ya da Sabit Değer Olmasının Kontrolleri ......... 78 3.1.6 Kamera Kaynağından Alınan Görüntü Parametrelerinin Ses Sinyallerine Katılımında Oranlarının Belirlenmesinin Kontrolü .................................. 79 3.1.7 Kamera Çerçevesinin Alt Çerçevelere Bölünmesi .................................... 80 3.1.7.1 Kamera çerçevesinde alt çerçeveler oluşturulmasının genel mantığı .... 80 3.1.7.2 Kamera çerçevesinin dört alt çerçeveye bölünmesi .............................. 81 3.1.7.3 Kamera çerçevesinin on altı alt çerçeveye bölünmesi ........................... 82 3.1.8 Her Bir Görüntü Çerçevesinden İki Ayrı Ses Sinyal Kanalı Üretilmesi ... 83 3.2 SİSTEMİN YAPISI ........................................................................................ 84 3.2.1 Genel Yapı ................................................................................................ 84 3.2.2 Sistem Yapısını Oluşturan Modüller ve Verilerin Dönüştürülmesi .......... 86 3.2.2.1 Görüntüyü işleyen giriş modülü ............................................................ 86 3.2.2.2 Görüntü parametrelerini ses sinyal parametrelerine dönüştüren modül 87 3.2.2.3 Ses sinyal parametrelerinden ses sinyallerini oluşturan modül ............. 87 3.2.3 Paralel Çalışan Görüntü ve Ses Kanalları ................................................. 88 3.3 SİSTEMİN ÇALIŞMASI ............................................................................... 90 3.3.1 Genel İşleyiş .............................................................................................. 90 3.3.2 Başlangıç Değerlerinin Yaratılması ve Genel Ayarlamaların Yapılması . 93 3.3.2.1 Gerekli paketlerin yüklenmesi ............................................................... 93 3.3.2.2 Gerekli global değişkenlerin tanımlanması ........................................... 93 3.3.2.3 stop( ) fonksiyonu .................................................................................. 95 3.3.2.4 setup( ) fonksiyonu ................................................................................ 96 3.3.2.4.1 Kullanıcı arayüzünün boyutlarının belirlenmesi .............................. 96 3.3.2.4.2 Kamera aygıtı ile ilgili ilk ayarlamaların yapılması ........................ 97 3.3.2.4.3 Ses sinyalleri ile ilgili ilk ayarlamaların yapılması .......................... 97 3.3.2.4.4 Değişkenlerini tanımladığımız sınıfların ve nesnelerinin yaratılması ......................................................................................... 99 3.3.3 Kullanıcı Grafik Arayüzünün Yaratılması .............................................. 110 V 3.3.4 Görüntü Yakalayan Donanımdan Alınan Görüntülerin İşlenmesi ve Ses Sinyal Parametrelerine Dönüştürülmesi .................................................. 134 3.3.4.1 Kameradan görüntü yüklenmesi ve yerel değişkenlerin tanımlanması .......................................................................................... 136 3.3.4.2 Görüntülerin işlenerek kullanıcı kontrolü için parametrelere dönüştürülmesi ...................................................................................... 140 3.3.4.3 Kullanıcı kontrolleri ile görüntü parametrelerinin birleştirilmesi ve synthStore dizisine aktarılması .............................................................. 147 3.3.5 Ses Sinyal Parametrelerinden Ses Sinyallerinin Oluşturulması .............. 154 3.3.6 Kullanıcı Grafik Arayüzü İle Yapılan Mouse Etkileşimleri ................... 158 3.3.6.1 mousePressed( ) fonksiyonu ...............................................................