A Hybrid Music Recommendation System Based on Different Features of the Music and Users
Total Page：16
File Type：pdf, Size：1020Kb
İSTANBUL TECHNICAL UNIVERSITY INSTITUTE OF SCIENCE AND TECHNOLOGY A HYBRID MUSIC RECOMMENDATION SYSTEM BASED ON DIFFERENT FEATURES OF THE MUSIC AND USERS MSc. Thesis by Berna ALTINEL,B.Sc. Department : Computer Engineering Programme: Computer Engineering JUNE 2007 İSTANBUL TECHNICAL UNIVERSITY INSTITUTE OF SCIENCE AND TECHNOLOGY A HYBRID MUSIC RECOMMENDATION SYSTEM BASED ON DIFFERENT FEAT URES OF THE MUSIC AND USERS MSc. Thesis by Berna ALTINEL (504041538) Date of submission : 31.07.2007 Date of defence examination: 15.06.2007 Supervisor (Chairman): Assoc. Prof. Dr. Zehra ÇATALTEPE Members of the Examining Committee Assoc. Prof. Dr. Şule Gündüz Ö ĞÜDÜCÜ Assoc. Prof. Dr. Engin ERZ İN (Koç Univ.) JUNE 2007 İSTANBUL TEKN İK ÜN İVERS İTES İ FEN B İLİMLER İ ENST İTÜSÜ MÜZ İĞİ N VE KULLANICILARIN FARKLI NİTEL İKLER İNE GÖRE MELEZ MÜZ İK TAVS İYE S İSTEM İ Yüksek Lisans TEZ İ Müh. Berna ALTINEL (504041538) Teslim Tarihi : 31.07.2007 Savunma Tarihi: 15.06.2007 Danı şman: Yrd. Doç. Dr. Zehra ÇATALTEPE Juri Üyeleri Yrd. Doç. Dr. Şule Gündüz Ö ĞÜDÜCÜ Yrd. Doç. Dr. Engin ERZ İN (Koç Üniv.) HAZ İRAN 2007 FOREWORD First, I would like to thank my advisor Assistant Prof. Zehra Çataltepe for her support and guidance during my master’s program. She introduced new areas of research and helped me to understand the approach to solve the research problems. Next, I would like to thank my thesis committee members for their valuable comments on my thesis. Argela Technologies made the data used in this thesis available. George Tzanetakis’s Marsyas and George Karypis’s Cluto programs were used in the experiments performed. Sule Gunduz-Oguducu of Istanbul Technical University contributed with her ideas in Chapter 4, learning of the cluster contributions to recommendation part. I gratefully acknowledge these contributions. Finally, I would like to thank my family for their great patience, support and help. June 2007 Berna Altınel i CONTENTS ABBREVIATIONS iv TABLE LIST v FIGURE LIST vi SYMBOL LIST vii ÖZET viii SUMMARY x 1 INTRODUCTION 1 2. LITERATURE SURVEY 4 2.1 Musical Terms 4 2.2 Music recommendation Systems 5 2.2.1 Ringo 5 2.2.2 CDNOW.com 9 2.2.3 InDiscover 11 2.3 Algorithms Used For Recommendation Systems 12 2.3.1 Content Based Method 12 2.3.2 Collaborative Filtering 13 2.3.3 STA 15 2.3.4 Hybrid Recommendation Systems 15 3 MUSIC RECOMMENDATION DATA AND CLUSTERING 16 3.1 Dataset 16 3.1.1 Dataset Overview 16 3.1.2 Feature Extraction 18 3.1.2.1 Dataset Format Conversion 18 3.1.2.2 Marsyas Feature Extraction: 19 3.1.2.3 Last Form of Dataset User Profile File 21 3.2 Clustering and Related Algorithms 23 3.2.1 Clustering 23 3.2.2 CLUTO Clustering Software 23 3.2.3 Clustering Music Pieces in the Dataset 24 4 METRICS AND METHODS USED IN THE PROPOSED SYSTEM 28 4.1 Metrics Used In the Proposed System 28 4.1.1 Song Clustering 28 4.1.2 Singer Similarity 28 4.1.3 Popularity 29 ii 4.1.4 User Grouping 30 4.2 Methods Used In the Proposed System 32 4.2.1 Euclid/Cosine Distance Based Recommendation: 33 4.2.2 Content Based Recommendation Using Entropy and Popularity Metrics: 37 4.2.3 STA 41 4.2.4 Simple Adaptive Recommendation: 43 4.2.5 Adaptive Recommendation: 49 4.2.6 Learning Approach on an Adaptive Music recommendation System with Popularity Data and Using User Grouping 51 4.2.7. Summary of Experimental Results 56 5 IMPLEMENTATION OF THE SYSTEM 58 5.1 Implementation Environment: 58 5.2 Graphical User Interface of the proposed Music recommendation System 60 6. CONCLUSION AND FUTURE WORK 68 REFERENCES 69 AUTOBIOGRAPHY 72 iii ABBREVIATIONS WAV : Waveform audio format CLUTO : Clustering Tool MARSYAS : Music Analysis Retrieval and Synthesis for Audio Signals CB : Content Based CF : Collaborative Filtering STA : Statistical Approach MIR : Music Information Retrieval MATLAB : Matrix Laboratory GUI : Graphical User Interface PCM : Pulse Code Modulation MRS : Music Recommendation System RIFF : Resource Interchange File Format AIFF : Audio Interchange File Format IFF : Interchange File Format iv TABLE LIST Page No: Table 3.1: Category List in the Dataset..................................................................... 16 Table 3.2: Feature List of an Audio File ................................................................... 19 Table 3.3: Example Clustering Output of an Audio File .......................................... 25 Table 4.1: Clustering Results of an Audio File......................................................... 28 Table 4.2: Number of Times Each Song is Listened on a Day (Popularity Matrix) 29 Table 4.3: Matrix of Distances between Users.......................................................... 31 Table 4.4: Marsyas Features of Two Different Audio Files...................................... 33 Table 4.5: Error Distances between the Correct Song and the Recommended One. 36 Table 4.6: Clustering Results .................................................................................... 38 Table 4.7: Clustering Results with Entropy Values .................................................. 39 Table 4.8: Success Results for Content Based Recommendation............................. 41 Table 4.9: Test Results of STA Method.................................................................... 42 Table 4.10: Test Results of Simple Adaptive Recommendation Method ................. 45 Table 4.11: Test Results of Adaptive Recommendation Method ............................. 51 Table 4.12: A Comparison between Simple Adaptive Recommendation and Adaptive Recommendation ......................................................................................... 51 Table 4.13: Test Results of Learning Approach........................................................ 56 Table 4.14: Comparison of all Methods Proposed in this Hybrid System................ 57 v FIGURE LIST Page No: Figure 2.1: A Page From Ringo`s World Wide Web Interface [13]............................ 6 Figure 2.2: Part of One Person’s Survey [13] .............................................................. 7 Figure 2.3: Ringo`s Scale For Rating Music [13] ........................................................ 7 Figure 2.4: One of Ringo’s Suggestions [13]............................................................... 8 Figure 2.5: A Rating Page from CDNow.com [14] ................................................... 10 Figure2.6: A Rating Page from inDiscover’s system [15]......................................... 11 Figure 2.7: Some Sample Recommendations from the System [15] ......................... 12 Figure 3.1: Figure of the User Interface of MP3-Wav Decoder [26]......................... 18 Figure 4.1: General Form of our Music Recommendation System ........................... 32 Figure 4.2: User Grouping Based On Marsyas Features............................................ 54 Figure 5.1: Music recommendation System-GUI-1................................................... 61 Figure 5.2: Music recommendation System-GUI-2................................................... 62 Figure 5.3: Music recommendation System-GUI-3................................................... 63 Figure 5.4: Music recommendation System-GUI-4................................................... 64 Figure 5.5: Music recommendation System-GUI-5................................................... 65 Figure 5.6: Music recommendation System-GUI-6................................................... 66 Figure 5.7: Example Output File from Music recommendation System-GUI........... 67 vi SYMBOL LIST K-NN : K-Nearest Neighbor t : Time N c : Number of recommendations from cluster similarity metric Ns : Number of recommendations from singer similarity metric Np : Number of recommendations from popularity metric d : Distance S : Shannon Entropy p : Probability vii MÜZİĞİN VE KULLANICILARIN FARKLI NİTELİKLERİNE GÖRE MELEZ MÜZİK TAVSİYE SİSTEMİ ÖZET Günümüzde müzik insanların hayatının önemli bir parçası haline gelmiştir. Müzik çalarlar giderek yaygınlaşmaktadır ve müzik tabanlı uygulamalar içeren birçok cihaz vardır. Cep telefonu bu cihazlardan birisidir. Arayan kişiye ulaşılıncaya kadar zil sesi dinlemek yerine seçilmiş bir şarkıyı dinlemek, çağrı anında telefonun zil sesi yerine müzik parçaları ile çalması, her geçen gün daha fazla kişi tarafından tercih edilen uygulamalardan sadece ikisidir. Müziğin bu kadar yaygın olduğu bir ortamda müzik tercihleri de önem kazanmaktadır. Günümüzde müzik tavsiye sistemleri kişilerin geçmiş tercihlerine bakarak ve onlara ait başka bilgileri kullanarak müzik tavsiyesinde bulunabilecek metodlar üzerinde çalışmaktadırlar. Gerek ticari, gerek akademik anlamda kullanılan birçok müzik tavsiye sistemine İnternet üzerinden de ulaşılabilmektedir. Bu tezde, Zil-Dönüş-Tonu Sistemi ile ya da kişilerin bir miktar şarkı içinden çeşitli şarkılar seçtikleri herhangi bir system ile birlikte çalışabilecek bir müzik tavsiye sistemi üzerinde çalıştık. Bu sistem müzik parçalarını tempo, tını gibi temel özelliklerle temsil eder ve onları bu gösterimdeki uzaklık metriğine gore gruplar. Bir kullanıcıya geçmişte dinlediği şarkılara bakarak bundan sonra dinlemek isteyebileceği şarkıları tavsiye etmeye çalışır. Bunu yaparken, benzer zaman dilimleri içerisinde başka insanların dinledikleri şarkıları dikkate alır. Müzik parçaları arasındaki benzerliğe de parçaların benzerliği ve onların yorumcularının benzerliğine göre karar verir. Bunları dikkate alarak kullanıcıları geçmişteki seçimlerinin benzerliğine göre gruplar. Son olarak bu şarkı ve kullanıcı demetlerini kullanarak kişiye seçmesi muhtemel olan müzik parçalarını tavsiye