DISSERTATION Building Blocks for Semantic Data Organization on the Desktop Verfasser Dipl.-Ing. Niko Popitsch angestrebter akademischer Grad Doktor der technischen Wissenschaften (Dr. techn.) Wien, im August 2011 Studienkennzahl lt. Studienblatt: A 786 881 Dissertationsgebiet lt. Studienblatt: Informatik Betreuer: Univ.-Prof. Dipl.-Ing. Dr. Wolfgang Klas Zweitbetreuer: Univ.-Prof. Dipl.-Ing. DDr. Gerald Quirchmayr Moji družini Acknowledgments Working as a Ph.D. student at the University of Vienna in the past four years was both a magnificent as well as a challenging experience. I wish to thank my supervisor Prof. Dr. Wolfgang Klas and my secondary advisor Prof. DDr. Gerald Quirchmayr for giving me the opportunity and the freedom to pursue my research and to write this thesis as well as for their guidance and all their support. In addition, I am indebted to my colleagues Bernhard Haslhofer and Bernhard Schandl for the fruitful col- laboration. Special thanks go also to my colleagues Stefan Leitich, Robert Mosser, Wolfgang Jochum, Ross King, Jan Stankovsky, Stefan Zander, Elaheh Momeni-Roochi and all the others with whom I had the plea- sure to work with during the past years. Thank you all for sharing your excellent ideas with me and for all the fun we had at work. Above all, however, my gratitude and my love go to my family, my friends and in particular to Maja for motivating and supporting me in the past years. iii Abstract The organization of (multimedia) data on current desktop systems is done to a large part by arranging files in hierarchical file systems, but also by specialized applications (e.g., music or photo organizing software) that make use of file-related metadata for this task. These metadata are predominantly stored in embedded file headers, using a magnitude of mainly proprietary formats. Generally, metadata and links play the key roles in advanced data organization concepts. Their limited support in prevalent file system implementations, however, hinders the adoption of such concepts on the desktop: First, non-uniform access interfaces require metadata consuming applications to understand both a file’s format and its metadata scheme; second, separate data/metadata access is not possible, and third, metadata cannot be attached to multiple files or to file folders although the latter are the primary constructs for file organization. As a consequence of this, current desktops suffer, inter alia, from (i) limited data organization possibilities, (ii) limited navigability, (iii) limited data findability, and (iv) metadata fragmentation. Although there were attempts to improve this situation, e.g., by introducing semantic file systems, most of these issues were successfully addressed and solved in the Web and in particular in the Semantic Web and reusing these solutions on the desktop, a central hub of data and metadata manipulation, is clearly desirable. In this thesis a novel, backwards-compatible metadata model that addresses the above-mentioned issues is introduced. This model is based on stable file identifiers and external, file-related, semantic metadata descriptions that are represented using the generic RDF graph model. Descriptions are accessible via a uniform Linked Data interface and can be linked with other descriptions and resources. In particular, this model enables semantic linking between local file system objects and remote resources on the Web or the emerging Web of Data, thereby enabling the integration of these data spaces. As the model crucially relies on the stability of these links, we contribute two algorithms that preserve their integrity in local and in remote environments. This means that links between file system objects, metadata descriptions and remote resources do not break even if their addresses change, e.g., when files are moved or Linked Data resources are re-published using different URIs. Finally, we contribute a prototypical implementation of the proposed metadata model that demonstrates how these building blocks sum up to constitute a metadata layer that may act as a foundation for semantic data organization on the desktop. v Zusammenfassung Die Organisation von (Multimedia-) Daten auf Desktop-Systemen wird derzeit hauptsächlich durch das Ein- ordnen von Dateien in ein hierarchisches Dateisystem bewerkstelligt. Zusätzlich werden gewisse Inhalte (z.B. Musik oder Fotos) von spezialisierter Software mit Hilfe Datei-bezogener Metadaten verwaltet. Diese Metadaten werden meist direkt im Dateikopf in einer Unzahl verschiedener, vorwiegend proprietärer For- mate gespeichert. Allgemein nehmen Metadaten und Links die Schlüsselrollen in fortgeschrittenen Datenor- ganisationskonzepten ein, ihre eingeschränkte Unterstützung in vorherrschenden Dateisystemen macht die Einführung solcher Konzepte auf dem Desktop jedoch schwierig: Erstens müssen Anwendungen sowohl Dateiformat als auch Metadatenschema verstehen um auf Metadaten zugreifen zu können; zweitens ist ein getrennter Zugriff auf Daten und Metadaten nicht möglich und drittens kann man solche Metadaten nicht mit mehreren Dateien oder mit Dateiordnern assoziieren obgleich letztere die derzeit wichtigsten Konstrukte für die Dateiorganisation darstellen. Dies bedeutet in weiterer Folge: (i) eingeschränkte Möglichkeiten der Datenorganisation, (ii) eingeschränkte Navigationsmöglichkeiten, (iii) schlechte Auffindbarkeit der gespei- cherten Daten, und (iv) Fragmentierung von Metadaten. Obschon es Versuche gab, diese Situation (zum Beispiel mit Hilfe semantischer Dateisysteme) zu verbessern, wurden die meisten dieser Probleme bisher vor allem im Web und im Speziellen im semantischen Web adressiert und gelöst. Das Anwenden dort ent- wickelter Lösungen auf dem Desktop, einer zentralen Plattform der Daten- und Metadatenmanipulation, wäre zweifellos von Vorteil. In der vorliegenden Arbeit wird ein neues, rückwärts-kompatibles Metadatenmodell als Lösungsversuch für die oben genannten Probleme präsentiert. Dieses Modell basiert auf stabilen Datei-Identifikatoren und ex- ternen, semantischen, Datei-bezogenen Metadatenbeschreibungen welche im RDF Graphenmodell repräsen- tiert werden. Diese Beschreibungen sind durch eine einheitliche Linked-Data-Schnittstelle zugänglich und können mit anderen Beschreibungen und Ressourcen verlinkt werden. Im Speziellen erlaubt dieses Modell semantische Links zwischen lokalen Dateisystemobjekten und Netzressourcen im Web sowie im entstehen- den “Daten Web” und ermöglicht somit die Integration dieser Datenräume. Das Modell hängt entscheidend von der Stabilität dieser Links ab weshalb zwei Algorithmen präsentiert werden, welche deren Integrität in lokalen und vernetzten Umgebungen erhalten können. Dies bedeutet, dass Links zwischen Dateisys- temobjekten, Metadatenbeschreibungen und Netzressourcen nicht brechen wenn sich deren Adressen än- dern, z.B. wenn Dateien verschoben oder Linked-Data Ressourcen unter geänderten URIs publiziert werden. Schließlich wird eine prototypische Implementierung des vorgeschlagenen Metadatenmodells präsentiert, welche demonstriert wie die Summe dieser Bausteine eine Metadatenschicht bildet die als Grundlage für semantische Datenorganisation auf dem Desktop verwendet werden kann. vii Table of Contents I Background1 1 Introduction 3 1.1 Data organization on the desktop . .4 1.2 Existing solution strategies . .6 1.3 Thesis and contributions . .8 2 Definitions 9 II Metadata model 19 3 The role of metadata and links 21 3.1 Core building blocks . 21 3.2 Categories of metadata . 22 3.3 Links . 25 3.4 Discussion . 30 4 A model for external, semantic, file-related metadata 33 4.1 Introduction . 34 4.2 A novel metadata model for the desktop . 35 4.3 A formal definition of the Y2 metadata model . 42 4.4 Realization of a file metadata store . 45 4.5 Related work . 54 4.6 Discussion . 58 4.7 Conclusions . 62 III Methods for preserving link integrity 65 5 The broken link problem 67 5.1 Introduction . 67 5.2 Change events . 67 5.3 Broken links . 69 ix x TABLE OF CONTENTS 5.4 Solution strategies . 70 6 DSNotify – fixing broken links in a Web of Data 75 6.1 Introduction . 75 6.2 Dataset dynamics . 76 6.3 The broken link problem in the Web of Data . 78 6.4 The DSNotify Eventset vocabulary . 79 6.5 Event detection with DSNotify . 81 6.6 Evaluation . 90 6.7 Related work . 98 6.8 Discussion . 101 7 A study of low-level file system features 105 7.1 Introduction . 105 7.2 Related work . 105 7.3 Data sets . 107 7.4 Methodology . 107 7.5 Results . 110 7.6 Discussion . 113 7.7 Conclusions . 117 8 Gorm – a heuristic, user-space method for event detection in the file system 119 8.1 Introduction . 119 8.2 The file move detection problem . 119 8.3 Proposed heuristic approach . 122 8.4 Evaluation . 136 8.5 Related work . 142 8.6 Discussion . 146 IV Implementation 149 9 Y2 – a prototype for semantic file annotation 151 9.1 User interface . 152 9.2 Implementation of the proposed metadata model . 159 9.3 Related work . 163 9.4 Discussion . 171 10 Conclusions and Outlook 175 10.1 Summary of contributions . 175 10.2 Discussion . 176 10.3 Limitations and future research directions . 177 10.4 Epilogue . 179 TABLE OF CONTENTS xi V Addenda 181 A Prevalent file systems 183 A.1 Special purpose file systems . 187 A.2 File system virtualization . 188 B Current file system linking concepts 193 C Popular metadata standards 195 C.1 Multimedia metadata standards . 195 C.2 Semantic vocabularies . 197 D Y2 RDF examples 201 Bibliography 205 Curriculum Vitae 221 List of Figures 1.1 An approximate timeline of some key file formats and technologies that did or are expected to sustainably change the way how digital information is produced, processed and shared . .3 1.2 A simplified workflow of media and its metadata . .4 1.3 Exemplary folder hierarchy for grouping semantically related files. .5 2.1 File fork / alternate data stream concept . 11 2.2 Popular Web 2.0 applications . 12 2.3 Linking Open Data cloud . 16 3.1 Metadata categories and examples . ..