Digital Watermarking for Verification of Perception-based Integrity of Audio Data Digitale Wasserzeichen zur Verifikation der wahrnehmungsbasierten Integrität von Audiodaten Zur Erlangung des akademischen Grades Doktor-Ingenieur (Dr.-Ing.) genehmigte Dissertation von Sascha Zmudzinski, Diplom-Physiker, geb. in Berlin (West) Tag der Einreichung: 20. April 2017, Tag der Prüfung: 9. Juni 2017 Darmstadt 2017 D 17 1. Gutachten: Prof. Dr. rer. nat. Michael Waidner 2. Gutachten: Prof. Dr.-Ing. Martin Steinebach Fachbereich Informatik Lehrstuhl für Sicherheit in der Informationstechnik Digital Watermarking for Verification of Perception-based Integrity of Audio Data Digitale Wasserzeichen zur Verifikation der wahrnehmungsbasierten Integrität von Audiodaten Genehmigte Dissertation von Sascha Zmudzinski, Diplom-Physiker, geb. in Berlin (West) – gekürzte Fassung – 1. Gutachten: Prof. Dr. rer. nat. Michael Waidner 2. Gutachten: Prof. Dr.-Ing. Martin Steinebach Tag der Einreichung: 20. April 2017 Tag der Prüfung: 9. Juni 2017 Darmstadt 2017 D 17 Bitte zitieren Sie dieses Dokument als: URN: urn:nbn:de:tuda-tuprints-63114 URL: http://tuprints.ulb.tu-darmstadt.de/id/eprint/6311 Dieses Dokument wird bereitgestellt von tuprints, E-Publishing-Service der TU Darmstadt http://tuprints.ulb.tu-darmstadt.de [email protected] Die Veröffentlichung steht unter folgender Creative Commons Lizenz: Namensnennung – keine kommerzielle Nutzung (CC-BY-NC 4.0 International) http://creativecommons.org/licenses/by-nc/4.0 Erklärung zur Dissertation Hiermit versichere ich, die vorliegende Dissertation ohne Hilfe Dritter nur mit den angegebenen Quellen und Hilfsmitteln angefertigt zu haben. Alle Stellen, die aus Quellen entnommen wurden, sind als solche kenntlich gemacht. Diese Arbeit hat in gleicher oder ähnlicher Form noch keiner Prüfungsbehörde vorgelegen. Darmstadt, den (Sascha Zmudzinski) i Kurzdarstellung (Abstract in German) In bestimmten Anwendungsfeldern enthalten digitale Tonaufzeichnungen zuweilen sensible In- halte. Beispiele hierfür sind historisches Archivmaterial, das in öffentlichen Archiven unser kulturelles Erbe bewahrt; oder Tonaufzeichnungen als Indizien im Kontext von Strafverfolgung und Zivilstreitigkeiten. Angesichts der Leistungsfähigkeit moderner Bearbeitungstools für Multi- media ist dieses Material anfällig gegenüber Manipulationen des Inhaltes und Fälschung des Ur- sprungs in böwilliger Absicht. Unbeabsichtigte Veränderungen aufgrund von technischem oder menschlichem Versagen können in der Praxis ebenfalls vorkommen. Die Vertrauenswürdigkeit dieses Materials im Sinne von Unverfälschtheit des Inhaltes und Echtheit der ursprünglichen Quelle sind daher kritische Faktoren. Für die Behandlung dieses Problems stellt diese Dissertation daher ein Verfahren zur Verifika- tion der Integrität und der Authentizität digitaler Tonaufzeichnungen vor. Es ist unempfindlich gegenüber gängigen Bearbeitungsschritten im Lebenszyklus der Audiodaten, die die subjek- tive Klangwahrnehmung nur unwesentlich oder gar nicht beeinflussen. Beispiele hierzu sind verlustbehaftete Kompression bei hoher Klangqualität oder verlustfreie Formatwandlung. Es ist das Ziel, de facto falsch-positive Detektionen in der Gegenwart dieser – legitimen – Bear- beitungsschritte zu vermeiden, wie sie bei Standardverfahren für kryptografiebasierte Echtheit- sprüfungen zu erwarten wären. Um dieses Ziel zu erreichen, wird eine geeignete Kombination der Technologien der ”Digitalen Wasserzeichen” mit audio-spezifischen Hashfunktionen unter- sucht. Hierzu wird im ersten Schritt ein geeignetes schlüsselabhängiges Audio-Hashverfahren entwick- elt. Es nutzt und erweitert Erkenntnisse des sog. ”Audio-Fingerprintings” aus dem Bereich der inhaltsbasierten Audio-Identifizierungsverfahren. Der vorgestellte Algorithmus (im Folgenden bezeichnet als ”rMAC”-Authentifizierungscode) erlaubt die sog. ”wahrnehmungs-basierte” Veri- fikation der Integrität. Dies bedeutet, Integritätsverletzungen als solche zu klassifizieren (erst) sobald sie hörbar werden. Als weiteres Ziel werden diese Authentifizierungscodes mittels Audio-Wasserzeichen- Technologie unhörbar innerhalb der Audiodaten eingebettet und gespeichert. Dies erlaubt die Authentifizierungscodes auch über die oben erwähnten, zulässigen Bearbeitungsschritte hinweg mitzuführen und für eine spätere Integritätsprüfung verfügbar zu halten. In dieser Arbeit wird dazu ein existierendes Audiowasserzeichen-Verfahren gezielt weiterentwickelt. iii Die Schlüsselabhängigkeit der rMAC- und Wasserzeichen-Algorithmen erlaubt es auch, in eingeschränktem Maße, die Authentizität der geschützten Audiodaten zu prüfen. Hierzu analysiert diese Dissertation auch den Aufwand für Bruteforce-Angriffe auf das vorgestellte, schlüsselabhängige Verfahren der Echtheitsprüfung. Die experimentellen Ergebnisse zeigen, dass das entwickelte Verfahren eine gute Trennschärfe bei der Klassifizierung zwischen echten und gefälschten Audioinhalten bietet. Es erlaubt weit- erhin eine zeitliche Lokalisierung der Datenveränderungen innerhalb einer Datei. Die experi- mentelle Evaluation liefert schließlich auch Empfehlungen über geeignete technische Feinein- stellungen des Verfahrens. Über die Frage der wahrnehmungsbasierten Echtheitsprüfung für Audio hinaus, liefert diese Dissertation auch neue allgemeine Erkenntnisse in den Bereichen des Audio Fingerprintings und der digitalen Wasserzeichen für sich. Die Hauptbeiträge dieser Arbeit wurden auf Fachkonferenzen der Multimedia-Sicherheit vorgestellt. Diese Publikationen wurden anschließend von einer Reihe anderer Autoren zi- tiert und haben daher weiterführende Arbeiten zum Thema mitbeeinflusst. iv Abstract In certain application fields digital audio recordings contain sensitive content. Examples are historical archival material in public archives that preserve our cultural heritage, or digital evidence in the context of law enforcement and civil proceedings. Because of the powerful capabilities of modern editing tools for multimedia such material is vulnerable to doctoring of the content and forgery of its origin with malicious intent. Also inadvertent data modification and mistaken origin can be caused by human error. Hence, the credibility and provenience in terms of an unadulterated and genuine state of such audio content and the confidence about its origin are critical factors. To address this issue, this PhD thesis proposes a mechanism for verifying the integrity and authenticity of digital sound recordings. It is designed and implemented to be insensitive to common post-processing operations of the audio data that influence the subjective acoustic perception only marginally (if at all). Examples of such operations include lossy compression that maintains a high sound quality of the audio media, or lossless format conversions. It is the objective to avoid de facto false alarms that would be expectedly observable in standard crypto- based authentication protocols in the presence of these legitimate post-processing. For achieving this, a feasible combination of the techniques of digital watermarking and audio-specific hashing is investigated. At first, a suitable secret-key dependent audio hashing algorithm is developed. It incorporates and enhances so-called audio fingerprinting technology from the state of the art in content- based audio identification. The presented algorithm (denoted as ”rMAC” message authentica- tion code) allows ”perception-based” verification of integrity. This means classifying integrity breaches as such not before they become audible. As another objective, this rMAC is embedded and stored silently inside the audio media by means of audio watermarking technology. This approach allows maintaining the authentication code across the above-mentioned admissible post-processing operations and making it avail- able for integrity verification at a later date. For this, an existent secret-key dependent audio watermarking algorithm is used and enhanced in this thesis work. To some extent, the dependency of the rMAC and of the watermarking processing from a secret key also allows authenticating the origin of a protected audio. To elaborate on this security aspect, this work also estimates the brute-force efforts of an adversary attacking this combined rMAC-watermarking approach. The experimental results show that the proposed method provides a good distinction and clas- sification performance of authentic versus doctored audio content. It also allows the temporal v localization of audible data modification within a protected audio file. The experimental evalu- ation finally provides recommendations about technical configuration settings of the combined watermarking-hashing approach. Beyond the main topic of perception-based data integrity and data authenticity for audio, this PhD work provides new general findings in the fields of audio fingerprinting and digital water- marking. The main contributions of this PhD were published and presented mainly at conferences about multimedia security. These publications were cited by a number of other authors and hence had some impact on their works. vi Acknowledgment I wish to thank various people for their contribution to the research work presented in this thesis. At first I would like to express my deepest gratitude to my Primary PhD Advisor Prof. Dr. Michael Waidner for his supervision of my research work. My grateful thanks also have to be dedicated to my Secondary Advisor and Mentor, Prof. Dr. Martin Steinebach for his constructive advice and patient guidance during the progress of my PhD research. The same