Paweł Korus Analysis of Image Reconstruction Schemes Based on Self-Embedding and Digital Watermarking
Total Page:16
File Type:pdf, Size:1020Kb
AGH University of Science and Technology Faculty of Computer Science, Electronics and Telecommunications Ph.D. Dissertation Paweł Korus Analysis of Image Reconstruction Schemes Based on Self-Embedding and Digital Watermarking Supervisor: Professor Andrzej Dziech, Ph.D. Eng. AGH University of Science and Technology Faculty of Computer Science, Electronics and Telecommunications Department of Telecommunications al. Mickiewicza 30, 30-059 Kraków, Poland tel. +48 12 6345582 fax +48 12 6342372 http://www.agh.edu.pl http://www.iet.agh.edu.pl http://www.kt.agh.edu.pl http://www.kt.agh.edu.pl/~korus/ Copyright c Paweł Korus, 2012 All rights reserved LATEXtemplate by Rafał Stankiewicz Acknowledgements First of all, I would like to express my gratitude towards my supervisor, Professor Andrzej Dziech, who encouraged me to pursue my Ph.D. in the field of multimedia security. In particular, I would like to thank for providing excellent working conditions, and continuous support and encouragement to present my work at world-leading conferences, and in respected international journals. Secondly, I have been fortunate to work in a friendly atmosphere among my colleagues at AGH University of Science and Technology. They were always ready to engage in stimulating discussions, and provide a critical outsider’s perspective. In particular, I would like to thank Piotr Guzik for reading my dissertation with interest and providing constructive comments which helped me improve the presentation of the obtained results. I would also like thank Professor Xinpeng Zhang, whom I had opportunity to visit at the Shanghai University, for fruitful discussions about various aspects of practical self-recovery schemes. I couldn’t have imagined a warmer welcome in Shanghai. This work would not have been possible without the support from my Family, and my beloved Magdalena. They managed to ensure me a perfect balance between the necessary focus on my research, and the time to relax. Last but not least, I’d like to thank anonymous reviewers for their time and constructive feedback about my papers at the time of their submission. Abstract This dissertation deals with digital image authentication and reconstruction tech- niques based on fragile digital watermarking. The main focus of the presented analysis addresses the achievable reconstruction performance, the inherent resto- ration trade-offs, and the applicable operation bounds. The analysis is based on a new theoretical model of the self-embedding problem, and ultimately leads to the development of an efficient self-embedding scheme, capable of high-quality reconstruction even under extensive tampering. For a benchmark configuration of the proposed scheme, an average peak signal to noise ratio for 10,000 natural images is 37 dB, even when up to 50% of the image area becomes tampered. The content reconstruction problem is modeled as an erasure communication channel, and implemented in practice with the use of digital fountain codes. With proper design of the self-embedding scheme, it is possible to exploit the remaining authentic image content, and overcome the limits of traditional erasure communication. It becomes possible to use reference streams significantly longer than the available embedding capacity. The presented analysis is first performed for the case of uniform-fidelity recon- struction, and then extended to the case of adaptive self-embedding. The latter is an emerging research direction, which is of high importance in certain applications, e.g., in the authentication of closed circuit television footage. By controlling the reconstruction quality for each image block individually, a new degree of freedom is introduced. With such flexibility it becomes possible to bias the process towards better image quality, or better robustness against content modifications. In order to calculate the mapping between the image blocks and the reconstruction quality, a dedicated algorithm is proposed, which allows for providing guarantees on the quality of individual image fragments, and the achievable tampering rates. The dissertation also discusses reconstruction quality optimization techniques. The commonly used uniform quantization procedure is replaced with optimal Lloyd-Max code-books, and the allocation of the reference payload is performed in vi a formalized framework. Such an optimized self-embedding scheme is experimen- tally compared to 5 state-of-the-art alternative schemes in a common evaluation scenario. All of the presented theoretical results are supported by exhaustive experi- mental evaluation. The obtained results lead to important insights on the design of efficient self-embedding schemes. For the sake of research reproducibility, the relevant Matlab code can be obtained at http://kt.agh.edu.pl/~korus. Keywords image authentication, image reconstruction, self-embedding, self- recovery, digital watermarking, semi-fragile watermarking, erasure channel, digital fountain codes, Lloyd-Max quantization Streszczenie Tematyka niniejszej rozprawy dotyczy technik uwierzytelniania oraz rekonstrukcji treści obrazów cyfrowych bazujących na ulotnych cyfrowych znakach wodnych. W szczególności przedstawiona analiza dotyczy osiągalnej efektywności rekon- strukcji, właściwych jej kompromisów oraz granic poprawnej pracy. Podstawą przeprowadzonej analizy jest proponowany nowy teoretyczny model problemu samo-rekonstrukcji (ang. self-embedding), którego użycie prowadzi do efektywnego algorytmu, zdolnego do wysokiej jakości rekonstrukcji nawet w przypadku znaczą- cych zmian w obrazie. Na zbiorze 10 000 naturalnych obrazów średnia wierność reprezentacji odtworzonej treści, wyrażona przez szczytowy współczynnik sygnału do szumu, wynosi 37 dB i jest osiągalna nawet gdy blisko 50% powierzchni kadru uległo zniszczeniu. Problem rekonstrukcji przedstawiono jako komunikację przez kanał z wymazy- waniem (ang. erasure channel). Opracowany w praktyce algorytm zaimplemen- towano w oparciu o kody fontannowe. Dzięki odpowiedniej konstrukcji algorytmu możliwe jest ponowne użycie pozostałej, autentycznej części obrazu, co pozwala na stosowanie strumieni referencyjnych o długości znacząco większej niż dostępna pojemność znaku wodnego. Przeprowadzona analiza początkowo dotyczy wariantu algorytmu o jednolitej wierności rekonstrukcji. Jest ona następnie rozszerzona na wariant adaptacyjny. Adaptacyjna samo-rekonstrukcja jest nowym kierunkiem badań, a także istot- nym elementem w niektórych zastosowaniach, np. w zabezpieczaniu obrazów pochodzących z telewizji przemysłowej. Dzięki możliwości sterowania wiernością rekonstrukcji na poziomie indywidualnych bloków obrazu, uzyskuje się dodatkowy stopień swobody pozwalający na dopasowanie procesu rekonstrukcji do potrzeb wyższej jakości, bądź odporności na bardziej rozległą podmianę treści. Niniejsza rozprawa przedstawia także algorytm przypisujący blokom obrazu parametry rekonstrukcji w taki sposób, aby spełnione były wymagania odnośnie poziomu jakości fragmentów obrazu, a także osiągalnej odporności na podmianę treści. viii Przedmiotem dyskusji są także techniki optymalizacji wierności rekonstrukcji. Najczęściej stosowany jednorodny krok kwantyzacji został zastąpiony słownikiem Lloyda-Maxa, dopasowanym do rozkładu współczynników widma obrazów natural- nych. Precyzja, z jaką zapisywane są poszczególne współczynniki, wyznaczana jest automatycznie dla każdego z rozważanych przypadków przy użyciu dedykowanego algorytmu optymalizacyjnego. Wynikowy system rekonstrukcji obrazów, inte- grujący opisane usprawnienia przetestowano eksperymentalnie wraz z pięcioma najnowszymi systemami we wspólnym scenariuszu testowym. Wszystkie przedstawione wyniki teoretyczne zweryfikowano eksperymentalnie. Uzyskane wyniki prowadzą do istotnych wniosków dotyczących projektowania efektywnych systemów zabezpieczania obrazów cyfrowych. W celu zapewnienia odtwarzalności przeprowadzonych badań, kod źródłowy wybranych eksperymentów można uzyskać po adresem http://kt.agh.edu.pl/~korus. Słowa kluczowe uwierzytelnianie obrazów cyfrowych, rekonstrukcja obrazów cyfrowych, samo-rekonstrukcja, cyfrowe znaki wodne, ulotne znaki wodne, kanał z wymazywaniem, kodowanie fontannowe, kwantyzacja słownikiem Lloyda-Maxa Contents Contents ix List of Figures xiii List of Tables xvii Abbreviations xix Definitions xxi List of Symbols xxiii Introduction 1 1 Area of Research 7 1.1 Media Protection with Self-Embedding . .7 1.2 Measuring the Reconstruction Performance . 10 1.3 Related Work . 14 1.3.1 Fundamental Reference Representations . 14 1.3.2 Alternative Reference Representations . 15 1.3.3 Flexible Self-Embedding . 16 1.3.4 Adaptive Self-Embedding . 18 1.3.5 Self-Embedding Summary . 18 1.4 Limitations of Existing Schemes . 22 2 Erasure Channel for Content Reconstruction 25 2.1 Formal Problem Statement . 25 2.1.1 Success Bound Calculation . 34 x Contents 2.1.2 Optimistic Reconstruction Success Bound . 35 2.1.3 Typical Reconstruction Success Bound . 35 2.2 Experimental Evaluation . 40 2.2.1 Reference Self-Embedding Scheme . 40 2.2.2 Validation of the Reconstruction Demand Estimate . 42 2.2.3 Validation of the Reconstruction Success Bounds . 42 2.3 Conclusions and Practical Design Guidelines . 47 3 Analysis of Content Adaptivity 49 3.1 Reconstruction Success Bound Analysis . 50 3.1.1 Success Bound Types . 51 3.1.2 Impact of Multiple Reconstruction Profiles . 54 3.2 Automatic Design of Quality Descriptors . 58 3.2.1 Descriptor Design Procedure . 58 3.2.2 Experimental Evaluation of the Design Procedure . 59 3.3 Conclusions . 62 4 Evaluation of Reconstruction