Selected Topics on Distributed Video Coding THÈSE NO 4266 (2009) PRÉSENTÉE LE 9 JANVIER 2009 À LA FACULTE SCIENCES ET TECHNIQUES DE L'INGÉNIEUR MULTI MEDIA SIGNAL PROCESSING GROUP (MMSPG) PROGRAMME DOCTORAL EN INFORMATIQUE, COMMUNICATIONS ET INFORMATION ÉCOLE POLYTECHNIQUE FÉDÉRALE DE LAUSANNE POUR L'OBTENTION DU GRADE DE DOCTEUR ÈS SCIENCES PAR Mourad OUARET acceptée sur proposition du jury: Prof. S. Süsstrunk, présidente du jury Prof. T. Ebrahimi, directeur de thèse Prof. R. Leonardi, rapporteur Prof. M. A. Shokrollahi, rapporteur Prof. S. Tubaro, rapporteur Suisse 2008 Contents 1 Introduction 1 2 Distributed Video Coding (DVC) 4 2.1 Introduction .............................. 4 2.2 Theoretical DVC ........................... 5 2.3 DVC Implementations ........................ 7 2.3.1 PRISM Codec ........................ 7 2.3.2 The Stanford Codec ..................... 7 2.3.3 DVC Tools .......................... 8 2.4 Practical DVC ............................ 9 2.4.1 DVC Encoder ......................... 10 2.4.2 DVC Decoder ......................... 17 2.5 Performance Evaluation of DVC .................. 23 2.6 Applications for DVC ........................ 30 2.6.1 DVC Functional Benefits .................. 30 2.6.2 DVC Application Scenarios ................. 30 2.7 Conclusion .............................. 33 3 Intra Frame Encoding 35 3.1 Introduction .............................. 35 3.2 JPEG ................................. 37 3.3 JPEG2000 ............................... 37 3.4 Advanced Video Coding (AVC)/H.264 Intra ............ 40 3.5 JPEG XR ............................... 42 3.6 Simulation Results .......................... 44 3.6.1 Test Material and Evaluation Methodology ........ 44 3.6.2 RD Performance ....................... 48 3.7 Conclusion .............................. 57 4 Monoview DVC 58 4.1 Introduction .............................. 58 4.2 Related Work ............................. 59 4.2.1 Improved Side Information ................. 59 4.2.2 Error Concealment (EC) ................... 61 4.3 Proposed Improved Side Information ................ 62 4.3.1 Matching Criterion ...................... 63 4.3.2 Suspicious Vector Detection ................. 64 4.3.3 Motion Vector Refinement and Smoothing ......... 64 i 4.3.4 Optimal Motion Compensation Mode Selection ...... 65 4.4 Hybrid Error Concealment (EC) .................. 66 4.4.1 Spatial Error Concealment Based on an Edge Directed Filter ............................. 66 4.4.2 Enhanced Temporal Error Concealment .......... 68 4.5 Simulation Results .......................... 68 4.5.1 Improved SI Performance .................. 68 4.5.2 EC Performance . .................... 73 4.6 Conclusion .............................. 81 5 Multiview Distributed Video Coding 82 5.1 Introduction .............................. 82 5.2 Multiview DVC (MDVC) ...................... 83 5.3 Inter-Camera Prediction ....................... 86 5.3.1 Disparity Compensation View Prediction (DCVP) .... 86 5.3.2 Homography ......................... 86 5.3.3 View Synthesis Prediction (VSP) .............. 88 5.3.4 View Morphing (VM) .................... 88 5.3.5 MultiView Motion Estimation (MVME) .......... 91 5.4 Iterative Multiview Side Information (IMSI) ............ 92 5.4.1 DVC Reconstruction ..................... 93 5.4.2 IMSI for Enhanced Reconstruction . ........... 93 5.5 Simulation Results .......................... 94 5.5.1 Test Material and Evaluation Methodology ........ 94 5.5.2 Side Information Quality .................. 95 5.5.3 Side Information complexity ................. 99 5.5.4 RD Performance .......................101 5.5.5 Fusion-based Side Information ...............104 5.5.6 Comparison with AVC/H.264 ................107 5.6 Conclusion ..............................109 6 Scalable Distributed Video Coding 111 6.1 Introduction ..............................111 6.2 Scalable Distributed Video Coding (SDVC) ............112 6.2.1 Scalable DVC for Image Coding ..............113 6.2.2 Scalable DVC for Video Coding ...............115 6.3 JPEG2000 ...............................116 6.4 Simulation Results ..........................118 6.4.1 Test Material and Conditions ................118 6.4.2 Error-free conditions . ....................120 6.4.3 Error-prone conditions ....................130 6.5 Conclusion ..............................134 7 DVC Privacy Enabling by Transform Domain Scrambling 135 7.1 Introduction ..............................135 7.2 Scrambling for Distributed Video Coding .............136 7.2.1 AVC/H.264 Intra Scrambling ................137 7.2.2 Wyner Ziv Frames Scrambling ...............137 7.2.3 The DCT Coefficient Scrambler ...............138 7.3 Security Issues ............................138 ii 7.4 RD Performance ...........................139 7.5 Conclusion ..............................140 8 DVC Demonstrator 141 8.1 Introduction ..............................141 8.2 Demonstrator Design .........................142 8.2.1 Client Demonstrator .....................143 8.2.2 Server Demonstrator .....................143 8.2.3 Network Transmission ....................144 8.3 Video Decoding Optimization ....................145 8.3.1 Decoder Profiling .......................145 8.3.2 Optimization Solutions ...................146 8.3.3 Implementation and Evaluation ...............147 8.3.4 Optimization results .....................148 8.4 Practical Implementation . .....................148 8.4.1 Software Options .......................149 8.4.2 Description of the Graphical User Interface ........150 8.4.3 Decoding performance ....................154 8.5 Conclusion ..............................156 9 Conclusion 157 iii R´esum´e Le codage vid´eo distribu´e est le nouveau paradigme pour la compression bas´e sur les th´eor`emes ´etablis par Slepian et Wolf, et Wyner et Ziv. Alors que les m´ethodes de codage conventionnel ont une rigide r´epartition de complexit´e comme les taches les plus complexes sont faites l’encodeur, le codage distribu´e rends flexible la r´epartition de la complexit´e entre l’encodeur et le d´ecodeur. Le cas le pus int´eressant est celui de simples encodeurs et de d´ecodeurs plutt complexes qui est l’oppos´e du codage conventionnel. Ce dernier est int´eressant pour des applications ou le coˆut du d´ecodeur est plus critique que celui de l’encodeur. Par contre, le codage distribu´e ouvre la porte une nouvelle gamme d’applications o`u les encodeurs sont simples et la complexit´edud´ecodeur n’est pas si critique. Ceci est tr`es int´eressant cause de l’utilisation r´ecurrente de petits appareils multim´edia mobiles fonctionnant sur batterie. Le codage distribu´e fonctionne comme un syst`eme avec complexit´e invers´ee en le comparant avec le codage conventionnel. De plus, il donne la possibilit´ede construire des syst`emes avec encodeurs et d´ecodeurs simples. Ceci est possible grce au transcodage, qui transforme le flux g´en´er´e par le codage distribu´eenun flux conventionnel. Ce dernier, ´etant conventionnel, peut donc ˆetre d´ecoder de mani`ere simple. Les syst`emes multi-camera sont int´eressants pour diff´erentes applications comme la video surveillance. Les diff´erentes vues des cameras peuvent ˆetre utilis´ees pour am´eliorer la performance des algorithmes de d´etection d’´ev´enements ou d’intrusions. Alors que les m´ethodes de compression conventionnel exploitent la corr´elation entre les diff´erentes cameras l’encodeur, le codage distribu´e permet de compresser le flux de chaque camera ind´ependamment des autres cameras. Dans ce cas, une communication entre les diff´erentes cameras n’est pas requise, ce qui est un avantage. Le codage distribu´e, ´etant bas´e sur une approche statistique, est plus performant que le codage conventionnel dans le cas de transmission travers des environ- nements erron´es. De plus, le codage distribu´e permet de construire des codecs scalables o`u la couche de base est ind´ependante des couches sup´erieures. Cette th`ese traite les sujets suivants: Initialement, les fondations th´eoriques du codage distribu´e et son impl´ementation sont pr´esent´es. De plus, ses applications sont identifi´ees. Le codage distribu´e utilise le codage conventionnel pour compresser une partie de la video. Pour cela, diff´erents algorithmes de compression conventionnels sont compar´es en termes d’efficacit´e. Les diff´erents param`etres sont choisis de sorte que chaque algorithme produit la meilleure performance possible. Des outils pour am´eliorer la pr´ediction du cot´edud´ecodeur sont propos´e pour am´eliorer la performance du codage distribu´e. Le gain est plus important pour les vid´eos avec beaucoup de mouvement. De plus, un algorithme pour dissimuler les erreurs pour le codage distribu´e en cas de perte de paquets de transmission est introduit. Plus sp´ecifiquement, une technique de dissimulation spatiale est utilis´ee pour am´eliorer l’algorithme de dissimulation temporel. La combinaison des deux techniques de dissimulation est sup´erieure chaque technique appliqu´ee toute seule. Le codage distribu´e dissimul´e est sup´erieur au codage conventionnel dissimul´e dans le cas d’erreurs de transmission. Les diff´erentes techniques de pr´ediction pour le codage distribu´e dans le cas d’un sc´enario multi-cam´era sont compar´ees en termes de qualit´edepr´ediction, com- iv plexit´e et taux de compression. De plus, une technique de pr´ediction it´erative est introduite pour am´eliorer la performance pour le contenu vid´eo avec beau- coup de mouvement. Des algorithmes de fusion entre diff´erentes pr´edictions sont propos´es aussi pour une meilleure