Security of cryptographic protocols based on coding theory Herve Tale Kalachi To cite this version: Herve Tale Kalachi. Security of cryptographic protocols based on coding theory. Cryptography and Security [cs.CR]. Normandie Université; Université de Yaoundé I, 2017. English. NNT : 2017NORMR045. tel-01689877 HAL Id: tel-01689877 https://tel.archives-ouvertes.fr/tel-01689877 Submitted on 22 Jan 2018 HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non, lished or not. The documents may come from émanant des établissements d’enseignement et de teaching and research institutions in France or recherche français ou étrangers, des laboratoires abroad, or from public or private research centers. publics ou privés. THÈSE EN CO - TUTELLETHESE INTERNATIONALE Pour obtenir le diplôme de doctorat Spécialités : INFORMATIQUE & MATHÉMATIQUES Préparée au sein de l’Université de Rouen Normandie et de l’Université de Yaoundé 1, Cameroun Sécurité de Protocoles Cryptographiques Fondés sur la Théorie des Codes Correcteurs d’Erreurs Présentée et soutenue par Hervé TALE KALACHI Thèse soutenue publiquement le 05 juillet 2017 devant le jury composé de M. Thierry BERGER Professeur Emérite, Université de Limoges, XLIM Rapporteur Chargé de Recherche, INRIA Saclay, Laboratoire d’Informatique de l’Ecole M. Alain COUVREUR Examinateur Polytechnique (LIX) M. Pierre LOIDREAU Assimilé Maitre de Conférence HDR, Université de Rennes 1 & DGA - Rennes Rapporteur M. Selestin NDJEYA Université de Yaoundé 1 Examinateur M. Ayoub OTMANI Professeur, Université de Rouen Normandie, LITIS Examinateur M. Jean-Pierre TILLICH Directeur de Recherche, INRIA Paris Examinateur Thèse dirigée par M. Ayoub OTMANI Université de Rouen Normandie M. Selestin NDJEYA & M. Marcel TONGA Université de Yaoundé 1 Security of cryptographic protocols based on coding theory Hervé Talé Kalachi À mon père et ma mère. Remerciements J’ai passé de magnifiques années de thèse grâce à une combinaison d’efforts, d’assis- tances et de bonnes atmosphères dont j’ai bénéficié autant en France qu’au Came- roun. Je souhaite premièrement dire merci à mon directeur de thèse à l’université de Rouen, Monsieur Ayoub OTMANI qui a accepté de codiriger cette thèse à un mo- ment où je m’apprêtais à ouvrir la porte au découragement. Il faut dire que ce n’était que le début du commencement car, j’ai encore en souvenir la période difficile de recherche de financement avec les multiples lettres et attestations qu’il a dû écrire pour m’aider à trouver un financement pour ma mobilité. Je suis reconnaissant pour les multiples discussions enrichissantes que nous avons eu pendant mes différents sé- jours en France. Sa maîtrise de la cryptographie basée sur les codes, son sens aiguisé de l’orientation et sa précision dans la nature et la qualité des questions posées sont des atouts qui nous ont menés droit vers les résultats obtenus dans cette thèse. Merci à tous les membres de l’équipe “Combinatoire et Algorithmique” du LITIS pour la bonne atmosphère dont j’ai bénéficié dans les couloirs, pendant les pauses café ainsi que les déjeuners en commun. Un merci particulier à mon ami Vlad DRA- GOI pour les multiples discussions que nous avons eu ensemble et qui ont été un plus dans ma culture en cryptographie basée sur les codes. Merci à tous les doctorants de l’équipe pour la bonne ambiance que nous avons partagé durant ces années de thèse dans des parties déstressantes de “Bataille Corse”, de “King of Tokyo” et de “Tantrix”. Au Cameroun, je souhaite premièrement remercier mon directeur de thèse Monsieur Sélestin NDJEYA pour les multiples encouragements et conseils, et surtout pour le solide fondement en théorie des codes algébriques qu’il m’a transmis à travers ces enseignements depuis le Master, et dont j’ai pris goût au point de m’intéresser aux applications en cryptographie, premièrement dans mon mémoire de Master qu’il a dirigé et finalement dans mon projet de thèse dont les fruits sont présents dans ce manuscrit. J’aimerai aussi remercier mon superviseur Monsieur Marcel TONGA pour son sou- tien et ses conseils, sans oublier les bases de logique et algèbre universelle qu’il m’a transmis à travers ses enseignements de Master et qui m’ont été d’une grande importance durant cette thèse. Merci à tous les membres de l’Équipe de Recherche en Algèbre et Logique (ERAL) de l’université de Yaoundé 1 pour les multiples échanges, questions et discussions iii pendant et après les séminaires. Un merci particulier à Monsieur Célestin NKUIMI pour sa rigueur. Le seul fait de savoir qu’il sera présent lors d’un exposé pousse à être clair et précis dans la préparation. Un énorme merci au Pôle de Recherche en Mathématiques et Applications à la Sécu- rité de l’Information (PRMASI) pour m’avoir soutenu financièrement pour plusieurs séjours en France et pour plusieurs conférences et colloques. J’en profite aussi pour remercier tous les membres de PRMASI en commençant par le responsable Tony EZOME, Emmanuel FOUOTSA et tous les autres ; vous avez tous été une source d’inspiration et de motivation pour moi ces dernières années. Un spécial merci à mon chers aîné et ami Emmanuel FOUOTSA qui a été pour moi le pont entre le Cameroun et la France en me mettant en contact avec plusieurs chercheurs Français de haut niveau et notamment Monsieur Ayoub OTMANI. J’adresse également mes sincères remerciements au service de coopération et d’ac- tion culturelle de l’ambassade de France au Cameroun pour m’avoir financé deux magnifiques séjours de quatre mois en France. Je remercie Monsieur Thierry BERGER d’avoir accepté de rapporter ce document. Je suis également très honoré d’avoir eu Monsieur Pierre LOIDREAU comme rap- porteur de ma thèse. Pour finir, un énorme merci à mon épouse Sandrine et à mon fils Nell pour leur amour et leur soutien pendant cette période de mobilité et d’instabilité. v Abstract Contrary to the cryptosystems based on number theory, the security of cryptosys- tems based on error correcting codes appears to be resistant to the emergence of quantum computers. Another advantage of these systems is that the encryption and decryption are very fast, about five times faster for encryption, and 10 to 100 times faster for decryption compared to RSA cryptosystem. Nowadays, the interest of scientific community in code-based cryptography is highly motivated by the latest announcement of the National Institute of Standards and Technology (NIST). They initiated the Post-Quantum cryptography Project which aims to define new standards for quantum resistant cryptography and fixed the deadline for public key cryptographic algorithm submissions for November 2017. This announcement motivates to study the security of existing schemes in order to find out whether they are secure. This thesis thus presents several attacks which dismantle several code-based encryption schemes. We started by a cryptanalysis of a modified version of the Sidelnikov cryptosys- tem proposed by Gueye and Mboup [GM13] which is based on Reed-Muller codes. This modified scheme consists in inserting random columns in the secret generating matrix or parity check matrix. The cryptanalysis relies on the computation of the square of the public code. The particular nature of Reed-Muller which are defined by means of multivariate binary polynomials, permits to predict the values of the dimensions of the square codes and then to fully recover in polynomial time the se- cret positions of the random columns. Our work shows that the insertion of random columns in the Sidelnikov scheme does not bring any security improvement. The second result is an improved cryptanalysis of several variants of the GPT cryptosystem which is a rank-metric scheme based on Gabidulin codes. We prove that any variant of the GPT cryptosystem which uses a right column scrambler over the extension field as advocated by the works of Gabidulin et al. [Gab08, GRH09, RGH11] with the goal to resist Overbeck’s structural attack [Ove08], are actually still vulnerable to that attack. We show that by applying the Frobenius operator appropriately on the public key, it is possible to build a Gabidulin code having the same dimension as the original secret Gabidulin code, but with a lower length. In particular, the code obtained by this way corrects less errors than the secret one but its error correction capabilities are beyond the number of errors added by a sender, and consequently an attacker is able to decrypt any ciphertext with this degraded Gabidulin code. We also considered the case where an isometric transformation is applied in conjunction with a right column scrambler which has its entries in the extension field. We proved that this protection is useless both in terms of performance and security. Consequently, our results show that all the existing techniques aiming to hide the inherent algebraic structure of Gabidulin codes have failed. To finish, we studied the security of the Faure-Loidreau encryption scheme [FL05] which is also a rank-metric scheme based on Gabidulin codes. Inspired by our prece- dent work and, although the structure of the scheme differs considerably from the classical setting of the GPT cryptosystem, we show that for a range of parameters, this scheme is also vulnerable to a polynomial-time attack that recovers the private key by applying Overbeck’s attack on an appropriate public code. As an example we break in a few seconds parameters with 80-bit security claim. vii Résumé Contrairement aux protocoles cryptographiques fondés sur la théorie des nombres, les systèmes de chiffrement basés sur les codes correcteurs d’erreurs semblent résister à l’émergence des ordinateurs quantiques.