Security monitoring for network protocols and applications Vinh Hoa La To cite this version: Vinh Hoa La. Security monitoring for network protocols and applications. Networking and Internet Architecture [cs.NI]. Université Paris-Saclay, 2016. English. NNT : 2016SACLL006. tel-01782396 HAL Id: tel-01782396 https://tel.archives-ouvertes.fr/tel-01782396 Submitted on 2 May 2018 HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non, lished or not. The documents may come from émanant des établissements d’enseignement et de teaching and research institutions in France or recherche français ou étrangers, des laboratoires abroad, or from public or private research centers. publics ou privés. 1176$&// 7+(6('('2&725$7 '( /¶81,9(56,7(3$5,66$&/$< 35(3$5(($ 7(/(&2068'3$5,6 e&2/('2&725$/(1 6FLHQFHVHW7HFKQRORJLHVGHO ,QIRUPDWLRQHWGHOD&RPPXQLFDWLRQ 67,& 6SpFLDOLWpGHGRFWRUDW,QIRUPDWLTXH 3DU 09LQK+RD/D 6HFXULW\0RQLWRULQJIRU1HWZRUN3URWRFROVDQG $SSOLFDWLRQV 7KqVHSUpVHQWpHHWVRXWHQXHj(YU\OHRFWREUH &RPSRVLWLRQGX-XU\ 0)DULG1$,7$%'(66(/$03URIHVVHXU8QLYHUVLWp3DULV'HVFDUWHV 3DULV9 5DSSRUWHXU 00DUFHOR',$6'($025,0'LUHFWHXUGHUHFKHUFKH&156/,3830&5DSSRUWHXU 03DWULFN6(1$&3URIHVVHXU(1$&±7RXORXVH([DPLQDWHXU 0PH)DWLKD=$,',0DvWUHGH&RQIpUHQFHV+'58QLYHUVLWp3DULV6XG([DPLQDWULFH 0$GULHQ%(&8+HDGRI5HVHDUFK 7HFKQRORJ\$LUEXV'6&\EHUVHFXULW\([DPLQDWHXU 0:LVVDP0$//28/,'U,QJpQLHXUGHUHFKHUFKH0RQWLPDJH([DPLQDWHXU 0PH$QD5RVD&$9$//,3URIHVVHXU7HOHFRP6XG3DULV'LUHFWHXUGHWKqVH Titre : Monitorage des Aspects Sécuritaires pour les Protocoles de Réseaux et Applications. Mots clés : sécurité, détection d'intrusion, surveillance de sécurité, supervision de réseaux Résumé : La sécurité informatique, aussi applications. Nous proposons également des connue comme la cyber-sécurité, est toujours approches innovantes fondées sur un sujet d'actualité dans la recherche en l'apprentissage supervisé pour prétraiter et sciences informatiques. Comme les cyber- analyser l'entrée de données. Notre cadre est attaques grandissent de plus en plus en volume validé dans une large gamme de cas d’études, y et en sophistication, la protection des systèmes compris la surveillance des réseaux ou réseaux d'information devient une tâche traditionnels TCP / IP (v4) (LAN, WAN, la difficile. Les chercheurs dans la communauté surveillance de l'Internet), la supervision des de recherche prêtent une attention constante à réseaux de objets connectés utilisant la la sécurité, en particulier dans les deux technologie 6LoWPAN (IPv6), et également directions suivantes: (i) - la conception des l’analyse des logs d'autres applications. infrastructures sécurisée avec des protocoles de Dans chaque cas d’étude, nous décrivons communication sécurisés et (ii) - surveillance / comment nous collectons les jeux de données supervision des systèmes ou des réseaux afin de d'audit, extrayons les attributs pertinents, trouver et de remédier aux vulnérabilités. La traitons les données reçues et décodons leur dernière vérifie que tout ce qui a été conçu dans signification de sécurité. Pour ces objectifs, la première fonctionne correctement et en toute l’outil Montimage Monitoring Tool (MMT) est sécurité. Ceci étant le sujet principal de cette utilisé comme le cœur de notre approche. Nous thèse. évaluons également la performance de la Cette dissertation présente un cadre de solution et sa possibilité de marcher dans les surveillance de la sécurité en tenant en compte systèmes "à plus grande échelle" avec les jeux des différents types de jeu de données d'audit y de données plus volumineux. compris le trafic de réseaux et les logs dans les Title : Security Monitoring for Network Protocols and Applications. Keywords : security, intrusion detection, security monitoring, network monitoring Abstract: Computer security, also known as framework that takes into consideration cyber-security or IT security is always an different types of audit data set including emerging topic in computer science research. network traffic and applications’ exchanged Because cyber-attacks are growing in both messages. We propose also some novel volume and sophistication, protecting approaches based on supervised machine information systems or networks becomes a learning to pre-process and analyze the data difficult task. People in research community input. Our framework is validated in a wide give an ongoing attention in security including range of case studies including traditional two main directions: (i) - designing secured TCP/IP(v4) network monitoring (LAN, WAN, infrastructures with secured communication Internet monitoring), Internet of Things (IoT) protocols and (ii) - monitoring/supervising the using 6LoWPAN technology (IPv6), and other systems or networks in order to find and applications' logs. In each case study, we remediate vulnerabilities. The former can assist describe how we collect the audit data set, the later by forming some additional extract the relevant attributes, handle received monitoring-supporting modules. Whilst, the data and decode their security meaning. For later verifies whether everything designed in these goals, Montimage Monitoring Tool the former is correctly and securely (MMT) is used as the core of our approach. We functioning. This is the main topic of this assess also the solution's performance and its thesis. possibility to work in “larger scale" systems This dissertation presents a security monitoring with more voluminous datasets. Université Paris-Saclay Espace Technologique / Immeuble Discovery Route de l’Orme aux Merisiers RD 128 / 91190 Saint-Aubin, France Abstract Computer security, also known as cyber-security or IT security, is always an emerging topic in computer science research. Because cyber attacks are growing in both volume and sophis- tication, protecting information systems or networks becomes a difficult task. Therefore, researchers in research community give an ongoing attention in security including two main directions: (i) - designing secured infrastructures with secured communication protocols and (ii) - monitoring/supervising the systems or networks in order to find and re-mediate vul- nerabilities. The former assists the later by forming some additional monitoring-supporting modules. Whilst, the later verifies whether everything designed in the former is correctly and securely functioning as well as detecting security violations. This is the main topic of this thesis. This dissertation presents a security monitoring framework that takes into consideration different types of audit dataset including network traffic and application logs. We propose also some novel approaches based on supervised machine learning to pre-process and ana- lyze the data input. Our framework is validated in a wide range of case studies including traditional TCP/IPv4 network monitoring (LAN, WAN, Internet monitoring), IoT/WSN using 6LoWPAN technology (IPv6), and other applications' logs. Last but not least, we provide a study regarding intrusion tolerance by design and propose an emulation-based approach to simultaneously detect and tolerate intrusion. In each case study, we describe how we collect the audit dataset, extract the relevant attributes, handle received data and decode their security meaning. For these goals, the tool Montimage Monitoring Tool (MMT) is used as the core of our approach. We assess also the solution's performance and its possibility to work in \larger scale" systems with more voluminous dataset. R´esum´e La s´ecurit´e informatique, aussi connue comme la cyber-s´ecurit´e, est toujours un sujet d'actualit´edans la recherche en sciences informatiques. Comme les cyber-attaques gran- dissent de plus en plus en volume et en sophistication, la protection des syst`emesou r´eseaux d'information devient une t^ache difficile. Les chercheurs dans la communaut´ede recherche pr^etent une attention constante `ala s´ecurit´e,en particulier ils s'orientent vers deux direc- tions principales: (i) - la conception des infrastructures s´ecuris´eesavec des protocoles de communication s´ecuris´eset (ii) - surveillance / supervision des syst`emesou des r´eseauxafin de trouver et de rem´edierdes vuln´erabilit´es.La derni`erev´erifieque tout ce qui a ´et´econ¸cu dans la premi`erefonctionne correctement et en toute s´ecurit´e,ainsi d´etectant les violations de s´ecurit´e.Ceci ´etant le sujet principal de cette th`ese. Cette dissertation pr´esente un cadre de surveillance de la s´ecurit´een tenant en compte des diff´erents types de jeu de donn´eesd'audit y compris le trafic de r´eseaux et les messages ´echang´esdans les applications. Nous proposons ´egalement des approches innovantes fond´ees sur l'apprentissage statistique, la th´eoriede l'information et de l'apprentissage automatique pour pr´etraiteret analyser l'entr´eede donn´ees.Notre cadre est valid´edans une large gamme des ´etudesde cas, y compris la surveillance des r´eseauxtraditionnels TCP / IP (v4) (LAN, WAN, la surveillance de l'Internet), la supervision des r´eseauxde objets connect´esutilisant la technologie 6LoWPAN (IPv6), et ´egalement, l'analyse des logs d'autres applications. Enfin, nous fournissons une ´etudesur la tol´eranced'intrusion par conception et proposons une approche bas´eesur l'´emulation pour d´etecteret tol´erer l'intrusion simultan´ement. Dans chaque ´etudede cas, nous d´ecrivons comment nous collectons les