DND/NSERC Project Final Report
Total Page:16
File Type:pdf, Size:1020Kb
The Advanced Host-Level Surveillance (AHLS) DND/NSERC project Final report Mario Couture DRDC – Valcartier Research Centre Defence Research and Development Canada Scientific Report DRDC-RDDC-2017-R003 January 2017 Template in use: (2010) SR Advanced Template_EN (051115).dotm © Her Majesty the Queen in Right of Canada, as represented by the Minister of National Defence, 2017 © Sa Majesté la Reine (en droit du Canada), telle que représentée par le ministre de la Défense nationale, 2017 Abstract The detection of anomalies in deployed software systems (during their operation) is an important challenge that must be addressed on a continuing basis. These systems are complex and imperfect, and will always suffer from unknown vulnerabilities that could be exploited by malicious software, using methods that become ever more complex as time goes by. Another aspect of the problem concerns the commercial security systems that provide anomaly and undesirable behaviour detection. Often, the detection surface of these systems is incomplete. Further, certain types of detectors, despite contributing to the completion of said detection surface, suffer from sometimes very high false positive rates, which makes them impractical. DRDC, an agency of DND, sets up research and development projects that aim to develop new technologies that could improve the anomaly detection capabilities of defence software systems. The DND/NSERC programme is often used to define and initiate such projects. One of these is the four-year “Advanced Host-Level Surveillance (AHLS)” project. Researchers from the academic, industrial and DRDC communities joined together to form a research team that sought to improve the following aspects of online software system surveillance: a) the online capture and management of data representative of the systems’ behaviours and states, and b) the analysis of these data in order to detect software anomalies with as low/high false/true positive rates as possible. These two axes define the application domain of AHLS; the online cyber surveillance of software systems. This scientific report provides a high-level description of the concepts and technologies that were developed within AHLS. Using the elements composing the vision put forward by DRDC, the project’s experts pursued the goal of bridging the detection gaps of commercial anomaly detection systems. The experts were strongly encouraged to make their technologies interoperable and evolutive. This applied research and development work yielded a series of interoperable and evolutive prototypes that solved the problems described earlier. Data acquisition can now manage the vast majority of data types generated by software systems. An adapted work environment allows the online execution and control of advanced stochastic and machine learning techniques. Significance to defence and security This scientific report is a PASS (Platform-to-Assembly Secured Systems) deliverable. All the technologies described in this document result from collaborative R&D efforts which involved the participation of NSERC, Ericsson Canada, DRDC – Valcartier Research Centre, and the following Canadian universities: Montreal Polytechnique, Concordia University, Toronto University and École de technologie supérieure. The sponsors of the PASS project are: Directorate of Naval Combat Systems (DNCS), Director General Maritime Equipment Program Management (DGMEPM) and DG Cyber. DRDC-RDDC-2017-R003 i These technologies open the door for the implementation of new advanced leading-edge anomaly detection algorithms in DND’s critical software systems. They will contribute to improve significantly online detection of malicious activities that may take place in running computing systems. ii DRDC-RDDC-2017-R003 Résumé La détection d’anomalies dans les systèmes logiciels de production (pendant qu’ils sont en opération) représente un défi important qu’il faut relever sur une base continue. Ces systèmes sont complexes et imparfaits; ils vont toujours contenir des vulnérabilités cachées qui peuvent être exploitées par du logiciel malicieux, lequel devient de plus en plus complexe avec le temps. Une autre facette du problème est celle des systèmes de sécurité que l’on trouve sur le marché pour la détection en ligne d’anomalies et de comportements logiciels indésirables. Bien souvent, la surface de détection définie par ces systèmes ne couvre pas tous les types d’anomalies et de patrons comportementaux indésirables que l’on peut retrouver sur ces systèmes. De plus, certains types de détecteurs, qui pourraient contribuer à régler ce problème, produisent des taux de faux positifs qui sont souvent très élevés, les rendant inutilisables. L’agence RDDC du MDN met en place des projets de recherche et développement dans le but de développer de nouvelles technologies pour améliorer les capacités de détection d’anomalies des systèmes logiciels de la défense. Le programme MDN/CRSNG est souvent utilisé pour définir et lancer ces projets. Un de ceux-ci est le projet de 4 ans « Advanced Host-Level Surveillance (AHLS) ». Des chercheurs provenant des milieux académique, industriel et de RDDC ont donc formé une équipe de recherche collaborative dans le but d’améliorer les aspects suivants de la surveillance en ligne : a) l’acquisition en ligne et la gestion de données représentant les comportements et états logiciels courants, et b) l’analyse de ces données dans le but de détecter les anomalies logicielles avec des taux de vrais/faux positifs aussi hauts/bas que possible. Ces deux catégories définissent le champ d'application de AHLS; la cyber surveillance en ligne des systèmes logiciels. Ce rapport scientifique fournit une description de haut niveau des concepts et des technologies qui ont été développés dans AHLS. Utilisant les éléments d’une vision prédéfinie par RDDC, les experts du projet avaient pour but de combler les défauts de détection des systèmes de sécurité qui sont publiquement disponibles. Ces experts ont été fortement encouragés à rendre leurs technologies interfonctionnelles et évolutives. Ce travail de recherche et de développement appliqué a produit une suite de prototypes interfonctionnels et évolutifs qui apportent des solutions aux problèmes décrits plus haut. L’acquisition de données peut maintenant gérer la plupart des types de données que l’on retrouve sur les systèmes informatiques. Un environnement de travail adapté permet également l’exécution de techniques stochastiques et d’apprentissage machine avancées ainsi que leur contrôle en ligne. Importance pour la défense et la sécurité Ce rapport scientifique est un livrable du projet PASS (Platform-to-Assembly Secured Systems). Toutes les technologies qui sont décrites dans ce document résultent de travaux collaboratifs de R et D qui ont impliqué la participation de CRSNG, Ericsson Canada, RDDC Valcartier ainsi que les universités suivantes : la Polytechnique de Montréal, l’Université Concordia, l’Université de DRDC-RDDC-2017-R003 iii Toronto, et l’École de technologie supérieure. Les commanditaires du projet PASS sont les suivants : Direction des systèmes de combat naval (DSCN), Direction générale de gestion des programmes et de l’équipement maritime (DGGPEM), Direction générale (DG) Cyber. Ces technologies ouvrent la porte à l’implémentation de nouveaux algorithmes avancés de détection d’anomalies des systèmes logiciels critiques du MDN. Elles vont contribuer à améliorer de façon significative la détection en ligne d’activités malicieuses qui peuvent se produire dans les systèmes informatiques pendant leur exécution. iv DRDC-RDDC-2017-R003 Table of contents Abstract ................................. i Significance to defence and security ...................... i Résumé ................................ iii Importance pour la défense et la sécurité .................... iii Table of contents ............................ v List of figures .............................. vii List of tables .............................. viii 1 Introduction ............................. 1 1.1 Context and purpose of this work ................... 2 1.2 Methodology .......................... 3 1.3 How to read this document ..................... 3 1.4 Important terms used in this report .................. 3 2 Online Cyber-Surveillance of Software Systems (OCS3)—The proposed vision and works ............................... 4 2.1 OCS3 for the computer—Overview .................. 4 2.2 Possible new research ideas that could improve OCS3 ........... 6 2.3 The five tracks of the AHLS project—Overview ............. 12 2.4 Poly-Tracing technologies for AHLS ................. 14 3 Online data capture for OCS3 (AHLS Tracks 1 and 2) ............. 16 3.1 The use of multiple data sources to improve OCS3 ............ 16 3.2 The open source Trace Compass integrating framework .......... 18 3.3 The Centralized Data Store (CDS) .................. 18 3.4 AHLS—Multi-level trace abstraction; linking and display ......... 24 3.5 Modelling technologies for trace analysis ................ 27 3.6 First analyses—Google Chrome ................... 29 3.7 Extension to Track 2 ....................... 29 4 OCS3 at the system calls interface (AHLS Track 3) .............. 31 4.1 Intrusion detection systems (IDS)—Definitions ............. 32 4.2 Limits of the available supporting technology .............. 32 4.3 Overview of the research in advanced anomaly detection .......... 33 4.4 The TotalADS integrating framework ................. 35 4.5 Detection technique 1—Sequence Modelling (SQM) ........... 40 4.6 Detection technique