Generating computer forensic super- timelines under Linux A comprehensive guide for Windows-based disk images R. Carbone Certified Hacking Forensic Investigator (EC-Council) DRDC Valcartier C. Bean Certified Hacking Forensic Investigator (EC Council) Defence R&D Canada – Valcartier Technical Memorandum DRDC Valcartier TM 2011-216 October 2011 Generating computer forensic super- timelines under Linux A comprehensive guide for Windows-based disk images R. Carbone Certified Hacking Forensic Investigator (EC Council) DRDC Valcartier C. Bean Certified Hacking Forensic Investigator (EC Council) Defence R&D Canada – Valcartier Technical Memorandum DRDC Valcartier TM 2011-216 October 2011 Principal Author Richard Carbone Programmer/Analyst Approved by Guy Turcotte Head/System of Systems Approved for release by Christian Carrier Chief Scientist © Her Majesty the Queen in Right of Canada, as represented by the Minister of National Defence, 2011 © Sa Majesté la Reine (en droit du Canada), telle que représentée par le ministre de la Défense nationale, 2011 Abstract …….. This technical memorandum examines the basics surrounding computer forensic filesystem timelines and provides an enhanced approach to generating superior timelines for improved filesystem analysis and contextual awareness. Timelines are improved by polling multiple sources of information across the filesystem resulting in an approach that is surprisingly flexible and customizable. The timeline is further enhanced by incorporating key time-based metadata found across a disk image which, when taken as a whole, increases the forensic investigator’s understanding. Résumé …..... Ce mémorandum technique examine les bases entourant la création d’un calendrier des événements inforensiques des systèmes de fichier et fournit une approche améliorée pour générer des calendriers supérieurs pour une analyse améliorée des systèmes de fichiers et un meilleur éveil contextuel. Ces calendriers sont améliorés en sondant des sources multiples d’information à travers le système de fichiers, ce qui résulte en une approche qui est étonnamment flexible et configurable. Le calendrier est amélioré encore davantage par l’introduction des métadonnées essentielles liées au temps qui se retrouvent un peu partout sur un disque et qui, lorsque prises en compte globalement, augmentent la compréhension de l’enquêteur inforensique. DRDC Valcartier TM 2011-216 i This page intentionally left blank. ii DRDC Valcartier TM 2011-216 Executive summary Generating computer forensic super-timelines under Linux: A comprehensive guide for Windows-based disk images Carbone, R., Bean, C.; DRDC Valcartier TM 2011-216; Defence R&D Canada – Valcartier; October 2011. Modern digital forensics relies on a multitude of software tools and investigative techniques in an attempt to understand and piece together the actions taken by a suspect. Many pieces of relevant information exist, including precious metadata. It is this metadata, specifically date/time related metadata, which constitutes the main subject of this technical memorandum. Unfortunately, the full utilization of said metadata is all too often left out from an investigation as only the basic filesystem date/time metadata is actually used. Using additional metadata sources, as examined in this technical memorandum, would further increase the confidence reliability of a digital forensic timeline. These timelines, while in use for many years now by investigators, are lacking in context and depth. Far too many important additional sources of date/time-related metadata are left out from the timeline, thereby limiting the investigator’s contextual understanding of events. By increasing the scope and range of additional metadata and pushing it into the timeline, new insights can be gained, particularly into user-related activities. While these concepts are not new, they are not widely used today by investigators nor are they implemented into current commercial digital forensic analysis tools and frameworks. Instead, digital forensic timelines appear to have been ignored by the software industry. However, there has been some resurgence of interest in timelines and the software tools at the forefront, log2timeline and The Sleuth Kit, play a key role in the timeline generation approach described herein. Specifically, the open source tool log2timeline, in combination with custom shell scripts and short C-based programs, will enable the reader to not only generate enhanced timelines from additional sources of date/time-related metadata but allow for said generation in a more automatable fashion. This technical memorandum therefore provides a detailed description of the authors’ approach to generating enhanced timelines in the hopes of aiding the digital forensic community to adopt improved methodologies. This work was carried out over a period of two months as part of the Live Computer Forensics project, an agreement between DRDC Valcartier and the RCMP (SRE-09-015, 31XF20). The results of this project will be of great interest to the Canadian Forces Network Operation (CFNOC) in their mission of securing DND networks and investigating computer incidents. DRDC Valcartier TM 2011-216 iii Sommaire ..... Generating computer forensic super-timelines under Linux: A comprehensive guide for Windows-based disk images Carbone, R., Bean, C. ; DRDC Valcartier TM 2011-216 ; R & D pour la défense Canada – Valcartier; octobre 2011. L’inforensique moderne repose sur une multitude d’outils logiciels et de techniques d’enquête dans le but de comprendre et de réunir les actes commis par un suspect. Beaucoup d’information pertinente existe, incluant de précieuses métadonnées. Ce sont ces métadonnées, partiellement celles liées à la date et à l’heure, qui constituent le sujet principal de ce mémorandum technique. Malheureusement, la pleine utilisation de ces métadonnées est trop souvent mise de côté dans une enquête et seules les métadonnées de base du système de fichiers, liées à la date et à l’heure, sont utilisées dans les faits. L’utilisation de sources de métadonnées additionnelles, telles qu’examinées dans ce mémorandum technique, augmenterait le niveau de fiabilité envers un calendrier des événements inforensiques. Ces calendriers, pourtant utilisés depuis plusieurs années par les enquêteurs, manquent d’information contextuelle et de profondeur. Beaucoup trop de métadonnées additionnelles importantes liées à la date et à l’heure sont mise à l’écart du calendrier, ce qui limite la compréhension contextuelle des événements pour l’enquêteur. En augmentant la portée et la gamme des métadonnées additionnelles et en les incluant dans le calendrier des événements, de nouvelles connaissances peuvent être acquises, particulièrement en ce qui a trait aux activités des utilisateurs. Bien que ces concepts ne soient pas nouveaux, ils sont peu utilisés par les enquêteurs et ils ne sont pas implémentés dans les outils et cadres courants d’inforensique commerciaux. Les calendriers des événements numériques semblent plutôt avoir été négligés par l’industrie logicielle. Malgré tout, il semble y avoir eu un regain d’intérêt pour ces calendriers et les outils logiciel à l’avant- garde, log2timeline et The Sleuth Kit, joue un rôle clé dans la production de calendriers des événements décrits dans ce mémorandum. Spécifiquement, l’outil en logiciel libre log2timeline, combiné avec des scripts de commandes personnalisés et de petits programmes en C, permettra au lecteur non seulement de produire des calendriers améliorés à partir de sources additionnelles de métadonnées liées à la date et à l’heure, mais permettra aussi une meilleure automatisation de cette production. Ce mémorandum technique fournit donc une description détaillée de l’approche des auteurs pour produire des calendriers des événements plus détaillés dans l’espoir d’aider la communauté inforensique à adopter des méthodes améliorées. Ce travail a été accompli sur une période de deux mois dans le cadre du projet « Live Computer Forensics », une entente entre RDDC Valcartier et la GRC (SRE-09-015, 31XF20). Les résultats de ce projet seront d’un grand intérêt pour le Centre d'opérations des réseaux des Forces canadiennes (CORFC) dans leur mission de protection des réseaux du MDN et d’investigation des incidents informatiques. iv DRDC Valcartier TM 2011-216 Table of contents Abstract …….. ................................................................................................................................. i Résumé …..... ................................................................................................................................... i Executive summary ........................................................................................................................ iii Sommaire ....................................................................................................................................... iv Table of contents ............................................................................................................................. v List of tables ................................................................................................................................... ix Acknowledgements ......................................................................................................................... x Disclaimer. ..................................................................................................................................... xi C source code and Bash shell