Validation of the Comprehensive Approach Toolkit Mobile Application in a Lab-Based Humanitarian Exercise
Total Page:16
File Type:pdf, Size:1020Kb
CAN UNCLASSIFIED Validation of the Comprehensive Approach Toolkit Mobile Application in a Lab-Based Humanitarian Exercise Joshua A. Granek Tara Holton Tonya Hendriks William Kozey Chris Apostoli Ryan Bae DRDC – Toronto Research Centre The body of this CAN UNCLASSIFIED document does not contain the required security banners according to DND security standards. However, it must be treated as CAN UNCLASSIFIED and protected appropriately based on the terms and conditions specified on the covering page. Defence Research and Development Canada Scientific Report DRDC-RDDC-2019-R217 April 2020 CAN UNCLASSIFIED CAN UNCLASSIFIED IMPORTANT INFORMATIVE STATEMENTS This document was reviewed for Controlled Goods by Defence Research and Development Canada (DRDC) using the Schedule to the Defence Production Act. Disclaimer: This publication was prepared by Defence Research and Development Canada an agency of the Department of National Defence. The information contained in this publication has been derived and determined through best practice and adherence to the highest standards of responsible conduct of scientific research. This information is intended for the use of the Department of National Defence, the Canadian Armed Forces (“Canada”) and Public Safety partners and, as permitted, may be shared with academia, industry, Canada’s allies, and the public (“Third Parties”). Any use by, or any reliance on or decisions made based on this publication by Third Parties, are done at their own risk and responsibility. Canada does not assume any liability for any damages or losses which may arise from any use of, or reliance on, the publication. The data collected as part of this study was approved either by Defence Research and Development Canada’s Human Research Ethics Board or by the Director General Military Personnel Research & Analysis’ Social Science Research Review Board. Endorsement statement: This publication has been peer-reviewed and published by the Editorial Office of Defence Research and Development Canada, an agency of the Department of National Defence of Canada. Inquiries can be sent to: [email protected]. Template in use: EO Publishing App for SR-RD-EC Eng 2018-12-19_v1 (new disclaimer).dotm © Her Majesty the Queen in Right of Canada (Department of National Defence), 2020 © Sa Majesté la Reine en droit du Canada (Ministère de la Défense nationale), 2020 CAN UNCLASSIFIED Abstract As a result of a recent requirements analysis, researchers at Defence Research and Development Canada (DRDC) – Toronto Research Centre have developed a new tool to assist members of the Canadian Armed Forces (CAF) who work in the area of influence activities (IA) with their daily duties. The tool, named the Comprehensive Approach Toolkit (CAT) mobile application (app), was created to address the need for a deployable suite to tools to enhance collaboration in comprehensive approach (CA) settings. The purpose of this study was to gain information pertaining to the CAF IA information operation process by observing IA Analysts use the CAT app during a scenario exercise that was held in the Command and Control Livespace Laboratory (C2L2) at DRDC – Toronto Research Centre—a collaborative workspace equipped with networked computers, collaborative software, and video teleconferencing (VTC) capability. Observational data, information operation output and focus group data were used to: a) identify strategies and resources analysts use to prepare an information operation plan and gather information required by the commander, b) determine how analysts collaborate and create shared situational understanding, c) determine how IA Analysts use the CAT app, and d) validate the CAT app for its usefulness and usability in the conduct of IA information operations. The study ran over the course of one and a half days for a group of three IA Analysts; the first day included a half day of training on the CAT app while the second day included a full day disaster relief exercise. Specifically, IA Analysts used the CAT app during a disaster relief scenario in the C2L2 to conduct their activities. Following the exercise, the participants generated a final report. Data was gathered in the form of observational data, questionnaires regarding app use, tracking of app usage (e.g., number of clicks on a page, time spent on a page), and written and/or oral feedback at the end of the study. Qualitative data analysis was conducted to assess the extent to which the participants found the CAT app useful when completing their tasks. Results indicated that two out of the three IA Analysts regularly interacted with the CAT app during the humanitarian exercise with relative ease after minimal training. The CAT app was found to be user-friendly and was well suited for generating mission reports and preparing for face-to-face interactions. Participants found the tool less relevant as a knowledge transfer tool in a headquarters setting with access to other tools such as a personal computer. Further, participants suggested that additional information, access to additional links (e.g., maps), as well as providing additional templates for interacting with key leaders and preparing planning processes would render the CAT app as an even more useful tool. Future research should be done to compare the CAT app relative to a control in order to validate and quantify the magnitude of the added value of adopting the use of the CAT app as part of doctrine for both training and in the theatre of operations. DRDC-RDDC-2019-R217 i Significance to defence and security Benefits of this research included an opportunity for CAF participants to evaluate new software tools and allowed them to become familiarized with the C2L2 as a facility that is can be made available to them to conduct their exercises. This exercise provided valuable data during a realistic scenario that informed DRDC investigators how they can further develop processes or tools to facilitate the search and analysis done by teams of CAF IA Analysts. Further, the study allowed for observation of an IA team’s use of a prototype tool “in-situ,” which will enable the refinement of the tool and increase the likelihood that it will be used effectively and increase efficiency in a theatre of operations. ii DRDC-RDDC-2019-R217 Résumé Aux termes d’une récente analyse des besoins, les chercheurs du Centre de recherche Toronto de Recherche et développement pour la défense Canada (RDDC) ont mis au point un nouvel outil pour aider les membres des Forces armées canadiennes (FAC) du domaine des activités d’influence (AI) dans leurs tâches quotidiennes. Cet outil, baptisé Trousse de l’approche globale (TAG), est une application mobile conçue pour répondre au besoin d’une suite d’outils portative afin d’améliorer la collaboration dans un contexte d’approche globale. La présente étude avait pour objectif de recueillir des données sur le processus lié aux opérations d’information du domaine des AI au sein des FAC. À cette fin, des chercheurs du Centre de recherche Toronto ont observé des analystes du domaine des AI se servir de l’application TAG au cours d’une simulation réalisée dans le Laboratoire de commandement et de contrôle LiveSpace (C2L2), un espace de travail collaboratif où l’on retrouve un système de vidéoconférence et des ordinateurs en réseau sur lesquels des logiciels de collaboration ont été installés. Les données, tirées de l’observation, des groupes de discussion et des résultats des opérations d’information, ont permis (a) de cibler les stratégies et les ressources qu’utilisent les analystes pour préparer leur plan d’opérations d’information et colliger les renseignements demandés par le commandant, (b) de déterminer la façon dont ils collaborent pour établir une même compréhension de la situation, (c) de cerner la façon dont ils ont utilisé l’application TAG et (d) de vérifier l’utilité et la convivialité de celle-ci dans le cadre d’opérations d’information relatives aux AI. L’étude, à laquelle trois analystes du domaine des AI ont participé, s’est déroulée sur une période d’une journée et demie, soit une formation d’une demi-journée sur l’application TAG, suivie d’une journée complète consacrée à un exercice de secours aux sinistrés. Plus précisément, les analystes ont utilisé l’application TAG pour effectuer leurs tâches dans le cadre d’une simulation tenue au laboratoire C2L2 et produire ensuite un rapport final. Des données ont été recueillies par le truchement d’observations, de questionnaires sur l’application, du suivi de son utilisation (nombre de clics sur un page, temps passé sur une page, etc.) et de commentaires formulés par écrit ou de vive voix après l’étude. Elles ont fait l’objet d’une analyse qualitative pour évaluer, du point de vue des participants, le degré de pertinence de l’application TAG dans la réalisation de leurs tâches. Les résultats de l’étude démontrent que deux des trois analystes ont utilisé régulièrement l’application TAG durant la simulation d’opérations d’aide humanitaire, et l’ont fait avec une certaine aisance malgré leur formation sommaire. Les participants ont reconnu que l’application était conviviale et adaptée à la production de rapports de mission et aux préparatifs en vue de rencontres en personne. Ils l’ont trouvé toutefois moins utile à titre de mécanisme de transfert de connaissances dans un milieu d’état-major où l’on a accès à d’autres outils, par exemple un ordinateur personnel. De plus, les analystes ont avancé que l’application gagnerait en utilité si elle renseignait davantage et donnait accès à plus de liens (p. ex., des cartes), tout en proposant plus de modèles pour interagir avec des dirigeants principaux et élaborer des processus de planification. D’autres recherches seront nécessaires pour comparer l’application TAG à un témoin afin d’en valider et d’en mesurer la valeur ajoutée si son adoption est prévue dans la doctrine, à la fois sur le plan de l’instruction et du théâtre d’opérations.