EVALUATING and SELECTING SOFTWARE TEST AUTOMATION TOOLS Synthesizing Empirical Evidence from Practitioners
Total Page：16
File Type：pdf, Size：1020Kb
A 752 OULU 2020 A 752 UNIVERSITY OF OULU P.O. Box 8000 FI-90014 UNIVERSITY OF OULU FINLAND ACTA UNIVERSITATISUNIVERSITATIS OULUENSISOULUENSIS ACTA UNIVERSITATIS OULUENSIS ACTAACTA SCIENTIAESCIENTIAEA A RERUMRERUM Päivi Raulamo-Jurvanen NATURALIUMNATURALIUM Päivi Raulamo-Jurvanen University Lecturer Tuomo Glumoff EVALUATING AND University Lecturer Santeri Palviainen SELECTING SOFTWARE TEST Postdoctoral researcher Jani Peräntie AUTOMATION TOOLS SYNTHESIZING EMPIRICAL EVIDENCE FROM University Lecturer Anne Tuomisto PRACTITIONERS University Lecturer Veli-Matti Ulvinen Planning Director Pertti Tikkanen Professor Jari Juga University Lecturer Anu Soikkeli University Lecturer Santeri Palviainen UNIVERSITY OF OULU GRADUATE SCHOOL; UNIVERSITY OF OULU, FACULTY OF INFORMATION TECHNOLOGY AND ELECTRICAL ENGINEERING Publications Editor Kirsti Nurkkala ISBN 978-952-62-2765-8 (Paperback) ISBN 978-952-62-2766-5 (PDF) ISSN 0355-3191 (Print) ISSN 1796-220X (Online) ACTA UNIVERSITATIS OULUENSIS A Scientiae Rerum Naturalium 752 PÄIVI RAULAMO-JURVANEN EVALUATING AND SELECTING SOFTWARE TEST AUTOMATION TOOLS Synthesizing Empirical Evidence from Practitioners Academic dissertation to be presented with the assent of the Doctoral Training Committee of Information Technology and Electrical Engineering of the University of Oulu for public defence in the OP auditorium (L10), Linnanmaa, on 13 November 2020, at 12 noon UNIVERSITY OF OULU, OULU 2020 Copyright © 2020 Acta Univ. Oul. A 752, 2020 Supervised by Professor Mika Mäntylä Professor Burak Turhan Associate Professor Vahid Garousi Reviewed by Associate Professor Filippo Ricca Associate Professor Viktoria Stray Opponent Professor Kari Smolander ISBN 978-952-62-2765-8 (Paperback) ISBN 978-952-62-2766-5 (PDF) ISSN 0355-3191 (Printed) ISSN 1796-220X (Online) Cover Design Raimo Ahonen PUNAMUSTA TAMPERE 2020 Raulamo-Jurvanen, Päivi, Evaluating and Selecting Software Test Automation Tools. Synthesizing Empirical Evidence from Practitioners University of Oulu Graduate School; University of Oulu, Faculty of Information Technology and Electrical Engineering Acta Univ. Oul. A 752, 2020 University of Oulu, P.O. Box 8000, FI-90014 University of Oulu, Finland Abstract In the software industry, test automation is an investment, and its value to software development is, typically, only visible after a delay. The effects of adopting test automation approaches may be positive on both software quality and total costs through efficient testing and re-prioritizing work, as long as the right tools are in place. However, finding, evaluating, and selecting the right tool(s) for the purpose or context is problematic and may be essential to the success of a business. Furthermore, there is minimal empirical evidence available for evaluating experiential knowledge about these tools and processes for selecting them. The goal of this dissertation was to review and classify the state-of-the-practice of tool evaluation and selection (for software test automation) among software practitioners and contribute empirically validated evidence to the process. A mixed-methods approach was applied to expand the evidence base for the “voice of practitioners.” Both quantitative and qualitative data were collected via empirical methods, including quantitative surveys, web scraping, and data mining from Internet sources, as well as a grey literature review (GLR) and qualitative interviews. The key finding of this dissertation is that practitioners have reached an apparent consensus on the important criteria for tool evaluation. However, aligned guidelines and systematic processes for evaluating and selecting the right tool(s) are lacking. New tools for software testing are emerging in the market, and the findings reveal dominant tools, but local and global preferences may differ. The findings highlight the interconnection of different tool evaluation criteria and the context’s potential impact on them. The key lesson learned from the research suggests that empirical evidence via data triangulation is valuable in identifying false claims, justifying facts about the criteria, and revealing possible problems and misconceptions in the process of evaluating and selecting tools. Academic research allows a more comprehensive understanding of the relationships between required technical skills and achievable goals by synthesizing practitioner viewpoints on the phenomena and utilizing complementary methods. The avenue for future research is open for studies of evaluation criteria and experienced problems and benefits, as these are bound to both the context and available resources. Keywords: contextual factors, data mining, interviewing, mixed-methods research, software test automation, software test tool, software testing, survey, tool selection, web scraping Raulamo-Jurvanen, Päivi, Ohjelmistojen Testausautomaatiotyökalujen Arviointi ja Valinta. Empiirisen Näytön Syntetisointi Ammattilaisten Avulla Oulun yliopiston tutkijakoulu; Oulun yliopisto, Tieto- ja sähkötekniikan tiedekunta Acta Univ. Oul. A 752, 2020 Oulun yliopisto, PL 8000, 90014 Oulun yliopisto Tiivistelmä Ohjelmistoteollisuudessa testausautomaatio on investointi, jonka todelliset vaikutukset ohjelmis- tokehitykseen näkyvät viiveellä. Testausautomaatio voi vaikuttaa positiivisesti sekä ohjelmiston laatuun että kustannuksiin tehokkaan testauksen ja töiden uudelleenprioriosoinnin avulla, kun- han käytettävät työkalut ovat sopivia. Oikean työkalun/työkalujen löytäminen, arviointi ja valin- ta tiettyyn tarkoitukseen tietyssä kontekstissa on ongelmallista ja voi olla olennaista liiketoimin- nan menestymiselle. Työkalujen arviointiin ja valintaan liittyvästä kokemusperäisestä tiedosta on vain vähän empiiristä näyttöä. Väitöskirjan tavoitteena oli tarkastella ja luokitella ohjelmistoteollisuuden ammattilaisten keskuudessa vallitsevia käytäntöjä ohjelmistotestauksen työkalujen arviointiin ja valintaan, sekä tuottaa prosessiin empiiristä tutkimusnäyttöä. Monimenetelmätutkimusta hyödynnettiin laajenta- maan tutkimusnäyttöä ”ammattilaisten äänestä”. Useita empiirisiä menetelmiä käytettiin kerää- mään sekä määrällistä että laadullista dataa: määrällisiä kyselyitä, verkkosivujen haravointia, tie- don louhintaa Internet-lähteistä, harmaan kirjallisuuden analyysiä sekä haastatteluita. Tämän väitöskirjan keskeinen löydös on, että ammattilaisilla on näennäinen yksimielisyys työkalun arvioinnin tärkeistä kriteereistä, mutta oikean työkalun arvioimiseen ja valintaan ei ole yhdenmukaisia ohjeita eikä systemaattisia prosesseja. Samalla, kun uusia ohjelmistotestauksen työkaluja ilmaantuu markkinoille, tulokset paljastavat hallitsevia työkaluja, vaikka preferens- seissä on globaaleja ja paikallisia eroja. Havainnot korostavat eri arviointikriteerien yhteyttä ja kontekstin mahdollista vaikutusta kriteereihin. Tutkimuksen keskeinen tulos esittää, että empiirinen tutkimusnäyttö on arvokasta, koska sen avulla voidaan tuoda ilmi virheellisiä väitteitä ja osoittaa tosiasioita kriteerien suhteen, sekä pal- jastaa ongelmia ja väärinkäsityksiä työkalujen arviointi- ja valintaprosesseissa. Akateeminen tut- kimus mahdollistaa kattavan käsityksen luomisen vaadittujen teknisten taitojen ja saavutettavis- sa olevien tavoitteiden suhteen, syntetisoimalla ammattilaisten näkemyksiä ilmiöistä toisiaan täydentävin menetelmin. Jatkotutkimuksille on tilaa sekä arviointikriteerien että koettujen ongel- mien ja hyötyjen suhteen, koska ne ovat sidonnaisia paitsi konteksteihin myös resursseihin. Asiasanat: haastattelu, kontekstuaaliset tekijät, kysely, monimenetelmätutkimus, ohjelmiston testaustyökalu, ohjelmistotestaus, testausautomaatio, tiedon louhinta, työkaluvalinta, verkkosivujen haravointi To my family 8 Acknowledgements “All our dreams can come true, if we have the courage to pursue them.” - Walt Disney - Life is about constant changes and uncertainty, as there are things one cannot control or take for granted. Nevertheless, living is about learning and pursuing one’s dreams and goals. Some years ago, the circumstances around me changed radically, which gave me the opportunity to evaluate my career and dreams for the future. For a long time, my dream had been to earn a Ph.D. I finally had the chance to pursue my dream, and I decided to go for it. I would like to express my sincere gratitude to Prof. Ilkka Tervonen (University of Oulu) and Prof. Dinesh Verma (Stevens Institute of Technology, NJ, USA) for inspiring me and kindly helping with my application for the studies. The journey has been long and difficult, a true lesson of a lifetime. Although I had created a crystallized vision of my goal, I knew little of the hardships I would have to confront. I learned that to overcome obstacles along the way, just being motivated would not take me far. I would need courage, a strong will to commit to hard work, the ability to adapt to change, and, most importantly, guidance from experienced people around me. I strongly believe the saying that “people come into your life for a reason, a season or a lifetime.” I have had the privilege to meet people who have guided, inspired, helped, and primed me for my duties. I am grateful for all the professional and personal relationships along the way, regardless of their duration. First, I owe my achievement to my three supervisors. I would like to express my gratitude to my principal supervisor, Prof. Mika Mäntylä, for his guidance and support, as well as his ability to challenge my thinking and my research. I am most grateful to my co-supervisors, Prof. Burak Turhan (Monash University, Australia)