Variation in the Use and Norms of English Verb Forms: a Study of Finnish University Students and Teachers
Total Page：16
File Type：pdf, Size：1020Kb
Variation in the Use and Norms of English Verb Forms: A Study of Finnish University Students and Teachers Satu von Boehm Doctoral dissertation, to be presented for public discussion with the permission of the Faculty of Arts of the University of Helsinki, in the Great Hall of the Language Centre, on the 29th of May 2019 at 12 o’clock. Language Centre Publications 8 Published by the University of Helsinki Language Centre Fabianinkatu 26 FI-00014 University of Helsinki Finland @ Satu von Boehm 2019 COVER PHOTO Nina Dannert COVER DESIGN Unigrafia ISBN 978-951-51-5223-7 (nid.) ISBN 978-951-51-5224-4 (PDF) Printed by Unigrafia, Helsinki This publication is part of a reviewed series designed to communicate and disseminate research and practice in foreign language education and related fields. Previous publications in the series: 7. Karjalainen, S., Jokinen, J. & Mäkäläinen, H. (Eds.) 2018. Kielenoppimisen kehittyvät arviointi- ja palautekäytänteet – Developing feedback and assessment practices in language learning. 6. Lehtonen, T. & Vaattovaara, J. (Eds.) 2016. Näkökulmia kielenoppimisen ohjaukseen – On advising and counselling in language learning. 5. Bradley, F., Lappalainen, P. & Braidwood, E. (Eds.) 2015. Papers from the 26th Communication Skills Workshop: Identity Explored: Language Centre, Language Professional, Language Teacher, Language Learner. 4. Matilainen, M., Siddall, R. & Vaattovaara, J. (Eds.) 2013. Muuttuva Kielikeskus – Språkcentrum i förändring – Language Centre in change. 3. Korhonen, S. 2012. Oppijoiden suomi: Koulutettujen aikuisten käsitykset ja kompetenssit (Perceptions and competences of adult learners of Finnish). 2. Pitkänen, K.K., Jokinen, J., Karjalainen, S., Karlsson, L., Lehtonen, T, Matilainen, M., Niedling, C. & Siddall, R. (Eds.) 2011. Out-of-Classroom Language Learning. 1. Karlsson, L. 2008. Turning the Kaleidoscope. (E)FL Educational Experience and Inquiry as Auto/biography. HELSINGIN YLIOPISTON KIELIKESKUKSEN JULKAISUSARJA PUBLIKATIONER UTGIVNA AV SPRÅKCENTRUM VID HELSINGFORS UNIVERSITET UNIVERSITY OF HELSINKI LANGUAGE CENTRE PUBLICATIONS ISSN 1797-9269 Abstract This study focuses on variation in Finnish university students’ use of English verb forms and teachers’ assessment of such use. The goal of the study was to identify the nature and extent of variation in both students’ responses and teachers’ assessment of these responses. The study demonstrates that there is extensive variation in both students’ use of English verb forms and in teachers’ assessment of the forms. The data consist of students’ responses to a fill-in-the-gap test. The study comprised 319 students attending English courses at three Finnish universities in 2003-2004. In addition, 13 English language teachers at the University of Helsinki evaluated the level of acceptability of the students’ responses. The study was conducted by drafting a list of all the suggested answers and asking teachers of English to rate the answers with a four-point scale. After this, the responses were analysed with different levels of strictness. The criteria for this depended on how many teachers were required to judge an answer successful. The results indicate that the level of expected teacher consensus radically affected the results. The criteria applied in assessment have a critical impact on the impression created of the students’ proficiency. The range of variation among teachers mainly resulted from their different interpretations of event time and their reactions to spelling errors and to providing unconventional tense or aspect. Finnish, American and British teachers of English had negligible differences at the group level: the differences were caused by the individual norms the teachers followed. Reliance on only one teacher’s assessment of a student’s performance may create arbitrary results, and more teachers are needed for reliable evaluation, at least for high-stakes purposes. The results also indicate that although some students are skilful at providing the expected verb forms, many students struggle with the provision of any forms beyond the simple past. It seems that investment in communicative teaching practices, although beneficial for promoting students’ fluency in English, does not assist them in their attempts at greater accuracy. Some further attention to grammar would provide students with more options to express their message accurately, proficiently, meaningfully and intelligibly. Of the background factors, increased exposure to and use of English or additional study did not influence students’ skills in the use of English verb forms. Regardingschool and matriculation examination marks, only high marks predicted good performance in the test, while marks in the middle and low end of the spectrum were not reliable indicators of students’ ability to provide verb forms accurately. The findings imply that researchers, raters and teachers need to become more aware of the limitations of reliance on intuition alone in evaluating students’ language skills. Some parts of language use do not readily bend to existing norms. The degree to which teachers are likely to accept unexpected forms significantly contributes to how learners are treated in testing situations. While it is useful to attempt to harmonise testing practices, it is also important to acknowledge the fact that there is variation both in learners’ use of English and in teachers’ assessment of such use. Abstract Denna undersökning fokuserar på den variation som finns inom språkbruket i engelska bland finländska studerande och på deras kunskaper i att använda engelska verb. Studien fokuserar också på universitetslärares åsikt om hur korrekt studerandenas verbanvändning på engelska är. Målet är att undersöka hurdan variation det finns när det gäller verbanvändning och hur utbredd den är. Resultaten visar att variationen är stor både när det gäller studerandenas verbanvändning och när det gäller lärarnas bedömning av denna. Materialet består av 319 studerandenas svar i ett lucktest. Dessa studerande deltog i en kurs i engelska vid tre högskolor i Finland läsåret 2003-2004. Dessutom utvärderade tretton språklärare vid Helsingfors universitet svaren utifrån hur acceptabla dessa var. Alla givna svar skrevs upp på en lista, och engelskalärarna bedömde alla svar på en fyrgradig skala. Efter detta analyserades svaren med olika nivåer av strikthet på basis av hur många lärare som var av samma åsikt om varje svars riktighet. Resultaten pekar på att studerandenas nivå i engelska beror på hur man tolkar lärarnas bedömning. Hur korrekta svaren är beror på hur många lärare med samma åsikt som behövs för att definiera någon verbform som rätt svar. Grunden till den variation som förekommer bland lärarnas bedömning kan anses bero dels på att lärarna tolkade tidsaspektenen inom en viss kontext på olika sätt, på att de bedömt misstag i rättskrivning på olika sätt och dels på lärarnas olika tolkningar av vilken tidsform som ska användas. Undersökningen omfattade finländska, amerikanska och brittiska lärare. På gruppnivå var skillnaderna minimala, eftersom de flesta skillnader berodde på individuella normtolkningar och på lärarnas olika kännedom om alternativa former. Därför är det viktigt att komma ihåg att om man bara litar på en enda lärares bedömning av en studerande kan resultatet vara opålitligt, och om man testar för ändamål som kan ha viktiga konsekvenser, borde man använda flera testpersoner för att nå pålitliga resultat. Resultaten visar också att även om en del studerande kunde använda många olika verbformer i engelskan, fanns det många studerande som bara kunde använda preteritumformen korrekt. Detta indikerar till att betoningen av kommunikativa färdigheter i språkundervisningen är nyttig för att höja studerandenas förmåga att uttrycka sig flytande på engelska, men detta verkar inte förbättra studerandenas kunskaper i grammatiken. Det vore därför bra att fokusera mera på vissa aspekter inom grammatiken för att studerandena ska lära sig att formulera det som de vill uttrycka på ett mer korrekt, mer förståeligt, mer flytande och mer noggrant sätt. Av studerandernas bakgrundsinformation kan vi observera att ökade möjligheter att lyssna och läsa på engelska, att använda engelska och att studera extra kurser inte påverkar studerandenas färdighet i att använda verbformer i engelskan. När det gäller bedömningen i skolan och i studentexamen, är det bara de högsta vitsorden som kan förutse goda resultat i detta test, medan medelmåttiga eller sämre vitsord inte kunde användas för att förutse studerandenas förmåga att på ett ändamålsenligt sätt använda olika verbformer i engelskan. Resultaten implicerar att forskare, lärare och testare bör vara medvetna om att de inte endast kan lita på sin intuition då de utvärderar studerandenas kunskaper. Vissa delar av språket är svårdefinierbara. Hur läraren reagerar på ovanliga former påverkar hur studerandena utvärderas i bedömningssituationer. Det är dock en bra idé att fortsätta harmonisera testmetoderna, men samtidigt är det också viktigt att vara medveten om att det finns variation i studerandenas språkproduktion och i lärarnas bedömning av sådan produktion. Abstrakti Tämä tutkimus käsittelee suomalaisten opiskelijoiden englannin kielen verbimuotojen käytössä esiintyvää variaatiota sekä variaatiota siinä, miten opettajat arvioivat näiden opiskelijoiden englannin kielen käyttöä. Tavoitteena on tarkastella, millaista variaatiota esiintyy ja kuinka laajamuotoista se on. Tutkimus osoittaa, että sekä opiskelijoiden tarjoamissa verbimuodoissa että