(SMART) De L’Université De Liège
Total Page:16
File Type:pdf, Size:1020Kb
Système Méthodologique d’ Aide à la Réalisation de Tests Responsable académique : Prof. Jean-Luc GILLES Directeur : Pascal DETROZ PROJET DE PLATEFORME ELECTRONIQUE DE CONSTRUCTION ET DE GESTION QUALITE DES TESTS STANDARDISES Programme WIST - Convention 031/5437 (liée à la convention 031/5585) e-C&QCST electronic CONSTRUCTION & QUALITY CONTROL in STANDARDIZED TESTING 33EME RRAPPORT SCIENTIFIQUE DE L’’EQUIPE DU SSYSTEME MMETHODOLOGIQUE D’’AAIDE A LA RREALISATION DE TTESTS ((SSMMAARRTT)) JEAN-LUC GILLES ET PASCAL DETROZ Projet de recherche soutenu par la Direction Générale des Technologies, de la Recherche et de l’Energie (DGTRE) de la Région Wallonne Décembre 2006 SMART-ULg – Traverse des Architectes, 4 - Bât. B3C - Sart Tilman - B 4000 Liège- Belgium +32-4-366 20 78 - fax +32-4-366 27 00 - ë Site internet : http://www.smart.ulg.ac.be - Email : [email protected] Système Méthodologique d’ Aide à la Réalisation de Tests Responsable académique : Prof. Jean-Luc GILLES Directeur : Pascal DETROZ 2 Projet e-C&QCST (programme WIST) – Rapport scientif ique final de l’équipe SMART-ULg décembre 2006 - Jean-Luc GILLES Pascal DETROZ et S alvatore TINNIRELLO Système Méthodologique d’ Aide à la Réalisation de Tests Responsable académique : Prof. Jean-Luc GILLES Directeur : Pascal DETROZ SOMMAIRE Préambule : 1. Vers une pérennisation du projet : les enjeux liés à l’extension du travail 5 R&D en 2007 2. Identification du projet 10 3. Identification du SMART-ULg 12 I. INTRODUCTION 16 1. Rappel des bases scientifiques et des objectifs qui sous-tendent le 16 projet e-C&QCST a) Les bases scientifiques sur lesquelles repose le lancement du projet 16 b) Les objectifs de l'ensemble du projet 16 2. Rappel de l’état des connaissances et publications au niveau national 17 et international dans le domaine du projet 3. Rappel de l’état des connaissances des partenaires dans le domaine du 19 projet 4. Rappel de l’innovation technologique apportée par la plate-forme 20 e-C&QCST II. RAPPEL DE NOTRE VISION SCIENTIFIQUE DE DEPART EN CE QUI 23 CONCERNE L ’APPROCHE QUALITE EN TESTING STANDARDISE 1. Pénétration des concepts « Qualité » dans les activités de testing 23 standardisé du Système Méthodologique d’Aide à la Réalisation de Tests (SMART) de l’Université de Liège a) Le contexte du SMART 23 b) Historique du SMART 24 c) Facteurs de mutation de l’université depuis les années 60 26 b) Définir le concept de « Qualité » 28 2. Critères de qualité des évaluations standardisées 28 a) La validité 29 b) La fidélité 37 c) La sensibilité 39 d) La diagnosticité 40 e) La praticabilité 41 Projet e-C&QCST (programme WIST) – 2 è m e rapport scientifique de l’équipe SMART-ULg 3 décembre 2006 - Jean-Luc GILLES Pascal DETROZ et S alvatore TINNIRELLO Système Méthodologique d’ Aide à la Réalisation de Tests Responsable académique : Prof. Jean-Luc GILLES Directeur : Pascal DETROZ f) L’équité 41 g) La communicabilité 42 h) L’authenticité 42 3. Cycle de construction en « spirale de qualité » des évaluations 43 standardisées et dispositifs d’ingénierie docimologique associés a) Analyse des objectifs de l’enseignement ou de la formation 44 b) Mise en forme de l’épreuve 46 c) Construction de l’épreuve 47 d) Entraînement des évalués 48 e) Mise en œuvre de l’épreuve 49 f) Correction et discussion des résultats 52 g) Feedbacks aux évalués après l’épreuve 55 h) Macro régulation 57 III. PRESENTATION DE L ’E TAT DE LA RECHERCHE E-C&QCST A LA 11 EME 64 CONFERENCE BIENNALE DE L ’E UROPEAN ASSOCIATION FOR RESEARCH IN LEARNING AND INSTRUCTION (EARLI) 1. electronic Construction and Quality Control in Standardized Testing, 65 the e-C&QCST project a) Introduction 65 b) Method 67 c) First results 70 d) Conclusions 76 e) References 78 2. Development of edumetrical indices for the analysis of the spectral 79 quality of higher education standardized tests a) Introduction 80 b) Method 82 c) Results 87 d) Conclusions 92 e) References 95 IV. e-C&QCST COMMUNITY : LES PREMISSES D ’UNE COMMUNAUTE 96 D’UTILISATEURS DE LA PLATEFORME DE CONSTRUCTION ET DE GESTION QUALITE DES TESTS STANDARDISES 1. Pertinence du concept de “Communauté d’utilisateurs” 96 a) Eviter de perpétuer avec un nouvel outil d’anciennes pratiques 96 b) Favoriser une démarche de prise en main innovante 96 4 Projet e-C&QCST (programme WIST) – Rapport scientif ique final de l’équipe SMART-ULg décembre 2006 - Jean-Luc GILLES Pascal DETROZ et S alvatore TINNIRELLO Système Méthodologique d’ Aide à la Réalisation de Tests Responsable académique : Prof. Jean-Luc GILLES Directeur : Pascal DETROZ 2. Premières interfaces 97 a) Canevas de la page principale 97 b) Espace réservé à l’équipe 98 c) Espace d’information publique 98 3. Premières utilisations 99 V. ASPECTS SCIENTIFIQUES LIES A LA VALORISATION DE LA RECHERCHE 100 e-C&QCST 1. Contexte de la valorisation économique des services de testing 100 standardisés a) Contexte socio-pédagogique 100 b) Contexte socio-politique 100 c) Contexte scientifique 101 d) Contexte économique 102 2. Le projet First Spin Off « Smart Advices For Evaluation Systems 103 (SAFES) »” a) Problématique de départ en lien avec e-C&QCST 103 b) Description du projet SAFES 104 c) Objectifs poursuivis et approche méthodologique 105 d) Innovation technologique apportée par le projet SAFES 111 e) Calendrier de réalisation 113 3. De la recherche à la consultance : le choix stratégique d'un transfert 114 d'activité opéré par l'équipe du Système Méthodologique d'Aide à la Réalisation de Tests (SMART) de l'Université de Liège a) Introduction 114 b) L’afflux des demandes de prestations pour tiers 116 c) Gérer la valorisation des R&D dans le contexte du SMART 118 d) Le scenario de la spin off « Assess Group Smart Advices For Evaluation 123 Systems » (SAFES) e) Conclusions 125 VI. OUTPUT DU PROJET : LA PLATEFORME EX AMS 128 Quick Start Guide 129 Projet e-C&QCST (programme WIST) – 2 è m e rapport scientifique de l’équipe SMART-ULg 5 décembre 2006 - Jean-Luc GILLES Pascal DETROZ et S alvatore TINNIRELLO Système Méthodologique d’ Aide à la Réalisation de Tests Responsable académique : Prof. Jean-Luc GILLES Directeur : Pascal DETROZ VII. CONCLUSIONS 167 1. Effets en retour du développement informatique sur nos conceptions 167 docimologiques a) Clarification et affinement des concepts liés au cycle CGQTS 167 b) La nécessaire formalisation et gestion informatisée des écarts entre tâches 168 docimologiques prescrites et tâches docimologiques effectuées c) De nouvelles possibilités qui stimulent la pensée créative du chercheur en 168 docimologie 2. Perspectives futures 169 a) Adapter la plate-forme exAMS à l’évaluation et à la gestion des 169 compétences b) La nécessaire formalisation et gestion informatisée des écarts entre tâches 171 docimologiques prescrites et tâches docimologiques effectuées 3. Conclusion générale 173 VIII. BIBLIOGRAPHIE 175 IX. ANNEXES 185 Annexe I : Dias PowerPoint de la présentation « electronic Construction and Quality 186 Control in Standardized Testing, the e-C&QCST project » effectuée à la 11 ème conférence biennale de EARLI Annexe II : Dias PowerPoint de la présentation « Development of edumetrical indices for 199 the analysis of the spectral quality of higher education standardized tests » effectuée à la 11 ème conférence biennale de EARLI Annexe III : Convention de recherche First Spin Off « SAFES » 215 6 Projet e-C&QCST (programme WIST) – Rapport scientif ique final de l’équipe SMART-ULg décembre 2006 - Jean-Luc GILLES Pascal DETROZ et S alvatore TINNIRELLO Système Méthodologique d’ Aide à la Réalisation de Tests Responsable académique : Prof. Jean-Luc GILLES Directeur : Pascal DETROZ Préambule 1. Vers une pérennisation du projet : les enjeux liés à l’extension du travail R&D en 2007 Fin décembre 2006, à l’aide de fonds propres, l’équipe du Système Méthodologique d’Aide à la Réalisation de Tests (SMART) a pris la décision de poursuivre les travaux de R&D relatifs à la recherche electronic Construction and Quality Control in Standardized Testing (e-C&QCST) . Ce choix est dicté par une série de raisons que nous allons détailler dans les paragraphes qui suivent. Signalons ici que l’énergie consacrée à e-C&QCST en 2007 équivaut à 2 ETP programmeurs et 0,5 ETP chercheurs docimologues. 1.1 Evolution des paradigmes d’ingénierie docimologiques Une des raisons de la prolongation du travail sur l’année 2007 réside dans l’évolution des conceptions docimologiques en matière de construction et de gestion de la qualité des épreuves suite aux interactions des docimologues avec les partenaires de terrain et les informaticiens de l’équipe. Le travail avec les partenaires de terrain a mis en évidence des besoins en termes de fonctionnalités docimologiques qui n’étaient pas apparus au début du projet. Ceci s’explique par le fait que l’utilisation de la plate-forme par nos partenaires (en particulier AXA, FORTIS BANK, et IFA) à fait naître chez eux des demandes qui n’auraient jamais émergées sans une utilisation par leurs services des premières versions de la plate-forme. L’exemple qui illustre le mieux ce phénomène d’évolution des besoins en interaction avec l’usage de la plate-forme est celui des fonctionnalités de l’étape IV « Training ». Dans la version initiale, il s’agissait essentiellement de proposer des entraînements à la passation de tests. Après quelques utilisations dans la phase d’expérimentation, il est apparu qu’il fallait, au-delà de ces entraînements, proposer bien d’autres fonctionnalités de mise en ligne d’informations relatives à l’épreuve : des explications détaillées des consignes, des informations sur les conditions de passation de l’épreuve, de la documentation sur la matière qui serait concernée par l’évaluation (notamment des possibilités de visualisation d’une partie de la table de spécification créée à l’étape 1 « Analyse »), … Bref, toutes sortes de documents permettant de mieux rencontrer notre objectif qualité « Communicabilité » selon lequel les informations non confidentielles relatives au déroulement du processus d’évaluation doivent être communiquées et comprises par les personnes engagées dans la réalisation de ces évaluations (voir infra).