
2019 VERSION 5 Summative Technical Manual discoveractaspire.org Preface The ACT Aspire Technical Manual contains detailed technical information about the ACT Aspire® summative assessment. The principal purpose of the manual is to document technical characteristics of the ACT Aspire assessment in light of its intended purposes. The ACT Aspire Technical Manual documents the collection of validity evidence that supports appropriate interpretations of test scores and describes various content and psychometric aspects of the ACT Aspire. Multiple test design and development processes are articulated documenting how ACT attends to building the assessment in line with the validity argument and how concepts like construct validity, fairness, and accessibility are attended to throughout the process. Also described are routine analyses designed to support ongoing and continuous improvement and research intended to assure the program remains psychometrically sound. ACT endorses and is committed to industry standards and criteria. ACT endorses and is committed to complying with The Standards for Educational and Psychological Testing (AERA, APA, & NCME, 2014). ACT also endorses the Code of Fair Testing Practices in Education (Joint Committee on Testing Practices, 2004), which is a statement of the obligations to test takers of those who develop, administer, or use educational tests and test data in the following four areas: developing and selecting appropriate tests, administering and scoring tests, reporting and interpreting test results, and informing test takers. ACT endorses and is committed to complying with the Code of Professional Responsibilities in Educational Measurement (NCME Ad Hoc Committee on the Development of a Code of Ethics, 1995), which is a statement of professional responsibilities for those involved with various aspects of assessments, including development, marketing, interpretation, and use. We encourage individuals who want more detailed information on a topic discussed in this manual, or on a related topic, to contact ACT. Please direct comments or inquiries to the address below: Research Services ACT, Inc. 500 ACT Drive Iowa City, Iowa 52243-0168. © 2019 by ACT, Inc. All rights reserved. ACT Aspire®, the ACT® test, ACT Explore®, ACT Plan®, EPAS ®, and ACT NCRC® are registered trademarks, and ACT National Career Readiness Certificate™ is a trademark of ACT, Inc. OPS1262 Special Note Regarding ACT Aspire Design Changes and Technical Manual Corrections ACT Aspire has undergone some test design changes since its release. Readers should be aware that this Technical Manual describes these specific updates in the Appendix of this Manual. Test description and analyses contained in the main body of the manual reflect the state of the forms at the time corresponding data was collected, and so may not be consistent with the updated form. Please keep the following in mind when consulting this Technical Manual: • The four chapters at the end of the appendix of this Technical Manual (entitled 2016 Updates, 2017 Updates, 2018 Updates and 2019 Updates respectively) contain updated information for ACT Aspire. • The updates include changes to norms and summary statistics, timing, inclusion of new benchmarks, updated reliabilities, and changes to the testing program for 2016, 2017, 2018 and 2019. • The information in these chapters are the latest changes to the ACT Aspire testing program and reflect the current ACT Aspire test design. Information in the main body of the manual accurately describes prior ACT Aspire test design. • A future full revision of the ACT Aspire Technical Manual will incorporate these updates. i ii Contents 1 General Description of ACT Aspire Assessments and Standards . 1.1 1.1 Overview ��������������������������������������������������������������������������������������������������������������������������������������������� 1.1 1.2 Purposes, Claims, Interpretations, and Uses of ACT Aspire ��������������������������������������������� 1.1 1.3 ACT Aspire: Performance Level Descriptors and College and Career Readiness Standards . 1.4 1.4 ACT Aspire and Standards Alignment ������������������������������������������������������������������������������������� 1.5 2 ACT Aspire Test Development ����������������������������������������������������������������������������������������� 2.1 2.1 Assessment Design Elements and Construct Coherence . 2.1 2.1.1 ACT Aspire Item types ��������������������������������������������������������������������������������������������������������� 2.2 2.1.2 Cognitive Complexity and Depth of Knowledge (DOK) . 2.2 2.2 ACT Aspire Test Development Processes . 2.3 2.2.1 Selecting and Training Item Writers ��������������������������������������������������������������������������������� 2.3 2.2.2 Designing Items that Elicit Student Evidence ��������������������������������������������������������������� 2.3 2.2.3 Item Review ����������������������������������������������������������������������������������������������������������������������������� 2.4 2.2.4 Field-testing ����������������������������������������������������������������������������������������������������������������������������� 2.4 3 Assessment Specifications . 3.1 3.1 Overview ��������������������������������������������������������������������������������������������������������������������������������������������� 3.1 3.2 ACT Aspire Assessment Support Materials ��������������������������������������������������������������������������� 3.1 3.2.1 ACT Knowledge and Skills Map . 3.1 3.2.2 ACT Aspire Exemplar Items ����������������������������������������������������������������������������������������������� 3.2 3.3 English Language Arts Assessments Overview ������������������������������������������������������������������� 3.2 3.3.1 English Test . 3.2 3.3.1.1. English Framework . 3.2 3.3.1.2 English Reporting Categories ����������������������������������������������������������������������������������� 3.3 3.3.1.3 English Item Types . 3.4 3.3.1.4 English Test Blueprints ����������������������������������������������������������������������������������������������� 3.4 iii ConTenTS 3.3.2 Reading Test . 3.6 3.3.2.1 Reading Framework ����������������������������������������������������������������������������������������������������� 3.6 3.3.2.2 Reading Reporting Categories ��������������������������������������������������������������������������������� 3.7 3.3.2.3 Reading Test Complexity and Types of Texts ������������������������������������������������������� 3.7 3.3.2.4 Reading Test Blueprints ��������������������������������������������������������������������������������������������� 3.9 3.3.3 Writing Test ���������������������������������������������������������������������������������������������������������������������������� 3.11 3.3.3.1 Writing Task Types by Grade ���������������������������������������������������������������������������������� 3.11 3.3.3.2 Writing Scoring Rubrics and Reporting Categories ���������������������������������������� 3.12 3.4 Mathematics Test . 3.13 3.4.1 Mathematics Reporting Categories ������������������������������������������������������������������������������ 3.14 3.4.2 Calculator Policy ������������������������������������������������������������������������������������������������������������������ 3.23 3.4.3 Mathematics Item Types, Tasks, Stimulus . 3.24 3.4.4 Mathematics Test Blueprints . 3.25 3.5 Science Test ���������������������������������������������������������������������������������������������������������������������������������� 3.30 3.5.1 Science Reporting Categories ���������������������������������������������������������������������������������������� 3.30 3.5.2 Continuum of Complexity . 3.31 3.5.3 Science Item Types . 3.32 3.5.4 Science Test Blueprints ���������������������������������������������������������������������������������������������������� 3.37 4 Item and Task Scoring . 4.1 4.1 Selected-Response Item Scoring . 4.1 4.2 Technology-Enhanced Items Scoring ��������������������������������������������������������������������������������������� 4.1 4.3 Constructed-Response Tasks ����������������������������������������������������������������������������������������������������� 4.1 4.3.1 Performance Scoring Quality Control ����������������������������������������������������������������������������� 4.2 4.3.2 Automated Scoring ��������������������������������������������������������������������������������������������������������������� 4.4 5 Accessibility . 5.1 5.1 Development of the ACT Aspire Accessibility Support System ��������������������������������������� 5.1 5.2 Test Administration and Accessibility Levels of Support . 5.3 5.2.1 Understanding Levels of Accessibility Support ����������������������������������������������������������� 5.3 5.2.2 Support Level 1: Default Embedded System Tools . 5.5 5.2.3 Support Level 2: Open Access Tools ������������������������������������������������������������������������������� 5.6 5.2.4 Support Level 3: Accommodations . 5.7 5.2.5 Support Level 4: Modifications . 5.9 5.3 Accommodations, Open Access and Embedded Tools . 5.9 5.4 2016 Paper Summative Testing ���������������������������������������������������������������������������������������������� 5.10 5.5 2016 Online Summative Testing �������������������������������������������������������������������������������������������� 5.13 6 Test Administration . 6.1 6.1 Policies and Procedures ���������������������������������������������������������������������������������������������������������������
Details
-
File Typepdf
-
Upload Time-
-
Content LanguagesEnglish
-
Upload UserAnonymous/Not logged-in
-
File Pages623 Page
-
File Size-