The Assessment of Thoughtful Literacy in NAEP: Why the States Aren't Measuring Up

The disparity between the results of state accountability tests in reading and the fourth‐grade National Assessment of Educational Progress (NAEP) has left many educators dismayed and concerned. In this article the authors describe a comparison of assessment approaches evident in NAEP to the approaches taken in a sample of state tests. The authors found sizeable differences in the use of open‐ended items, in the proportion of items that demand higher levels of thinking, and in the use of distractors that undercut the type of thinking that many items were designed to demand of the reader. The results of this study suggest that not all tests of reading are created equal and that NAEP is likely to be able to distinguish among advanced, proficient, and basic readers far more effectively than the state tests in their sample. إن الفرق بين نتائج امتحانات مسؤولية في القراءة على مستوى الولاية وبرنامج التقييم الوطني للتقدم التعليمي في الصفوف الرابعة الابتدائية قد ترك كثيراً من المعلمين محتارين وقلقين. وفي هذه المقالة يصف المؤلفون مقارنة بين مناهج التقييم المتواجدة في البرنامج الوطني وبين المناهج المأخوذة من عينة من امتحانات الولايات. لقد وجد المؤلفون اختلافات شاسعة في استخدام أسئلة مفتوحة ونسبة الأسئلة التي تحتاج إلى مستويات أعلى من التفكير وفي استخدام خيارات مشتتة الانتباه تخدع النوع من التفكير الذي تم تصميم أسئلة متعددة من أجله. وتشير نتائج هذه الدراسة إلى أنه ليس كل امتحانات القراءة متساوية وأن البرنامج الوطني له قدرة التمييز بين قراء متفوقين ومتوسطين ومبتدئين بطريقة أكثر فعالة من امتحانات الولايات في عينها. 在美国州政府绩效责任阅读测验的成绩结果与国民教育进展评估(简称NAEP)的小学四年级成绩结果两者之间所存在着的差异使教育工作者感到惊愕与忧虑。本文作者根据NAEP所采用的评量方法和一些州政府绩效责任测验样本中所采用的评量方法作比较发现在以下方面出现很大的差异开放式试题的使用、高层次思考试题所占的比例和试题中干扰项目的使用这些干扰项目分散阅读者的注意力削弱他们应付大部分试题所考核的思维能力。本研究结果显示不是所有制订出来的阅读测验都是相等的NAEP可能较州政府绩效责任测验的样本更能分辨出具备高级程度、熟练程度和基本程度的阅读者。 Les disparités entre les résultats des tests d'évaluation de la lecture dans un Etat et ceux du National Assessment of Educational Progress (NAEP) en 4 ème année ont consterné et inquiété de nombreux enseignants. Dans cet article les auteurs font une comparaison des modalités d'évaluation manifestes du NAEP et des modalités d'un ensemble de tests conçus au niveau des Etats. Les auteurs ont trouvé de fortes différences en ce qui concerne l'emploi des questions ouvertes, la proportion d'items exigeant un haut niveau de réflexion, et l'emploi des distracteurs sous‐jacents au type de pensée que de nombreux items exigent du lecteur. Les résultats de cette étude suggèrent que tous les tests de lecture ne se valent pas et que le NAEP permet sans doute de distinguer les lecteurs avancés, efficaces, et les lecteurs de base beaucoup plus efficacement que les tests des Etats de cet échantillon. Многие педагоги преисполнились недоумения и тревоги, когда выяснилось, как сильно разнятся на уровне четвертого класса результаты стандартных тестов по чтению и результаты теста NAEP – Национального оценивания развития школьников. В данной статье авторы сравнивают подходы, применяемые в NAEP и в стандартных тестах различных штатов. Авторы обнаружили существенные расхождения в использовании открытых вопросов, в количестве вопросов, требующих мышления высокого порядка, а также в наличии факторов‐отвлечений, не позволяющих школьникам выйти на те уровни мышления, для которых были разработаны те или иные вопросы. Результаты данного исследования наводят на мысль о том, что не все тесты по чтению отражают истинную картину знаний и навыков учащихся в равной мере и что тесты NAEP, очевидно, более эффективны, чем типовые тесты, практикуемые в отдельных штатах. La discrepancia entre los resultados de las pruebas de responsabilidad estatales de lectura y la Evaluación Nacional del Progreso Educacional (NAEP, por sus siglas en inglés) del cuarto grado ha dejado a muchos instructores consternados y preocupados. En este artículo, los autores describen una comparación de los acercamientos a las evaluaciones según se manifiestan en la NAEP a los acercamientos usados en una muestra de pruebas estatales. Los autores encontraron diferencias muy grandes en el uso de unidades de preguntas abiertas, en la proporción de partes que requieren niveles altos de reflexión, y en el uso de cosas que distraen la atención socavando el tipo de reflexión que muchas de las cuestiones estaban diseñadas a exigir del lector. El resultado de este estudio sugiere que no todas las pruebas de lectura son creadas iguales y que la NAEP seguramente podrá distinguir mucho mejor entre los lectores avanzados, competentes y básicos que las pruebas estatales usadas como muestras en este estudio.