The CIERA School Change Framework: An evidence‐based approach to professional development and school reading improvement

The purpose of this naturalistic experiment was to discover the operative elements of an evidence‐based reform effort that accounted for growth in student achievement. The reform was implemented in 13 schools around the United States over the course of two years. The authors studied the impact of both school‐level programmatic elements and classroom‐level curricular and pedagogical practices. Evidence played a role in two distinct ways: (a) in the research base that staff members were encouraged to consult to shape their local reform efforts and (b) in the data they were provided at key points concerning their progress in shaping the schoolwide reading program, altering classroom teaching practices, and improving student scores on a range of outcome measures. Through HLM analyses of school‐level and classroom‐level variables, the authors found that success in implementing the reform explained a small but significant proportion of the between school variance in reading growth (as measured by comprehension and fluency scores) when looking across a given year, but it explained a substantial proportion of the between school variance in reading comprehension growth when looking across a two‐year period. The teachers in the high‐reform‐effort schools used more research‐based reading instruction practices than teachers in the low‐reform‐effort schools and made more changes in the direction of research‐based practice. Differences between the high‐reform‐effort and low‐reform‐effort schools in implementing the various components of the school change framework are discussed in light of the broader research in school reform and national and state policies regarding school change. El propósito de este experimento naturalista fue descubrir los elementos operativos de una reforma basada en la evidencia que incrementó el desempeño de los estudiantes. La reforma se implementó en 13 escuelas de los EE. UU. en el curso de dos años. Los autores estudiaron el impacto tanto de elementos programáticos de las escuelas como de prácticas curriculares y pedagógicas en las aulas. La evidencia jugó un doble papel: a) en el conjunto de investigaciones que los miembros del personal podían consultar para elaborar las reformas y b) en los datos que se les proporcionaron en ciertos momentos clave para que conocieran los progresos alcanzados en el diseño de programas de lectura, la innovación de las prácticas de enseñanza y el mejoramiento de las calificaciones de los estudiantes en un conjunto de medidas. Mediante análisis HLM de variables en el nivel de la escuela y en el nivel del aula, los autores encontraron que el éxito de la implementación de la reforma explicaba una proporción pequeña pero significativa de la variancia entre escuelas en el mejoramiento en lectura (medido con pruebas de comprensión y fluidez) en el lapso de un año determinado. En cambio, cuando se consideró un período de dos años, se halló que el éxito de la reforma explicó una proporción sustancial de la variancia entre escuelas en el mejoramiento en lectura. Los docentes de las escuelas con alta dedicación a la reforma usaron más prácticas de lectura basadas en investigaciones que los docentes de las escuelas con poca dedicación a la reforma e hicieron más innovaciones incorporando prácticas con base en investigaciones. Las diferencias entre las escuelas con alta dedicación a la reforma y aquellas con poca dedicación a la reforma en la implementación de los diversos componentes de la concepción de innovación escolar se discuten a la luz de investigaciones más amplias acerca de la reforma educativa y las políticas nacionales y estatales referidas a la innovación en la escuela. Der Sinn dieses naturalistischen Experimentes galt dem Entdecken der operativen Elemente einer evidenzbasierten Reformbemühung, die über den Leistungszuwachs bei Schülern Rechenschaft ablegte. Die Reform wurde im Laufe von zwei Jahren in 13 Schulen quer durch die Vereinigten Staaten ausgeführt. Die Autoren studierten jeweils die Auswirkung von programmatischen Elementen bezogen auf Schulebene und lehrplanerischen und pädagogischen Praktiken auf Klassenraumebene. Evidenz spielte eine Rolle auf zwei bestimmte Weisen: (a) in der wissenschaftlichen Untersuchungsgrundlage, welche die Mitarbeiter zu konsultieren ermutigt wurden, um ihre lokalen Reformbemühungen darauf abzustimmen, und (b) in den Daten, mit denen sie bei Schlüsselpunkten ihrer Fortschritte bei der Gestaltung des schulweiten Leseprogrammes versorgt wurden, beim Verändern der Unterrichtspraktiken im Klassenraum und im Verbessern der Leistungsergebnisse der Schüler im Rahmen einer Reihe von Ergebnisbemessungen. Durch HLM‐Analysen von Variablen auf Schulebene und Klassenraumebene fanden die Autoren heraus, daß der Erfolg beim Implementieren der Reform eine kleine, doch bedeutsame Proportion in der Variante der zwischenschulischen Verhältnisabweichung in der Lesesteigerung erklärte (gemessenen beim Bewerten von Verständnis und Flüssigkeit), wenn man dies quer durch das vorgegebene Jahr veranschaulicht; jedoch verdeutlichte sich ein kräftiges Ansteigen bei der zwischenschulischen Variante im Zuwachs beim Leseverständnis, wenn man einen Zwei‐Jahreszeitraum überblickt. Die Lehrer in den hochgradig auf Reform bestrebten Schulen nutzten häufiger wissenschaftlich basierte Praktiken des Leseunterrichts, als Lehrer in den geringer auf Reform bedachten Schulen und machten mehr Änderungen in Richtung auf forschungsfundierte Praktiken. Unterschiede zwischen den hochbestrebten Reformschulen und geringen Reformbemühungsschulen in Anwendung und Ausführung der unterschiedlichen Komponenten der Schulveränderungs‐Rahmenbedingung werden im Hinblick auf eine breitere wissenschaftliche Forschung in der Schulreform und der nationalen und staatlichen Richtlinien in bezug auf Schulveränderungen diskutiert. Cette expérience de terrain avait pour objectif de découvrir les éléments opératoires d'un effort de réforme évalué rendant compte d'une amélioration de la réussite scolaire. La réforme a été implantée dans 13 écoles des Etats‐Unis au long de deux années scolaires. Les auteurs ont étudié l'impact à la fois d'éléments de programme au niveau de l'école et de pratiques relatives aux programmes et à la pédagogie au niveau de la classe. L'évaluation a indiqué deux voies différentes: a) l'une concerne la base de recherche que les membres des équipes ont été encouragés à consulter pour mettre en forme leurs efforts locaux de réforme et b) les données apparues aux moments‐clé en ce qui concerne les progrès pour mettre en forme le programme de lecture au niveau de l'école, pour modifier les pratiques d'enseignement dans les classes, et l'amélioration des résultats des élèves pour tout un ensemble de mesures d'effets. Les auteurs, au moyen d'analyses HLM de variables au niveau de l'école et au niveau de la classe, ont trouvé que le succès obtenu en implantant la réforme explique une petite mais significative partie de la variance inter‐écoles des progrès en lecture (mesurés par la compréhension et la rapidité) quand on considère une année donnée, mais qu'il explique une partie importante de la variance inter‐écoles dans l'amélioration de la compréhension en lecture quand on considère une période de deux ans. Les enseignants faisant un effort important de réforme scolaire ont recouru à davantage de pratiques d'enseignement de la lecture basées sur la recherche que les enseignants faisant un moindre effort de réforme et ont fait plus de changements dans la direction des pratiques basées sur la recherche. Les différences entre les écoles faisant un effort important de réforme et celles faisant un faible effort de réforme pour implanter les différentes composantes de la structure de réforme scolaire sont discutées à la lumière de la recherche plus large de la réforme de l'école et des politiques nationales et par Etats relatives aux réformes scolaires.