Moneda

Síganos

Tu carrito

Tienes (0) productos $0
ANUNCIO
web_banner_magisterio_1115x116.png

Contribución del modelo de evidencias al diseño de evaluaciones estandarizadas y de aula

Magisterio
09/06/2016 - 15:30
0
Foto de Marisol Castrejon. Tomada de Flickr

La metodología de diseño de especificaciones basado en el modelo de evidencias es un marco para el desarrollo de pruebas planteado para hacer explícito lo que se mide en una evaluación y apoyar las inferencias hechas sobre el desempeño de los estudiantes con base en las evidencias derivadas de la prueba. Esta metodología se ha utilizado en los procesos de diseño de las pruebas desarrolladas y administradas por el ICFES desde 2007. Así mismo, al proporcionar criterios explícitos se constituye una gran herramienta para apoyar los procesos de evaluación en el aula.

 

Palabras clave: Modelo de evidencias, instrumentos de evaluación, evaluación de competencias, especificaciones de pruebas, estándares básicos de competencias.

 

A través de la evaluación se busca hacer inferencias válidas sobre los conocimientos, habilidades y capacidades de los estudiantes, con base en un conjunto de observaciones que se recogen a través de exámenes o pruebas. Una buena evaluación, ya sea la que realizan los docentes en sus aulas o la que se lleva a cabo a través de pruebas estandarizadas, debe sustentarse en instrumentos con un alto grado de validez, de manera que permitan establecer con precisión qué saben y saben hacer los estudiantes y, con base en ello, identificar cuáles son sus fortalezas y debilidades para poder avanzar con éxito en el proceso formativo.

 

+Lea: Qué es y cómo funciona la evaluación basada en evidencias

 

Con el ánimo de producir instrumentos de evaluación con un alto grado de validez y que, a la vez, garanticen comparaciones a través del tiempo, desde comienzos de 2007 el ICFES, asesorado por el Educational Testing Service –ETS–, ha incluido dentro del diseño técnico de sus evaluaciones una metodología para desarrollo de especificaciones de prueba denominada Modelo basado en evidencias. Este modelo de especificación para la construcción de instrumentos de evaluación masiva o a gran escala y estandarizada busca garantizar una homogeneidad en los instrumentos desarrollados en un periodo largo de tiempo, en la medida en que proveen los elementos necesarios para que grupos diferentes de constructores puedan producir pruebas equivalentes. Además, las especificaciones permiten generar evaluaciones cuyos resultados proveen información explícita sobre lo que los estudiantes pueden o no hacer.

 

El ejercicio de especificaciones a partir del modelo de evidencias inicialmente comenzó con las pruebas de matemáticas, lenguaje y ciencias naturales del examen SABER 5° y 9°. Luego, se extendió a cada una de las pruebas del examen SABER 11° y, actualmente, los nuevos diseños de prueba para el examen SABER PRO también se están desarrollando a través de este modelo. Las especificaciones se desarrollan en talleres en los que participan docentes en ejercicio y expertos en enseñanza de las áreas a evaluar.

 

El modelo basado en evidencias es una familia de prácticas de desarrollo de pruebas diseñado para hacer explícito lo que se mide y apoyar las inferencias hechas con base en las evidencias derivadas de la evaluación. Es un marco para el desarrollo de evaluaciones que intenta asegurar la validez del examen, alineando los procesos y los productos de las pruebas con los objetivos y propósitos de las mismas.

 

Esta metodología se refiere a un conjunto de procesos que parte de la identificación de las dimensiones de evaluación y la descripción de las categorías que las conforman (en términos de procesos del sujeto y en aspectos disciplinares) hasta la definición de las tareas que debe desarrollar un estudiante en una evaluación, de manera que estas últimas se constituyan en evidencias que den cuenta de las competencias, los conocimientos o las habilidades que se quieren medir.

 

+Lea: ¿Por qué es importante desarrollar procesos de evaluación en lenguaje centrados en el modelo de evaluación por evidencias?

 

De esta manera, para obtener resultados confiables en una evaluación es necesario que las dimensiones conceptuales y cognitivas y los logros que definen cada nivel de desempeño a evaluar estén adecuadamente representados en especificaciones de contenido, pues es en éstas en donde se apoyarán las interpretaciones que se hagan de los resultados de una evaluación.

 

ANUNCIO
inteligencia_emocional_v2_1.png

Características como la exigencia particular de una pregunta en un cruce de dominios evaluados, la dificultad de la misma, el tipo de estímulos o situaciones en las que se formulan las tareas de evaluación y el alcance de los conceptos particulares a evaluar en la población objetivo deben quedar explícitas en las especificaciones de contenido de una evaluación masiva para lograr construir preguntas que permitan la comparación dentro de misma aplicación y la comparación entre aplicaciones. De igual forma, resulta provechoso especificar este tipo de variables en la evaluación de aula, pues este modelo permite hacer valoraciones objetivas y sustentadas en criterios explícitos y que están alineados con los objetivos de aprendizaje definidos por la institución educativa.

 

El modelo basado en evidencias

En el diseño de evaluaciones es importante contar con modelos que, además de proporcionar una mejor comprensión de las complejidades y dimensiones que se requieren evaluar, ofrezcan una mejor integración de los múltiples aspectos involucrados en la construcción y operación de un proyecto evaluación. Uno de los modelos para el desarrollo de las tareas de evaluación con un nuevo enfoque es el del grupo de trabajo asociado con Robert J. Mislevy, el cual ha establecido un marco teórico para la evaluación educativa: el modelo de evidencias (Mislevy, Steinberg, Almond, Haertel & Penuel, 2001).

 

Las evaluaciones diseñadas a través del modelo de evidencias permiten sustentar las inferencias sobre los resultados de los estudiantes con las evidencias recogidas en la misma evaluación. Para lograr información confiable que permita hacer juicios válidos sobre el desempeño de los estudiantes es necesario articular los propósitos y objetivos de la evaluación, los cuales están alineados con los resultados de aprendizaje que se esperan alcanzar, con las tareas que los estudiantes deben desarrollar en el marco de una prueba.

 

+Conozca la Colección Pruebas Saber

 

En este sentido, en el marco del propósito de una evaluación, definir cuáles son los resultados de aprendizaje que se espera que los estudiantes alcancen y qué se quieren medir, constituye el paso más importante en el diseño de una evaluación centrada en el modelo de evidencias. Este estrato se denomina análisis del dominio y responde a lo deseable desde los referentes de política educativa, como los estándares básicos de competencias, o desde las metas de las instituciones educativas para la enseñanza y el aprendizaje de un área del conocimiento en particular. Una vez se han definido los resultados de aprendizaje y se han determinado aquellos que se quieren evaluar, se pueden diseñar o seleccionar actividades de evaluación que permitan recoger las evidencias que se requieren para hacer juicios pertinentes sobre el logro o no de los resultados esperados. Así, es en este estrato en donde se define qué se quiere medir y se caracteriza y describe el objeto de medida. En el caso de las evaluaciones centradas en las competencias, se refiere a la definición de la competencia y de los rasgos que se quieren rastrear a partir de la evaluación.

 

En el siguiente estrato del modelo, y luego del análisis del dominio, para cada una de las categorías a evaluar se construyen afirmaciones, las cuales especifican el referente a partir del cual se harán las inferencias sobre los resultados de la evaluación. Éstas constituyen los juicios o conclusiones sobre el desempeño del estudiante en el marco del propósito de la evaluación. Las afirmaciones son enunciados globales que se hacen acerca de los conocimientos, capacidades y habilidades de los estudiantes, atendiendo a la pregunta: ¿qué se quiere decir sobre los estudiantes a partir de sus respuestas en una evaluación? Las afirmaciones involucran acciones complejas que articulan varios procesos de pensamiento en un marco conceptual o disciplinar amplio, por lo cual no es posible medirlas directamente. Durante el desarrollo de las especificaciones, es importante asegurar que las afirmaciones que se construyan sean suficientes para dar cuenta de las categorías del constructo que se quiere medir.

 

Cada una de las afirmaciones se apoya a través de una serie de evidencias, las cuales se refieren a enunciados que representan acciones o ejecuciones observables que revelan el constructo a medir y mediante las cuales es posible verificar si éste ha sido alcanzado. Las evidencias se construyen respondiendo a la pregunta: ¿qué tiene que hacer el evaluado que permita inferir lo que sabe o lo que sabe hacer? Este estrato proporciona los argumentos del porqué nuestras observaciones sobre las ejecuciones de los estudiantes, a través de los exámenes, se constituyen en evidencias de las afirmaciones. Es importante formular un número de evidencias suficiente y necesario para poder sustentar cada afirmación y asegurar que éstas sean pertinentes con las características o restricciones de una prueba, es decir, las evidencias que se pretenden recoger deben ser posibles de lograr a través de una prueba escrita con preguntas cerradas o con preguntas de respuesta abierta o de ejecución.

 

+Lea: Diseño de Pruebas tipo SABER en Lenguaje

 

De acuerdo con el modelo, las evidencias se recogerán a partir de la ejecución de tareas de evaluación y actividades, para inferir si el estudiante logra o no lo expresado en las afirmaciones. Así, a partir de la descripción de las evidencias se construyen tareas que se refieren a lo que se pide a los evaluados que hagan en una evaluación. Las tareas describen la manera en la que se han de estructurar las situaciones que se necesitan para obtener el tipo de evidencia requerido.

 

Las tareas son enunciados que representan una actividad específica; corresponden a una descripción de un potencial o familia de preguntas o de actividades de evaluación. En este nivel del modelo se consideran los diferentes contextos y situaciones en las que el estudiante debe aplicar conocimientos y desplegar habilidades para resolver la tarea planteada. En la definición de la tarea es importante explicitar todas las características de contenido y de procedimiento que involucra y que se requieren para solucionarla. Estas características pueden variar para cada tarea, haciéndola más sencilla o más compleja. Es importante tener en cuenta que cada evidencia requiere de un número de tareas suficiente para ser sustentada.

 

Finalmente, una vez construidas las especificaciones de contenido para una evaluación, se desarrolla un proceso de validación de las mismas. Éste consiste en someter a revisión de un grupo de docentes en ejercicio y expertos en las disciplinas, en el caso de evaluaciones estandarizadas, o de pares académicos en las instituciones educativas, las especificaciones para la evaluación de un área particular.

 

La validación de las especificaciones construidas para las evaluaciones diseñadas por el ICFES se lleva a cabo en talleres en los cuales los docentes invitados se centran, principalmente, en el análisis de tres aspectos. El primero de ellos tiene que ver con el análisis de la pertinencia de las especificaciones frente a los referentes de evaluación; por ejemplo, frente a los estándares de competencias establecidos por el Ministerio de Educación Nacional para la educación básica y media. El segundo se relaciona con el análisis de la correspondencia de las especificaciones con el modelo basado en evidencias. En este análisis se busca corroborar que cada uno de los estratos responda a las características y cumpla con la coherencia de subordinación que establece el modelo, es decir, que se observe la globalidad de la afirmación y se llegue a la especificidad y concreción en el nivel de tarea. Por último, el tercer aspecto se centra en el análisis de la correspondencia y pertinencia de las especificaciones con el trabajado desarrollado en el aula.

 

La validación de las especificaciones de contenido es una fase importante en el diseño de evaluaciones, ya que permite verificar si el objeto de evaluación y las categorías conceptuales y cognitivas a evaluar, en el marco del propósito de la misma, quedaron completa y correctamente detallados en las afirmaciones, las evidencias y las tareas. Así mismo, proporciona información relevante para afinar y precisar las situaciones y actividades que se usarán en la construcción de las preguntas que conformarán los instrumentos de evaluación.

 

Al aplicar la metodología, se partió de los estándares básicos de competencias de las áreas evaluadas, que son los referentes comunes acerca de los conocimientos, habilidades y valores que todos los estudiantes colombianos deben desarrollar en su trayectoria escolar, independientemente de su procedencia y condiciones sociales, económicas y culturales. Los estándares están organizados alrededor de conjuntos de competencias y de componentes, de acuerdo con las características disciplinares de cada área.

 

La naturaleza de estas competencias y componentes para la formación hace que no todas sean evaluables a través de pruebas de papel y lápiz, como las que se utilizan en SABER 5° y 9°. Por lo tanto, dependiendo del proceso de evaluación que se pretenda desarrollar, se eligen aquellas que, además de permitir dar cuenta de un conjunto de competencias fundamentales que los estudiantes deben desarrollar durante su formación básica, puedan ser medidas a través de pruebas estandarizadas con preguntas de selección múltiple, como es el caso de las evaluaciones externas diseñadas, desarrolladas y administradas por el ICFES.

 

Para cada una de las competencias y componentes seleccionados desde los estándares, se formularon las afirmaciones con sus correspondientes evidencias. Así mismo, se formularon las tareas que corresponden a los saberes y acciones de pensamiento específicos por cuyo despliegue se debe indagar en las preguntas que son requeridas para recolectar las evidencias. Como producto del desarrollo del modelo se tienen varias matrices, las cuales conforman las especificaciones que orientan la construcción de los instrumentos de evaluación. Con el propósito de ejemplificar los estratos del modelo en la construcción de especificaciones para SABER 5° y 9°, continuación se presenta una breve descripción del componte, de la competencia y una mínima parte de la línea de afirmación, evidencia y tarea de la prueba de matemáticas de noveno grado.

 

A manera de síntesis: el modelo basado en evidencias para la evaluación en el aula

La evaluación hace parte esencial de los procesos de formación y tiene, entre otras funciones, la de proporcionar información sobre la efectividad del proceso de enseñanza y de aprendizaje, contribuyendo así, a la retroalimentación de la labor docente y a la promoción de espacios de reflexión para diseñar nuevas estrategias pedagógicas para mejorar los aprendizajes de los estudiantes. Sin embargo, la evaluación es insuficiente cuando únicamente se da una simple retroalimentación respecto de si las respuestas de los estudiantes son correctas o incorrectas. Una retroalimentación efectiva debe estar vinculada, explícitamente, a criterios de desempeño con los cuales sea posible diseñar estrategias de mejoramiento acordes con las necesidades específicas de los estudiantes.

 

En este sentido, el diseño de evaluaciones de aula en el marco del modelo de evidencias permite articular de una manera más directa los resultados de aprendizaje esperados con el desempeño alcanzado por los estudiantes. Esta metodología se puede aplicar en cualquiera de las áreas y posibilita el diseño de diversos tipos de actividades y tareas. Las especificaciones que elaboren los docentes deben incluir el tipo de pregunta o actividad que debe desarrollar el estudiante.

 

Preguntas de selección múltiple, preguntas que exigen de la construcción de una respuesta corta o de la elaboración de un texto o preguntas de ejecución, se pueden definir y detallar como tareas para recoger las evidencias con las que se sustentarán los juicios que se hacen a partir de una evaluación. De esta manera, es posible comparar los resultados de un proceso de enseñanza determinado con los objetivos previamente fijados, con unos patrones de ejecución o con un conjunto de situaciones deseables y previamente definidas. El modelo de evidencias es una herramienta con la cual se recoge una información más precisa sobre los aprendizajes alcanzados y facilita la interpretación de las calificaciones dadas.

 

Referencias bibliográficas

Lopera O., C. et al. (2010). SABER 5º y 9º 2009. Resultados nacionales. Bogotá, ICFES. http://www.icfes.gov.co/saber59/index.php?option=com_phocadownload&v...

Millett, C. M., Payne, D. G., Dwyer, C. A., Stickler, L. M., Alexiou, J. J. (2008). A Culture of Evidence: An Evidence-Centered Approach to Accountability for Student Learning Outcomes.

Educational Testing Service (ETS).

Mislevy, R. J., Steinberg, L. S., Almond, R. G., Haertel, G. D. & Penuel, W. R. (2001). Leverage Points for Improving Educational Assessment. Recuperado el 10 de mayo de 2011, disponible en: http://www.eric.ed.gov/contentdelivery/servlet/ERICServlet?accno=ED455284

Pedraza D., F.P. et al. (2009). Lineamientos generales SABER 2009, grados 5° y 9°. Bogotá: ICFES.

 

Foto de Marisol Castrejon. Tomada de Flickr