El Ceneval está consciente de la importancia que tienen los resultados de los exámenes para la toma de decisiones institucionales; éste es uno de los más recientes instrumentos diseñados por el centro
El Ceneval cumplió 30 años en los que se ha distinguido por el diseño y la elaboración de instrumentos de evaluación que cumplen con altos estándares de calidad. Uno de sus retos actuales es ser una institución generadora de conocimiento, a partir de la innovación e investigación constante, sin perder de vista la importancia que tienen los resultados de los exámenes para la toma de decisiones institucionales.
Uno de los más recientes instrumentos diseñados por el Ceneval, el Proyecto Integrador en Arquitectura, evalúa al sustentante mediante un reactivo de respuesta construida extendida. En este tipo de evaluación, el sustentante elabora un anteproyecto en el que integra de manera simultánea saberes y habilidades de distintas áreas cursadas durante la licenciatura.
Asignar una calificación a este tipo de pruebas es complejo, porque se recurre al juicio de varias personas y al apoyo de una rúbrica. El problema se presenta cuando los involucrados en este proceso atribuyen al mismo objeto o documento un juicio distinto con base en su perspectiva, lo cual podría generar sesgos y restar confiabilidad a las puntuaciones.
Particularidades de la calificación
Una vez que se cuenta con los productos de cada sustentante, se inicia uno de los procesos más importantes y retadores: la calificación con jueces.
Cada producto es revisado al menos por dos jueces, quienes se apoyan con una rúbrica, un instrumento de calificación que consta de una matriz de doble entrada compuesta por criterios de evaluación (filas) y niveles de desempeño (columnas), que permite asignar una calificación a cada criterio, tener un panorama más detallado del desempeño de los sustentantes y una mayor orientación de sus fortalezas y debilidades.
El principal objetivo de este instrumento de calificación es realizar una evaluación objetiva: dejar de lado cualquier percepción individual de los jueces que participan en el proceso. El perfil de estos especialistas considera como mínimo: licenciatura en arquitectura, desempeño como docente en el nivel superior y experiencia profesional en el campo laboral.
Además, se considera la participación de un supervisor que cumple con el perfil de juez. La persona designada cuenta con una destacada experiencia académica y profesional, debe haber participado previamente en el proceso de diseño del examen, haber demostrado un desempeño sobresaliente en la capacitación y tener habilidades en el manejo de tecnologías de información y comunicación, ya que será responsable de asesorar y supervisar todo el proceso mediante la plataforma de calificación en línea.
Capacitación del proceso de medición
Después de la selección de los jueces y el supervisor, comienza la capacitación con un curso-taller. Esta preparación se divide en dos procesos: en el primero se capacita al supervisor durante seis horas en el monitoreo, la asesoría y la retroalimentación a los jueces sobre su desempeño. El segundo, dirigido a los jueces, tiene una duración de 18 horas en las que se abordan las características de la evaluación, se lleva a cabo la revisión de la tarea evaluativa para la elaboración del anteproyecto arquitectónico, el uso de la rúbrica de calificación, la organización de las sesiones de calificación y el manejo de la plataforma para calificar.
Además, se realiza una serie de prácticas de evaluación –tantas como sean necesarias–, en la que se califica de manera individual ejemplos de anteproyectos, con base en lo establecido en la rúbrica, y se revisan las coincidencias de los jueces al asignar los niveles en cada criterio. En caso de existir discrepancias, con el apoyo del supervisor y la rúbrica de calificación, se realiza una retroalimentación para evitar interpretaciones personales de cada descriptor de desempeño.
Proceso de evaluación
El supervisor y los jueces son los actores principales en este proceso. El primero, como figura líder, verifica que los jueces no tengan sesgos en la interpretación de los criterios de calificación a medida que revisan los diferentes anteproyectos. El supervisor monitorea los puntajes de cada pareja de jueces para que, en caso de no cumplir con un mínimo de 70 por ciento de coincidencia exacta en la puntuación asignada en cada competencia, o si se presenta una discrepancia extrema que rebase más de un punto de diferencia, se revaloren las puntuaciones otorgadas por medio de una segunda calificación.
Esta consiste en un diálogo entre los dos jueces involucrados y el supervisor en el que se exponen las razones de las calificaciones obtenidas. El principal objetivo es detectar errores de interpretación para que los jueces tengan la oportunidad de calificar por segunda vez el anteproyecto arquitectónico y decidir si modifican o no los niveles asignados, a fin de favorecer la objetividad del proceso.
En caso de que ninguno de los jueces realice modificaciones, o si aun con las correcciones persiste la discrepancia extrema o un porcentaje bajo de coincidencia exacta, se solicita la intervención de un tercer juez, quien emite un voto de calidad para resolver las controversias entre los jueces 1 y 2.
Confiabilidad de la calificación y los resultados de los sustentantes
La confiabilidad en las evaluaciones que utilizan reactivos de respuesta construida es el grado de consenso o acuerdo en las calificaciones que asignan dos o más jueces a la respuesta que proporciona un mismo sustentante.
El proceso minucioso y sistemático de capacitación, el manejo correcto de la rúbrica, los pasos para calificar cada anteproyecto arquitectónico, la distribución de actividades a jueces y supervisores, y la labor del supervisor, quien evalúa el desempeño de los jueces, reducen la posibilidad de sesgo y favorecen la obtención de resultados válidos y confiables del desempeño de cada uno de los sustentantes.
