¿Con menos opciones es más probable responderlos correctamente?
En los próximos meses comenzará a operar la nueva generación de instrumentos de evaluación del Ceneval. En el mes de julio se estrenarán los nuevos Exámenes Nacionales de Ingreso a la Educación Media Superior (EXANI-I), a la Educación Superior (EXANI-II) y al Posgrado (EXANI-III); a partir de octubre se aplicará el examen diagnóstico al concluir el componente de formación básica establecido en el Marco Curricular Común de la educación media superior (DOMINA-BACH Básico) y, en diciembre, los nuevos Exámenes Generales para el Egreso de la Licenciatura (EGEL Plus). Entre las innovaciones de estas nuevas pruebas está el uso de preguntas o reactivos de opción múltiple con sólo tres opciones de respuesta, en lugar de las cuatro que se habían utilizado.
Las preguntas de opción múltiple son el formato más empleado en las pruebas a gran escala; con ellas es posible evaluar un amplio rango de conocimientos o habilidades y al requerir menos tiempo para resolverse, se logra medir una mayor cantidad de contenidos. Además, estos reactivos se pueden presentar tanto en papel como en línea y calificarse rápida, objetiva y confiablemente con equipos de cómputo. Debido a estas ventajas este tipo de preguntas se han usado desde inicios de la evaluación a gran escala y se siguen presentando actualmente.
Inicialmente, las pruebas incluían preguntas con cinco opciones, debido a la idea intuitiva de que entre más opciones disminuye la probabilidad de elegir la respuesta correcta por azar. La lógica para el cálculo nos indica que la respuesta por azar, cuando existen cinco opciones, es de 20 por ciento; cuando las opciones se reducen a cuatro, aumenta a 25 por ciento, mientras que con tres se incrementaría hasta 33.33 por ciento. Si bien, estos valores son ciertos para fenómenos cuyas opciones tienen la misma probabilidad de ocurrencia, esto no es directamente aplicable para el caso de los reactivos. A pesar de ello, durante muchos años se presentaron reactivos con cinco opciones de respuesta y, posteriormente, se fueron usando preguntas con cuatro o tres opciones.
Los reactivos de opción múltiple —también llamados reactivos de selección de respuesta— se conforman por una pregunta o enunciado seguido por una opción de respuesta correcta y otras incorrectas; cada elemento debe estar plenamente justificado. La opción correcta debe ser única e incontrovertible para resolver el problema, mientras que los distractores deben ser opciones incorrectas, pero plausibles que, como su nombre lo indica, “distraigan” a los evaluados con un bajo nivel del conocimiento o habilidad evaluados, al representar sus errores más comunes. La plausibilidad de los distractores es una característica esencial tanto de un reactivo de calidad como de su proceso de elaboración. Muchas personas podrían generar una pregunta con la cantidad de opciones incorrectas que se les solicite, pero sólo aquellas con conocimiento del tema y experiencia en la elaboración de estos reactivos podrían pensar en los errores más comunes que cometen quienes no han dominado completamente el tema evaluado, para generar opciones que cumplan con el objetivo planteado.
De esta plausibilidad resulta que las opciones de un reactivo de opción múltiple no tengan la misma probabilidad de ocurrencia. Al analizar reactivos funcionales con este formato se observa que la respuesta correcta se elige con cierta frecuencia y que el resto de las respuestas se distribuye entre los distractores, pero generalmente de manera no uniforme; normalmente hay un distractor que es elegido con mayor frecuencia que el resto. Esta frecuencia va disminuyendo hasta llegar a ser muchas veces menor a 5 por ciento cuando se tienen tres o más distractores, por lo tanto, en estos reactivos, las opciones no tienen la misma probabilidad de ser elegidas.
En el 2018, el Ceneval, en su interés de ofrecer siempre pruebas de calidad que aporten la mayor información, realizó una investigación con datos de varios de sus exámenes que incluían reactivos con cuatro opciones de respuesta para estudiar la posibilidad de presentar preguntas con tres opciones en su nueva generación de exámenes. Al ser todos éstos de alto impacto se realizaron estudios de simulación para no alterar las condiciones de las evaluaciones, donde se reasignó aleatoriamente la respuesta al distractor menos elegido a la opción correcta o a alguno de los distractores restantes.
Los resultados replicaron los reportados en la literatura: las pruebas se hicieron ligeramente más fáciles debido a que, aunque es más probable que quienes eligieron los distractores eliminados opten por alguno de los restantes, algunos podrían elegir la opción correcta. Este cambio no fue considerable, fue menor a 5 por ciento, valor muy inferior a la suposición de que, al pasar de cuatro a tres opciones, la probabilidad de acertar a la respuesta correcta pasaría de 25 por ciento a 33.33 por ciento, volviendo muy fácil la resolución de los exámenes. Estos ligeros cambios se compensarán en el ensamble de las nuevas versiones al seleccionar los reactivos cuyo promedio mantenga la dificultad de la prueba y al incorporar más preguntas a los exámenes.
Además de mantener la dificultad y calidad de las pruebas, los reactivos de opción múltiple con tres opciones de respuesta tienen varias ventajas sobre los que cuentan con más opciones. Su elaboración es más eficiente, ya que sólo se deben generar dos opciones incorrectas plausibles, lo que permitirá tener bancos más robustos en un menor tiempo. Además, el tiempo de lectura por reactivo disminuye, lo que propició aumentar el número de preguntas para medir más contenidos y así tener evaluaciones más precisas.
De esta forma, aunque, intuitivamente, “más es mejor”, la evidencia ha mostrado que no es el caso en los reactivos de opción múltiple, ya que la esencia de un buen reactivo no radica en el número de sus opciones, sino en la calidad de las mismas. Gracias a preguntas, respuestas correctas y distractores bien elaborados y fundamentados se distingue a quienes tienen el conocimiento de quienes no, y el añadir opciones incorrectas más que brindar beneficios puede entorpecer la elaboración y la misma evaluación.
