Análisis de los índices de dificultad y discriminación de las pruebas de opción múltiple: una herramienta para la evaluación formativa
DOI:
https://doi.org/10.20453/spirat.v2i1.5248Palabras clave:
Pruebas de opción múltiple, índice de dificultad, índice de discriminaciónResumen
En un contexto donde existen la formación de competencias y el surgimiento de tecnologías de inteligencia artificial generativas, surge la interrogante sobre la efectividad de la evaluación de los aprendizajes. Entre los instrumentos de evaluación, se encuentran las pruebas de opción múltiple, y el desafío es que puedan ser un complemento para la evaluación formativa; para ello es esencial que su constructo contemple criterios de calidad. Objetivo: Determinar los índices de dificultad y discriminación de las pruebas de opción múltiple elaboradas por los docentes de diversas asignaturas del primer año de estudios universitarios. Así también que, con los resultados de su aplicación, brinden información oportuna para el seguimiento y acompañamiento de los estudiantes desde un enfoque formativo de la evaluación. Materiales y métodos: El estudio fue de enfoque cuantitativo de corte transversal descriptivo, aplicando la teoría clásica de la medición; se analizaron 140 reactivos distribuidos en 7 pruebas, las cuales se aplicaron a una muestra variada de estudiantes. Resultado: El análisis general mostró que las pruebas tuvieron un índice de dificultad (p) ideal (>=45 y <=75) con una media de 0.53 y una frecuencia de 87 (62%) reactivos en el rango de dificultad ideal, y un índice de discriminación (D) excelente (>0,34) con una media de 0.51. Sin embargo, se identificaron 12 reactivos, distribuidos en casi todas las pruebas, que no cumplían con los criterios mínimos de calidad. Conclusión: Se determinaron los indicadores de calidad de las pruebas y sus reactivos permitiendo así detectar aquellos que requieren una redefinición y aquellos que ponen de manifiesto áreas de aprendizaje en los estudiantes que necesitan ser reforzadas.
Descargas
Citas
(1) Hamodi C, López Pastor VM, López Pastor AT. Medios, técnicas e instrumentos de evaluación formativa y compartida del aprendizaje en educación superior. Perfiles educativos. 2015; 37(147):146-161.
(2) Vaillant D. Análisis y reflexiones para pensar el desarrollo profesional docente continuo. Educar. 2014; 55-66. Disponible en: https://www.redalyc.org/articulo.oa?id=342132562004.
(3) Cañadas L. Evaluación formativa en el contexto universitario: oportunidades y propuestas de actuación. Rev Digit Invest Docencia Univ. 2020; 14(2).
(4) Tobón S. Evaluación socioformativa. Estrategias e instrumentos. Mount Dora, USA: Kresearch. 2017; 98 p. Disponible en: doi: dx.doi.org/10.24944/isbn.978-1-945721-26-7.
(5) Sandoval Oviedo N. La evaluación de los aprendizajes desde un enfoque cognitivo. Itinerario Educativo. 2009; 23(54):97-108.
(6) Romo-Pérez V, García Soidán JL, Özdemir AS, Leiros-Rodríguez RL. ChatGPT ha llegado ¿Y ahora qué hacemos? La creatividad, nuestro último refugio. Revista de Investigación en Educación. 2023; 21(3):320-334.
(7) Gallent-Torres C, Zapata-González A, Ortego-Hernando JL. El impacto de la inteligencia artificial generativa en educación superior: una mirada desde la ética y la integridad académica. RELIEVE. Revista Electrónica de Investigación y Evaluación Educativa. 2023; 29(2):1-21.
(8) Laforcada Ríos C. Grado de dificultad y poder discriminativo de preguntas de elección múltiple en materias de pregrado de la carrera de medicina. Cuad Hosp Clin. 2018; 59(1):62-68. Disponible en: http://www.scielo.org.bo/scielo.php?script=sci_arttext&pid=S1652-67762018000100008.
(9) Kumar D, Jaipurkar R, Shekhar A, Sikri G, Srinivas V. Item analysis of multiple-choice questions: A quality assurance test for an assessment tool. Med J Armed Forces India. 2021; 77(Suppl 1):S85-S89. Available at:
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7873707/pdf/main.pdf.
(10) Chávez Vega R, Rodríguez Méndez A. Aplicación de la teoría clásica de test a la evaluación de preguntas de opción múltiple. Educ Med Super. 2022; 36(1). Disponible en: http://scielo.sld.cu/pdf/ems/v36n1/1561-2902-ems-36-01-e2228.pdf.
(11) Iñarrairaegui M, Fernández-Ros N, Lucena F, et al. Evaluation of the quality of multiple-choice questions according to the students’ academic level. BMC Med Educ. 2022; 22(779). Disponible en: https://doi.org/10.1186/s12909-022-03844-3.
(12) Hurtado Mondoñedo LL. Relación entre los índices de dificultad y discriminación. Rev. Digit Invest Docencia Univ. 2018; 12(1):273-300. Disponible en: http://www.scielo.org.pe/scielo.php?script=sci_arttext&pid=S2223-25162018000100016&nrm=iso.
(13) Reynolds CR, Altmann RA, Allen DN. Análisis de elementos: métodos para adaptar los elementos correctos a la prueba correcta. En: Dominar las pruebas psicológicas modernas. 2021. Springer, Cham. https://doi.org/10.1007/978-3-030-59455-8_7.
(14) Cvetkovic-Vega A, Maguiña JL, Soto A, Lama-Valdivia J, Correa López LE. Estudios transversales. Rev Fac Med Hum. 2021; 21(1):179-185. Disponible en: http://www.scielo.org.pe/pdf/rfmh/v21n1/2308-0531-rfmh-21-01-179.pdf.
(15) Baladrón J, et al. El examen al examen MIR 2015: aproximación a la validez estructural a través de la teoría clásica de los tests. FEM. 2016; 19(4):217-226.
(16) Argudín Somonte E, Díaz Rojas P, Leyva Sánchez E. Índice de Dificultad del examen de Morfofisiología Humana I. Educ Med Super. 2011; 25(2):97-106. Disponible en: http://scielo.sld.cu/pdf/ems/v25n2/ems07211.pdf.
(17) Date AP, Borkar AS, Butwaik RT, Siddiqui RA, Shende TR, Dashputra. Item analysis as tool to validate multiple choice question bank in pharmacology. Int J Basic Clin Pharmacol. 2019; 8:1999-2023. Available at: https://www.ijbcp.com/index.php/ijbcp/article/view/3324/2573.
(18) Backhoff Escudero E, Larrazolo Reyna N, Rosas Morales M. Nivel de dificultad y poder de discriminación del Examen de Habilidades y Conocimientos Básicos (EXHCOBA). REDIE. 2000; 2(1).
(19) Casas Tolentino, NJ. Evaluación formativa: concepciones y práctica asumida por los docentes de una Facultad de Arte y Diseño de una Universidad Particular, Lima [tesis de maestría]. Lima: Universidad Peruana Cayetano Heredia. 2023.
(20) Moya BA, Eaton SE. Examining Recommendations for Artificial Intelligence Use with Integrity from a Scholarship of Teaching and Learning Lens. RELIEVE. 2023; 29(2). Disponible en: https://revistaseug.ugr.es/index.php/RELIEVE/article/view/29295/26519.
(21) Giaconi E, Bazán ME, Castillo M, Hurtado A, Rojas H, Giaconi V, et al. Análisis de pruebas de opción múltiple en carreras de la salud de la Universidad Mayor. Investigación educ médica. 2021; 10(40):61-69. Disponible en: https://www.scielo.org.mx/pdf/iem/v10n40/2007-5057-iem-10-40-61.pdf.
(22) Salazar Blanco OF, Vélez CM, Zuleta Tobón JJ. Evaluación de conocimientos con exámenes de selección múltiple: ¿tres o cuatro opciones de respuesta? Experiencia con el examen de admisión a posgrados médico-quirúrgicos en la Universidad de Antioquia. Iatreia. 2015; 28(3):300-311. Disponible en: http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S0121-07932015000300008&lang=es.
(23) Mindzak M. What happens when a machine can write as well as an academic? University Affairs. 2020 [cited February 01]. Available at: https://universityaffairs.ca/opinion/in-my-opinion/what-happens-when-a-machine-can-write-as-well-as-an-academic/.
(24) Hernández T, Magid MS, Polydorides AD. Assessment Question Characteristics Predict Medical Student Performance in General Pathology. Arch Pathol Lab Med. 2021; 145(10):1280-1288. doi: 10.5858/arpa.2020-0624-OA.
(25) Aubin AS, Young M, Eva K, St-Onge C. Examinee Cohort Size and Item Analysis Guidelines for Health Professions Education Programs: A Monte Carlo Simulation Study. Acad Med. 2020; 95(1):151-156. doi: 10.1097/ACM.0000000000002888.
(26) Mansour TM, Tarhouny SA, Azab M. Evaluación de la calidad de las preguntas sumativas de opción múltiple (MCQ) para todos los cursos del programa MBCh antes y después de la campaña de concientización del personal, Facultad de Medicina, Universidad de Taibah, KSA, 2022; 11(6). https://typeset.io/papers/assessment-of-multiple-choice-questions-test-item-quality-dtkw20l7.