Análisis de los índices de dificultad y discriminación de las pruebas de opción múltiple: una herramienta para la evaluación formativa

Autores/as

DOI:

https://doi.org/10.20453/spirat.v2i1.5248

Palabras clave:

Pruebas de opción múltiple, índice de dificultad, índice de discriminación

Resumen

En un contexto donde existen la formación de competencias y el surgimiento de tecnologías de inteligencia artificial generativas, surge la interrogante sobre la efectividad de la evaluación de los aprendizajes. Entre los instrumentos de evaluación, se encuentran las pruebas de opción múltiple, y el desafío es que puedan ser un complemento para la evaluación formativa; para ello es esencial que su constructo contemple criterios de calidad. Objetivo: Determinar los índices de dificultad y discriminación de las pruebas de opción múltiple elaboradas por los docentes de diversas asignaturas del primer año de estudios universitarios. Así también que, con los resultados de su aplicación, brinden información oportuna para el seguimiento y acompañamiento de los estudiantes desde un enfoque formativo de la evaluación. Materiales y métodos: El estudio fue de enfoque cuantitativo de corte transversal descriptivo, aplicando la teoría clásica de la medición; se analizaron 140 reactivos distribuidos en 7 pruebas, las cuales se aplicaron a una muestra variada de estudiantes. Resultado: El análisis general mostró que las pruebas tuvieron un índice de dificultad (p) ideal (>=45 y <=75) con una media de 0.53 y una frecuencia de 87 (62%) reactivos en el rango de dificultad ideal, y un índice de discriminación (D) excelente (>0,34) con una media de 0.51. Sin embargo, se identificaron 12 reactivos, distribuidos en casi todas las pruebas, que no cumplían con los criterios mínimos de calidad. Conclusión: Se determinaron los indicadores de calidad de las pruebas y sus reactivos permitiendo así detectar aquellos que requieren una redefinición y aquellos que ponen de manifiesto áreas de aprendizaje en los estudiantes que necesitan ser reforzadas.

 

 

Biografía del autor/a

Liliana Aidee Muñoz, Universidad Peruana Cayetano Heredia (UPCH)

Doctora en Educación y Magíster en Docencia Universitaria por la Universidad Nacional Federico Villarreal. Tiene un diplomado en Políticas Docentes por el IIPE-Unesco-Argentina; es experta en Gestión Curricular por el Centro de Investigación en Formación y Evaluación-México; ha llevado cursos en Gestión  y  Liderazgo  Universitario  por  ANUIS;  Formación  de  Gestores  Universitarios  por  la  Universidad  Peruana  Cayetano  Heredia  (UPCH).  Es  docente  principal  y  directora  de  la  Unidad  de  Formación Básica Integral de la UPCH. Ha sido vicedecana y directora de posgrado de la Facultad de Educación  de  la  UPCH.  Ha  recibido  la  Orden  Cayetano  Heredia  en  la  clase  de  Comendador  y  acreedora de la medalla de honor y miembro honorario del Colegio de Profesores del Perú. Ha sido considerada una de las personas más influyentes en la educación básica por el Grupo Educación al Futuro en el año 2022 y 2024. Ha sido reconocida con el Premio Excelencia Cayetano 2022.

Naolly Casas Tolentino, Universidad Peruana Cayetano Heredia (UPCH)

Ocupa el cargo de jefa de Gestión Docente en la Unidad de Formación Básica Integral (UFBI) de la Universidad  Peruana  Cayetano  Heredia (UPCH) desde el 2023. Es Magíster en Educación con mención en Docencia e Investigación en la Educación Superior por la Universidad Peruana Cayetano Heredia (UPCH). Es Biotecnóloga de la Universidad Nacional del Santa (UNS). Cuenta con un diplomado en Gestión de la calidad de laboratorios de ensayos físico químicos en la Pontificia Universidad Católica del Perú (PUCP). Ha participado en proyectos de investigación relacionados a biología molecular en la identificación de polimorfismos (SSRs) y micropropagación de especies de plantas nativas del Perú en el Instituto de Biotecnología de la Universidad Nacional Agraria la Molina (UNALM). Actualmente, participa en un proyecto de investigación sobre evaluación de los aprendizajes y el perfil del docente universitario.

Jamine Pozu Franco, Universidad Peruana Cayetano Heredia (UPCH)

Profesora asociada de la Universidad Peruana Cayetano Heredia (UPCH). Es comunicadora social y tiene especializaciones en educación a distancia por la Universidad Nacional de Educación a Distancia (UNED) y en habilidades docentes por el Tecnológico de Monterrey. También es graduada del Programa Interamericano de Formación en Gestión de Ambientes de Innovación de la Organización Universitaria Interamericana. Ha desempeñado actividades de gestión universitaria, como coordinadora del Centro Editorial, jefa de la Unidad de Educación a Distancia y del Observatorio e Incubadora de Programas Académicos, jefa del Departamento Académico de Educación, secretaria académica de la Escuela de Posgrado, secretaria académica y coordinadora académica en la Unidad Básica de Formación Integral (primer año de la universidad). Como experiencia profesional ha trabajado para organismos nacionales e internacionales como el Ministerio de Educación, Ministerio de Salud, Indecopi, OPS, Intervida y Harvard Business Publishing Education, entre otros. Su línea de investigación abarca áreas como didáctica, tecnologías e innovaciones en educación superior.

Citas

(1) Hamodi C, López Pastor VM, López Pastor AT. Medios, técnicas e instrumentos de evaluación formativa y compartida del aprendizaje en educación superior. Perfiles educativos. 2015; 37(147):146-161.

(2) Vaillant D. Análisis y reflexiones para pensar el desarrollo profesional docente continuo. Educar. 2014; 55-66. Disponible en: https://www.redalyc.org/articulo.oa?id=342132562004.

(3) Cañadas L. Evaluación formativa en el contexto universitario: oportunidades y propuestas de actuación. Rev Digit Invest Docencia Univ. 2020; 14(2).

(4) Tobón S. Evaluación socioformativa. Estrategias e instrumentos. Mount Dora, USA: Kresearch. 2017; 98 p. Disponible en: doi: dx.doi.org/10.24944/isbn.978-1-945721-26-7.

(5) Sandoval Oviedo N. La evaluación de los aprendizajes desde un enfoque cognitivo. Itinerario Educativo. 2009; 23(54):97-108.

(6) Romo-Pérez V, García Soidán JL, Özdemir AS, Leiros-Rodríguez RL. ChatGPT ha llegado ¿Y ahora qué hacemos? La creatividad, nuestro último refugio. Revista de Investigación en Educación. 2023; 21(3):320-334.

(7) Gallent-Torres C, Zapata-González A, Ortego-Hernando JL. El impacto de la inteligencia artificial generativa en educación superior: una mirada desde la ética y la integridad académica. RELIEVE. Revista Electrónica de Investigación y Evaluación Educativa. 2023; 29(2):1-21.

(8) Laforcada Ríos C. Grado de dificultad y poder discriminativo de preguntas de elección múltiple en materias de pregrado de la carrera de medicina. Cuad Hosp Clin. 2018; 59(1):62-68. Disponible en: http://www.scielo.org.bo/scielo.php?script=sci_arttext&pid=S1652-67762018000100008.

(9) Kumar D, Jaipurkar R, Shekhar A, Sikri G, Srinivas V. Item analysis of multiple-choice questions: A quality assurance test for an assessment tool. Med J Armed Forces India. 2021; 77(Suppl 1):S85-S89. Available at:

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7873707/pdf/main.pdf.

(10) Chávez Vega R, Rodríguez Méndez A. Aplicación de la teoría clásica de test a la evaluación de preguntas de opción múltiple. Educ Med Super. 2022; 36(1). Disponible en: http://scielo.sld.cu/pdf/ems/v36n1/1561-2902-ems-36-01-e2228.pdf.

(11) Iñarrairaegui M, Fernández-Ros N, Lucena F, et al. Evaluation of the quality of multiple-choice questions according to the students’ academic level. BMC Med Educ. 2022; 22(779). Disponible en: https://doi.org/10.1186/s12909-022-03844-3.

(12) Hurtado Mondoñedo LL. Relación entre los índices de dificultad y discriminación. Rev. Digit Invest Docencia Univ. 2018; 12(1):273-300. Disponible en: http://www.scielo.org.pe/scielo.php?script=sci_arttext&pid=S2223-25162018000100016&nrm=iso.

(13) Reynolds CR, Altmann RA, Allen DN. Análisis de elementos: métodos para adaptar los elementos correctos a la prueba correcta. En: Dominar las pruebas psicológicas modernas. 2021. Springer, Cham. https://doi.org/10.1007/978-3-030-59455-8_7.

(14) Cvetkovic-Vega A, Maguiña JL, Soto A, Lama-Valdivia J, Correa López LE. Estudios transversales. Rev Fac Med Hum. 2021; 21(1):179-185. Disponible en: http://www.scielo.org.pe/pdf/rfmh/v21n1/2308-0531-rfmh-21-01-179.pdf.

(15) Baladrón J, et al. El examen al examen MIR 2015: aproximación a la validez estructural a través de la teoría clásica de los tests. FEM. 2016; 19(4):217-226.

(16) Argudín Somonte E, Díaz Rojas P, Leyva Sánchez E. Índice de Dificultad del examen de Morfofisiología Humana I. Educ Med Super. 2011; 25(2):97-106. Disponible en: http://scielo.sld.cu/pdf/ems/v25n2/ems07211.pdf.

(17) Date AP, Borkar AS, Butwaik RT, Siddiqui RA, Shende TR, Dashputra. Item analysis as tool to validate multiple choice question bank in pharmacology. Int J Basic Clin Pharmacol. 2019; 8:1999-2023. Available at: https://www.ijbcp.com/index.php/ijbcp/article/view/3324/2573.

(18) Backhoff Escudero E, Larrazolo Reyna N, Rosas Morales M. Nivel de dificultad y poder de discriminación del Examen de Habilidades y Conocimientos Básicos (EXHCOBA). REDIE. 2000; 2(1).

(19) Casas Tolentino, NJ. Evaluación formativa: concepciones y práctica asumida por los docentes de una Facultad de Arte y Diseño de una Universidad Particular, Lima [tesis de maestría]. Lima: Universidad Peruana Cayetano Heredia. 2023.

(20) Moya BA, Eaton SE. Examining Recommendations for Artificial Intelligence Use with Integrity from a Scholarship of Teaching and Learning Lens. RELIEVE. 2023; 29(2). Disponible en: https://revistaseug.ugr.es/index.php/RELIEVE/article/view/29295/26519.

(21) Giaconi E, Bazán ME, Castillo M, Hurtado A, Rojas H, Giaconi V, et al. Análisis de pruebas de opción múltiple en carreras de la salud de la Universidad Mayor. Investigación educ médica. 2021; 10(40):61-69. Disponible en: https://www.scielo.org.mx/pdf/iem/v10n40/2007-5057-iem-10-40-61.pdf.

(22) Salazar Blanco OF, Vélez CM, Zuleta Tobón JJ. Evaluación de conocimientos con exámenes de selección múltiple: ¿tres o cuatro opciones de respuesta? Experiencia con el examen de admisión a posgrados médico-quirúrgicos en la Universidad de Antioquia. Iatreia. 2015; 28(3):300-311. Disponible en: http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S0121-07932015000300008&lang=es.

(23) Mindzak M. What happens when a machine can write as well as an academic? University Affairs. 2020 [cited February 01]. Available at: https://universityaffairs.ca/opinion/in-my-opinion/what-happens-when-a-machine-can-write-as-well-as-an-academic/.

(24) Hernández T, Magid MS, Polydorides AD. Assessment Question Characteristics Predict Medical Student Performance in General Pathology. Arch Pathol Lab Med. 2021; 145(10):1280-1288. doi: 10.5858/arpa.2020-0624-OA.

(25) Aubin AS, Young M, Eva K, St-Onge C. Examinee Cohort Size and Item Analysis Guidelines for Health Professions Education Programs: A Monte Carlo Simulation Study. Acad Med. 2020; 95(1):151-156. doi: 10.1097/ACM.0000000000002888.

(26) Mansour TM, Tarhouny SA, Azab M. Evaluación de la calidad de las preguntas sumativas de opción múltiple (MCQ) para todos los cursos del programa MBCh antes y después de la campaña de concientización del personal, Facultad de Medicina, Universidad de Taibah, KSA, 2022; 11(6). https://typeset.io/papers/assessment-of-multiple-choice-questions-test-item-quality-dtkw20l7.

Descargas

Publicado

2024-06-28

Cómo citar

Muñoz, L. A., Casas Tolentino, N., & Pozu Franco, J. (2024). Análisis de los índices de dificultad y discriminación de las pruebas de opción múltiple: una herramienta para la evaluación formativa. Revista Académica De Docencia Y Gestión Universitaria, 2(1), 9–24. https://doi.org/10.20453/spirat.v2i1.5248

Número

Sección

Artículos de investigación