Analysis of the difficulty and discrimination indices of multiple choice tests: a tool for formative evaluation
DOI:
https://doi.org/10.20453/spirat.v2i1.5248Keywords:
Pruebas de opción múltiple, índice de dificultad, índice de discriminaciónAbstract
In a context where the formation of skills and the emergence of generative artificial intelligence technologies, the question arises about the effectiveness of learning assessment. Among the instruments of evaluation, there are multiple choice tests, and the challenge is that they can be a complement to formative assessment, for this it is essential that their construct contemplates quality criteria. Objective: Determine the quality of multiple-choice tests based on the analysis of the difficulty and discrimination indices of the items prepared by teachers of prioritized subjects in the first year of university studies, in order to ensure instruments that accurately evaluate learning. Likewise, with the results of their application, they provide timely information for the monitoring and support of students from a formative approach to assessment. Materials and methods: The study was descriptive cross-sectional, applying classical measurement theory; 140 items distributed in 7 tests were analyzed, which were applied to a varied sample of students. Result: The general analysis showed that the tests had an ideal difficulty index (p) (>=49 and <=57) with a mean of 0.53 and a frequency of 87 (62%) items in the ideal difficulty range and an excellent discrimination index (D) (>0.34) with a mean of 0.51. However, 12 reagents were identified, distributed in almost all the tests, that did not meet the minimum quality criteria. Conclusion: The tests had an acceptable quality, and the deficiencies detected are a source of information for teachers' feedback on their evaluation practice.
Keywords. Formative assessment, multiple choice tests, quality indices.
Downloads
References
(1) Hamodi C, López Pastor VM, López Pastor AT. Medios, técnicas e instrumentos de evaluación formativa y compartida del aprendizaje en educación superior. Perfiles educativos. 2015; 37(147):146-161.
(2) Vaillant D. Análisis y reflexiones para pensar el desarrollo profesional docente continuo. Educar. 2014; 55-66. Disponible en: https://www.redalyc.org/articulo.oa?id=342132562004.
(3) Cañadas L. Evaluación formativa en el contexto universitario: oportunidades y propuestas de actuación. Rev Digit Invest Docencia Univ. 2020; 14(2).
(4) Tobón S. Evaluación socioformativa. Estrategias e instrumentos. Mount Dora, USA: Kresearch. 2017; 98 p. Disponible en: doi: dx.doi.org/10.24944/isbn.978-1-945721-26-7.
(5) Sandoval Oviedo N. La evaluación de los aprendizajes desde un enfoque cognitivo. Itinerario Educativo. 2009; 23(54):97-108.
(6) Romo-Pérez V, García Soidán JL, Özdemir AS, Leiros-Rodríguez RL. ChatGPT ha llegado ¿Y ahora qué hacemos? La creatividad, nuestro último refugio. Revista de Investigación en Educación. 2023; 21(3):320-334.
(7) Gallent-Torres C, Zapata-González A, Ortego-Hernando JL. El impacto de la inteligencia artificial generativa en educación superior: una mirada desde la ética y la integridad académica. RELIEVE. Revista Electrónica de Investigación y Evaluación Educativa. 2023; 29(2):1-21.
(8) Laforcada Ríos C. Grado de dificultad y poder discriminativo de preguntas de elección múltiple en materias de pregrado de la carrera de medicina. Cuad Hosp Clin. 2018; 59(1):62-68. Disponible en: http://www.scielo.org.bo/scielo.php?script=sci_arttext&pid=S1652-67762018000100008.
(9) Kumar D, Jaipurkar R, Shekhar A, Sikri G, Srinivas V. Item analysis of multiple-choice questions: A quality assurance test for an assessment tool. Med J Armed Forces India. 2021; 77(Suppl 1):S85-S89. Available at:
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7873707/pdf/main.pdf.
(10) Chávez Vega R, Rodríguez Méndez A. Aplicación de la teoría clásica de test a la evaluación de preguntas de opción múltiple. Educ Med Super. 2022; 36(1). Disponible en: http://scielo.sld.cu/pdf/ems/v36n1/1561-2902-ems-36-01-e2228.pdf.
(11) Iñarrairaegui M, Fernández-Ros N, Lucena F, et al. Evaluation of the quality of multiple-choice questions according to the students’ academic level. BMC Med Educ. 2022; 22(779). Disponible en: https://doi.org/10.1186/s12909-022-03844-3.
(12) Hurtado Mondoñedo LL. Relación entre los índices de dificultad y discriminación. Rev. Digit Invest Docencia Univ. 2018; 12(1):273-300. Disponible en: http://www.scielo.org.pe/scielo.php?script=sci_arttext&pid=S2223-25162018000100016&nrm=iso.
(13) Reynolds CR, Altmann RA, Allen DN. Análisis de elementos: métodos para adaptar los elementos correctos a la prueba correcta. En: Dominar las pruebas psicológicas modernas. 2021. Springer, Cham. https://doi.org/10.1007/978-3-030-59455-8_7.
(14) Cvetkovic-Vega A, Maguiña JL, Soto A, Lama-Valdivia J, Correa López LE. Estudios transversales. Rev Fac Med Hum. 2021; 21(1):179-185. Disponible en: http://www.scielo.org.pe/pdf/rfmh/v21n1/2308-0531-rfmh-21-01-179.pdf.
(15) Baladrón J, et al. El examen al examen MIR 2015: aproximación a la validez estructural a través de la teoría clásica de los tests. FEM. 2016; 19(4):217-226.
(16) Argudín Somonte E, Díaz Rojas P, Leyva Sánchez E. Índice de Dificultad del examen de Morfofisiología Humana I. Educ Med Super. 2011; 25(2):97-106. Disponible en: http://scielo.sld.cu/pdf/ems/v25n2/ems07211.pdf.
(17) Date AP, Borkar AS, Butwaik RT, Siddiqui RA, Shende TR, Dashputra. Item analysis as tool to validate multiple choice question bank in pharmacology. Int J Basic Clin Pharmacol. 2019; 8:1999-2023. Available at: https://www.ijbcp.com/index.php/ijbcp/article/view/3324/2573.
(18) Backhoff Escudero E, Larrazolo Reyna N, Rosas Morales M. Nivel de dificultad y poder de discriminación del Examen de Habilidades y Conocimientos Básicos (EXHCOBA). REDIE. 2000; 2(1).
(19) Casas Tolentino, NJ. Evaluación formativa: concepciones y práctica asumida por los docentes de una Facultad de Arte y Diseño de una Universidad Particular, Lima [tesis de maestría]. Lima: Universidad Peruana Cayetano Heredia. 2023.
(20) Moya BA, Eaton SE. Examining Recommendations for Artificial Intelligence Use with Integrity from a Scholarship of Teaching and Learning Lens. RELIEVE. 2023; 29(2). Disponible en: https://revistaseug.ugr.es/index.php/RELIEVE/article/view/29295/26519.
(21) Giaconi E, Bazán ME, Castillo M, Hurtado A, Rojas H, Giaconi V, et al. Análisis de pruebas de opción múltiple en carreras de la salud de la Universidad Mayor. Investigación educ médica. 2021; 10(40):61-69. Disponible en: https://www.scielo.org.mx/pdf/iem/v10n40/2007-5057-iem-10-40-61.pdf.
(22) Salazar Blanco OF, Vélez CM, Zuleta Tobón JJ. Evaluación de conocimientos con exámenes de selección múltiple: ¿tres o cuatro opciones de respuesta? Experiencia con el examen de admisión a posgrados médico-quirúrgicos en la Universidad de Antioquia. Iatreia. 2015; 28(3):300-311. Disponible en: http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S0121-07932015000300008&lang=es.
(23) Mindzak M. What happens when a machine can write as well as an academic? University Affairs. 2020 [cited February 01]. Available at: https://universityaffairs.ca/opinion/in-my-opinion/what-happens-when-a-machine-can-write-as-well-as-an-academic/.
(24) Hernández T, Magid MS, Polydorides AD. Assessment Question Characteristics Predict Medical Student Performance in General Pathology. Arch Pathol Lab Med. 2021; 145(10):1280-1288. doi: 10.5858/arpa.2020-0624-OA.
(25) Aubin AS, Young M, Eva K, St-Onge C. Examinee Cohort Size and Item Analysis Guidelines for Health Professions Education Programs: A Monte Carlo Simulation Study. Acad Med. 2020; 95(1):151-156. doi: 10.1097/ACM.0000000000002888.
(26) Mansour TM, Tarhouny SA, Azab M. Evaluación de la calidad de las preguntas sumativas de opción múltiple (MCQ) para todos los cursos del programa MBCh antes y después de la campaña de concientización del personal, Facultad de Medicina, Universidad de Taibah, KSA, 2022; 11(6). https://typeset.io/papers/assessment-of-multiple-choice-questions-test-item-quality-dtkw20l7.
1.png)
