Aplicación web para análisis de pruebas de evaluación
DOI:
https://doi.org/10.29352/mill0207.08.00176Palabras clave:
Teoría clásica de las pruebas, evaluación electrónica, análisis de datosResumen
Introducción: Una prueba de evaluación permite la evaluación de una determinada competencia de un individuo. Estas pruebas son importantes tanto en el ámbito de las instituciones de enseñanza, tanto en el ámbito empresarial para la contratación de recursos humanos.
Objetivo: El artículo tiene como principal objetivo presentar la aplicación web designada “Evaluate” para análisis de pruebas de evaluación.
Métodos: Se describe el diseño e implementación de la aplicación que permite hacer la gestión de cuestiones, a partir de los cuales es posible la construcción de pruebas de evaluación. A partir de los resultados de los alumnos en la resolución de estas pruebas, son calculadas las principales estadísticas descriptivas utilizadas en el análisis de pruebas de evaluación de los aprendizajes bajo la teoría clásica de las pruebas. La aplicación “Evaluate” fue desarrollada en Python usando el framework Django y fue probada con pruebas de evaluación real.
Resultados: Para cada prueba se asignan cotizaciones a los ítems y, a partir de las respuestas de los alumnos, se obtienen diversas estadísticas por cada ítem e por cada prueba. La aplicación permite además el análisis gráfico del desempeño de los alumnos por cada ítem y en la prueba como un todo.
Conclusiones: La aplicación “Evaluate” es una herramienta que contribuye a un mejor conocimiento de los instrumentos de medición usados en la evaluación de conocimientos, permitiendo identificar inconsistencias y consecuentemente introducir mejoras en el proceso.
Descargas
Citas
Costa, P. M. & Ferrão, M. E. (2015). On the complementarity of the classical test theory and item response models: Item difficulty estimates. Ensaio: Avaliação e Políticas Públicas em Educação, 23(88), 593–610. http://dx.doi.org/10.1590/S0104-40362015000300003
Django (2018). In Django Docs Model instance reference. Retrieved from: https://docs.djangoproject.com/en/2.0/ref/models/instances/
Django (2014). In Nested SQL queries in Django. Retrieved from: http://www.lexev.org/en/2014/nested-sql-queries-django/
Ferrão, M. E. (2010). E-assessment within the Bologna paradigm: evidence from Portugal. Assessment & Evaluation in Higher Education, 35(7), 819–830. Retrieved from: https://www.tandfonline.com/doi/abs/10.1080/02602930903060990
Ferrão, M.E., & Prata, P. (2014). Item Response Models in Computerized Adaptive Testing: A Simulation Study. In: Murgante, B., et al. (Eds.) Computational Science and Its Applications – ICCSA 2014, Lecture Notes in Computer Science, 8581, 552-565. Cham: Springer Nature. https://doi.org/10.1007/978-3-319-09150-1_40
Ferrão, M. E. & Prata, P. (2015). Invited Paper Session 079 Statistical Methods in Computerized Adaptive Testing: Statistical issues in the item bank development for adaptive testing. In 60th ISI World Statistics Congress.
Guilford, J.P. & Fruchter, B. (1978). Fundamental Statistics in Psychology and Education. 6th ed. New York: McGraw-Hill.
Hambleton, R., Swaminathan, H. & Rogers, H. J. (1991). Fundamentals of Item Response Theory. Newbury Park, California: SAGE Publications.
Kirsch, I., & Lennon, M. L. (2017). PIAAC : a new design for a new era. Large-Scale Assessments Education, 5(11), 1-22. https://doi.org/10.1186/s40536-017-0046-6
Lord, F. M. & Novick, M. R (1968). Statistical Theories of Mental Test Scores. Oxford, England: Addison-Wesley.
Ramsay, C. (2018). In Schreyer Institute Item Analysis and Difficulty. Retrieved from: http://sites.psu.edu/itemanalysis/difficulty-2/
Ratner, B. (2018). The Correlation Coefficient: Definition. DM STAT-1 CONSULTING [Newsletter]. Retrieved from: http://www.dmstat1.com/res/TheCorrelationCoefficientDefined.html
Strang, K. D. (2016). Do the critical success factors from learning analytics predict student outcomes? Journal of Educational Technology, 44(3), 273–299. https://doi.org/10.1177/0047239515615850
Testing Assisté par Ordinateur (2018). Open Source Assessment Platform -TAO Testing. Retrieved from: https://www.taotesting.com/
University of Cambridge.The Psychometrics Centre/Concerto. (2018). The Open-Source Online Adaptive Testing Platform. Retrieved from: https://www.psychometrics.cam.ac.uk/newconcerto
Vieira, S. (2015). Alfa de Cronbach. Retrieved from: http://soniavieira.blogspot.pt/2015/10/alfa-de-cronbach.html
Descargas
Publicado
Cómo citar
Número
Sección
Licencia
Los autores que sometan propuestas para esta revista estarán de acuerdo con los siguientes términos:
a) Los artículos serán publicados según la licencia Licença Creative Commons (CC BY 4.0), conforme el régimen open-access, sin cualquier coste para el autor o para el lector.
b) Los autores conservan los derechos de autor y conceden a la revista el derecho de la primera publicación, se permite la divulgación libre del trabajo, desde que sea correctamente atribuida la autoría y la publicación inicial en esta revista.
c) Los autores están autorización para firmar contratos adicionales separadamente, para la distribución no exclusiva de la versión del trabajo publicada en esta revista (ej.: publicar en un repositorio institucional o como capítulo de un libro), con reconocimiento de la autoría y publicación inicial e esta revista.
d) Los autores tienen permiso y son alentados a publicar y distribuir su trabajo on-line (ej.: en repositorios instituciones o en su página personal) ya que eso podrá generar alteraciones productivas, así como aumentar el impacto y la citación del trabajo publicado.
Documentos necesarios para la sumisión
Plantilla del artículo (formato editable)