Aplicação web para análise de testes de avaliação
DOI:
https://doi.org/10.29352/mill0207.08.00176Palavras-chave:
Teoria clássica dos testes, Avaliação electrónica, Análise de dadosResumo
Introdução: Um teste de aferição permite a avaliação de uma dada competência ou capacidade de um individuo. Estes testes são importantes quer no âmbito de instituições de ensino, quer no âmbito empresarial para o recrutamento de recursos humanos.
Objetivos: O artigo tem como principal objectivo apresentar a aplicação web designada "Evaluate" para a análise de testes de aferição.
Métodos: Descreve-se o desenho e implementação da aplicação que permite fazer a gestão de questões ou itens de aferição, a partir dos quais é possível a construção de testes de avaliação. A partir dos resultados dos alunos na resolução desses testes, são calculadas as principais estatísticas descritivas usadas na análise de testes de aferição das aprendizagens ao abrigo da teoria clássica dos testes. A aplicação “Evaluate” foi desenvolvida em Python usando a framework Django e foi testada com provas de aferição reais.
Resultados: Para cada teste são atribuídas cotações aos itens e, a partir das respostas dos alunos, são obtidas diversas estatísticas tais como: índice de dificuldade e de discriminação, correlação ponto-bisserial, coeficiente de consistência interna do teste. A aplicação permitir ainda a análise gráfica do desempenho dos alunos por cada item e no teste como um todo.
Conclusões: A aplicação “Evaluate” é uma ferramenta que contribui para um melhor conhecimento dos instrumentos de aferição usados na avaliação de conhecimentos, permitindo identificar inconsistências e consequentemente introduzir melhorias no processo.
Downloads
Referências
Costa, P. M. & Ferrão, M. E. (2015). On the complementarity of the classical test theory and item response models: Item difficulty estimates. Ensaio: Avaliação e Políticas Públicas em Educação, 23(88), 593–610. http://dx.doi.org/10.1590/S0104-40362015000300003
Django (2018). In Django Docs Model instance reference. Retrieved from: https://docs.djangoproject.com/en/2.0/ref/models/instances/
Django (2014). In Nested SQL queries in Django. Retrieved from: http://www.lexev.org/en/2014/nested-sql-queries-django/
Ferrão, M. E. (2010). E-assessment within the Bologna paradigm: evidence from Portugal. Assessment & Evaluation in Higher Education, 35(7), 819–830. Retrieved from: https://www.tandfonline.com/doi/abs/10.1080/02602930903060990
Ferrão, M.E., & Prata, P. (2014). Item Response Models in Computerized Adaptive Testing: A Simulation Study. In: Murgante, B., et al. (Eds.) Computational Science and Its Applications – ICCSA 2014, Lecture Notes in Computer Science, 8581, 552-565. Cham: Springer Nature. https://doi.org/10.1007/978-3-319-09150-1_40
Ferrão, M. E. & Prata, P. (2015). Invited Paper Session 079 Statistical Methods in Computerized Adaptive Testing: Statistical issues in the item bank development for adaptive testing. In 60th ISI World Statistics Congress.
Guilford, J.P. & Fruchter, B. (1978). Fundamental Statistics in Psychology and Education. 6th ed. New York: McGraw-Hill.
Hambleton, R., Swaminathan, H. & Rogers, H. J. (1991). Fundamentals of Item Response Theory. Newbury Park, California: SAGE Publications.
Kirsch, I., & Lennon, M. L. (2017). PIAAC : a new design for a new era. Large-Scale Assessments Education, 5(11), 1-22. https://doi.org/10.1186/s40536-017-0046-6
Lord, F. M. & Novick, M. R (1968). Statistical Theories of Mental Test Scores. Oxford, England: Addison-Wesley.
Ramsay, C. (2018). In Schreyer Institute Item Analysis and Difficulty. Retrieved from: http://sites.psu.edu/itemanalysis/difficulty-2/
Ratner, B. (2018). The Correlation Coefficient: Definition. DM STAT-1 CONSULTING [Newsletter]. Retrieved from: http://www.dmstat1.com/res/TheCorrelationCoefficientDefined.html
Strang, K. D. (2016). Do the critical success factors from learning analytics predict student outcomes? Journal of Educational Technology, 44(3), 273–299. https://doi.org/10.1177/0047239515615850
Testing Assisté par Ordinateur (2018). Open Source Assessment Platform -TAO Testing. Retrieved from: https://www.taotesting.com/
University of Cambridge.The Psychometrics Centre/Concerto. (2018). The Open-Source Online Adaptive Testing Platform. Retrieved from: https://www.psychometrics.cam.ac.uk/newconcerto
Vieira, S. (2015). Alfa de Cronbach. Retrieved from: http://soniavieira.blogspot.pt/2015/10/alfa-de-cronbach.html
Downloads
Publicado
Como Citar
Edição
Secção
Licença
Os autores que submetem propostas para esta revista concordam com os seguintes termos:
a) Os artigos são publicados segundo a licença Licença Creative Commons (CC BY 4.0), conformando regime open-access, sem qualquer custo para o autor ou para o leitor;
b) Os autores conservam os direitos de autor e concedem à revista o direito de primeira publicação, permitindo-se a partilha livre do trabalho, desde que seja corretamente atribuída a autoria e publicação inicial nesta revista.
c) Os autores têm autorização para assumir contratos adicionais separadamente, para distribuição não-exclusiva da versão do trabalho publicada nesta revista (ex.: publicar em repositório institucional ou como capítulo de livro), com reconhecimento de autoria e publicação inicial nesta revista.
d) Os autores têm permissão e são estimulados a publicar e distribuir o seu trabalho online (ex.: em repositórios institucionais ou na sua página pessoal) já que isso pode gerar alterações produtivas, bem como aumentar o impacto e a citação do trabalho publica
Documentos necessários à submissão
Template do artigo (formato editável)
