Quality assessment of the Portuguese secondary school Biology and Geology exams
DOI:
https://doi.org/10.21814/rpe.21651Keywords:
Biology and Geology, Science education, Evaluation, External assessment, National examsAbstract
The results of Portuguese students in the Biology and Geology exam have revealed a serious situation of failure over the years, with very low average scores and excessively high failure rates. In teachers’ opinion, the main causes of failure are related to the high complexity of the exam. Thus, it is important to analyze the validity and technical quality of these exams to assess whether these assessment instruments are negatively contributing to the students' failure. In this context, this qualitative research was carried out, using document analysis and content analysis. Two Biology and Geology exams were analyzed (selection criteria: exams with the best and worst results) in the dimensions: Disciplinary area per year (the exam evaluates the areas of Biology and Geology); Question type; Dimensions of science education; Bloom's Taxonomy: cognitive process dimension and knowledge dimension. It is concluded that the exams are cognitively demanding, and most questions evaluate higher categories of the cognitive process (application and analysis) of conceptual knowledge. This investigation demonstrates the lack of validity and reliability of the Biology and Geology exams, as well as several technical quality problems.
Downloads
References
Adams, N. E. (2015). Bloom’s taxonomy of cognitive learning objectives. Journal of the Medical Library Association, 103(3), 152-152. https://doi.org/10.3163/1536-5050.103.3.010 .
Airasian, P. W., & Abrams, L. M. (2003). Classroom student svaluation. In J. T. Kellaghan & D. Stufflebeam (Eds.), International handbook of educational evaluation (pp. 533‐548). Kluwer Academic Publishers.
Almeida, L. (2012). Avaliação dos alunos: Combinando as razões e os modos. In J. Karpicke, H. Sousa, L. Almeida & Fundação Francisco Manuel dos Santos (Ed.), A avaliação dos alunos (pp. 73-88). Fundação Francisco Manuel dos Santos.
Alves, J. (2014). Exames: Mitos e realidades. In J. Machado & J. Alves (Orgs). Melhorar a escola: Sucesso escolar, disciplina, motivação, direção de escolas e políticas educativas (pp. 155-169). Universidade Católica Portuguesa.
Anderson, L. W., & Krathwohl, D. R. (Eds.). (2001). A taxonomy for learning, teaching, and assessing: A revision of Bloom’s taxonomy of educational objectives. Longman.
Black, P. J. (1998). Testing, friend or foe?: The theory and practice of assessment and testing. Psychology Press.
Bloom, B. S. (Ed.), Engelhart, M. D., Furst, E. J., Hill, W. H., & Krathwohl, D. R. (1956). Taxonomy of educational objectives: The classification of educational goals. Handbook 1: Cognitive domain. David McKay.
De Ketele, J. M., & Gerard, F. M. (2005). La validation des épreuves d’évaluation selon l’approche par les compétences. Mesure et Évaluation en Éducation, 28(3), 1-26. https://doi.org/10.7202/1087028ar
Esteves, M., & Rodrigues, A. (2012). Exames nacionais e contextualização no ensino da História. Revista Interacções, 8(22), 135-162. https://doi.org/10.25755/int.1539
Fernandes, D. (2005). Avaliação das aprendizagens: Desafios às teorias, práticas e políticas. Texto Editores.
Fernandes, D. (2008). Para uma teoria da avaliação no domínio das aprendizagens. Estudos em Avaliação Educacional, 19(41), 347-372. http://dx.doi.org/10.18222/eae194120082065
Fernandes, D. (2020). Avaliação sumativa. In Projeto MAIA – Projeto de Monitorização Acompanhamento e Investigação em Avaliação Pedagógica. https://apoioescolas.dge.mec.pt/sites/default/files/2021-02/folha_avaliacao_sumativa.pdf
Forehand, M. (2010). Bloom's taxonomy. In M. Orey (Ed.), Emerging perspetives on learning, teaching, and technology (pp. 41-74). The Global Text Project. https://textbookequity.org/Textbooks/Orey_Emergin_Perspectives_Learning.pdf
Júri Nacional de Exames (2019). Processo de avaliação externa da aprendizagem – Provas de aferição, provas finais e exames nacionais 2018. Ministério da Educação, Direção-Geral da Educação. https://www.dge.mec.pt/sites/default/files/JNE/relatorio_anual_do_jne_2018_final_lv.pdf?fbclid=IwAR2ogq7WPSzMp-NbI5jCUpML2uv560P0QLDW7vXbyqHtI6qk5ucRCyMKeUA
Kellaghan, T. & Madaus, G. (2003). External (public) examinations. In T. Kellaghan & D. Stufflebeam (Eds.), International handbook of educational evaluation (pp. 577‐600). Kluwer Academic Publishers.
Krathwohl, D. R. (2002) A revision of Bloom's taxonomy: An overview. Theory Into Practice, 41(4), 212-218. https://doi.org/10.1207/s15430421tip4104
Lee, Y., Kim, M., Jin, O., Yoon, H., & Matsubara, K. (2017). East-Asian primary science curricula - An overview using revised Bloom’s taxonomy. Springer.
Lopes, T. (2013). Perceções de professores, alunos e encarregados de educação sobre o (in)sucesso na disciplina de Biologia e Geologia [Dissertação de Mestrado, Universidade do Minho]. Repositório Institucional da Universidade do Minho. https://hdl.handle.net/1822/28923
Lopes, T. (2020). Insucesso escolar na disciplina e no exame de Biologia e Geologia e fatores associados [Tese de Doutoramento, Universidade do Minho]. Repositório Institucional da Universidade do Minho. https://hdl.handle.net/1822/77124
Lopes, T. & Precioso, P. (2018). Evolução do insucesso escolar nos exames nacionais do ensino secundário, por sexo, em Portugal. Revista Iberoamericana de Evaluación Educativa, 11(2), p. 53-69. https://doi.org/10.15366/riee2018.11.2.003
Lopes, T. & Precioso, J. (2019). O que pensam os professores portugueses sobre as causas do insucesso dos alunos no exame nacional da disciplina de Biologia e Geologia? In XV Congresso Internacional Galego-Português de Psicopedagogia. Universidade da Coruña.
Madureira, M. B. (2011). A influência dos exames nacionais de Física e Química A e respetivos resultados nas práticas de ensino e de avaliação dos professores [Dissertação de Mestrado, Universidade do Minho]. Repositório Institucional da Universidade do Minho. https://hdl.handle.net/1822/19112
Marques, M.; Sousa, J.; Costa, N.; & Pacheco, J. (2015). Efeitos da avaliação externa das aprendizagens no desenvolvimento profissional de professores de Matemática do ensino básico em Portugal. Meta: Avaliação, 7(19), 58-84. https://doi.org/10.22347/2175-2753v7i19.781
Preto, A. (2008). Ensino da Biologia e Geologia no Ensino Secundário: Exames e trabalho experimental [Dissertação de Mestrado, Universidade de Lisboa]. Repositório da Universidade de Lisboa. http://hdl.handle.net/10451/1312
Raposo, P. & Freire, A. (2008). Avaliação das aprendizagens: Perspectivas de professores de Física e Química. Revista da Educação, XVI- (1), 97-127. https://www.academia.edu/50102733/Avalia%C3%A7%C3%A3o_das_Aprendizagens_Perspectivas_de_Professores_de_F%C3%ADsica_e_Qu%C3%ADmica
Rosário, M. A. (2007). Influência do exame nacional do 9º ano de escolaridade nas práticas de ensino e de avaliação em Matemática [Dissertação de Mestrado, Universidade do Minho]. Repositório Institucional da Universidade do Minho. https://hdl.handle.net/1822/7180
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2022 Portuguese Journal of Education

This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.
1. The authors preserve their authorship and grant the Portuguese Journal of Education the right to the first publication. The work is licensed under Creative Commons Attribution License that allows sharing the work with the acknowledgment of initial authorship and publication in this Journal.
2. The authors have the right to take additional contracts separately, for non-exclusive distribution of the published version of their work (e.g. to deposit in an institutional repository or as a book chapter), acknowledging the initial authorship and publication in this Journal.
3. The authors have the permission and are stimulated to post their work online (e.g. in an institutional repository or on their personal website). They can do this at any phase of the editorial process, as it may generate productive changes, as well as increase impact and article citation (see The Open Citation Project).
The work is licensed under Attribution-ShareAlike 4.0 International (CC BY-SA 4.0)