Cualidades Psicométricas del Cuestionario de Medición de la Competencia en Evaluación (QALA)
DOI:
https://doi.org/10.21814/rpe.24079Palabras clave:
Competencia en Evaluación, Evaluación del aprendizaje, QALA, Cualidades psicométricas, Modelo RaschResumen
La Competencia en Evaluación es una característica fundamental que todo docente debe tener, ya que la evaluación del alumno está íntimamente relacionada con todo el proceso de enseñanza y aprendizaje, por lo que debe considerarse un elemento clave para mejorar la docencia. El objetivo de este artículo fue analizar las propiedades psicométricas de un instrumento desarrollado para medir la competencia en evaluación de profesores de educación básica y secundaria: el QALA (Cuestionario de Medición de la Competencia en Evaluación). El análisis de las propiedades psicométricas de QALA se realizó mediante el Modelo de Rasch, que se supone que es un conjunto de técnicas estadísticas que se insertan en la Teoría de Respuesta al Ítem (TRI). Los resultados muestran las buenas cualidades psicométricas de QALA, por lo que el instrumento parece adecuado para el propósito que se propone, es decir, medir las percepciones que los docentes tienen sobre sus conocimientos y habilidades en evaluación, por un lado, y su competencia evaluativa, en el otro.
Descargas
Citas
Abell, S., & Siegel, M. (2011). Assessment Literacy: What science teachers need to know and be able to do. In D. Corrigan, J. Dillon, & R. Gunstone (Eds.), The Professional Knowledge Base of Science Teaching. Springer. https://doi.org/10.1007/978-90-481-3927-9_12
American Federation of Teachers, National Council on Measurement in Education, National Education Association (1990). The Standards for Competence in the Educational Assessment of Students. http://files.eric.ed.gov/fulltext /ED323186.pdf.
Bond, T., & Fox, C. (2015). Applying the Rasch Model - Fundamental Measurement in the Human Sciences (3rd ed.). Routledge. https://doi.org/10.4324/9781315814698
Brown, G. (2008). Assessment literacy training and teachers' conceptions of assessment. In C. M. Rubie-Davies, & C. Rawlinson (Eds.), Challenging Thinking about Teaching and Learning (pp. 269-285). Nova Science Publishers.
Brown, T., & Bonsaksen, T. (2019). An examination of the structural validity of the Physical Self-Description Questionnaire-Short Form (PSDQ–S) using the Rasch Measurement Model. Cogent Education, 6(1), 1-28. https://doi.org/10.1080/2331186X.2019.1571146
Cadime, I., Santos, S., Leal, T., Viana, F., Rodrigues, B., Cosme, M. C., & Ribeiro, I. (2017). Compreensão de textos: diferenças em função da modalidade de apresentação da tarefa, tipo de texto e tipo de pergunta. Análise Psicológica, 3(35), 351-366. https://doi.org/10.14417/ap.1234
Campbell, C., Murphy, J., & Holt, J. (2002, October). Psychometric analysis of an assessment literacy instrument: Applicability to preservice teachers [Paper presentation]. Annual Meeting of the Mid-Western Educational Research Association, Columbus, OH, USA.
Couto, G., & Primi, R. (2011). Teoria de Resposta ao Item (TRI): Conceitos elementares para itens dicotómicos. Boletim de Psicologia, 61(134), 1-15.
DeLuca, C., & Klinger, D. (2010). Assessment literacy development: identifying gaps in teacher candidates' learning. Assessment in Education: Principles, Policy and Practice, 17(4), 419-438. https://doi.org/10.1080/0969594X.2010.516643
DeLuca, C., Chavez, T., Bellara, A., & Cao, C. (2013). Pedagogies for preservice assessment education: Supporting teacher candidates' assessment literacy development. The Teacher Educator, 48(2), 128-142. https://doi.org/10.1080/08878730.2012.760024
Fernandes, D. (2022). Avaliar e aprender numa cultura de inovação pedagógica. Leya Educação.
Fidalgo, A., & Scalon, J. (2012). Uso dos métodos Mantel-Haenszel para a detecção do funcionamento diferencial dos itens e software relacionado. Psicologia: Reflexão e Crítica, 25(1), 66-68. https://doi.org/10.1590/S0102-79722012000100008
Fisher, W. (2007). Rating scale instrument quality criteria. Rasch Measurement Transaction, 21(1), 1095.
Franco, M., Anguita, L., Sanz, I., & Hidalgo, P. (2020). Development and Psychometric Properties of the Pressure Injury Prevention Knowledge Questionnaire in Spanish Nurses. International Journal of Environmental Research and Public Health, 17(2), 1-16. https://dx.doi.org/10.3390%2Fijerph17093063
González-de-Paz, L., Kostov, B., López-Pina, J., Solans-Julian, P., Navarro-Rubio, M., & Sisó-Almirall, A. (2018). A Rasch analysis of patients' opinions on primary health care professionals' ethic behaviour with respect to communication issues. Family Practice, 32(2), 237-243. https://doi.org/10.1093/fampra/cmu073
Granger, C. (2007). Rasch analysis is important to understand and use for measurement. Rasch Measurement Transaction, 21(3), 1122-1123. https://www.rasch.org/rmt/rmt213d.htm
Green, K. & Franton, C. (2002, Nov. 14-17). Survey development and validation with the Rasch Model. [Paper presentation]. International Conference on Questionnaire Development, Evaluation, and Testing, Charleston, SC, USA.
Hailaya, W., Alagumalai, S., & Ben. F. (2014). Examining the utility of Assessment Literacy Inventory and its portability to education systems in the Asia Pacific region. Australian Journal of Education, 58(3), 297-317. https://doi.org/10.1177%2F0004944114542984
Koh, K. (2011). Improving teachers' assessment literacy through professional development. Teaching Education, 22(3), 255-276. https://www.tandfonline.com/doi/abs/10.1080/10476210.2011.593164
Lah, N., & Tasir, Z. (2018). Measuring Reliability and Validity of Questionnaire on Online Social Presence: A Rasch Model Analysis. Advanced Science Letters, 24(11), 7900-7903. https://doi.org/10.1166/asl.2018.12452
Linacre, J. (2020). A user's guide to Winstep Ministep Rasch-model computer programs. Winsteps.com.
Linacre, J. (2002). Optimizing Rating Scale Category Effectiveness. Journal of Applied Measurement, 3(1), 85-106.
Linacre, J., & Wright, B. (2002). Understanding Rasch measurement: Construction of measures from many-facets. Journal of Applied Measurement, 3(4), 486-512. https://pubmed.ncbi.nlm.nih.gov/12486312/
Luckesi, C. (2005). Avaliação da aprendizagem escolar: Estudos e proposições. Cortez Editora.
Maia, L. (2012). El Modelo de Rasch aplicado a las Ciencias Psicológicas. Revista Eletrónica de Psicologia, Educação e Saúde, 2(1), 1-34.
McGee, J., & Colby, S. (2014). Impact of an assessment course on teacher candidates' assessment literacy. Action in Teacher Education, 36(5-6), 522-532. https://doi.org/10.1080/01626620.2014.977753
Mertler, C. (2003, Oct. 15-18). Preservice versus inservice teachers' assessment literacy: Does classroom experience make a difference? [Paper presentation]. Annual Meeting of the Mid-Western Educational Research Association, Columbus, Ohio, USA.
Mertler, C. & Campbell, C. (2005, April 11-15). Measuring teachers' knowledge and application of classroom assessment concepts: Development of the Assessment Literacy Inventory [Paper presentation]. Annual Meeting of the American Educational Research Association, Montreal, Canada.
Meyer, J. (2014). Applied measurement with jMetrik. Routledge.
Mofreh, S., Ghafar, M., Omar, A., Mosaku, M., & Ma'ruf, A. (2014). Psychometric Properties on Lecturers’ Beliefs on Teaching Function: Rasch Model Analysis. International Education Studies, 7(11), 47-55. https://doi.org/10.5539/ies.v7n11p47
Mohamad, M., Sulaiman, N., Sern, L., & Salleh, K. (2015). Measuring the Validity and Reliability of Research Instruments. Procedia - Social and Beahavioral Sciences, 204, 164-171. https://doi.org/10.1016/j.sbspro.2015.08.129
Neto, A., & Aquino, J. (2009). A avaliação da aprendizagem como ato amoroso: o que o professor pratica?. Educação em Revista, 25(2), 223-240. https://doi.org/10.1590/S0102-46982009000200010
Plake, B., Impara, J., & Fager, J. (1993). Assessment competencies of teachers: A national survey. Educational Measurement: Issues and Practice, 12(4), 10-12. https://doi.org/10.1111/j.1745-3992.1993.tb00548.x
Popham, W. (2011). Assessment literacy overlooked: A teacher educator’s confession. The Teacher Educator, 46(4), 265–73. https://doi.org/10.1080/08878730.2011.605048
Prieto, G., & Delgado, A. (2003). Análisis de un test mediant el modelo de Rasch. Psicothema, 15(1), 94-100. https://www.psicothema.com/pdf/1029.pdf
Ramesal, A. (2011). Primary and secondary teachers' conceptions of assessment: a qualitative study. Teaching and Teacher Education, 27, 472-482. https://doi.org/10.1016/j.tate.2010.09.017
Ribeiro, L. (1993). Avaliação da aprendizagem. Texto Editora.
Robison, M., Johnson, A., Walton, D., & MacDermid, J. (2019). A comparison of the polytomous Rasch analysis output of RUMM2030 and R (ltm/eRm/TAM/lordif). BMC Medical Research Methodology, 19(1), 1-12. https://doi.org/10.1186/s12874-019-0680-5
Santiago, P., Donaldson, G., Looney, A., & Nusche, D. (2012). OECD reviews of Evaluation and Assessment in Education: Portugal 2012. OECD Publishing.
Santos, L. (2016). A articulação entre avaliação somativa e a formativa na prática pedagógica: uma impossibilidade ou um desafio?. Ensaio-Avaliação e Políticas Públicas, 24(94), 637-669. https://doi.org/10.1590/S0104-40362016000300006
Stiggins, R. (1991). Assessment literacy. Phi Delta Kappan, 72, 534-539.
Stiggins, R. (1995). Assessment literacy for the 21st century. Phi Delta Kappan, 77(3), 238-246.
Taber, K. (2017). The use of Cronbach's alpha when developing and reporting research instruments in Science Education. Research in Science Education, 48, 1273-1296. https://doi.org/10.1007/s11165-016-9602-2
Vieira, M., Ribeiro, R., & Almeida, L. (2009). As potencialidades da Teoria de Resposta ao Item na validade dos testes: Aplicação a uma prova de dependência-independência de campo. Análise Psicológica, 27(4), 455-462.
Volante, L., & Fazio, X. (2007). Exploring Teacher candidates' assessment literacy: implications for teacher education. Canadian Journal of Education, 30(3), 749-770. https://doi.org/10.2307/20466661
Xu, Y., & Brown, G. (2016). Teacher assessment literacy in practice: A reconceptualization. Teaching and Teacher Education, 58, 149-162. https://doi.org/10.1016/j.tate.2016.05.010
Yamtim, V., & Wongwanich, S. (2014). A study of classroom assessment literacy of primary school teachers. Procedia: Social and Behavioral Sciences, 116, 2998-3004. https://doi.org/10.1016/j.sbspro.2014.01.696
Descargas
Publicado
Cómo citar
Número
Sección
Licencia
Derechos de autor 2023 Revista Portuguesa de Educação
Esta obra está bajo una licencia internacional Creative Commons Atribución-CompartirIgual 4.0.
1. Los autores y autoras conservan los derechos de autor y conceden a la revista el derecho de la primera publicación, con el trabajo simultáneamente disponible bajo la Licencia Creative Commons Attribution que permite compartir el trabajo con el reconocimiento de la autoría y publicación inicial en esta revista.
2. Los autores y autoras pueden asumir contratos adicionales separadamente para la distribución no exclusiva de la versión del trabajo publicada en esta revista (por ejemplo, depositar en un repositorio institucional o como capítulo de libro), con el reconocimiento de la autoría y publicación inicial en esta revista.
3. Los autores y autoras están autorizados y son incitados/as a publicar y compartir su trabajo en línea (por ejemplo, en repositorios institucionales o páginas personales) antes o durante el proceso editorial, pues puede dar lugar a modificaciones productivas o aumentar el impacto y las citas del trabajo publicado (Véase El Efecto del Acceso Libre).
Esta obra está disponible bajo la Licencia Creative Commons Atribución-CompartirIgual 4.0.
