Journal of New Approaches in Educational Research

Questionnaire evaluating teaching competencies in the university environment. Evaluation of teaching competencies in the university
Cuestionario de evaluación de las competencias docentes en el ámbito universitario. Evaluación de las competencias docentes en la universidad

DOI https://doi.org/10.7821/naer.2015.1.106
Published on: Jan 15, 2015
| Cite this article
Articlemetrics

Articulo main

Juan Antonio Moreno-Murcia
Universidad Miguel Hernández (Spain)
Yolanda Silveira Torregrosa
Universidad Miguel Hernández (Spain)
Noelia Belando Pedreño
Universidad Miguel Hernández (Spain)

Abstract

The objective of this study was to design and validate a measuring instrument to evaluate the performance of university professors. The Evaluation of Teaching Performance (CEID [Centro de Estudios e Investigaciones Docentes (Center for Teaching Studies and Research)]) questionnaire was administered to 1297 university students. Various factor analyses were performed (exploratory and confirmatory), of the internal consistency, descriptive statistics, and correlation of all of the items. The data obtained confirmed a suitable psychometric structure for the CEID scale, which was made up of three dimensions (planning, development, and result). It is therefore concluded that it is a valid and reliable instrument for evaluating the performance of a university professor.

El objetivo del estudio ha sido diseñar y validar un instrumento de medida para evaluar la intervención del docente universitario. Se administró el cuestionario de Evaluación de la intervención Docente (CEID) a 1297 universitarios. Se realizaron diferentes análisis factoriales (exploratorio y confirmatorio), de la consistencia interna, estadísticos descriptivos y de correlación de todos los ítems. Los datos obtenidos confirmaron una adecuada estructura psicométrica para la escala CEID, que quedó compuesta por tres dimensiones (planificación, desarrollo y resultado). Se concluye por tanto que es un instrumento válido y fiable para evaluar la intervención del docente universitario.

Keywords
TEACHING EVALUATION; MEASURING INSTRUMENT; ESTIMATION; UNIVERSITY TEACHING; TEACHING COMPETENCE
EVALUACIÓN DOCENTE; INSTRUMENTO DE MEDIDA; ESTIMACIÓN; DOCENCIA UNIVERSITARIA; COMPETENCIA DOCENTE
Issue
Vol 4, No 1 (2015)
Section
Articles
References

  • Agencia Nacional de Evaluación de la Calidad (ANECA) (2007). Programa Audit. Guía para el diseño de sistemas de garantía interna de calidad de la formación universitaria. Retrieved from http://www.aneca.es/var/media/166338/audit_doc01_guidiseno_070621.pdf

  • Anderson, J. C., & Gerbing, D. W. (1988). Structural equation modeling in practice: A review and recommended two-step approach. Psychological Bulletin, 103, 411-423. doi:10.1037/0033-2909.103.3.411

  • Arranz, P. (2007). Los sistemas de garantía de calidad en la educación superior en España. Propuesta de un modelo de acreditación para las titulaciones de grado en empresa (Doctoral dissertation). Retrieved from http://hdl.handle.net/10259/78

  • Balam, E., & Shannon, D. (2010). Student ratings of college teaching: A comparison of faculty and their students. Assessment and Evaluation in Higher Education, 35, 209-221. doi:10.1080/02602930902795901

  • Barnes, D., Engelland, B., Matherne, C., Martin, W., Orgeron, C., Ring, J., et al. (2008). Developing a psychometrically sound measure of collegiate teaching proficiency. College Student Journal, 42, 199-213.

  • Benton, S. L., & Cashin W. E. (2012). Student ratings of teaching: A summary of research and literature (IDEA Paper no. 50). Manhattan, KS: The IDEA Center. Retrieved from http://www.theideacenter.org/sites/default/files/idea-paper_50.pdf.

  • Berk, R. A. (2009). Using the 360 degrees multisource feedback model to evaluate teaching and professionalism. Medical Teacher, 31(12), 1073-80. doi:10.3109/01421590802572775

  • Berk, R. A. (2013). Top five flashpoints in the assessment of teaching effectiveness. Medical Teacher, 35, 15-26. doi: 10.3109/0142159X.2012.732247 

  • Berk, R. A. (2014). Should Student Outcomes Be Used to Evaluate Teaching? The Journal of Faculty Development, 28(2), 87-96.

  • Bol-Arreba, A., Sáiz-Manzanares, M. C., & Pérez-Mateos, M. (2013). Validación de una encuesta sobre la actividad docente en Educación Superior. Aula Abierta, 41(2), 45-54.

  • Buendía Eisman, L. (coord.) (1996). Evaluación educativa (Monográfico). Revista de Investigación Educativa, 14(2).

  • Byrne, B. M. (2001). Structural equations modeling with Amos: Basic concepts, application, and programming. Mahwah, NJ: Erlbaum.

  • Carreras Barnés, J. (2005). El concepto de competencia y el diseño de planes de estudio a partir de perfiles competenciales. Dos cuestiones que hay que aclarar en el marco de las EEES. In El Debate sobre las competencias a la enseñanza universitaria (pp. 8-25). Barcelona: ICE UB.

  • Casero, A. (2008). Propuesta de un cuestionario de evaluación de la calidad docente universitaria consensuado entre alumnos y profesores. Revista de Investigación Educativa, 26, 25-44.

  • Cecchini, J. A., González, C., & Montero, J. (2007). Participación en el deporte y fairplay [Participation in sport and fair play]. Psicothema, 19, 57-64.

  • Dodeen, H. (2013). Validity, Reliability, and Potential Bias of Short Forms of Students' Evaluation of Teaching: The Case of UAE University. Educational Assessment, 18(4), 235-250. doi:10.1080/10627197.2013.846670

  • Finney, S. J., & DiStefano, C. (2006). Non-normal and categorical data in structural equation modelin. In G. R. Hancock & R. O. Mueller (Eds.), Structural equation modeling: a second course (pp. 269-314). Greenwich: Information Age Publishing.

  • Garcia Ramos, J. M., & Congosto, E. (2000). Evaluación y Calidad del Profesorado. In T. González Ramírez (Ed.), Evaluación y Gestión de la Calidad Educativa. Un Enfoque Metodológico (pp. 127-157). Málaga: Aljibe.

  • Gargallo, B. (2008). Estilos de docencia y evaluación de los profesores universitarios y su influencia sobre los modos de aprendizaje. Revista Española de Pedagogía, 66(241), 425-446.

  • González, I., & López, I. (2010). Validación y propuesta de un modelo de indicadores de evaluación de la calidad en el la universidad. Revista Iberoamericana de Educación, 53(6), 1-13.

  •  González López, I., & López Cámara, A. (2010). Sentando las bases para la construcción de un modelo de evaluación a las competencias docentes del profesorado universitario. Revista de Investigación Educativa, 28(2), 403-423.

  • Gursoy, D., & Umbreit, W. T. (2005). Exploring students’ evaluations of teaching effectiveness: What factors are important? Journal of Hospitality and Tourism Research, 29(1), 91-109. doi:10.1177/1096348004268197

  • Hattie, J. (2009). Visible learning: A synthesis of 800+ meta-analyses on archievement. Oxford, UK: Routledge.

  • Keeley, J., Furr, R. M., & Buskist, W. (2010). Differentiating psychology students’ perceptions of teachers using the Teacher Behavior Checklist. Teaching of Psychology, 37, 16-20. doi:10.1080/00986280903426282

  • Kember, D., & Leung, D. (2008). Establishing the validity and reliability of course evaluation questionnaires. Assessment & Evaluation in Higher Education, 33, 341-353. doi:10.1080/02602930701563070

  • Khong, T. L. (2104). The Validity and Reliability of the Student Evaluation of Teaching: A case in a Private Higher Educational Institution in Malaysia. International Journal for Innovation Education and Research, 2(9), 57-63.

  • Kuzmanovic, M., Savic, G., Gusavac, B. A., Makajic-Nikolic, D., & Panic, B. (2013). A Conjoint-based approach to student evaluations of teaching performance. Expert Systems with Applications, 40(10), 4083-4089. doi:10.1016/j.esw.2013.01.039

  • Leary, H., Walker, A., Shelton, B. E., & Harrison, F. M. (2013). Exploring the Relationships Between Tutor Background, Tutor Training, and Student Learning: A Problem-based Learning Meta-Analysis. Interdisciplinary Journal of Problem-based Learning, 7(1), 40-66. doi:10.7771/1541-5015.1331

  • Leunga, X. Y., Jiangb, L., & Busserb, J. (2013). Online student evaluations of hospitality professors: A cross-cultural comparison. Journal of Hospitality, Leisure, Sport & Tourism Education, 12(1), 36-46. doi: 10.1016/j.jhlste.2012.10.001

  • López-Barajas, D., & Carrascosa, J. (2005). La evaluación de la docencia universitaria. Dimensiones y variables más relevantes. Revista de Investigación Educativa, 23(1), 57-84.

  • López Ruiz, J. I. (2011). Un giro copernicano en la enseñanza universitaria: formación por competencias. Revista de Educación, 356, 279-301. doi:10-4438/1988-592X-RE-2010-356-040

  •  Lukas, J. F., Santiago, K., Etxeberria, J., & Lizasoain, L. (2014). Adapting to the European Higher Education Area a questionnaire on student opinion about the teaching of lecturers. Revista Electrónica de Investigación y Evaluación Educativa, 20(1). doi:10.7203/relieve.20.1.3812

  • Marqués, M. (2008, September). Una experiencia madura de innovación educativa. In Jornadas Nacionales sobre Estudios Universitarios de los Proyectos de Convergencia a la Realidad de los Nuevos Títulos. Universidad Jaume I.

  • Marsh, H. W. (1987). Students' evaluations of university teaching: Research findings, methodological issues, and directions for future research. International Journal of Educational Research, 11, 253-288. doi:10.1016/0883-0355(87)90001-2

  • Marsh, H. W., Richards, G. E., Johnson, S., Roche, L., & Tremayne, P. (1994). Physical self-description questionnaire: psychometric properties and a multitrait-multimethod analysis of relations to existing instruments. Journal of Sport and Exercise Psychology, 16, 270-305.

  • Moore, S., Walsh, G., & Risquez, A. (2012). Estrategias eficaces para enseñar en la Universidad. Madrid: Narcea.

  • Mortelmans, D., & Spooren, P. (2009). A revalidation of the SET37-questionnaire for student evaluations of teaching. Educational Studies, 35, 547-552. doi:10.1080/03055690902880299

  • Muñiz, J., & Bartram, D. (2007). Improving international tests and testing. European Psychologist, 12, 206-219. doi:10.1027/1016-9040.12.3.206

  • Muñiz. J., & Fonseca-Pedrero, E. (2008). Construcción de instrumentos de medida para la evaluación universitaria. Revista de Investigación en Educación, 5, 13-25.

  • Muñoz Cantero, J. M., Ríos de Deus, M. P., & Abalde, E. (2002). Evaluación Docente vs. Evaluación de la Calidad. (RELIEVE). Revista Electrónica de Investigación y Evaluación Educativa, 8(2), 103-134.

  • Ntoumanis, N. (2001). A self-determination approach to the understanding of motivation in physical education. British Journal of Educational Psychology, 71, 225-242. doi:10.1348/000709901158497

  • Onwuegbuzie, A. J., Daniel, L. G., & Collins, K. M. T. (2009). A meta-validation model for assessing the score-validity of student teaching evaluations. Quality & Quantity, 43, 197-209. doi:10.1007/s11135-007-9112-4

  • Padilla, M. T., & Gil, J. (2008). La evaluación orientada al aprendizaje en la Educación Superior: condiciones y estrategias para su aplicación en la docencia universitaria. Revista Española de Pedagogía, 66(241), 467-486.

  • Pallisera, M., Fullana, J., Planas, A., & del Valle, A. (2010). La adaptación al espacio europeo de educación superior en España. Los cambios/retos que implica la enseñanza basada en competencias y orientaciones para responder a ellos. Revista Iberoamericana de Educación, 52(4), 1-13.

  • Pozo, C., Giménez, M. L., & Bretones, B. (2009). La evaluación de la calidad docente en el nuevo marco del EEES. Un estudio sobre la encuesta de opinión del Programa DOCENTIA-ANDALUCÍA. Educación XXI, 11, 43-64.

  • Pozo, C., Bretones, B., Martos, M. J., & Alonso, E. (2011). Evaluación de la actividad docente en el Espacio Europeo de Educación Superior: un estudio comparativo de indicadores de calidad en universidades europeas. Revista Española de Pedagogía, 248, 145-163.

  • Salmerón, L. (2013). Actividades que promueven la transferencia de los aprendizajes: una revisión de la literatura. Revista de Educación, special issue 2013. doi:10.4438/1988-592X-RE-2013- EXT-253

  • Spooren, P., Brockx, B., & Mortelmans, D. (2013). On the Validity of Student Evaluation of Teaching: The State of the Art. Review of Educational Research, 83(4), 598-642. doi:10.3102/0034654313496870

  • Shukrie, R. (2011). Professor’s performance for effective teaching (Kosovo case). Procedia Social and Behavioral Sciences, 12, 117-121. doi:10.1016/j.sbspro.2011.02.015

  • Simona M., Felicia, S., & Georgiana, C. V. (2014). Content analysis regarding the multiple evaluation of the academic activity in CMU. Global Journal of Guidance and Counselling, 4(1), 25-31. Retrieved from http://www.world-education-center.org/index.php/gjgc/article/view/3196

  • Tejedor, F. J., & García Valcárcel, A. (1996). Evaluación institucional en la Universidad. Revista Galega de Pisopedagoxia, 6, 101-146.

  • Toland, M. D., & De Ayala, R. J. (2005). A multilevel factor analysis of students’ evaluations of teaching. Educational and Psychological Measurement, 65, 272-296. doi:10.1177/0013164404268667

  • Vansteenkiste, M., Soenens, B., Sierens, E., Luyckx, K., & Lens, W. (2009). Motivational profiles from a self-determination perspective: The quality of motivation matters. Journal of Educational Psychology, 101, 671-688. doi:10.1037/a0015083

  • Xu, Y. (2012). Developing a comprehensive teaching evaluation system for foundation courses with enhanced validity and reliability. Educational Technology Research and Development, 60(5), 821-837. doi:10.1007/s11423-012-9240-y

© 2024 - Journal of New Approaches in Educational Research