Revista Digital de Investigación en Docencia Universitaria

Academic performance, teacher assessment and student-teacher interaction in online versus face-to-face teaching

Resumen Introducción: el cambio de entorno de aprendizaje, de presencial a online, provocado por la pandemia del coronavirus SARS-COV2 en el ámbito universitario de Singapur tuvo impacto en el rendimiento académico, la valoración del docente y la interacción alumno-profesor. Objetivo: evaluar el impacto del cambio de entorno de aprendizaje en el rendimiento académico, la valoración del docente y la interacción alumno-profesor, Método: se compararon las calificaciones y las encuestas de evaluación de 282 estudiantes de dos cohortes que en el año 2020 cursaron de forma consecutiva formación universitaria presencial y online. Resultados: los resultados muestran diferencias en el rendimiento académico, pero no así la valoración del docente y la interacción alumno-profesor. Discusión: es posible mantener una calidad educativa óptima sin alterar la valoración del docente y la interacción alumno-profesor, tanto en la modalidad online como presencial, pero es necesario presentar un método de evaluación coherente con la modalidad utilizada.

Abstract Introduction: the change in the learning environment, from face-to-face to online, caused by the SARS-COV2 coronavirus pandemic in the Singapore university environment had an impact on academic performance, teacher assessment and student-teacher interaction. Objective: to evaluate the impact of the change in the learning environment on academic performance, teacher assessment and student-teacher interaction. Method: the grades and evaluation surveys of 282 students from two cohorts who studied in 2020 were compared consecutively face-to-face and online university training. Results: the results show differences in academic performance, but not the teacher’s assessment and student-teacher interaction. Discussion: it is possible to maintain an optimal educational quality without altering the teacher’s assessment and the student-teacher interaction, both in the online and face-to-face modes, but it is necessary to present an evaluation method consistent with the modality used.

Culture of evaluation for learning according to students and teachers of a Mexican public university

Resumen Introducción : La cultura de la evaluación para el aprendizaje es aquella donde las estrategias evaluativas empleadas buscan promover y mejorar el aprendizaje del estudiantado. Objetivo : conocer la medida en que la cultura de la evaluación en una universidad pública mexicana está orientada hacia estrategias de evaluación para el aprendizaje. Método : se aplicaron dos encuestas a 1,849 estudiantes y 545 docentes durante 2022-1, considerando muestras aleatorias no probabilísticas. Resultados: los docentes reportaron que la estrategia de evaluación que mejor dominan es la elaboración de exámenes objetivos, y en menor medida la autoevaluación y coevaluación; por su parte, cerca de la mitad de estudiantes valoraron que el uso de éstas es de calidad deficiente a regular, sin embargo afirman estar satisfechos con el empleo de las estrategias de evaluación formativas de sus docentes. Discusión : Se observaron convergencias y divergencias (docentes/estudiantes) en torno al uso, calidad y dominio de estas estrategias evaluativas.

Abstract Introduction : The culture of assessment for learning is one where the evaluation strategies employed seek to promote and improve student learning. Objective : to know the extent to which the culture of evaluation in a Mexican public university is oriented towards evaluation strategies for learning. Method: Two surveys were applied to 1,849 students and 545 teachers during 2022-1, considering random non-probability samples. Results : the teachers reported that the evaluation strategy that they dominate the most is the development of objective examinations, and to a lesser extent self-evaluation and coevaluation; for its part, about half of students assessed that the use of these is of poor quality to regular, however, they claim to be satisfied with the use of formative assessment strategies by their teachers. Discussion : Convergences and divergences (teachers/students) were observed regarding the use, quality, and mastery of these evaluation strategies.

Self-assessment in higher education: students’ perception of its usefulness in the learning process

Resumen Introducción: la evaluación del aprendizaje es un proceso donde es importante incorporar a los estudiantes a partir de la autoevaluación, para involucrarlos y hacerlos responsables de su aprendizaje. Objetivo: indagar sobre la utilidad de la autoevaluación desde la perspectiva de estudiantes de Educación Superior. Método: la metodología es mixta, con un análisis cualitativo realizado en ATLAS.ti y un análisis cuantitativo desarrollado en SPSS y Excel. Resultados: la autoevaluación no es usada asiduamente ya que solo el 23% de los participantes la han usado con una frecuencia alta. Conclusiones: a) un área de oportunidad es que los estudiantes comparen su aprendizaje con el de compañeros, b) para una autoevaluación eficaz los estudiantes deben fortalecer la confianza en sí mismos, c) es necesario que los docentes incorporen actividades posteriores a la autoevaluación, d) el uso de autoevaluaciones es útil si su implementación tiene un objetivo y cuenta con un proceso estructurado.

Abstract Introduction: Learning assessment is a process where it is important to incorporate students through self-assessment, to involve them and make them responsible for their learning. Objective: To investigate the usefulness of self-assessment from the perspective of higher education students. Method: The methodology is mixed, with a qualitative analysis carried out in ATLAS.ti and a quantitative analysis developed in SPSS and Excel. Results: Self-assessment is not frequently used since only 23% of the participants have used it with a high frequency. Conclusions: a) An area of opportunity is for students to compare their learning with their peers’, b) for effective self-assessment, students must strengthen their confidence in themselves, c) it is necessary for teachers to incorporate activities after self-assessment, d) the use of self-assessment is useful if its implementation has a goal and a structured process.

Factorial Invariance of the Maslach Burnout Inventory Student Survey (MBI-SS) in Chilean and Spanish University Students

Resumen Introducción : El Maslach Burnout Inventory-Student Survey (MBI SS) es uno de los instrumentos más reconocidos en todo el mundo para evaluar el burnout en población estudiantil. Objetivo : Estimar las propiedades psicométricas del Maslach Burnout Inventory Student Survey (MBI-SS) en estudiantes universitarios chilenos y españoles. Método : Se efectuó un estudio instrumental en una muestra no probabilística por cuotas en 103 estudiantes universitarios chilenos y 104 estudiantes españoles. Se realizó un análisis factorial confirmatorio, se analizó la confiabilidad del instrumento y su invarianza factorial para la muestra española y chilena. Los resultados confirman su estructura factorial de tres factores y muestran que el instrumento presenta una adecuada confiabilidad y una invarianza factorial en su versión propuesta de 12 ítems. Discusión : Se concluye que este instrumento y sus propiedades psicométricas permiten evaluar el burnout académico en estudiantes chilenos y españoles.

Abstract Introduction : The Maslach Burnout Inventory-Student Survey (MBI SS) is one of the most recognized instruments worldwide to assess burnout in the student population. Objective : To estimate the psychometric properties of the Maslach Burnout Inventory Student Survey (MBI-SS) in Chilean and Spanish university students. Method : An instrumental study was carried out in a non-probabilistic sample by quotas in 103 Chilean university students and 104 Spanish students. A confirmatory factorial analysis was performed, the reliability of the instrument and its factorial invariance for the Spanish and Chilean samples were analyzed. Results : The results confirm its three-factor factor structure and show that the instrument has adequate reliability and factor invariance in its proposed 12-item version. Discussion : It is concluded that this instrument and its psychometric properties allow the evaluation of academic burnout in Chilean and Spanish students.

Semantic Representations of Bioethics by Young University Students From the Ethics of Care

Resumen Introducción : En la actualidad los estudios de género cuentan con mucha importancia; por lo cual, esta investigación nos permitirá conocer el discernimiento de las mujeres acerca de la bioética. Objetivo: Reconocer las representaciones semánticas que jóvenes universitarias tienen en relación con la bioética. Metodología. Este estudio se realizó en estudiantes universitarias del área de las ciencias biológicas. Se empleó la técnica de redes semánticas naturales y la postura de ética del cuidado para su examinación. Resultados : Se evaluaron 191 palabras que representan una riqueza de 81 enunciados. Las principales expresiones fueron la “confianza”, “diálogo”, “debate”, “deber” y “principios”. Discusión. Las estudiantes universitarias ejercen su razón práctica eligiendo lo mejor para los otros, confirmando los supuestos de la ética del cuidado.

Abstract Introduction : At present, gender studies are very important, so research is carried out that will allow us to know the discernment of women about bioethics. Objective : To recognize the semantic representations that young university students have in relation to bioethics. Methodology. This study was carried out in university students in the area of biological sciences. The technique of natural semantic networks and the posture of ethics of care were used for its examination. Results : 191 words were evaluated, representing a richness of 81 statements. The main expressions were “trust”, “dialogue”, “debate”, “duty” and “principles”. Discussion . College students exercise their practical reason by choosing what is best for others, confirming the assumptions of the ethics of care.

Principles and assumptions of psychometric measurement

Abstract Introduction: the validity of claims about learner self-reports depends on the credibility of the measures used. Inventories developed within the psychometric tradition are expected to provide theoretical and empirical evidence for the validity and reliability of the measures to support subsequent interpretations and decisions. These practices depend on a set of assumptions based on latent trait theory that are essential to understanding what psychometric measures can do. This tutorial outlines essential characteristics of design and reporting of psychometric self-report data.

Resumen Introducción: la validez de las afirmaciones sobre los autoinformes depende de la credibilidad de las medidas utilizadas. Se espera que los inventarios desarrollados dentro de la tradición psicométrica proporcionen evidencia teórica y empírica de la validez y confiabilidad de las medidas para respaldar las interpretaciones y decisiones posteriores. Estas prácticas dependen de un conjunto de suposiciones basadas en la teoría del rasgo latente que son esenciales para comprender lo que pueden hacer las medidas psicométricas. Este documento describe las características esenciales del diseño y el informe de datos de autoinforme psicométrico.

Validity and reliability of an instrument for assessing microteaching in chemical biological sciences

Resumen Introducción: La microenseñanza es una técnica que permite el mejoramiento de las habilidades didácticas del docente con sus estudiantes en el aula, y para evaluar la realización de esta técnica en necesario contar con instrumentos válidos y confiables. Objetivo: Determinar la validez y confiabilidad del Cuestionario de Evaluación de Microenseñanza (CEM) de docentes de la Carrera de QFB en la FES Zaragoza, UNAM. Método : El CEM se aplicó a una muestra no probabilística de 124 estudiantes después de una clase de 20 minutos. Resultados . Se obtuvo un instrumento de 49 preguntas distribuidas en tres factores con una varianza total de 51.57%, según el Análisis Factorial Exploratorio, y alfa de Cronbach de 0.961. Discusión . Se considera que la validez y la confiabilidad obtenidas hacen que el CEM sea un instrumento útil para que los estudiantes puedan evaluar las habilidades didácticas de los docentes en la carrera de QFB.

Abstract Introduction : Microteaching is a technique that allows the improvement of teachers’ didactic skills with their students in the classroom, and in order to evaluate the performance of this technique it is necessary to have valid and reliable instruments. Objective : To determine the validity and reliability of the Microteaching Assessment Questionnaire (MAQ) of teachers of the QFB Career at the FES Zaragoza, UNAM. Method. The MAQ was applied to a non-probabilistic sample of 124 students after a 20-minute class. Results : An instrument of 49 questions distributed in three factors was obtained with a total variance of 51.57%, according to the Exploratory Factor Analysis, and Cronbach’s alpha of 0.961. Discussion : It is considered that the validity and reliability obtained make the MAQ a useful instrument for students to evaluate the teaching skills of teachers in the QFB career.

Assessment of teaching performance during the pandemic: opinion of Mexican university students

Resumen Introducción: La evaluación del desempeño de docentes universitarios desde la opinión de sus estudiantes es un proceso recurrente, aunque durante la pandemia hay pocas experiencias. Objetivo: evaluar el desempeño de docentes universitarios desde la opinión de sus estudiantes, en contexto de pandemia. Método: muestra representativa de 673 estudiantes de una universidad pública mexicana, se utilizó un cuestionario de desempeño docente adaptado para clases virtuales. Resultados: la mayoría de los docentes se adaptó a una dinámica de trabajo virtual asincrónica, aunque un porcentaje importante (41.9%) continuó impartiendo clases de manera sincrónica (videoconferencias). Los docentes de etapas formativas iniciales promovieron principalmente el aprendizaje individual de contenidos, contrastando con aquellos de etapas avanzadas, quienes fomentaron un aprendizaje situado. Estudiantes con opiniones desfavorables respecto al dominio de contenidos y a las estrategias de evaluación, mencionaron la promoción de un aprendizaje memorístico, en desmedro de aprendizajes más constructivistas. Los contrastes fueron estadísticamente significativos.

Abstract Introduction: The evaluation of the performance of university teachers from the opinion of their students is a recurring process, although during the pandemic there are few experiences. Objective: to evaluate the performance of university teachers from the opinion of their students, in the context of a pandemic. Method: representative sample of 673 students from a Mexican public university, a teacher performance questionnaire adapted for virtual classes was used. Results: most of the teachers adapted to an asynchronous virtual work dynamic, although a significant percentage (41.9%) continued to teach classes synchronously (videoconferences). Teachers in initial formative stages mainly promoted individual content learning, contrasting with those in advanced stages, who promoted situated learning. Students with unfavorable opinions regarding content mastery and assessment strategies mentioned the promotion of rote learning, to the detriment of more constructivist learning. The contrasts were statistically significant.

List of the Saber 11 Test, admission exam, academic average, saber protest of students of the psychology program of the University of Magdalena

Resumen Introducción : La calidad de la educación superior en Colombia se mide a través de los indicadores que arrojan las Pruebas Saber-Pro, este examen evalúa competencias genéricas y específicas del futuro profesional en psicología, por ello, en esta investigación se realizó el análisis de la relación entre el promedio académico, los resultados obtenidos en el examen de admisión, las Pruebas Saber 11, las Pruebas Saber Pro y promedio académico de los estudiantes de Psicología de la Universidad del Magdalena. Métodos : Se seleccionaron todos los estudiantes que fueron admitidos entre el año 2012 y el 2016, siendo 246 del género femenino y 86 del género masculino, se utilizó análisis multivariado. Objetivo: establecer la relación con el rendimiento en la prueba estandarizada SABER PRO para psicología. Resultados : El análisis que se realizó fue con la cohorte de ingreso 2012 por Ji-cuadrado del Saber-Pro y las variables de los puntajes y las sociodemográficas, encontrando una asociación estadísticamente significativa entre los cuartiles de Saber Pro y los cuartiles de los puntajes de admisión.

Abstract Introduction : The quality of higher education in Colombia is measured through the indicators that the Saber-Pro Tests show, this exam evaluates generic and specific competencies of the future professional in psychology, therefore, in this research the analysis of the relationship between the academic average, the results obtained in the admission exam, the Saber 11 Tests, the Saber Pro Tests and the academic average of Psychology students at the University of Magdalena. Methods : All students who were admitted between 2012 and 2016 were selected, being 246 female and 86 male, multivariate analysis was used. Objective : to establish the relationship with performance in the SABER PRO standardized test for psychology. Results : The analysis that was carried out was with the 2012 admission cohort by Chi-square of Saber-Pro and the variables of the scores and sociodemographics, finding a statistically significant association between the Saber Pro quartiles and the quartiles of the scores of admission.

Shorter maybe better: Psychometric properties of the UWES-3 items for measuring engagement in university Mexican teachers

Resumen Introducción: El engagement laboral es un efecto psicológico positivo relevante en la literatura, y prácticamente son inexistentes estudios de validez de la versión ultra-breve de la Utrecht Work Engagement Scale en Latinoamérica. Objetivo: identificar las propiedades psicométricas de la versión ultra-breve de la Utrecht Work Engagement Scale (UWES-3) y analizar su equivalencia con la versión UWES-9 en una muestra de docentes de una Universidad Pública de México. Método: la muestra final fue de N=247 profesores universitarios, quienes contestaron la UWES en sus versiones de 9 y 3 ítems, así como el Cuestionario de Evaluación de Síndrome de Quemarse por el Trabajo para personal de edu¬cación (CESQT-PE) con el propósito de estimar su validez discriminante. Resultados: Los resultados confirmaron correlaciones muy altas entre ambas versiones del UWES (3-9) (r=>.82-.93), una estructura unidimensional del UWES- 3 con mayores cargas factoriales (>.75), valores de consistencia interna satisfactorios (>.70) y correlaciones altas en la dirección esperada y similares con el CESQT-PE (q=.02-.08). Conclusiones: Se concluye que existe equivalencia del UWES-3 y el UWES-9 y se discuten los beneficios prácticos de la versión ultra-breve para la medición del engagement laboral en docentes universitarios.

Abstract Introduction: Work engagement is a relevant positive psychological effect in the literature, and validity studies of the ultra-brief version of the Utrecht Work Engagement Scale are practically nonexistent in Latin America. Objective: to identify the psychometric properties of the ultra-brief version of the Utrecht Work Engagement Scale (UWES-3) and to analyze its equivalence with the UWES-9 version in a sample of teachers from a public university in Mexico. Method: the final sample consisted of N=247 university teachers, who answered the 9-item and 3-item versions of the UWES and the Burnout Evaluation Questionnaire for Education Personnel (CESQT-PE) to estimate its discriminant validity. Results: The results confirmed very high correlations between both versions of the UWES (3-9) (r=>.82-.93), a unidimensional structure of the UWES- 3 with higher factor loadings (>.75), satisfactory internal consistency values (>.70) and high and similar correlations in the expected direction between both versions and the CESQT-PE (q=.02-.08). Conclusions: We conclude that there is equivalence of the UWES-3 and the UWES-9. The practical benefits of the ultra-brief version for the measurement of work engagement in university teachers are discussed.

Project Based Learning, Collective Portfolio and Nutrition: integrating knowledge in Unified Health System

Resumo Introdução : a formação na área de saúde deve contemplar equanimemente os domínios psicomotor, cognitivo e afetivo a partir da problematização de situações cotidianas do Sistema Único de Saúde (SUS). Objetivo : avaliar a formação do nutricionista a partir da integração de saberes da tríade ensino-serviço-comunidade, a partir da Aprendizagem Baseada em Projetos (ABP) e Portfólio Coletivo (PC) na micropolítica do SUS. Método : Um “chá de bebê” planejado e executado por estudantes, orientado por um grupo de docentes, destinado a gestantes da rede SUS, oportunizando o trabalho vivo dos conceitos-ferramentas ‘alteridade’, ‘vínculo’, ‘acolhimento’, e ‘gestão participativa’ foi empreendido. Resultados : Registros no PC evidenciaram articulação entre diferentes saberes e domínios de aprendizagem na formação do nutricionista por competências. Conclusão : ABP+PC é uma ferramenta de ensino-aprendizagem, potente e viável para a formação do profissional capaz de atuar no SUS integrando ensino-serviço-comunidade.

Abstract. Introduction : graduation in the health area should equally contemplate the psychomotor, cognitive and affective domains from the problematization of everyday situations of the Unified Health System (SUS). Objective : to evaluate the training of nutritionists based on the integration of knowledge from the teaching-service-community triad, based on Project-Based Learning (PBL) and Collective Portfolio (PC) in the micropolitics of the SUS. Method : a “baby shower” planned and executed by students, guided by a group of teachers, aimed at pregnant women in the SUS network, providing the live work of the concept-tools “alterity”, “bond”, “welcoming”, and “participatory management” was undertaken. Results : records in the CP showed articulation between different knowledge and learning domains in the training of nutritionists by skills. Conclusion: PBL+CP is a powerful and viable teaching-learning tool for the training of professionals capable of working in SUS integrating teachingservice-community.

The COVID-19 and the Assessment of the Teaching - Learning Process in Law Students

Resumen Introducción. La pandemia COVID-19 modificó todos los aspectos de la vida, incluso en el ámbito educativo, donde instituciones de educación superior implementaron clases por medio de plataformas digitales en todas las áreas del conocimiento, incluyendo el Derecho. Objetivo. Describir la valoración de estudiantes de la carrera de Derecho respecto del proceso de enseñanza - aprendizaje virtual e innovación de la docencia en el marco de la pandemia de COVID-19 en una institución de educación superior en el norte de Chile. Método. Se aplicó un cuestionario exprofeso orientado a evaluar la valoración de los participantes respecto del proceso de enseñanza - aprendizaje virtual e innovación de la docencia en el marco de la pandemia de COVID-19. Se realizaron análisis descriptivos y diferencias de proporciones. Resultados. La valoración respecto del proceso de enseñanza-aprendizaje fue mayoritariamente regular. Por su parte dentro de las ventajas destacaron la organización del tiempo y la posibilidad de visualizar las grabaciones de las clases. Conclusiones. Existe la necesidad de abordar factores que influyen en la calidad del aprendizaje, cuyas causas son ajenas a lo académico.

Abstract Introduction. The COVID-19 pandemic modified all aspects of life including the educational field, where higher education institutions implemented classes through digital platforms, in all areas of knowledge, including Law. Objective. To describe the assessment of law students regarding the virtual teaching-learning process and teaching innovation in the context of the COVID-19 pandemic in a higher education institution in northern Chile. Method. A questionnaire was applied to evaluate the participants’ evaluation of the e-learning and teaching innovation process in the context of the COVID-19 pandemic. Descriptive analyses and differences in proportions were performed. Results. The evaluation of the teaching-learning process was mostly regular. On the other hand, among the advantages, the organization of time and the possibility of visualizing the class recordings were highlighted. Conclusions. There is a need to address factors that influence the quality of learning, the causes of which are not academic.