SciELO - Scientific Electronic Library Online

 
vol.32 issue2Epidemiology of violence against adolescents in Brazil: Data analysis of the violence and accident surveillance system* author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

  • Have no cited articlesCited by SciELO

Related links

  • Have no similar articlesSimilars in SciELO

Share


Revista Medica Herediana

Print version ISSN 1018-130XOn-line version ISSN 1729-214X

Rev Med Hered vol.32 no.2 Lima Apr./Jun. 2021

http://dx.doi.org/10.20453/rmh.v32i2.3980 

Investigación Original

Evaluación docente en los programas quirúrgicos de residentado médico mediante el instrumento MEDUCPG14

Academic evaluation of surgical resident programs through the MEDUCPG14 program

Mónica L. Flores Noriega1 

Luz Carbajal Arroyo2 

1Facultad de Medicina Alberto Hurtado, Universidad Peruana Cayetano Heredia. Lima, Perú.

2Facultad de Ciencias y Filosofía, Universidad Peruana Cayetano Heredia. Lima, Perú.

RESUMEN

Objetivos

: Determinar la validez y confiabilidad de los resultados del instrumento MEDUCPG14 y describir los resultados de la evaluación docente en los programas quirúrgicos de residentado médico de una universidad privada.

Material y métodos

: Estudio de tipo transversal de validación del instrumento MEDUCPG14. El instrumento fue aplicado a 77 médicos residentes de los programas quirúrgicos de residentado médico de la Universidad Peruana Cayetano Heredia (UPCH) y se evaluaron a 41 profesores.

Resultados

: Se obtuvo un coeficiente de confiabilidad de 0,959. Se encontraron dos dominios: Enseñanza y evaluación y retroalimentación (EER) (11 ítems) con confiabilidad de 0,957 y Trato respetuoso a pacientes y equipo de salud (TR) (3 ítems) con confiabilidad de 0,923. El porcentaje de respuesta fue mayor al 90%. No hubo diferencias significativas en los puntajes promedio por sexo, edad, especialidad y sede docente.

Conclusión

: El instrumento MEDUCPG-14 tiene una adecuada validez y confiabilidad en los programas quirúrgicos del residentado médico. Se requieren 4 o más evaluaciones por docente; no hubo diferencias en la evaluación de los docentes quirúrgicos en relación al sexo, sede docente y especialidad quirúrgica del médico residente.

PALABRAS CLAVE: Evaluación educacional; docentes médicos; evaluación de programas e instrumentos de investigación; cuerpo médico de hospitales; reproducibilidad de los resultados

SUMMARY

Objectives

: To determine the validity and reliability of results obtained using the MEDUCPG14 instrument as well as to describe the results of the academic evaluation of surgical resident programs of a private university.

Methods

: A cross- sectional study was performed; the instrument was applied to 77 residents of surgical programs of Universidad Peruana Cayetano Heredia and to 41 professors.

Results

: A reliability coefficient of 0.959 was obtained. Two domains were found: teaching, feedback and evaluation (11 items) attained a coefficient of 0.957 and respectful treatment (3 items) attained a coefficient of 0.923. Answer rate was higher than 90%. No difference by age, gender and subspecialty was found.

Conclusion

: MEDUCPG-14 has adequate validity and reliability to evaluate academic performance in surgical resident programs. Four or more evaluations per professor are needed; no difference by age, sex and subspecialty was found.

KEYWORDS: Educational measurement; faculty; medical; evaluation of research programs and tools; medical staff; hospital; reproducibility of results

INTRODUCCIÓN

Las instituciones de educación superior en salud tienen la obligación de formar profesionales competentes, utilizando los conocimientos y las estrategias de enseñanza actualizadas 1,2, Los docentes deben estar en constante actualización, aplicando las estrategias aprendidas en el campo clínico o en el salón de clase 3,4. También es importante saber cómo se debe evaluar el desempeño docente, que ha sido explorado en diferentes formas y con diversos instrumentos.

Un enfoque es la evaluación 360°, que consiste en evaluar el desempeño docente desde varios puntos (como un circulo), a través de por ejemplo; la evaluación de los docentes mediante la opinión de los alumnos, las autoevaluaciones (evaluación del propio docente) y las coevaluaciones (evaluación por un par), los logros de aprendizaje del estudiante, la evaluación de los superiores (Jefes de Programas, Decanos), opinión de exalumnos entre otros; instrumentos que abordan, las diferentes características un aspecto del desempeño 5.

De todas ellas, la evaluación del docente mediante la opinión de los alumnos es una de las más estudiadas. A nivel de posgrado en el año 1998, se desarrolló un instrumento llamado SFDP26 que evaluaba la calidad de la enseñanza clínica de los docentes de la Universidad de Michigan en médicos residentes, encontrando un buen coeficiente de confiabilidad 6. En Holanda se aplicó el instrumento MCTQ (Maastricht clinical teaching questionnaire) a estudiantes de la consulta ambulatoria evaluando a los docentes clínicos en ese ámbito encontrando un coeficiente de confiabilidad aceptable 7.

A nivel latinoamericano, se realizó un estudio en Chile con el instrumento MEDUC30 con un alto nivel de validez y confiabilidad (0,97) 2), y en el postgrado se han publicado dos estudios en Chile en donde se aplicó el instrumento MEDUC-RX32 a médicos residentes de radiología 8, y el MEDUC14 el cual evalúa a los docentes en los programas de posgrado en general 9, ambos instrumentos validados en un país de habla hispana con características similares al nuestro. El instrumento MEDUC-PG14 sirve para evaluar el desempeño de los docentes clínicos de los programas de postgrado. Fue desarrollado en el año 2015 en la Pontificia Universidad Católica de Chile. Se compone de 14 ítems en una escala de Likert de 5 opciones: desde Completamente de acuerdo “4” a Completamente en desacuerdo “0”. Un puntaje más alto significa una percepción más positiva y un puntaje de “5” significa no sabe o no aplica 9.

En nuestro país no se han realizado este tipo de evaluaciones por lo que se decidió realizar este estudio, cuyo objetivo fue determinar la validez y confiabilidad de los resultados del instrumento MEDUCPG14 en nuestro medio y describir los resultados de la evaluación docente en los programas quirúrgicos de residentado médico de la Universidad Peruana Cayetano Heredia.

MATERIAL Y MÉTODOS

Tipo y diseño de estudio

Estudio de tipo transversal, en el que se realizó en una primera instancia la validación de instrumento en nuestro medio y luego se aplicó a los médicos residentes. Se utilizó el instrumento MEDUCPG14 (Chile) aplicándolo en la evaluación de los docentes de posgrado de los programas quirúrgicos de residentado médico de la Universidad Peruana Cayetano Heredia (UPCH). Los docentes fueron evaluados por 93 médicos residentes que contestaron las encuestas, obteniéndose un número total de aplicaciones del instrumento de 293 inicialmente.

Muestra y método de muestreo

Se realizó un muestreo inicial de 70 aplicaciones del instrumento o encuestas, sobre la base de un nivel de confiabilidad del estudio realizado en Chile 9, que fue de 0,947, con un poder de 0,80 y un error de estimación de 0,09

Procedimiento de validación

Validez y confiabilidad

Validez de contenido: El instrumento MEDUC-PG14 fue creado y validado en Chile por Pizarro 9, que es un ambiente similar a nuestro medio y se consideró una muestra mínima de 70 aplicaciones para realizar la validación en el presente estudio.

Validez de constructo

Se evaluó según el análisis factorial. En el estudio chileno se encontró que el instrumento MEDUC- PG14 tiene 3 dimensiones o dominios 1: Enseñanza y evaluación; 2: Trato respetuoso al paciente y equipo de salud; 3: Entrega de retroalimentación.

Validez de estructura interna

Se evaluó con el valor alfa de Cronbach, donde un valor mayor a 0,8 es considerado altamente confiable. En el estudio chileno se encontró un alfa de Cronbach de 0,947, lo que demostró una alta confiabilidad

De acuerdo al grado de confiabilidad se retiraron las encuestas en las que había menos de 4 evaluaciones por docente .Las variables medidas fueron: el puntaje de la evaluación docente, edad, año de estudio, sexo, sede hospitalaria y especialidad.

El instrumento MEDUC-PG14 se compone de 14 ítem en una escala de Likert de 5 opciones: desde “completamente de acuerdo” 4 puntos a “completamente en desacuerdo” 0 puntos. Un puntaje más alto significa una percepción más positiva y un puntaje de 5 significa no sabe o no aplica. El MEDUC-PG14 creado en Chile mide 3 dominios o sub-escalas: 1: Enseñanza y evaluación; 2: Trato respetuoso al paciente y equipo de salud; 3: Entrega de retroalimentación. Adicionalmente a la encuesta se incluyeron dos preguntas abiertas, una en la que podían resaltar aspectos positivos y otra en la que resaltaron aspectos a mejorar de los docentes.

Procedimiento de recolección de datos

La recolección de la información fue realizada por otro investigador. De un total de 268 médicos residentes de las especialidades quirúrgicas, respondieron la encuesta 93 y se evaluaron inicialmente a 85 profesores. Cada docente tuvo de 1 a 8 evaluaciones siendo el número total de encuestas respondidas de 293. Al retirarse las encuestas en las que había menos de 4 evaluaciones por docente, el número final de residentes para el análisis fue de 77, el número final de docentes evaluados fue 41 y el número total de aplicaciones del instrumento 199 (Gráfico 1).

Gráfico 1 Resultados del procesamiento y análisis de datos de encuestas. 

Procesamiento y análisis de datos

En la primera parte del estudio se determinó la validez y confiabilidad del instrumento y en la segunda parte, se realizó el análisis de los resultados de las evaluaciones realizadas por los médicos residentes de acuerdo a las variables estudiadas (edad y sexo, año de residencia, sede docente y especialidad quirúrgica) de acuerdo a los puntajes obtenidos por los docentes.

Los datos obtenidos fueron ingresados en una base de datos y tabulados en el software Microsoft Excel 2013 y en el programa STATA v. 14. Se calcularon frecuencias absolutas y relativas, medias, desviación estándar, dominios y puntaje promedio global para las variables señaladas previamente y se realizó la prueba de t de Student y ANOVA para comparar los puntajes promedio según cada variable sociodemográfica y los componentes del instrumento, con un nivel de significancia de 0,05.

Aspectos éticos

El estudio fue aprobado por la Dirección Postgrado y Especialización de la UPCH y por el Comité de Ética de la UPCH. Los médicos residentes de los programas quirúrgicos de segunda especialización de la UPCH que aceptaron participar, firmaron el respectivo consentimiento informado.

RESULTADOS

Análisis de validez y confiabilidad

El análisis factorial mostró que el instrumento MEDUC-PG14 en el presente estudio, posee una estructura de 2 factores. El primer factor dio cuenta de 66% de la varianza, mientras que los 2 factores en conjunto explicaron 76% de la varianza total.

Los ítems que contienen cada uno de los factores y el alfa de Cronbach respectivo, se muestran en la Tabla 1.

Tabla 1 Coeficiente de confiabilidad de acuerdo a los dominios del instrumento MEDUCPG 14. 

El instrumento empleado en nuestro estudio obtuvo un alfa de Cronbach global de 0,959, lo que refleja una alta confiabilidad. Así mismo, se encontró que el coeficiente se mantuvo en valores mayores a 0,8 cuando el número de encuestas por docente era mayor o igual a 4.

Características de los médicos residentes

El número total de residentes considerados en el estudio fue de 77. El promedio de edad fue de 30,5 años con un rango entre 25 y 46 años. El 72,7 % fueron varones. Veintiséis fueron residentes de primer año, 25 de segundo y 25 estuvieron en su tercer año de residencia. Sólo un médico residente cursaba el cuarto año de residencia. El 70% de residentes fueron de la sede hospitalaria Hospital Cayetano Heredia, el 20,7% del Hospital Arzobispo Loayza, el 7,8% del Instituto Nacional de oftalmología y el 1,5% del Hospital de Chancay. En total se evaluaron seis especialidades quirúrgicas; se observaron puntajes más altos en la especialidad de cirugía general, seguido de oftalmología (Tabla 2).

Tabla 2 Distribución de médicos residentes según especialidad y puntaje de evaluación. 

p >0,05

Resultados de las evaluaciones

Los 77 médicos residentes evaluaron a 41 docentes, obteniéndose 199 aplicaciones del instrumento. En la Tabla 3 se puede apreciar el porcentaje de respuestas en cada ítem y la media de las evaluaciones; el porcentaje de respuestas varió entre 95,5 y 98,5% y la media de las evaluaciones entre 3,10 y 3,47 de un máximo de 4.

Tabla 3 Puntaje por item del instrumento MEDUCPG 14. 

DS: desviación estándar

Los puntajes promedio de las evaluaciones de acuerdo al sexo fue ligeramente mayor en los médicos residentes del sexo femenino (3,35 ± 0,74 vs 3,29 ± 0,73), pero sin diferencia significativa (p > 0,05). Así mismo, en cuanto al año de residencia el mayor puntaje fue dado por los médicos residentes de primer año (3,38 ± 0,63), y en relación a la sede docente hubo puntaje algo mayor en la sede Hospital

Arzobispo Loayza (3,46 ± 0,57); no se encontró diferencias estadísticamente significativas entre los años de residencia ni entre las sedes. La especialidad con mejor calificación promedio fue cirugía general (3,58 ± 0,57) y la de menor calificación fue urología (3,05 ± 0,65) tampoco se encontraron diferencias significativas entre los puntajes promedios otorgados por especialidad (p> 0,05).

DISCUSIÓN

Los resultados del estudio ubican al instrumento MEDUC-PG14 en nuestro medio, como una buena alternativa para la evaluación docente basada en la opinión de los alumnos. El instrumento aborda los principales aspectos que se deben evaluar para el desempeño docente. Ha sido construido sobre la base de una metodología estricta y completa, involucrando a todos los autores educativos (residentes, docentes, jefe de postgrado, etc.) obteniendo una adecuada validez de contenido 9. También obtuvo una alta validez de constructo y validez interna, demostrando la existencia de 2 dimensiones y un coeficiente de confiabilidad de 0,959, valor altamente confiable, similar al del estudio chileno, lo que está corroborando que en nuestro medio también posee las mismas propiedades psicométricas y puede ser aplicado en nuestra población.

Estos hallazgos también son comparables con estudios de nivel internacional como los reportados por Stalmeijer 7, con el instrumento MCTQ (Maastricht Clinical Teaching Questionarie) con propiedades psicométricas adecuadas con rangos del coeficiente alfa entre 0,83 y 0,96 y por el SFDP´s con coeficiente de 0,97, también con los estudios mexicanos que presentaron instrumentos con confiabilidad de 0,82 a 0,97 de acuerdo al instrumento y a sus dimensiones (7, 10,11, 12).

Cuando se exploraron las dimensiones del instrumento, a diferencia del estudio chileno se encontraron dos dimensiones, siendo el nivel de confiabilidad alto para cada dimensión y comparable con el instrumento aplicado a la población chilena y con los estudios mexicanos. La única diferencia encontrada radica en que, en el estudio realizado en Chile, se hizo una diferencia en cuanto al aspecto de retroalimentación siendo considerada como una dimensión única, mientras que en nuestro estudio se incluyó en la dimensión de enseñanza y evaluación, lo cual abre la importancia de estos términos en nuestro medio.

Una ventaja importante además de sus propiedades psicométricas, es que es el primero en evaluar estudiantes del posgrado específicamente en los programas del residentado médico, hecho que hasta el momento no se había realizado en nuestro país. Otra ventaja, es que da la opción de realizar retroalimentación del desempeño docente de manera objetiva.

Una limitación puede ser que este instrumento por sí sólo, no constituye el ciento por ciento de la evaluación del desempeño docente, se requieren otras fuentes de información del mismo como se mencionó previamente, tales como la evaluación por los superiores o por los pares, pero es una herramienta útil y fácil de aplicar formando parte de esta evaluación 360° que es recomendable aplicar.

Cuando se exploraron los puntajes obtenidos se observó que los ítems mejor evaluados fueron el 6 (demuestra trato respetuoso…) y el 7 (demuestra empatía…), los que representan la capacidad casi innata de nuestros docentes como médicos, de demostrar su vocación de servicio de manera inconsciente, pero que es percibida por los médicos residentes. El de menor puntaje fue el número 10 (realiza feedback), lo que muestra que debería llamar a la reflexión sobre cómo podemos mejorarlo o diseñar estrategias de aprendizaje de este tema. Feedback o retroalimentación es un concepto educativo que involucra un esquema de acciones que se deben realizar con el residente para mejorar su desempeño reforzando las acciones positivas y diseñando planes de mejora sobre las acciones a corregir. Estos hallazgos son similares al estudio de Pizarro 9 y Huete (8).

Al contrario de lo que se podría suponer, no hubo diferencias en los puntajes según el género y la edad. El puntaje promedio de acuerdo al año de residencia fue disminuyendo a mayor año de residencia, hecho que pudiera ser explicado en razón que el tiempo de residencia puede influir en el conocimiento y la percepción que el médico residente pueda tener sobre el docente a evaluar o en la exigencia mayor que podría tener un médico residente de mayor edad; estos resultados se deberían seguir investigando en el tiempo y con mayor número de evaluaciones ya que en el presente estudio no se encontraron diferencias significativas entre ellos. En el estudio mejicano de Martínez, realizado con otro instrumento, si se encontraron diferencias en cuanto a edad y género, con un mayor puntaje a mayor edad del médico residente y mejor puntaje en el sexo masculino 13.

Suponemos que en las especialidades quirúrgicas en general existe un mayor interés por el desarrollo de competencias propias de la especialidad como por ejemplo la realización de procedimientos, lo cual permite que se priorice la enseñanza de dichas competencias sobre otras que tienen relación con comunicación, retroalimentación, abogacía o docencia, siendo así la percepción en el ambiente educacional de los médicos residentes. Nosotros no encontramos diferencias significativas en este aspecto entre las exploraciones de acuerdo a la especialidad, en futuros estudio se podrían realizar comparaciones con los puntajes obtenidos por las especialidades no quirúrgicas. El estudio mexicano exploró los resultados de un instrumento en docentes de la especialidad de medicina familiar, encontrando 73,1% con puntaje entre aceptable y excelente y 10,3% con puntaje insuficiente 13.

Esta es una primera aproximación en la aplicación de un instrumento de evaluación docente realizada por alumnos, médicos residentes de las especialidades quirúrgicas en conjunto. Aplicamos el instrumento en seis programas de especialidades quirúrgicas, demostrando que en nuestra población universitaria obtuvo propiedades psicométricas adecuadas y que pueden servir como parte de la evaluación que requieren nuestros docentes.

La tarea en el futuro será implementar una estrategia de evaluación como por ejemplo la evaluación 360° (5F), que permita la retroalimentación positiva y sobre todo resaltar los aspectos a mejorar en el desempeño docente, sirviendo incluso de instrumento para promociones académicas.

Se concluye que el instrumento MEDUCPG-14 demostró tener una adecuada validez y confiabilidad en su aplicación en las especialidades quirúrgicas del residentado médico de la Universidad Peruana

Cayetano Heredia. Se requieren cuatro o más evaluaciones por docente y no existieron diferencias en el puntaje de evaluación obtenido por los docentes quirúrgicos en relación al sexo, sede docente y especialidad quirúrgica del médico residente.

REFERENCIAS BIBLIOGRÁFICAS

1. Robin BR, McNeil SG, Cook DA, Agarwal KL, Singhal GR. Preparing for the changing role of instructional technologies in medical education. Acad Med. 2011; 86: 435-9. [ Links ]

2. Bitran M, Mena B, Riquelme A, Padilla O, Sánchez I, Moreno R. An instrument in Spanish to evaluate the performance of clinical teachers by students. Rev Med Chile. 2010; 138:685-93. [ Links ]

3. Trivino X, Sirhan M, Moore P, Montero L. Experiences in the implementation of a faculty development program for teaching for professors of a university of medicine in Chile. Rev Peru Med Exp Salud Publica. 2014; 31:417-23. [ Links ]

4. O'Sullivan PS, Irby DM. Reframing research on faculty development. Acad Med. 2011; 86:421-8. [ Links ]

5. Jiménez Y, González M, Hernández J. Modelo 360° para la evaluación por competencias (enseñanza- aprendizaje). Innov Educ. 2010; 10:43-53. [ Links ]

6. Williams BC, Litzelman DK, Babbott SF, Lubitz RM, Hofer TP. Validation of a global measure of faculty's clinical teaching performance. Acad Med. 2002; 77:177-80. [ Links ]

7. Stalmeijer RE, Dolmans DH, Wolfhagen IH, Muijtjens AM, Scherpbier AJ. The Maastricht Clinical Teaching Questionnaire (MCTQ) as a valid and reliable instrument for the evaluation of clinical teachers. Acad Med. 2010; 85:1732-8. [ Links ]

8. Huete GÁ, Julio GR, Rojas DV, et al. Desarrollo y validación del instrumento MEDUC-RX32, para la evaluación de docentes de programas de la especialidad de postítulo en radiología. Rev chil radiol. 2014; 20:75-80. [ Links ]

9. Pizarro M, Solís N, Rojas V, et al. Evaluación de docentes clínicos de Postgrado: desarrollo y propiedades psicométricas del instrumento MEDUC- PG14. Rev Med Chile. 2015; 143:907-916. [ Links ]

10. Martínez-González A, Lifshitz-Guinzberg, A, Ponce- Rosas R, Aguilar V. Evaluación del desempeño docente en cursos de especialización médica. Rev Med Inst Mex Seguro Soc. 2008; 46(4):375-382. [ Links ]

11. Litzelman D, Stratos G, Marrioutt D, Skeff K. Factorial validation of a widely disseminated educational framework for evaluating clinical teachers. Acad Med. 1998; 73(6):35-52. [ Links ]

12. Flores F, Gatica F, Sánchez-Mendiola M, Martínez A, Evolución de la evaluación del desempeño docente en la Facultad de Medicina; evidencia de validez y confiabilidad. Inv Ed Med. 2017; 6(22):96- 103. [ Links ]

13. Martínez-GonzálezA, Gómez-Clavelina F, Hernández I, Flores F, Sánchez M. Evaluación del desempeño docente en la especialización de Medicina Familiar. Rev med Inst Mex Seguro Soc. 2016; 54(5):612-9. [ Links ]

Declaración de financiamiento: El estudio fue financiado por el Fondo de Investigación de la Universidad Peruana Cayetano Heredia.

Recibido: 08 de Julio de 2020; Aprobado: 21 de Enero de 2021

Correspondencia: Mónica L. Flores Noriega Calle General Artigas 767 Departamento 807. Pueblo Libre. Dirección de Investigación, Universidad Peruana Cayetano Heredia Correo electrónico: monica.flores@upch.pe Teléfono: 996803191

Conflictos de interés:

Los autores declaran no tener conflictos de intereses

Contribución de autoría: MLFN: Concepción, diseño, análisis e interpretación de datos y redacción del manuscrito; aprobación de la versión final a ser publicada. LCA: Asesoría general y estadística, análisis e interpretación de datos, revisión crítica del manuscrito.

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons