SciELO - Scientific Electronic Library Online

 
vol.28 número1Factores predictores de uso problemático de alcohol en personas atendidas en una sala de emergenciaCirculación de un linaje diferente del virus dengue 2 genotipo América / Asia en la región amazónica de Perú, 2010 índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

  • No hay articulos citadosCitado por SciELO

Links relacionados

  • No hay articulos similaresSimilares en SciELO

Compartir


Revista Peruana de Medicina Experimental y Salud Publica

versión impresa ISSN 1726-4634

Rev. perú. med. exp. salud publica v.28 n.1 Lima mar. 2011

 

ARTÍCULO ORIGINAL

Correlación y concordancia entre el examen nacional de medicina y el promedio ponderado universitario: análisis de la experiencia peruana en el periodo 2007 – 2009

Correlation and concordance between the national test of medicine (ENAM) and the grade point average (GPA): analysis of the peruvian experience in the period 2007 - 2009

 

Charles Huamaní1,2,a, César Gutiérrez1,2,3,b, Edward Mezones-Holguín2,4,5,6,c

1 Sociedad Científica de San Fernando, Universidad Nacional Mayor de San Marcos. Lima, Perú.  

2 Sociedad Científica Médico Estudiantil Peruana. Perú.  

3 Sección de Epidemiología, Instituto de Medicina Tropical “Daniel A. Carrión”, Facultad de Medicina de San Fernando, Universidad Nacional Mayor de San Marcos. Lima, Perú.  

4 Centro Nacional de Salud Pública, Instituto Nacional de Salud. Lima, Perú.  

5 Escuela de Medicina, Universidad Peruana de Ciencias Aplicadas. Lima, Perú.  

6 Facultad de Medicina Humana, Universidad Nacional de Piura. Piura, Perú.  

a Médico Cirujano; b Médico, Magíster en Epidemiología; c Médico, Magíster en Epidemiología Clínica. Postgrado en Docencia Universitaria en Ciencias de la Salud.


RESUMEN

Objetivos. Evaluar la correlación y concordancia entre el Examen Nacional de Medicina de Perú (ENAM) y el Promedio Ponderado Universitario (PPU) en estudiantes egresados del pregrado de medicina en el periodo 2007 a 2009. Materiales y Métodos. Se llevó a cabo un análisis secundario de datos, empleando el registro de inscritos en las convocatorias a los procesos del Servicio Rural Urbano Marginal en Salud de Perú (SERUMS) de los años 2008 a 2010, obteniéndose las calificaciones en el ENAM y el PPU. Se efectuó un análisis descriptivo por medio de medianas y percentiles 25 y 75 (p25/p75); la correlación entre ambas calificaciones se realizó por medio del coeficiente de correlación de Spearman; asimismo, se efectuó un análisis de regresión lineal y la concordancia fue medida a través del coeficiente de correlación y concordancia de Bland y Altman. Resultados. Se incluyeron 6 117 médicos, la mediana global del PPU fue 13,4 (12,7/14,2) y del ENAM fue 11,6 (10,2/13,0); del total de egresados el 36,8% reprobó el examen. Se observó un incremento anual de la mediana del ENAM, con la consecuente disminución de la diferencia entre ambas calificaciones. La correlación entre los puntajes es directa y moderada (0,582), independiente del año, ubicación o del tipo de gestión de la universidad (pública o privada). Sin embargo, la concordancia entre ambas calificaciones es regular; con un coeficiente global de 0,272 (IC 95%: 0,260 a 0,284). Conclusiones. Independiente del año, ubicación o tipo de gestión de la universidad, existe una moderada correlación entre la calificación del ENAM y el promedio ponderado del alumno, no obstante se evidencia solo una regular concordancia entre ambos puntajes.

Palabras clave: Evaluación Educacional; Educación de Pregrado en Medicina; Perú (fuente: DeCS BIREME).


ABSTRACT

Objectives: To evaluate the correlation and concordance between the ‘Peruvian National Exam of Medicine’ (ENAM) and the Mean Grade Point Average (GPA) in recently graduated medical students in the period 2007 to 2009. Materials and Methods: We carried out a secondary data analysis, using the records of the physicians applying to the Rural and Urban Marginal Service in Health of Peru (SERUMS) processes for the years 2008 to 2010. We extracted from these registers, the grades obtained in the ENAM and GPA. We performed a descriptive analysis using medians and 1st and 3rd quartiles (q1/q3); we calculated the correlation between both scores using the Spearman correlation coefficient, additionally, we conducted a lineal regression analysis, and the concordance was measured using the Bland and Altman coefficient. Results: A total of 6 117 physicians were included, the overall median for the GPA was 13.4 (12.7/14.2) and for the ENAM was 11.6 (10.2/13.0).Of the total assessed, 36.8% failed the TEST. We observed an increase in annual median of ENAM scores, with the consequent decrease in the difference between both grades. The correlation between ENAM and PPU is direct and moderate (0.582), independent from the year, type of university management (Public or Private) and location. However, the concordance between both ratings is regular, with a global coefficient of 0.272 (CI 95%: 0.260 to 0.284). Conclusions: Independently of the year, location or type of university management, there is a moderate correlation between the ENAM and the PPU; however, there is only a regular concordance between both grades.  

Key words: Educational Measurement; Education, Medical, Undergraduate; Peru (source: MESH NLM).


INTRODUCCIÓN

Similar a lo acontecido en varios países latinoamericanos (1,2), en Perú, durante la década de 1990 existió una proliferación poco regulada del número de Escuelas o Facultades de Medicina, las cuales no contaban con una adecuada supervisión del proceso de formación; ello obligó a generar mecanismos de control (3,4).

Se considera que el control de calidad de la educación médica en Perú se rige, principalmente, por dos procesos. El primero es la acreditación de Escuelas o Facultades de Medicina (5), llevado a cabo durante los años 2002 a 2007 por la ‘Comisión de Acreditación de Facultades o Escuelas de Medicina Humana’ (CAFME), y que actualmente es responsabilidad del “Consejo de Evaluación, Acreditación y Certificación de la Calidad de la Educación Superior Universitaria” (CONEAU) (6); el cual busca asegurar la adecuada formación del estudiante, quien debe adquirir una serie de competencias comunes en el ámbito nacional (7).

El segundo, evalúa al alumno de manera individual al final de la formación médica, a través del “Examen Nacional de Medicina” (ENAM); el cual busca medir de forma objetiva los conocimientos de los estudiantes de medicina en su último año de formación profesional (8,9). Este examen se inició como una evaluación piloto en 2003, organizada por la Comisión de Educación Médica de la “Asociación Peruana de Facultades de Medicina” (ASPEFAM - www.aspefam.org.pe).

Dada las características de la evaluación médica en el Perú (7), los resultados del ENAM no fueron publicados sino hasta 2008, con lo que se obtuvo un indicador objetivo sobre los conocimientos de los futuros médicos, hecho que, potencialmente, permitiría a las universidades generar mecanismos para mejorar la calidad en la formación de sus estudiantes.

A pesar de que la formación integral del médico no puede ser evaluada solamente a través de un examen escrito, sino que debe incluir evaluaciones procedimentales y actitudinales (7,10-12), la importancia que ha cobrado el ENAM durante estos años ha sido tal que, desde el 2006 es un requisito para ser postulante a los programas de segunda especialización (residentado médico) en Perú, y desde el 2008 tiene un valor del 70% en la ponderación total para la distribución de plazas del Servicio Rural Urbano Marginal en Salud (SERUMS) (9), este último debe ser realizado de forma obligatoria para poder ejercer la profesión en instituciones públicas u optar por los programas de segunda especialización.

Un reciente estudio realizado por Cieza et al. (8) evaluó la consistencia del ENAM de 2008 a 2009, partiendo de la premisa que si es un examen que mide de forma confiable la formación médica, sus resultados a nivel de universidades -entendidos como media porcentual por universidad en cada categoría del examen y su totalidad- no deben variar de forma importante entre esos años. No obstante, tras el conocimiento público de los resultados del ENAM, varias entidades, universitarias o externas, han orientado los cursos de reforzamiento o simulacros para los exámenes de residentado médico a los internos de medicina con la intención de incrementar las puntuaciones en ese examen. En ese sentido, es lógico esperar que los estudiantes que participen de estos cursos, presenten mejores calificaciones.

A pesar de ello, el ENAM evalúa de forma individual al alumno, por lo que puede suponerse que si los procesos de formación y calificación de los estudiantes de medicina son objetivos, entonces la calificación universitaria debe tener un valor predictivo del resultado de este examen, por lo que existiría una potencial correlación entre el desempeño académico del estudiante durante su formación con el puntaje en el ENAM. Por otro lado, si el proceso de acreditación busca asegurar una formación con contenidos similares, medidos a través del examen, es muy probable que exista una concordancia en ambos procesos, a pesar de la variabilidad de formación académica y de la forma de evaluación en cada universidad. Esta investigación se desarrolló con el objetivo de evaluar la correlación y concordancia del ENAM con el promedio ponderado universitario en estudiantes egresados del pregrado de medicina en las convocatorias de SERUMS durante los años 2008 al 2010 en Perú.

MATERIALES Y MÉTODOS

TIPO DE ESTUDIO Y POBLACIÓN

Se realizó un estudio analítico observacional sobre la base de un análisis secundario de datos, empleando el registro de inscritos en la convocatoria de SERUMS en los procesos 2008-I y II, 2009-I y II, y 2010-I (el Proceso I se da en abril, mientras el Proceso II en septiembre); dado que reúne a la mayor cantidad de médicos recién egresados que rindieron el ENAM el año previo. Los datos fueron extraídos de la página web del Ministerio de Salud de Perú (MINSA) (Apéndice 1), la cual es una base de libre descarga que incluye aspectos relacionados a la universidad de procedencia, promedio ponderado universitario (PPU), calificación en el ENAM, entre otros. No se incluyó el proceso 2010-II pues no figuran los datos de procedencia universitaria de forma pública. En el caso que un médico se hubiera presentado a más de un proceso SERUMS se consideró los datos de su primera postulación.

DEFINICIONES

El PPU se obtiene al ponderar las calificaciones semestrales obtenidas en todas las asignaturas llevadas hasta el semestre académico previo al año que corresponde al internado médico (último año de la formación médica que consiste en una formación netamente práctica), cada asignatura puede tener distinto número de créditos (fundamentalmente en función al número de horas académicas requeridas en el periodo lectivo), por el cual es multiplicado; posteriormente, se realiza la suma total de estos y se divide entre el número total de créditos llevados. La forma de ponderar la calificación de cada asignatura también varía, pues incluye una valoración escrita, práctica, entre otras; dando mayor importancia, por lo general, a la calificación teórica.

El ENAM se aplica los últimos meses del internado médico, pueden participar los médicos titulados en el extranjero o aquellos que no rindieron este examen debido a que se graduaron cuando no era obligatorio (3). El examen consiste en 200 preguntas de selección múltiple, de distinto grado de dificultad; del total, al menos dos de cada tres se presentan en forma de casos clínicos. El examen busca evaluar los conocimientos en las áreas de Medicina (30%), Cirugía (15%), Pediatría (18%), Ginecología y Obstetricia (17%), Salud Pública y Gestión (10%) y Ciencias Básicas (10%) (13). La calificación es automatizada en una base vigesimal con puntuaciones mínima y máxima posibles de 0 y 20, respectivamente; se considera como ‘desaprobado’ cuando la puntuación es menor a 11.

PROCEDIMIENTOS

Se generó una base de datos en Microsoft Excel ® 2007, eliminando las variables que pueden identificar al médico, además se codificó las universidades, diferenciándolas si su gerencia es de tipo estatal o privada, si son peruanas o extranjeras, en el caso de las universidades peruanas se tomó en cuenta si su sede principal está en Lima o en otra región (a la fecha, no hay universidad con egresados formados en una sede alterna). Si bien es un requisito para realizar el SERUMS haber rendido el ENAM, no todos los inscritos tenían notas en el ENAM por lo que fueron excluidos. Las calificaciones en el PPU y en el ENAM se presentan en escalas vigesimales con un decimal. En la base de datos se generó una codificación numérica que no incluía ningún tipo de indicio de la universidad de procedencia y de las otras variables para su respectivo análisis.

ANÁLISIS ESTADÍSTICO

Fue realizado de modo ciego por un miembro del equipo que no tenía conocimiento de la codificación. Se evaluó la normalidad de la distribución de puntuaciones en cada uno de los subgrupos por medio de la pruebas Shapiro Wilk y Shapiro Francia. En la parte descriptiva se usó la mediana como medida de tendencia central acompañada de los percentiles 25 y 75 para las calificaciones del ENAM y del PPU, que se presentan por año, de acuerdo a universidad, si era peruana o no, y si era estatal o privada. Además, se estableció la mediana de la diferencia individual entre las calificaciones del ENAM y del PPU, y se calculó la frecuencias absoluta y relativa de desaprobados en el ENAM.

Se evaluó la correlación entre la calificación del ENAM y el PPU a nivel global, por año y según universidad usando el coeficiente de correlación de Spearman y el análisis de regresión lineal. Posteriormente, se evaluó la concordancia a través del coeficiente de correlación y concordancia de Bland y Altman, realizando la gráfica respectiva. Se empleó el programa estadístico STATA ® (STATA Corp, TX, USA) versión 9.0.

RESULTADOS

En los tres años hubo 6556 inscripciones de médicos egresados de 30 universidades peruanas y 42 extranjeras, con un incremento en los Procesos I de cada año, de 1736 el año 2008 hasta 2079 el año 2010. De los inscritos, 103 (1,6%) participaron en más de un proceso. En total, participaron 6453 médicos en los tres años, de los cuales, 6117 (94,8%) presentaban la calificación correspondiente al ENAM. La participación anual y por proceso se muestra en la Tabla 1.

 

La participación extranjera fue similar cada año (variando de 4,0 a 5,1% del total), sin embargo, al ver la participación extranjera que contenía la puntuación del ENAM, esta fue ascendiendo (de 1,2 a 4,1% del total de inscritos). En el mismo sentido, la proporción de médicos de universidades peruanas privadas incrementó de 50,3 a 60,7% de 2008 a 2009.

El porcentaje de desaprobados por año varió en las universidades estatales de 47,5% el año 2008 a 23,6% el año 2010; mientras que para las universidades privadas varió de 65,9 a 34,6% respectivamente. Al analizar solo a las universidades peruanas, la proporción de desaprobados de las estatales disminuyó de 47,2 a 21,5% respectivamente, mientras que en las privadas fue de 65,7 a 33,6%. En el caso de las universidades extranjeras estatales, la frecuencia relativa de desaprobados disminuyó de 77,8 a 54,8% respectivamente de 2008 a 2010, mientras que en las privadas fue de 78,6 a 76,7%.

Las universidades estatales incrementaron su mediana en el ENAM, pasando de 11,1 (9,7 / 12,3) el año 2008 a 12,4 (11,0 / 13,8) el año 2010. Mientras, las privadas incrementaron de 10,1 (9,0 / 11,5) a 11,6(10,8 / 12,8) respectivamente. Las medianas de las universidades estatales o privadas según si son peruanas o extranjeras se muestran en el Tabla 2.

 

Las diferencias individuales de las calificaciones en el ENAM frente al PPU siempre fueron negativas, con mayor diferencia el 2008 cuando la mediana fue -2,8 (-3,9 / -1,8). En el caso de las universidades extranjeras la diferencia global fue de -3,8 (-5,8 / -2,5). En las peruanas, existe una menor diferencia cuando se trata de universidades estatales y de regiones distintas a Lima.

Las calificaciones en el ENAM y el PPU según universidad se muestran en la Tabla 3 y la Tabla 4. Se observa que 27 de las 30 universidades peruanas que actualmente cuentan con una Escuela o Facultad de Medicina, participaron en los tres procesos SERUMS. En la Tabla 3 se observan los resultados por año, si bien la misma universidad obtuvo la mediana más alta los tres años para el ENAM, todas las demás universidades tuvieron variaciones en los puestos según los valores de las medianas, en algunos casos estas variaciones fueron importantes; como el ascenso de 10 puestos para la universidad 4 del 2008 al 2009; o el descenso de la posición 3 en 2008 a la 12 en 2009 y vuelta a la 5 en 2010 para la universidad 6.

 

En el análisis año por año se ve que las diferencias entre las calificaciones del ENAM y el PPU para cada universidad fueron mayoritariamente negativas, mientras que en el consolidado global por universidad siempre fue negativa. Sin embargo, en el 2010 se aprecia que las diferencias son menores en comparación con las de 2008, con mayor tendencia hacia el cero.

En las Tabla 3 y tabla 4 se observa, además, que la participación estudiantil por universidad fue muy variada, en algunos casos presentando solo un alumno en algún proceso, mientras otras tuvieron una participación más constante y numerosa. El 54% de los alumnos provinieron de siete universidades, mientras que otras 11 universidades contribuyeron con el 10% de alumnos. La Tabla 4 se presenta ordenada según puntaje del ENAM.

En el consolidado mostrado en la Tabla 4, se ve que tres universidades tienen una mediana igual o superior al percentil 75 del total, tanto en las calificaciones en el ENAM como en el PPU. Además, las universidades con mayor mediana en el ENAM tienen mayores puntajes en sus PPU, lo que sugiere cierta asociación. Esto se comprueba al realizar el análisis de correlación, donde los valores de los coeficientes muestran que existe una correlación directa y moderada; esta correlación es independiente del año o del tipo de gestión de la universidad; la excepción es la correlación obtenida para las universidades extranjeras que cae a 0,278. La correlación global es de 0,582 (p <0,001), el resto de la información se observa en la Tabla 5.

 

Esta correlación se mantiene al realizar el modelo de regresión lineal (R2 ajustado: 0,344), lo que señala que independientemente del año, del tipo de gestión y de la ubicación de la universidad, la calificación del ENAM sigue estando correlacionada de forma directa y moderada con el promedio ponderado. Sin embargo, la variabilidad se explica en solo un 34,4%, lo que sugiere que pueden existir otros factores implicados que no han sido medidos en este estudio.

En la Figura 1 se observa la asociación existente entre el promedio aritmético obtenido del ENAM y el PPU frente a la diferencia entre ambos. Cuando las calificaciones en el ENAM y el PPU son similares, la diferencia tiende al cero, lo que nos dice de la concordancia existente entre ambas; diferencias positivas señalan que los alumnos obtuvieron notas en el ENAM mayores a las que se esperaría según su PPU. Al observar la figura se aprecia una tendencia a que a mayor promedio las diferencias son positivas. La línea cero es intersectada por lo que son pocos los valores concordantes. El promedio de las diferencias entre el ENAM y el PPU es de -1,89, con límites de la concordancia entre 1,46 a -5,26.

 

Las diferencias entre las calificaciones en el ENAM y el PPU mostradas hasta aquí, sugieren que la concordancia entre ambas calificaciones es baja; al calcular el ‘coeficiente de correlación concordancia de Bland y Altman’ se obtiene 0,272 IC (95%) (0,260 a 0,284) siendo una concordancia regular. Lo mismo sucede al realizar el análisis por años, tipo de universidad y en el caso de las universidades peruanas, además  es pobre para las universidades extranjeras (Tabla 5)

DISCUSIÓN

La existencia de una moderada correlación entre la calificación del ENAM y el PPU, denota que los alumnos con mejor rendimiento académico durante su formación en el pregrado (cuyo indicador objetivo sería el promedio ponderado) obtienen las calificaciones más altas en el ENAM. Sin embargo, se evidencia una concordancia regular entre ambas calificaciones. Todo ello sugeriría que la calificación global del ENAM, si bien puede ser confiable, no sería totalmente válida como calificador del proceso de formación universitaria o viceversa - si tomáramos el examen como un patrón de evaluación de consenso más estandarizado (10)- en esta relación cumpliría una función importante la gran variabilidad interobservador existente entre las universidades y el hecho de que la prueba evalúa fundamentalmente conocimientos.

Esta correlación positiva reflejaría también, que ambos procesos, el de formación y la evaluación final, se corresponden; entonces, durante la formación universitaria sí se puede calificar a los alumnos con mayores o menores capacidades cognitivas a través de las evaluaciones que permiten establecer sus promedios universitarios (10,14). Este indicador, además, se ve menos afectado por la intervención de cursos de reforzamiento en el alumno, pero sí lo está por sobrevaloraciones o infravaloraciones en las calificaciones universitarias, esto se enmarca en la variabilidad intraobservador para el PPU.

El que exista una correlación positiva y moderada sugiere que este proceso de calificación no es perfecto, aunque no podemos decir cuál (si la formación universitaria o el ENAM). No obstante, la correlación sería una medida útil para las universidades pues les permite conocer si sus procesos de formación van de la mano con un estándar nacional en materia de conocimientos.

Por otro lado, la concordancia va más allá y busca determinar el grado de similitud entre diferentes mediciones; una concordancia substancial (cercana a 1), en este caso puntual, nos diría que las pruebas califican en la misma magnitud a las mismas personas independientemente del tiempo. Dado que la construcción del ENAM incluye un conjunto de tópicos que el proceso de acreditación, debe vigilar que se impartan de forma regular (5-7), aquellas universidades donde no se sigue un programa curricular que los incluya tendrían una mayor probabilidad de tener una menor concordancia. Si la situación es contraria y las universidades sí imparten los cursos de forma similar y sus evaluaciones van acorde con ello, entonces potencialmente se tendría una mayor concordancia.

En ese sentido, la concordancia se ve más afectada por los cursos de reforzamiento, pues ellos inciden en tópicos que son evaluados en el ENAM. Además, y considerando lo anterior, son muchos los factores que influyen en un estudiante para definir la adquisición de sus competencias, lo que hace que la formación académica pueda no ser suficiente para él y perfilar la adquisición de conocimientos específicos en algunas áreas, con el posible descuido de otras (15); esta situación afectaría la concordancia dentro de una institución con alumnos de perfiles heterogéneos, lo que podríamos denominarle una variabilidad intrasujeto importante que afectaría tanto al PPU como al ENAM.

En el estudio, la concordancia global es regular, sin embargo, es mayor en 2009 y 2010, lo que podría reflejar el incremento de cursos de reforzamiento o el direccionamiento curricular hacia los contenidos del examen; esto es ligeramente mayor en las universidades privadas frente a las estatales y en las de Lima frente a las de otras regiones. El conocimiento del nivel de concordancia sería de una importante utilidad para las entidades encargadas del proceso de acreditación.

Al realizar el análisis estratificado, es importante resaltar que tanto la correlación como la concordancia son bajas para las universidades extranjeras, independiente del año o tipo de universidad, a pesar que sus PPU son similares o mayores a las de universidades peruanas, además, tienen un mayor porcentaje de desaprobados en el ENAM. Esta información merece una discusión aparte; primero, porque los sistemas de calificación son distintos en la mayoría de países, por lo que al realizar la validación correspondiente, puede generarse un sesgo de medición al asignar las equivalencias. Otro factor y no menos relevante, es que los programas curriculares peruanos pueden diferenciarse de los extranjeros en muchos aspectos, tanto por la epidemiología y el consecuente conocimiento en tópicos específicos o por priorizar actividades de atención primaria, diferencias que pueden ser importantes dado que el ENAM tiene un alto componente clínico.

También es preciso diferenciar el tipo de gestión universitaria, dado que existe la creencia de diferencias cardinales en la formación médica en el pregrado entre universidades estatales y privadas(16), no obstante, las calificaciones en el ENAM no muestran diferencias entre ambos tipos de universidades, observándose similar diferencia, correlación y concordancia entre PPU y ENAM. Aunque existe una menor proporción de desaprobados en el ENAM en las universidades estatales.

Por otro lado, inclusive en las universidades con más bajas calificaciones en el ENAM se observan alumnos que pueden superar la mediana global, lo que nos sugiere que independiente del centro de estudios, hay estudiantes con un nivel de conocimientos adecuados, esto es una muestra de la variabilidad intrasujeto como se ha mencionado previamente. Al respecto, el nivel de exigencia para el ingreso a la universidad es una condición importante a considerar, pues ha demostrado tener un valor predictivo para evaluaciones futuras(17); no obstante, en nuestro país, si bien es cierto que el proceso de selección universitaria en la mayoría de los casos solo evalúa conocimientos, existe importante heterogeneidad entre las universidades, inclusive existen nuevos métodos de selección más integrales.

La discusión caería entonces en qué medidas correctivas se pueden tomar con aquellos que no superan el ENAM; en ese sentido, en varios países las evaluaciones finales tienen como objetivo seleccionar a aquellos médicos competentes (1,18) y, en el caso de los médicos extranjeros, seleccionar a aquellos que convalidan su formación universitaria (2,19), debiendo en algunos casos complementar su formación con determinados tópicos para asegurar el cumplimiento curricular.

Si bien, dadas las calificaciones obtenidas en el ENAM, las entidades peruanas encargadas de regularizar el ejercicio de profesionales formados en el exterior, consideren complementar la formación extranjera antes de poder ejercer en Perú entre aquellos que no puedan superar determinadas evaluaciones; que eventualmente podría extenderse a los médicos con formación en el Perú, como mecanismo de control de calidad del egresado; se requeriría idealmente una aproximación más integral.

Debemos comprender que los procesos de acreditación y evaluación buscan que, independientemente de dónde se estudie, la formación contenga estándares mínimos de calidad requeridos (1,3-5). Si tanto la correlación como la concordancia son adecuadas, el siguiente paso sería hacer uso del ENAM como prueba discriminante de aquellos médicos con conocimientos suficientes para ejercer la medicina de los que no. Con los resultados obtenidos aún es prematuro considerar esa posibilidad; sin embargo, el porcentaje de desaprobados en el ENAM es superior al tercio de egresados, lo que nos puede sugerir que los procesos iniciales no tienen muy buenos resultados para asegurar una adecuada formación académica del estudiante a nivel cognitivo o que la formulación del test ha mejorado substancialmente y existe una mejor preparación para rendirlo.

Asimismo, este tipo de procesos de evaluación, no discriminan adecuadamente entre aquellos que conocen determinadas actividades de los que son capaces de realizarlas de forma independiente y adecuada: “conocer frente a saber hacer” – lo que se denominaría evaluación procedimental-, asimismo, no predicen el comportamiento del médico ante un paciente o en la realización de otras actividades enmarcadas en la esfera social – lo que se llamaría evaluación actitudinal -(13,20), ni ponderan adecuadamente la “ventana temporal” ya que es de esperar que en determinados tópicos (como ciencias básicas) la calificación obtenida refleje procesos de aprendizaje de mayor antigüedad, a diferencia de las ciencias clínicas(10). Sin embargo, los exámenes de conocimientos son medidas diagnósticas que requieren una menor inversión de recursos que aquellas más integrales (que incluyan aspectos procedimentales y actitudinales), por lo que un análisis de costo efectividad nos daría una visión más completa del asunto.

Debemos considerar también que el ENAM y el PPU son calificaciones que miden preferentemente el nivel de conocimientos en medicina, mientras que la actividad médica no es solo diagnosticar o tratar una enfermedad sino ayudar a una persona, si bien el acto médico es de significado complejo debe ser de práctica sencilla, siempre que el médico tenga además de conocimientos, una actitud y práctica que reflejen su calidez(21) y calidad(4,22). Aunque los procesos de selección o las calificaciones universitarias pueden tener un valor predictivo para otros exámenes como el de ingreso a la especialidad (11,17, 23) o la capacidad profesional del egresado (14,22); las universidades no deberían considerar estos como únicos indicadores ni descuidar la formación integral del médico, por tanto, deben evaluar también otros aspectos de su formación, como son la investigación y proyección comunitaria. Considerando estas limitaciones intrínsecas de los procesos de evaluación, son varios los esfuerzos por asegurar una formación médica de calidad (7).

La principal limitación del estudio es que la base de datos es aproximada, pues si bien es una exigencia realizar el SERUMS para ejercer la profesión en algún establecimiento estatal o acceder a una especialidad médica, también existe la posibilidad de no inscribirse y emigrar; de inscribirse en un proceso, renunciar y participar luego de otro proceso SERUMS o, en menor medida, dedicarse exclusivamente a la práctica privada, lo cual significaría un sesgo de selección. Teniendo presente estas consideraciones y dada las diversas exigencias para que las universidades faciliten los trámites de titulación en los plazos determinados para que sus egresados puedan inscribirse en el Proceso I de cada año y aquellos que se titulan luego, participar en el Proceso II; se acepta que la data proveniente de los procesos SERUMS contenga principalmente los datos de los médicos recientemente egresados.

La evaluación médica en el mundo aún está en perfeccionamiento (1,4), en ese sentido, la presentación de los resultados de exámenes en medicina debe ser cuidada para evitar aproximaciones sobre calidad académica, más aun cuando estás son de dominio público (12).

En diciembre de 2010, ASPEFAM solo publicó la media aritmética por universidad del ENAM de ese año. Ello se acompaña de una inadecuada presentación de los resultados, siendo cada vez más escuetos, sin considerar que las medidas de tendencia central deben ser elegidas según la distribución de las calificaciones, pues en poblaciones pequeñas los valores extremos pueden tener un efecto importante sobre el promedio, sobre todo, en poblaciones pequeñas.

En ese sentido, recomendamos el uso de la mediana - mas aun cuando no se conoce si la distribución de las calificaciones es normal - acompañada del número de alumnos por universidad, inclusive considerando los rangos o percentiles de la calificación, y si fuese posible, al menos de forma global, se debería presentar la correlación y la concordancia anual de todo el proceso con las calificaciones universitarias como indicadores de formación académica. Y para el caso de las universidades, más allá que el ENAM es un evento objetivo y universal en Perú, deberían también motivar y señalar sus éxitos en otras áreas como logros universitarios que denoten la formación integral propia de una universidad.

Además, se recomienda ampliar los estudios en educación médica, permitiendo que bases tan amplias y de gran valor como el ENAM puedan ser analizadas por investigadores independientes, pudiendo ampliar el tiempo de estudio o el tipo de análisis, incluyendo además variables demográficas (14), del estudiante o características específicas de las universidades (17), sin descuidar los aspectos de confidencialidad, al igual que en el presente trabajo.

En conclusión, independiente del año o ubicación de la universidad, existe una moderada correlación entre la calificación del ENAM y el promedio ponderado del alumno, pero evidencia una regular concordancia entre estas calificaciones. En los años estudiados, más de un tercio de los egresados desaprobó el examen. Además, se recomienda mejorar la presentación de resultados sobre el ENAM, añadir los resultados de las correlaciones y concordancias anuales, e incluir otros indicadores de calidad de la formación médica integral.

Fuentes de Financiamiento

Autofinanciado

Conflictos de Interés

Charles Huamaní es egresado de la Universidad Nacional Mayor de San Marcos (UNMSM). César Gutiérrez es egresado y actualmente es profesor de la UNMSM. Edward Mezones-Holguín es egresado de la Universidad Nacional de Piura (UNP) y actualmente es profesor de la Universidad Peruana de Ciencias Aplicadas (UPC).

 

Apéndice: Direcciones electrónicas de las bases de datos consultadas.

2008-I: www.minsa.gob.pe/portal/servicios/serums/Archivos/ListadoMedicos.xls

2009-I: www.minsa.gob.pe/servicios/serums/2009/Archivos/listados/ListadoMedicosComplemAdicional.xls

2009-II: www.minsa.gob.pe/servicios/serums/2009/Archivos/listados/2/ListaMedicosAptos.xls

2010-I: www.minsa.gob.pe/servicios/serums/2010/archivos/ListaAptos/OM_MedicinaSERUMS_210410.xls

 

REFERENCIAS BIBLIOGRÁFICAS

1. De la Garza-Aguilar J. Reflexiones sobre la calidad de la carrera de medicina en México. Gac Méd Méx. 2005;141(2):129-41.          [ Links ]

2. Goic A. Proliferación de escuelas de medicina en Latinoamérica: causas y consecuencias. Rev Med Chile. 2002;130(8):917-24.          [ Links ]

3. Barón Maldonado M. La razón de ser de la acreditación de las facultades de medicina. Educ méd. 2003;6(3):12-13.          [ Links ]

4. Flores ER, Sánchez FA, Coronado HM, Amador CJC. La formación médica en México y los procesos en búsqueda de garantizar la calidad de los egresados. Rev Fac Med UNAM. 2001;44(2):75-80.          [ Links ]

5. Piscoya J. Acreditación de Facultades de Medicina y su Impacto en la Formación de Recursos Humanos en Salud. An Fac Med. 1998;59(3):232-43.          [ Links ]

6. Consejo de Evaluación, Acreditación y Certificación de la Calidad de la Educación Superior Universitaria. Certificación DEC. Funciones. [Página en Internet]. Lima, Perú: CONEAU. [Fecha de acceso: 30 de diciembre de 2010]. Disponible en: http://www.coneau.gob.pe/          [ Links ]

7. Torres-Noriega J. Los exámenes nacionales de medicina (ENAM) en el Perú. Rev Peru Med Exp Salud Publica. 2008;25(3):316-18.          [ Links ]

8. Cieza Zevallos JA, León Rabanal CP, Huapaya Carrera JA, Miyahira Arakaki JM. Examen nacional de medicina en Perú 2008 - 2009: análisis y sostenibilidad de los resultados. Acta Méd Per. 2010;27(2):99-104.          [ Links ]

9. Asociación Peruana de Facultades de Medicina. Bases para el examen nacional de medicina 2009. [Documento en Internet]. Lima, Perú: ASPEFAM. [Fecha de acceso: 20 de octubre de 2010]. Disponible en: http://www.aspefam.org.pe/enam/enam2008/bases.pdf.        [ Links ]

10. Van der Vleuten C. Validity of final examinations in undergraduate medical training. British Medical Journal. 2000;321(7270):1217-19.          [ Links ]

11. Acosta Arreguín E, Cortés Gutiérrez MT, Font López K, Morán Álvarez C, Cravioto A. Desempeño en el examen nacional de ingreso a residencias médicas. Facultad de Medicina, UNAM. Revista de la Facultad de Medicina, UNAM. 2004;47(6):231-37.          [ Links ]

12. Espinoza R. Examen médico nacional y médica en Chile. Rev chil pediatr. 2008;79(1):9-12.          [ Links ]

13. Asociación Peruana de Facultades de Medicina. Examen nacional de medicina: Tabla de especificaciones. II Taller de análisis y revisión de la tabla de especificaciones del ENAM. Lima-Perú, 2008. [Documento en Internet]. Lima, Perú: ASPEFAM. [Fecha de acceso: 20 de octubre de 2010]. Disponible en: http://www.aspefam.org.pe/enam/tabla.pdf          [ Links ]

14. Greenburg DL, Durning SJ, Cohen DL, Cruess D, Jackson JL. Identifying medical students likely to exhibit poor professionalism and knowledge during internship. J Med Intern Med. 2007;22(12):1711-7.          [ Links ]

15. McManus IC. Medical school differences: beneficial diversity or harmful deviations? Qual Saf Health Care. 2003;12:324-25.          [ Links ]

16. Galli A, De Gregorio MJ. Competencias adquiridas en la carrera de Medicina. Comparación entre egresados de dos universidades, una pública y otra privada. Educación Médica. 2006;9(1):21-26.          [ Links ]

17. McManus IC, Elder AT, De Champlain A, Dacre JE, Mollon J, Chis L. Graduates of different UK medical schools show substantial differences in performance on MRCP(UK) Part 1, Part 2 and PACES examinations. BMC Medicine. 2008; 6:5 doi:10.1186/1741-7015-6-5.          [ Links ]

18. Tamblyn R, Abrahamowicz M, Dauphinee D, Wenghofer E, Jacques A, Klass D, et al. Physician scores on a national clinical skills examination as predictors of complaints to medical regulatory authorities. JAMA. 2007;298(9):993-1001.          [ Links ]

19. Sancho H, Mata S. Reconocimiento y equiparación de títulos profesionales médicos: el caso de Costa Rica. Acta méd costarric. 2000;42(2):66-70.          [ Links ]

20. Wilkinson TJ, Frampton CM. Assessing performance in final year medical students; Can a postgraduate measure be used in an undergraduate setting? Med Educ 2003;37(2):233-40.          [ Links ]

21. Ortiz P. Bases éticas de la formación profesional en medicina. Rev Peru Med Exp Salud Publica. 2008;25(3):267-68.          [ Links ]

22. Holmboe E, Wang Y, Meehan T, Tate J, Ho SY, Starkey KS, et al. Association between maintenance of certification examination scores and quality of care for medicare beneficiaries. Arch Intern Med. 2008;168(13):1396-403.          [ Links ]

23. De Virgilio C, Yaghoubian A, Kaji A, Collins JC, Deveney K, Dolich M, et al. Predicting performance on the american board of surgery qualifying and certifying examinations. Arch Surg. 2010;145(9):852-6.          [ Links ]

 

Correspondencia: Charles Huamaní Saldaña.

Dirección: Av. Arriba Perú 1154, Lima 42, Perú.

Teléfono: (511) 992-814710.

Correo electrónico: huamani_ca@hotmail.com

 

Recibido: 10-01-11

Aprobado: 09-03-11

 

Creative Commons License Todo el contenido de esta revista, excepto dónde está identificado, está bajo una Licencia Creative Commons