Artículo original  

Examen nacional de medicina en Perú 2008 - 2009: análisis y sostenibilidad de los resultados

National Medicine Examination in Peru 2008-2009: Analysis and Sustainability of Results

 

Javier Antonio Cieza Zevallos¹, Cristian Paul León Rabanal ², Julio Arturo Huapaya Carrera³, Juan Manuel Miyahira Arakaki¹  

1 Profesor Principal. Departamento de Medicina. Facultad de Medicina Alberto Hurtado. Universidad Peruana Cayetano Heredia.

2 Médico Nefrólogo, Servicio Nefrología Hospital Nacional Cayetano Heredia, Universidad Peruana Cayetano Heredia. Lima, Perú.

3 Estudiante de Medicina Universidad Peruana Cayetano Heredia. Lima, Perú.  

---

RESUMEN

Objetivo: Analizar la consistencia de los resultados del ENAM 2008 y 2009.

Material y método: Con datos oficiales publicados de los resultados del ENAM 2008 y 2009 se exploró la consistencia entre los resultados generales y parciales obtenidos por las diferentes universidades definidas como estatales y privadas de Lima u otra ciudad. Se analizó los resultados considerando los puntajes obtenidos como variables numéricas y ordinales (cuando se consideró el orden en función de los ordenamientos parciales que dieron como resultado el orden jerárquico final). Se aceptó como significancia estadística p<0,05.  

Resultados: La correlación fue buena (r>0,90) entre el orden según el puntaje general y el orden jerárquico en los dos períodos estudiados, siendo mejor en el 2008. La correlación entre el orden jerárquico obtenido en ambos años estudiados fue pobre pero estadísticamente significativa (r=0,69, p<0,001). La consistencia de los resultados parciales de las universidades entre el 2008 y 2009 fue inexistente excepto en el área de pediatría. Los resultados fueron diferentes en función de ser universidad estatal o privada (en el puntaje general y en el área de medicina) y en función de ser de Lima o de otra ciudad (en áreas de ginecologíaobstetricia y salud pública). El modelo de ser universidad estatal y de Lima mostró un comportamiento diferente a otras combinaciones.  

Conclusión: Los resultados obtenidos por las universidades en los ENAM de los años 2008 y 2009 mostraron pobre consistencia. Los resultados mostraron un comportamiento diferente de las universidades estatales y de Lima en relación a otras combinaciones.  

Palabras clave: Evaluación educacional, educación médica.  

---

ABSTRACT

Objective: To assess the consistency of the results of the National Medicine Exam (NME) in Peru for years 2008 and 2009.  

Material and method: We examined consistency between general and partial results obtained by the different public and private medical schools from Lima or other cities using official published data regarding the results of NME in Peru for years 2008 and 2009. These results were analyzed taking into account both numerical scores and ordinal variables (when considering the order on the basis of partial results that resulted in the final rank order). Statistical significance was established in p<0.05.  

Results: The correlation was good (r>0.90) between the order considering the overall score and rank order in the two periods studied, but the best result was obtained in 2008. The correlation between the rank order obtained in both years was low, with a statistically significant result (r=0.69, p<0.001). The consistency of partial results from universities between 2008 and 2009 was non-existent except in the pediatrics area. The results were different in terms of coming from a public or a private university (both in the overall score and in the medicine area) and being based in Lima or another city (for obstetrics and gynecology and public health items). The model consisting in being a public medical school based in Lima showed a different behavior compared to other variable combinations.  

Conclusion: NME results in years 2008 and 2009 showed poor consistency. The results showed a different behavior of public Lima/based medical schools compared with other variable combinations.  

Key words: Educational measurement , education, medical.  

---

INTRODUCCIÓN

En toda comunidad humana, la salud, la educación y la justicia, suelen ser los pilares sobre los que se construye una sociedad y una nación para el desarrollo. Las sociedades en vías de desarrollo suelen tener un pobre control de estas dimensiones que por lo general se ven constantemente perturbadas por otras que aparecen como relevantes y que distorsionan los valores de sus ciudadanos como por ejemplo el mercantilismo, o la acumulación irrefrenable de dinero que finalmente comprometen los elevados principios de la salud, la educación y la justicia1,2.

Como consecuencia de lo anterior, el médico, el educador y el juez merecen ser cuidadosamente escogidos y evaluados por ser a quienes la sociedad encarga el cuidado de su salud, su educación y la administración de justicia. Para ello, las sociedades deben esmerarse en velar que los procesos de formación de los médicos, educadores o jueces, sean de la mejor calidad posible1,3.

En el tema de la salud, la formación de un médico en el Perú dura entre seis y ocho años, similar a muchos otros lugares del planeta y probablemente es una de las carreras más largas existentes en la actualidad, y la nación delega en las universidades la confianza de acreditar que el egresado es una persona idónea para ejercer el cuidado de la salud de los ciudadanos4,5.

Además, las facultades formadoras de médicos se han congregado en una asociación, la “Asociación Peruana de Facultades de Medicina” (ASPEFAM), que desde el 2002 controla la calidad del egresado a través de la evaluación del aprendizaje y competencias adquiridas por los egresados al final de su proceso de formación usando una herramienta escrita (Examen Nacional de Medicina - ENAM), herramienta que pretende medir los conocimientos y el raciocinio clínico del egresado como una forma de aproximarse a evaluar la calidad de formación del estudiante de medicina6.

En Latinoamérica, Colombia y Chile están desarrollando un conjunto de acciones que les permita el control y la monitorización del proceso de educación médica a través de la creación de instituciones especializadas y dedicadas a ese trabajo7,8.

Estos esfuerzos son loables, pero deben ser entendidos como procesos, es decir, deben ser dinámicos y sujetos a un mejoramiento continuo de su calidad, única forma de conseguir el propósito de disponer de médicos con las competencias necesarias para un ejercicio profesional adecuado en la sociedad9,10. No obstante, los objetivos relacionados a la generación de estrategias para mejorar el proceso de evaluación de los conocimientos, que a su vez se integra de manera implícita en la definición de calidad de la educación médica, parecen no cumplirse a cabalidad como lo señala Espinoza R en su editorial sobre la experiencia del Examen Médico en Chile8. Es pues indispensable que estos proyectos no queden estancados en una sola fase, sino que continúen con las siguientes etapas y de esa manera se puedan implementar las correcciones necesarias y así el significado que se le da al examen sea cada vez el más adecuado.

En el Perú se han publicado dos artículos sobre la experiencia nacional6,11, pero se carece de estudios que analicen la idoneidad del instrumento, piedra angular para sustentar la continuidad de un proceso que la sociedad exige como de la mayor importancia y relevancia, puesto que sus consecuencias son múltiples: desde la apreciación del grado de conocimiento y raciocinio de los egresados de las diferentes facultades de medicina peruana hasta la confianza de la sociedad hacia quienes serán los depositarios del cuidado de su salud.

La calidad de todo proceso es un aspecto clave que debe ser evaluado utilizando las herramientas adecuadas con el objetivo ulterior de realizar las modificaciones necesarias en el mismo y así se pueda mejorar el producto final10,12.

En tal sentido, este estudio tuvo como objetivo describir y analizar los resultados del ENAM de los años 2008 y 2009 (únicos publicados oficialmente por ASPEFAM) asumiendo como premisa que los resultados deberían ser confiables, ya que difícilmente se aceptaría un cambio abrupto año tras año en forma universal, en una formación de siete años en la carrera de medicina, aún cuando la validez del instrumento no pueda ser estudiada.

MATERIAL Y MÉTODO

Se describen y analizan los resultados del ENAM de los años 2008 y 2009 publicados oficialmente por ASPEFAM. La unidad de observación la constituye cada facultad cuyos estudiantes rindieron el ENAM en los dos años mencionados. Se incluyeron en el estudio 23 facultades. La recolección de los datos se realizó mediante la descarga vía internet de los resultados del ENAM los que fueron trasladados a una base de datos en el programa Microsoft Office Excel 2003.

Se definió como variable independiente las universidades, definidas con un código que el analizador desconocía. Las universidades fueron calificadas como “estatales” y “privadas”, en función del agente financiador (el estado o los alumnos u otro agente diferente del estado), con sede docente en la ciudad de Lima Metropolitana o en otra ciudad que no fuera Lima Metropolitana.

La variable dependiente fue la calificación registrada oficialmente por ASPEFAM. Esta variable fue tratada primariamente como cuantitativa continua y posteriormente fue estructurada como variable ordinal. En esta última situación, los diferentes ámbitos de exploración del conocimiento tomados en cuenta en el ENAM (medicina, cirugía, pediatría, ginecología-obstetricia, salud pública, gestión y ciencias básicas), fueron ordenados cada uno de ellos en forma decreciente de acuerdo al puntaje obtenido por los alumnos de cada universidad, asignándole el orden número “1” al mayor puntaje y como número “23” al menor puntaje. Para el orden General, se asignó el orden “1” a la universidad que hubiera sumado en todos sus parciales el menor valor y orden “23” al que hubiera sumado en todos sus parciales el mayor valor. Este análisis fue realizado tanto para el año 2008 como para el 2009.

Posteriormente se estableció la diferencia de orden general de la universidad entre el año 2009 y el 2008 y se analizó si hubo cambios significativos en alguno de los ámbitos explorados por el ENAM y el orden general establecido.

El análisis estadístico fue realizado en forma ciega con el paquete SPSS V13. Se exploró en primer lugar si había relación entre el puntaje general obtenido por cada universidad y el orden general establecido según el procedimiento descrito líneas arriba; en segundo lugar si existía consistencia entre los resultados obtenidos por las universidades en el examen de 2008 y el de 2009 y finalmente se analizó mediante correlación no paramétrica la correlación entre los ámbitos explorados y el orden general. Se aceptó como diferencia estadísticamente significativa un p<0,05.

Para la presentación de los resultados, las universidades son identificadas únicamente mediante el código asignado en forma aleatoria.

RESULTADOS

En la Tabla 1 se muestran los resultados generales de las universidades en forma general y según los ámbitos explorados.

 

En la Tabla 2 se presenta el ordenamiento jerárquico general y de cada ámbito explorado según el puntaje obtenido por cada universidad en el año 2008 y 2009. También se presenta la variación observada en el orden general entre los años 2008 y 2009; los valores negativos expresan un retroceso en el orden alcanzado en el año 2009 en relación con el del año 2008 y los valores positivos expresan un avance en el orden. El valor cero representa una consistencia en el orden alcanzado.

 

En las Figura 1 y figura 2 se presenta la correlación obtenida entre el orden jerárquico y el puntaje de las universidades estudiadas en los exámenes de los años 2008 y 2009.

 

 

Al analizar el orden jerárquico obtenido entre las universidades en el año 2009 en relación al año 2008, se obtuvo una correlación estadística significativa (r=0,69, p<0,001). El Gráfico 3 muestra tal relación. Al analizar si el cambio jerárquico estuvo asociado a alguna característica de la universidad, solamente hubo una aproximación en función de si la universidad era estatal o privada, aunque sin alcanzar valor estadísticamente significativo como se muestra en la Tabla 2.

El comportamiento de los puntajes comparativos pareados generales y por ámbitos explorados se presenta en la Tabla 4.

 

DISCUSIÓN

Bajo la premisa de un Examen Nacional de Medicina (ENAM) equilibrado, la relación entre el orden de acuerdo al puntaje general obtenido y el orden según la sumatoria de orden de cada ámbito explorado debería darnos una excelente relación estadística, porque para que una universidad obtenga el puntaje más alto en el general, es de suponer que sus puntajes parciales deben ser de los más altos en todas o en la mayoría de las categorías evaluadas.

En este mismo sentido, los resultados del ENAM en el año 2008 muestran una buena correlación entre los puntajes generales numéricos obtenidos y el orden jerárquico (r=0,97); sin embargo, se aprecia en los extremos mayor variación que en los puntos intermedios (Figura 1). Hipotéticamente esto puede traducir que en estas universidades, los valores parciales juegan un rol importante. En los resultados del año 2009 (Figura 2), se observa que esta relación sigue siendo significativa (r=0,92) pero la dispersión de los datos es más pronunciada y esta vez para casi toda la extensión de la recta de correlación.

 

 

 

 

De otro lado, asumiendo que el ENAM trata de evaluar el conocimiento de los egresados de medicina de las diferentes facultades del país con el objetivo de certificar la idoneidad de los egresados para ejercer la medicina en nuestro país, debería esperarse una sostenibilidad de los resultados de cada universidad a través del tiempo, sobre todo cuando el período de evaluación es corto y la formación del profesional dura siete años en términos generales. Por ello, llama la atención observar pobre correspondencia entre los resultados del 2008 y los del 2009. Ello obliga a pensar en dos alternativas: o casi todas las universidades tienen escasa o casi nula regularidad y consistencia en la formación académica de sus alumnos o el examen es inconsistente en la exploración del contenido y profundidad de los diferentes ámbitos explorados entre un año y otro. En nuestra opinión, lo segundo es mucho más probable pues al apreciar las variaciones entre un año y otro, se observan sesgos que afectan más a unas instituciones que a otras (en uno u otro sentido), como se observa en las Tabla 6 y tabla 7. El hecho sugiere fuertemente la segunda hipótesis.

 

 

 

 

Estos resultados plantean la necesidad de revisar el proceso del ENAM en toda su integridad para que una idea tan loable y una herramienta altamente reconocida en la certificación de ciertos grupos de profesionales en el mundo moderno10,13,14, no resulte distorsionada y mal utilizada en nuestro país, que más que otros, requiere de transparencia y justeza. Algunas de estas distorsiones quedan ejemplarizadas en la implementación de “cursos o cuasi academias de preparación” para internos y graduados que algunas o muchas universidades del país han implementado para que sus egresados obtengan “buenos puntajes” en el ENAM, que a la postre derivan en nuevas formas de mercantilización de la enseñanza, pues están estrechamente relacionadas a “mecanismos” de mercadeo, entendido este término en su sentido más perverso15,16.

La metodología utilizada en este estudio, ha procurado disminuir al máximo los posibles sesgos dependientes del observador, conservando hasta la escritura del artículo la no identificación de las instituciones, manteniendo los códigos asignados desde un inicio a cada universidad. Aceptamos como limitación del estudio, el número de años que se analizó (2008 y 2009), pero esto así ha sido porque es ésta la información oficial y pública puesta por ASPEFAM para conocimiento de la comunidad. Sin embargo, los resultados ponen de manifiesto un problema, que creemos por el bien de nuestro país, debe corregirse.

Si bien es cierto el ENAM constituye una herramienta útil para evaluar y certificar los conocimientos de futuros médicos, no es la herramienta ideal para la evaluación de competencias, entendiendo como competencia la capacidad para utilizar su buen juicio, sus conocimientos, habilidades y actitudes asociadas a la profesión, para solucionar los problemas complejos que se presentan en el campo de su actividad profesional. Las instituciones debieran orientar los futuros métodos de evaluación hacia la certificación no sólo de conocimientos sino también de competencias17,18.

CONCLUSIÓN

Los resultados obtenidos del análisis del ENAM de los años 2008 y 2009 no mostraron consistencia en las características de puntajes u orden jerárquico de las universidades, mostrando sesgos favorables o contrarios en ciertas instituciones, como por ejemplo: “ser universidad estatal y de Lima” o “ser universidad privada y de otra ciudad distinta a Lima”.

 

REFERENCIAS BIBLIOGRÁFICAS

1. Medical Professionalism in the New Millenium: A Physician Charter. Proyect of the ABIM-ASIM Foundation, and European Federation of Internal Medicine. Ann Intern Med 2002; 136: 243-6.

2. Flores E, Sanchez F, Corononado H, Amador C. La formación médica en México y los procesos en búsqueda de garantizar la calidad de los egresados. Rev Fac Med. UNAM 2001; 44(2): 75-80

3. Kane MT. The assessment of professional competence. Eval Health Profess 1992; 15(2):163-82.

4. Reynolds PP. Reaffirming Professionalism through the Education Community. Ann Intern Med 1994; 120: 609-14.  

5. Sullivan WM. Work and Integrity: The crisis and promise of professionalism in America. New York: Harper Collins, 1995.  

6. Asociación Peruana de Facultades de Medicina. Examen nacional de medicina ENAM 2003. Experiencia piloto. Lima: ASPEFAM; 2003.  

7. Espinoza R. Examen médico nacional y educación médica en Chile. Rev Chil Pediatr. 2008; 79(1): 9-12.  

8. Asociación Colombiana de Facultades de Medicina. Exámenes de estado de calidad de la educación superior – ECAES en medicina. Marco de fundamentación y especificaciones de prueba 2004. Bogotá: ASCOFAME; 2004.  

9. Rosselot J Eduardo. Reivindicando la medicina como profesión científico-humanista. Rev. méd. Chile 2003; 131(4): 454-456.  

10. United States Medical Licensing Examination. USMLE Bulletin of information 2008. Washington DC: USMLE; 2008.  

11. Torres-Noriega J. Los exámenes nacionales de medicina (ENAM) en el Perú. Rev Perú Med Exp Salud Pública. 2008; 25(3):316-18  

12. Salas R. La calidad en el desarrollo profesional: avances y desafíos. Rev Cubana Educ Med Super 2000; 14(2):136-47  

13. Enríquez O, Mena B. Habilitación profesional. Condiciones para el aseguramiento de la calidad de la educación médica y condiciones para la confianza recíproca. Experiencia y visión de la ASOFAMECH. Rev Med Chile. 2005; 133(4): 483-94.  

14. Acosta E, Cortes M, Font K, Moran C, Cravioto A. Desempeño en el Examen Nacional de Ingreso a Residencias Médicas. Facultad de Medicina, UNAM. Rev Fac Med UNAM 2004; 47(6): 231-237  

15. Garza-Aguilar J. Reflexiones sobre la calidad de la carrera de medicina en México. Gac Méd Méx 2005; 141(2)  

16. Narro RJ. Las nuevas prioridades de los servicios de salud. Rev Fac Med UNAM 2001; 44:137-141  

17. Amanda Galli y María José de Gregorio Competencias adquiridas en la carrera de Medicina. Comparación entre egresados de dos universidades, una pública y otra privada. Educación Médica 2006; 9(1): 21-26  

18. Nolla M, Pallés J, Gual A. Desarrollo de las competencias profesionales. Educación Médica 2002; 5 (2): 76-81  

 

Corespondencia:

Dr. Javier Antonio Cieza Zevallos

ciezaja@hotmail.com

 

Recibido: 02/01/10 01/06/09

Arbitrado: Sistema por pares

Aprobado: 01/02/10