Calidad de la producción científica de los investigadores 
de la Facultad de Medicina, UNMSM.

Quality of the scientific production of UNMSM
medical school researchers

Cecilia Sogi¹, Alberto Perales¹, Alfredo Anderson², Salomón Zavala^1
1Facultad de Medicina, UNMSM. ²Pontificia Universidad Católica

Resumen
Objetivo: Evaluar la calidad de la producción científica de los investigadores de la Facultad de Medicina, UNMSM. Material y Métodos: Fuente de información secundaria: 1) base de datos del Registro de Actividades de Investigación de San Marcos (RAIS); 2) texto completo de publicaciones periódicas 1991-2000 registrados en RAIS. Los 462 artículos fueron clasificados y separados los correspondientes a estudios. De éstos se seleccionó al azar 20% (n=59) y se procedió con la revisión de pares, utilizando el estilo Vancouver como estándar de calidad. Se asignó puntaje a cada sección de la publicación para medir la confiabilidad interevaluador, así como clasificar el resultado de la evaluación. Resultados: El coeficiente de confiabilidad interevaluador varió entre las diferentes partes del artículo. El 71,2% de los estudios fue evaluado como bueno-excelente; sin embargo, el 80% no describió procedimiento estadístico y el 85% no comunicó sobre aspectos éticos. Conclusión. Las normas de Vancouver fueron útiles para establecer aspectos de calidad de los artículos.
Palabras clave: Revisión de pares; investigación; publicaciones periódicas; revisión de pares, investigación; estandares de referencia.

Summary
Objective: To assess quality of the scientific production of UNMSM Medical School researchers. Material and Methods: San Marcos Research Activities Registry (RAIS) database and full text articles of journals 1991-2000 registered in RAIS. Four hundred and sixty-two articles were categorized and those corresponding to studies were separated. From these a random sample of 20% (n=59) was selected and peer reviewed using Vancouver style as quality standard. Score was assigned to each part of the publication in order to measure inter-rater reliability and to categorize results of the assessment. Results: Inter-rater reliability coefficient varied among sections of the publication; 71,2% of the studies were rated as good-excellent but 80% did not describe statistical procedure and 85% did not communicate ethical issues. Conclusion: Vancouver guidelines for the format of articles was useful in order to evaluate their quality.
Key word: Peer review; research; periodicals; peer review, research; reference sandars.

INTRODUCCIÓN

Esta cuarta publicación sobre la investigación científica en la Facultad de Medicina de la Universidad Nacional Mayor de San Marcos (UNMSM) describe y analiza aspectos de calidad de las publicaciones de sus docentes investigadores. Así, intentamos complementar lo ofrecido al lector en comunicaciones previas sobre el proceso y producto de la actividad científica en el ámbito de la citada Facultad (^1-3).

La calidad de las publicaciones científicas suele ser establecida por el Comité Editorial de toda revista a través del proceso de revisión de pares. En su revisión del tema, Jefferson y cols. proponen como criterios de calidad las siguientes categorías (⁴): 
· Importancia. Los hallazgos del estudio tienen un impacto mayor sobre la salud o la atención de salud.
· Utilidad. El estudio contribuye signi-ficativamente al debate científico o conocimiento sobre la materia.
· Relevancia. El tópico es relevante para las metas de la revista y de los lectores.
· Adecuación metodológica. Los métodos en uso son capaces de responder a la pregunta de investigación.
· Adecuación ética. Se ha evitado daño innecesario a humanos y animales. El estudio ha sido llevado a cabo y comunicado honestamente.
· Integridad. Se presenta toda la información relevante.
· Precisión. La información presentada es un reflejo de lo ocurrido.

De otro lado, el tema de calidad de las publicaciones médicas ha llevado a las prestigiosas revistas médicas Journal of the American Medical Association (JAMA) y British Medical Journal (BMJ) a organizar congresos internacionales, cada cuatro años, desde 1989, para presentar y analizar investigaciones realizadas sobre el proceso editorial de la publicación, particularmente, la revisión de pares (⁵). 

Los mencionados congresos “se iniciaron como una respuesta, al llamado de Bailer y Patterson, en 1983, de llevar a cabo estudios sobre la revisión editorial. Había abundancia de opiniones publicadas, pero pocos estudios empíricos y era obvio que conocíamos muy poco acerca de uno de los procesos centrales de la ciencia (…) Eran pocos los estudios publicados sobre el tema antes de 1986, pero actualmente existen cerca de 170 a 200 por año. Esto sugiere que se ha creado una nueva área de la ciencia; aunque estas investigaciones usualmente no son financiadas y llevadas a cabo por autores con otros intereses profesionales, está empezando gradualmente a proporcionar una descripción de la revisión y otros procesos editoriales así como algunas de sus consecuencias” (⁶).

Revisión de pares (peer review). El término revisión de pares se usa para describir una serie de procesos editoriales, más comúnmente, obtener opiniones críticas de expertos externos, pero también, revisiones de editores internos (⁴). El disentimiento es frecuente en este proceso y “hay que alcanzar un delicado equilibrio entre tres intereses distintos: los del autor, los del director de la publicación y los del árbitro” (⁷). 

Algunos predicen que la revisión de pares llegará a su fin con las transformaciones estructurales de la ciencia y “obligará a lectores de revistas, aún aquellas de investigaciones clínicas, a tomar parte más activa en la evaluación intelectual del trabajo publicado. Eventualmente, pero más pronto de lo que imaginamos, veremos una evolución hacia una forma de publicación que será un continuo diálogo abierto y de colaboración entre científicos que aportan, editores, comentaristas expertos y lectores” (⁸).

Otros diferencian entre el proceso general por el que los editores dirigen manuscritos (administración) y la parte cognitiva del proceso (evaluación). Y estando a favor de la revisión, dicen: “no es completamente acientífica, arbitraria o subjetiva como algunos han propuesto y sus méritos son substanciales cuando es dirigido y utilizado por un comité editorial cuidadoso. Tal como Bailer y Patterson expresaron algunos años atrás, la revisión de pares puede eliminar investigaciones que son pobremente concebidas, diseñadas, ejecutadas, triviales, marginales o difíciles de interpretar; mejora la calidad del manuscrito; encamina los resultados de la investigación hacia las revistas adecuadas; y ayuda a las personas que no son expertas a decidir en qué creer” (⁹).

Estudios sobre revisión de pares. Los estudios sobre el tema son diversos. Por ejemplo, en el Cuarto Congreso Internacional sobre Revisión de Pares en Publicaciones Biomédicas, que tuvo lugar en el año 2001, en España, los tópicos de interés incluyeron los mecanismos de la revisión de pares y la toma de decisiones editoriales, así como las evaluaciones de su validez y aplicabilidad; la garantía de calidad para revisores y editores; los fracasos, debilidades y sesgos; la revisión de pares para propuestas de grants; el conflicto de intereses; la inmoralidad científica; los aspectos económicos de la revisión de pares y la publicación científica; el método para mejorar la calidad, eficiencia y distribución equitativa de la información biomédica; el método para medir la calidad de la información impresa y en línea; los sistemas digitales interactivos y otras nuevas tecnologías que afectan la diseminación biomédica y el futuro de la publicación científica (¹⁰).

Características de los revisores. Un estudio sobre las características de un buen revisor y de una buena revisión no halló asociaciones entre revisiones de calidad y ciertas características de aquellos, tales como: estar activamente involucrado en investigación, ocupar puestos académicos y ser miembro de organismos que financian la investigación. Se concluyó que existen tantos tipos de buenos revisores como de buenas revisiones. No obstante, sugiere a los editores recluten revisores con adiestramiento en epidemiología o estadística y enrolen personas más cercanas a los 40 que a los 60 años. Y a los revisores, que no inviertan más allá de cuatro horas en la revisión (¹¹).

Se admite que no existe “una regla de oro” para juzgar la calidad de una revisión (¹²). Entre los estudios publicados, por ejemplo, respecto a la calidad general de los manuscritos seleccionados para publicación en Annals of Internal Medicine, se halló concordancia entre lectores y revisores, aunque discrepancia en cuanto a la importancia clínica de los mismos. Los primeros exigen relevancia clínica, mientras que los segundos evalúan las fortalezas y debilidades científicas del estudio. Sugiere a los editores incorporen la perspectiva de los lectores en el proceso de revisión de pares e investiguen sobre sus efectos (¹³).

Elección de la revista. Es importante saber cómo eligen los autores las revistas para someter a ella sus manuscritos. Un estudio demostró que en la primera presentación del manuscrito parece más importante tratar de influir o impresionar a colegas de la misma especialidad. La primera elección son las revistas altamente prestigiadas que publican frecuentemente artículos afines para lectores interesados. En las presentaciones siguientes ganan prominencia factores más prácticos, tales como tasa de aceptación, haber publicado previamente en una revista dada y las recomendaciones de colegas (¹⁴).

Sección metodología. Esta sección debe dar una idea clara de todo aquello que se hizo (¹⁵). Algunos autores han identificado errores metodológicos en artículos médicos, tales como fallas en describir el diseño estadístico o serios errores estadísticos. No obstante que se recomienda ampliamente la contribución estadística en la investigación médica, los profesionales que proporcionan tal experiencia a menudo no están involucrados hasta llegada la fase de análisis de datos y, muchos de ellos, ni siquiera son reconocidos como autores ni mencionados en agradecimiento (¹⁶).

Sección discusión. Esta sección típicamente es para resumir los principales hallazgos y ubicarlos en perspectiva, en el contexto de otros trabajos (¹⁵). Un estudio examinó la sección discusión de ensayos clínicos aleatorizados y controlados publicados entre 1997-2001, en cinco revistas médicas generales de prestigio. Halló que ninguna de las 30 comunicaciones incluyó una discusión de los resultados del ensayo clínico en el contexto de revisiones sistemáticas actualizadas de otros estudios relevantes (¹⁷).

MATERIAL Y MÉTODOS

Material. Se hizo uso de fuentes de información secundaria constituidas por: 1) publicaciones científicas, con autoría de docentes sanmarquinos, a partir de 1990, contenidos en la base de datos del Registro de Actividades de Investigación de San Marcos (RAIS), actualizado a enero del 2001; 2) archivo de las publicaciones en revistas periódicas, en texto completo y registrados en el RAIS. 

El ámbito de estudio fue la Facultad de Medicina de la Universidad Nacional Mayor de San Marcos (UNMSM).

Método. El presente estudio, en continuidad con uno previo sobre la tendencia 1991-2000 de la producción científica de los investigadores de la Facultad de Medicina, UNMSM, analiza aspectos de la calidad de tal producción. Para ello, se clasificó, en primer lugar, los 462 artículos publicados entre 1991-2000, utilizando los conceptos de pesquisa, estudio e investigación propuestos por Frenk y colaboradores, que se resume a continuación (¹⁸):
· Pesquisa (Averiguación). Simple recolección de datos para describir un segmento de la realidad.
· Estudio. Actividad que da lugar a la información, es decir, conjunto de datos ligados a una pregunta o un problema. Su nivel de aproximación a la realidad es más profundo que el de la averiguación, en la medida en que aspira a establecer correlación entre variables.
· Investigación. Nivel más complejo de integración, cuyo objetivo es explicar la realidad a través de la producción de inteligencia (conocimiento).

En nuestro trabajo, dada la dificultad para diferenciar entre estudio e investigación, se optó por juntar ambos bajo el rótulo de estudio; asimismo, se diferenció los artículos de revisión, ensayos y otros. Dos investigadores participaron independientemente en la clasificación. Los 462 artículos en orden de frecuencia fueron: estudios 293 (63,4%), revisiones 65 (14,1%), pesquisas 64 (13,8) y otros 40 (8,7%).

Finalmente, los 293 estudios constituyeron el material para evaluación de calidad, a través del proceso de revisión de pares.

Calidad (Estilo Vancouver). En el marco del presente estudio, la calidad se evaluó utilizando como criterio las normas del grupo Vancouver para cada una de las partes que comprende el artículo original (título, resumen, introducción, metodología, resultados y discusión). Es decir, se examinó aspectos más de estructura que de contenido del artículo. La razón de ello es que, evaluar la calidad científica de estudios tan heterogéneos hubiera exigido la participación de expertos en diferentes disciplinas y especialidades médicas.

Como se sabe, el estilo Vancouver se estableció en una reunión de editores de las principales revistas biomédicas en 1978, en la ciudad canadiense del mismo nombre, con el fin de uniformizar los requisitos exigibles a los manuscritos que se enviaba a sus revistas. Desde entonces, dicho estilo ha sido aceptado por la mayoría de las revistas científicas. Sus normas han sido revisadas en cuatro ocasiones posteriores, aunque sólo se ha introducido modificaciones ligeras (¹⁹).

Revisión de pares. Se procedió a un muestreo sistemático de los 293 estudios, seleccionándose el 20% (n=59). Utilizando como guía el estilo Vancouver, dos investigadores evaluaron independientemente un número de tales estudios. Luego, se reunieron para discutir sobre las discrepancias y, resueltas las diferencias, procedieron con la evaluación de los restantes. 

Los evaluadores utilizaron una tabla de calificación, creada para la cuantificación de cada una de las partes que comprende el artículo y al final llegar a un puntaje global (Tabla 1). La cuantificación facilitó el cálculo de la confiabilidad interevaluador; asimismo, el promedio del puntaje global de ambas evaluaciones permitió clasificar los estudios, de acuerdo al cumplimiento de las normas de Vancouver, en pobre, regular, aceptable, bueno y excelente.

Adicionalmente a la calidad, se describe algunas características de los estudios y para ello éstos fueron subdivididos en biomédicos, clínicos y de salud pública (¹⁸). 
· Biomédico. Se ocupa de las condiciones y los procesos (biológicos, psicológicos y sociales) determinantes de la salud y la enfermedad a nivel individual o subindividual (celular, molecular, etc.).
· Clínico. Suele enfocarse hacia el estudio de las respuestas (externas que la sociedad organiza) preventivas, terapéuticas o para la rehabilitación aplicadas al individuo.
· Salud pública (Epidemiológico). Se ocupa del estudio de las respuestas preventivas, terapéuticas o para la rehabilitación analizados a nivel de población.

Análisis estadístico. Se elaboró una base de datos en Visual Foxpro y se utilizó los paquetes estadísticos EpiInfo6 y SPSS 7,5, para la prueba de significado estadístico y la confiabilidad interevaluador Kruder Richardson 20 (Modelo alpha), respectivamente.

RESULTADOS

Calidad de los estudios. La calidad de los estudios se estableció con el método de revisión de pares y utilizando las normas de Vancouver. La Tabla 2 presenta los resultados de la prueba de confiabilidad interevaluador Kruder Richardson 20 (Modelo alpha) en la evaluación de los 59 estudios. La confiabilidad intereva-luador fue moderada en el puntaje total (0,65) aunque varió entre las diversas partes del artículo, siendo alta en resumen (0,75) y baja en resultados (0,10).

El promedio del puntaje total del evaluador 1 fue 82,85 (DE 10,31, rango 61-100) y del evaluador 2 83,81 (DE 8,26, rango 63-98). Se promedió el puntaje total de ambos evaluadores y los 59 estudios de la muestra fueron clasificados de acuerdo a cumplimiento de las normas de Vancouver (Tabla 3). La mitad de los estudios fue evaluada como buena en cuanto a cumplimiento de las normas de Vancouver.

Estadística. El procedimiento estadístico se estimó no necesario en 15 (25,4%), por tratarse de estudios descriptivos de hallazgos fortuitos (patológicos en necropsias, microorganismos en secreciones; descripciones de técnicas de laboratorio, de estudio y de tratamientos); y, necesarios, en 44, de los cuales sí lo describen 9 (20,0%) y no lo hacen 35 (80,0%).

Ética. En 20 estudios se estimó necesario consideraciones éticas, pero lo comunicaron sólo tres (15,0%) y no lo hicieron 17 (85,0%). 

Respecto a la calidad de los estudios, aunque el 71,2% fue evaluado como bueno y excelente en cuanto a cumplimiento de las normas de Vancouver, destaca la alta frecuencia de aquellos que no describen procedimientos estadísticos (80,0%) ni comunican sobre consideraciones éticas (85,0%).

Características de los estudios. La fuente de financiación fue consignada menos frecuentemente en los estudios clínicos (p <0,01) y la autoría individual fue menos frecuente en los estudios biomédicos (p <0,05). La colaboración interins-titucional y la participación de seis o más autores fueron más frecuentes en los estudios epidemiológicos que en los otros dos, pero las diferencias no fueron estadísticamente significativas. En el segundo quinquenio 1996-2000 disminuyó la frecuencia de los tres tipos de estudio. 

La mayor frecuencia de los estudios biomédicos caracterizaron al CIBN (p <0,001) y al IBA (p <0,01) y lo contrario al IIC (p <0,01) y los Departamentos Académicos (p <0,001), tal como se observa en la Tabla 4.

DISCUSIÓN

Limitaciones del estudio. En primer lugar, los resultados no pueden ser generalizados a la totalidad de las publicaciones de los investigadores de la Facultad de Medicina, porque sólo consideran aquellos registrados en el RAIS; y, en segundo lugar, los evaluadores fueron pocos para la heterogeneidad de la producción científica.

Calidad. Nuestro hallazgo, de que 71,2% de los estudios fue evaluado como bueno y excelente en cuanto a cumplimiento de las normas de Vancouver, estaría en relación con la calidad de la revisión editorial de las revistas. Se asume que uno de los objetivos de la revisión editorial es mejorar la calidad del manuscrito entre su presentación y publicación. Al respecto, Wager y Middleton llevaron a cabo una revisión sistemática de 11 estudios sobre efectos de las correcciones técnicas en revistas médicas, y hallaron asociación entre este proceso y mejora en la amenidad del estilo y la calidad de los artículos, aunque señalan que pueden no ser generalizables a otras revistas (²⁰).

De otro lado, la confiabilidad interevaluador, expresada en el puntaje global de la calificación del estudio, fue moderada. A propósito de este hallazgo, consideramos importante el comentario de Kassirer y Campion: “El desacuerdo entre revisores es común y es probable que sea primariamente un reflejo de la complejidad del proceso de evaluación del manuscrito más que evidencia de que el proceso de revisión de pares es arbitrario o caprichoso”. Agregan que un acuerdo respetable entre revisores puede dar menos información a autores y editores, que evaluaciones completamente diferentes por revisores con diferente experiencia, diferentes áreas de experiencia y disciplina (⁹).

Es posible que nuestros evaluadores atribuyeran criterios diferentes al sistema de calificación utilizado, pese a la guía de las normas de Vancouver. Estas diferencias en la interpretación fueron observadas también por Howard y Wilkinson, quienes investigaron la asociación entre evaluaciones de revisores y decisiones editoriales en el British Journal of Psychiatry. Asimismo, los citados autores hallaron que revisores y editores tienden a coincidir en aquellos artículos que claramente no son aceptables para publicación, pero el acuerdo fue menor en aquellos que fueron evaluados como aceptables (²¹).

Adicionalmente, observamos una discrepancia en los resultados de nuestro estudio; de un lado, 71,2% de aquellos fue evaluado como bueno y excelente; y de otro, 80% de los estudios no describió procedimiento estadístico, lo cual obviamente va en detrimento de su calidad. Tal discrepancia ya ha sido observada por otros autores, por ejemplo, Huwiler-Muntener y cols, quienes hallaron que similar calidad del informe puede ocultar diferencias en la calidad de la metodología, y ensayos clínicos muy bien conducidos pueden ser comunicados defectuosamente (²²). 

Respecto a la adecuación ética del estudio, hallamos que 85% no incluyó consideraciones éticas, porcentaje casi diez veces mayor al informado por Yank y Rennie. Estos autores compararon los ensayos clínicos publicados antes y después de 1997 en Annals of Internal Medicine, BMJ, JAMA, The Lancet y The New England Journal of Medicine y hallaron que ellas mejoraron en la comunicación sobre Consentimiento Informado y aprobación por el Comité de Ética; sin embargo, 9% de los estudios no lo hicieron (²³).

Características de los estudios. Los hallazgos del presente estudio complementan lo descrito por los autores en publicación previa, sobre tendencia 1991-2000 de la producción científica de investigadores de la Facultad de Medicina, UNMSM (³).

Estudio de Investigación 2002 Con Asignación a la Investigación y Con Incentivo al Investigador Nº 20112141. Título original: Método para el estudio de la producción científica de la Facultad de Medicina

BIBLIOGRAFÍA

1. Sogi C, Perales A. El quehacer de los investigadores de la Facultad de Medicina de la Universidad Nacional Mayor de San Marcos. Anales de la Facultad de Medicina 2001; 62(2): 100-14.         [ Links ]
2. Sogi C, Perales A, Anderson A, Bravo E. El proceso de producción científica de los investigadores de la Facultad de Medicina, UNMSM. Anales de la Facultad de Medicina 2002; 63(2): 115-24.         [ Links ]
3. Sogi C, Perales A, Anderson A, Bravo E. Producción científica de los investigadores de la Facultad de Medicina. Tendencia 1991-2000. Anales de la Facultad de Medicina 2002; 63(3): 191-200          [ Links ]
4. Jefferson T, Wager E, Davidoff F. Measuring the quality of editorial peer review. JAMA 2002; 287: 2786-90.         [ Links ]
5. Rennie D, Flanagin A. Editorials: Congress on Biomedical Peer Review. History, ethics and plans for the future. JAMA 1998; 280: 213.         [ Links ]
6. Rennie D. Editorials: Fourth International Congress on Peer Review in Biomedical Publication. JAMA 2002; 287: 2759-60.         [ Links ]
7. Ziman J. Introducción al estudio de la ciencia. Madrid: Editorial Ariel. 1986.         [ Links ]
8. Judson HF. Structural transformations of the sciences and the end of peer review. JAMA 1994; 272: 92-4.         [ Links ]
9. Kassirer JP, Campion EW. Peer review: Crude and understudied, but indispensable. JAMA 1994; 272: 96-7.         [ Links ]
10. Rennie D, Flanagin A, Smith R, Smith J. Editorials: Fourth International Congress on Peer Review in Biomedical Publication: Call for research. JAMA 1999; 282: 1085.         [ Links ]
11. Black N, van Rooyen S, Godlee F, Smith R, Evans S. What makes a good reviewer and a good review for a general medical journal? JAMA 1998; 280: 231-3.         [ Links ]
12. Callaham ML, Baxt WG, Waeckerle JF, Wears RL. Reliability of editors´ subjective quality rating of peer reviews of manuscripts. JAMA 1998; 280: 229-31.         [ Links ]
13. Justice AC, Berlin JA, Fletcher SW, Fletcher RH, Goodman SN. Do readers and peer reviewers agree on manuscript quality? JAMA 1994; 272: 117-9.         [ Links ]
14. Frank E. Authors´ criteria for selecting journals. JAMA 1994; 272: 163-4.         [ Links ]
15. Welch HG, Froehlic GW. Preparing manuscripts for submission to medical journals: the paper trial. J Gen Intern Med 1996; 11: 50-5.         [ Links ]
16. Clarke M, Alderson P, Chalmers I. Discussion sections in reports of controlled trial published in general medical journals. JAMA 2002; 287: 2799-801.         [ Links ]
17. Altman DG, Goodman SN, Schroter S. How statistical expertise is used in medical research. JAMA 2002; 287: 2817-20.         [ Links ]
18. Frenk J, Bobadilla JL, Sepúlveda J, Rosenthal J, Ruelas E. Un modelo conceptual para la investigación en salud pública. Bol Of Sanit Panam 1986; 101(5): 477-89.         [ Links ]
19. Sánchez MA. Estructura de los artículos biomédicos. En: Historia, teoría y método de la medicina: introducción al pensamiento médico. Barcelona: Ed. Masson. 1998.         [ Links ]
20. Wager E, Middleton P. Effects of technical editing in biomedical journals. A systematic review. JAMA 2002; 287: 2821-4.         [ Links ]
21. Howard L, Wilkinson G. Peer review and editorial decision making. Neuroendocrinology Letters 1999; 20(5): 256-60.         [ Links ]
22. Huwiler-Muntener K, Juni P, Junker Ch, Egger M. Quality of reporting of randomized trials as a measure of methodologic quality. JAMA 2002; 287: 2801-4.         [ Links ]
23. Yank V, Rennie D. Reporting of informed consent and ethics committee approval in clinical trials. JAMA 2002; 287: 2835-8.         [ Links ]

Dra. Cecilia Sogi Uetmasu
Unidad de Investigación, Facultad de Medicina-UNMSM.
Hospital Arzobispo Loayza
Av. Alfonso Ugarte s/n. Lima 5, Perú
E-mail: anales@sanfer.unmsm.edu.pe