ORIGINAL BREVE

Análisis de la producción, visibilidad y citación de la Revista Peruana de Medicina Experimental y Salud Pública, 2002 – 2009

Productivity, visibility and citation analysis of the Revista Peruana de Medicina Experimental y Salud Pública, 2002-2009

 

Charles Huamaní¹

1 Médico Cirujano, Sociedad Científica de San Fernando, Facultad de Medicina, Universidad Nacional Mayor de San Marcos. Lima, Perú.  

---

RESUMEN

Las revistas biomédicas son el medio más usado e importante para la difusión e intercambio de información científica y la evaluación es un componente importante dentro de su gestión. Se realizó un estudio bibliométrico de la producción, visibilidad y citación de la Revista Peruana de Medicina Experimental y Salud Pública (RPMESP), de 2002 a 2009. En tal periodo, la RPMESP publicó en promedio 62 documentos por año, siendo 55,3% artículos de investigación. La visibilidad de la RPMESP, determinada al cuantificar las solicitudes a través de tres indizadoras (SISBIB-UNMSM, SciELO-Perú, y REDALYC), fue irregular, incrementándose a partir de julio 2006, con una máxima de 117618 solicitudes en octubre 2009. Se citó el 43,0% de las publicaciones. El factor de impacto calculado en revistas ISI fue de 0,04 para el 2009. En conclusión, la citación de la RPMESP muestra un crecimiento lento durante el periodo 2002-2009. Se espera que la RPMESP incremente su visibilidad e impacto luego de su inclusión en MEDLINE.  

Palabras Clave: Indicadores bibliométricos; Indicadores de producción científica; Factor de impacto; Acceso a la información (fuente: DeCS BIREME).  

---

ABSTRACT

Biomedical journals are the most used and important venue to disseminate and interchange scientific information, and evaluation is an important component. A bibliometric study was conducted on the productivity, visibility and citation analysis of the Revista Peruana de Medicina Experimental y Salud Pública (RPMESP), from 2002 to 2009. During this period, the RPMESP published about 62 documents per year, 55.3% were research articles. The visibility of RPMESP, determined among three databases (SISBIB-UNMSM, SciELO-Peru, and REDALYC), was irregular, increasing on July 2006, with the highest access on October 2009 (117,618 hits). 43.0% of publications were cited. The calculated impact factor in ISI journals was 0.04 in 2009. In conclusion, the citation of RPMESP shows a slowly growing during the period 2002-2009. It is hoped that the RPMESP increase its visibility and impact after its inclusion in MEDLINE.  

Key words: Bibliometric indicators; Scientific publication indicators; Impact factor; Access to information (source: MeSH NLM).  

---

INTRODUCCIÓN  

La gestión de la ciencia involucra en gran medida a las entidades dedicadas a la publicación científica, pues son ellas las primeras en realizar una revisión externa que juzga la validez, importancia y pertinencia de las investigaciones (1). Por tanto, la evolución de los contenidos de las revistas puede mostrar la evolución de la producción de conocimiento en determinada área (2), así como la mejora de los recursos dedicados a su difusión (3).  

Las revistas más importantes generalmente son las que publican los mejores artículos y las citas realizadas a estos artículos son el reflejo de su impacto en la comunidad científica. Si bien la visibilidad está relacionada con la publicación de artículos de calidad e interés (3), son las indizaciones las que garantizan la difusión de la revista (así como conferirle determinado prestigio pues evalúan, entre otras cosas, la calidad de la revista), algunos de ellos regionales (REDALYC en México o SciELO en Latinoamérica) facilitan la visibilidad de los artículos en determinados sectores, mientras que otros de interés mundial (como MEDLINE o ISI) facilitan una visibilidad global (4,5).  

En 1955 Eugene Garfield sentó las bases para la creación del Journal Impact Factor o factor de impacto (FI), la cual es una herramienta bibliométrica útil para la investigación pues sirve como un indicador que permite realizar una calificación comparativa de la relevancia de las revistas científicas (4).  

El FI de una revista en un año determinado se calcula a partir de las citas recibidas ese año de los documentos publicados dos años previos, datos que podemos encontrar en ISI Web of Knowledge (publicada por Thomson Reuters), que reúne las revistas de importancia mundial (4,5).  

Sin embargo, el uso del FI es controversial por varias razones, en especial por los sesgos en torno a su construcción (6), su fórmula incluye en el numerador todas las citas pero en el denominador un conjunto menor de documentos considerados ‘citables’ (artículos y revisiones); depende del momento realizado ya que días de diferencia implican variación en las citas; es manejado exclusivamente por ISI y en ocasiones no coincide con el FI estimado por grupos independientes; además, la mayoría de revistas que reúne son de habla inglesa, con poca presencia de revistas sudamericanas; y los resultados son dependientes de la materia de estudio, pues aquellas de crecimiento lento (como las ciencias sociales) tendrán menor FI que las de crecimiento rápido (como las ciencias básicas) (2), entre otras.  

Por ello, surgen algunas propuestas para superar estas limitaciones, tal como realizar un FI expandido (incluyendo así más revistas al análisis, con una mayor cobertura de región e idioma), ampliar el periodo de citación (al analizar la citación de publicaciones de los últimos tres o más años), analizar por separado el número de documentos incluidos en la fórmula del FI (añadiendo otros documentos considerados ‘no citables’, como cartas, editoriales, etc.) (7). También existen otras alternativas de evaluación de impacto, como el índice h (útil para valorar la producción de autores), el Journal Citation Score (que calcula las citas en dos años a las publicaciones en uno), el Eigenfactor (similar al FI pero ampliado a cinco años) (8); así como otras propuestas que se alejan del modelo convencional de análisis de citas y consisten en el análisis de visibilidad de las revistas, incluyendo factores económicos o ponderados en base a la accesibilidad y descarga, incluso realizando el análisis de redes de citación entre revistas y su impacto con otras. Todas estas opciones no terminan de resolver las controversias generadas sobre la evaluación de calidad y deben ser evaluadas en el contexto de la revista (8).  

La Revista Peruana de Medicina Experimental y Salud Pública (RPMESP) es el órgano de difusión del Instituto Nacional de Salud (INS), componente científico del Ministerio de Salud (MINSA), tiene como objetivo mostrar la producción científica relevante que aporte al conocimiento en temas de interés, principalmente en salud pública (9). La evolución de la RPMESP desde el 2002, año en que reapareció, le ha permitido lograr diversas indizaciones e incrementar así su visibilidad (10), además, se ha mostrado que la RPMESP tiene una visibilidad promedio frente a otras revistas peruanas en SISBIB (11), y su citación es mayor comparada con las demás revistas médicas peruanas (12).  

El objetivo del presente trabajo es analizar los indicadores de producción, visibilidad y citación de la RPMESP durante el periodo 2002 al 2009, dichos indicadores podrían generar cambios en la gestión para mejorar tanto la producción como el uso de la información (2), en especial ahora que la Revista ha logrado su indización a MEDLINE y espera, eventualmente, lograr su indización en ISI (13).  

EL ESTUDIO  

Se realizó un estudio bibliométrico donde se analizó la producción, visibilidad y citación de la RPMESP desde el año 2002 al 2009, se verificó los datos solo por vía electrónica. La producción se basó en la cuantificación del total de documentos según tipo, que se encuentran listados en los índices de contenido del indizador SciELO Perú (www.scielo.org.pe).  

La visibilidad de la revista se calculó al sumar las solicitudes (vistas y descargas de páginas, imágenes, archivos o ficheros) realizadas en tres de sus indizaciones (SISBIB de la Universidad Nacional Mayor de San Marcos; SciELO-Perú, y REDALYC de la Universidad Autónoma del Estado de México), dado que solo estas brindan de forma abierta estadísticas sobre la visibilidad de las revistas que han indizado. En todos los casos, la estadística fue generada por la empresa AWStats (http://awstats.sourceforge.net/) , recurso disponible en las páginas dedicadas a la “estadística de la revista” en las indizadoras. En este caso, se incluye sólo el periodo disponible (cuyo inicio varía de 2004 a 2007).  

La citación de la revista se calculó teniendo presente las indizaciones de la revista citadora y el año de citación. Por tanto, se ofrece diversos indicadores de citación: cita de la misma revista (número de citas de la RPMESP en la misma revista), citas ISI (número de citas de revistas indizadas a ISI), citas MEDLINE (número de citas de revistas indizadas a MEDLINE pero no a ISI), y citas de revistas con otras indizaciones (número de citas de revistas nacionales o extranjeras no indizadas a MEDLINE o ISI). Posteriormente se dividió el número de citas en revistas ISI según año entre el número de documentos publicados en los dos o tres años previos en la RPMESP (Ej. citas en revistas ISI en 2006 a documentos publicados en 2004-2005 o 2003-2005 en la RPMESP / Documentos publicados en 2004-2005 o 2003-2005 en la RPMESP), obteniendo así un probable FI calculado; que para este trabajo denominaremos ‘FI ordinario’ al de dos años, y ‘FI ampliado’ al de tres años. Similar cálculo se realizó con las citas en revistas MEDLINE, otras revistas y la RPMESP. Una revista indizada en ISI obtiene su FI al sumar las citas de otras revistas en ISI con las propias; para simular esta situación se suma el FI calculado con las citas de revistas ISI con las de la propia RPMESP, y luego con los demás FI, ello nos da un probable FI total.  

El cálculo formal del FI se realiza considerando solo los documentos citables (es decir, se excluyen las editoriales, cartas al editor y galerías fotográficas), de forma adicional se señalan las citas a los documentos excluidos siguiendo las mismas indicaciones.  

El número de citas por artículo se determinó a través de una búsqueda en Google Académico (http://scholar. google.com.pe/) y su posterior comprobación. La identificación y discriminación de las citas fue manual, aquellas citas en revistas ISI a las que no se pudo acceder (debido a que eran documentos de paga por entrega) no fueron incluidas en el análisis inicial. Esta metodología es similar a la aplicada en estudios previos (12,14).  

Los datos fueron procesados en Excel 2007, se describen los resultados usando frecuencias, porcentajes e índices, y de forma gráfica con barras o líneas.  

HALLAZGOS  

Durante el periodo correspondiente a los años 2002 al 2009, la RPMESP produjo 497 documentos, con un promedio de 62 por año, siendo mayor en 2009 con 105 documentos publicados. El tipo de documento más publicado fue el artículo de investigación (que incluye artículos originales y originales breves), con 55,3% (275), seguido por las revisiones (que incluyen los simposios) con 17,9% (89); los casos clínicos fueron los documentos menos publicados, con 3,4% (17). Se observa un incremento del número de revisiones de forma constante, pues de 27,7%, en 2008, llegó a 28,6% en 2009; con una caída porcentual de los artículos de investigación (46,6% en 2008 y 38,1% en 2009). Además, existió un incremento de las cartas al editor, que en 2009 llegó al 15,2% del total de sus publicaciones.  

 

 

En la Figura 2 se aprecia la evolución de la visibilidad de la Revista (2004 al 2009), con 2617 solicitudes en enero de 2004, para llegar a 69 828 en diciembre de 2009 en las tres indizadoras, con una mayor visibilidad en octubre de 2009, con 117 618 solicitudes. El 76,1% de las solicitudes fueron logradas a través de SISBIB, y el 12,2% a través de REDALYC. La visibilidad no fue constante, con periodos de caídas, principalmente en los meses de enero y julio de cada año, característica similar en las tres indizadoras. Desde el año 2004 hasta el 2009 se ha realizado 3 222 453 solicitudes en las tres indizadoras.  

 

Entre los años 2002 a 2009 la RPMESP publicó 423 documentos citables (85,1% del total de documentos); de estos documentos, 182 (43,0%) fueron citados, produciendo un total de 396 citas (en promedio, 2,2 citas por cada documento citado). Esta citación progresó de cero citas en 2002 a 127 citas en 2009, principalmente citas realizadas por la propia RPMESP (59,1%). Como se aprecia en la Figura 3, el incremento de citas se ha dado en revistas indizadas a todo nivel, sin embargo, en 2006 se ve un aplanamiento de la curva de la citación.  

 

Dado que el FI ordinario considera los dos años previos de publicación, y el ampliado tres, se calculó el FI ordinario a partir de 2004 y el ampliado a partir de 2005. Como se aprecia en la Figura 4, se sugiere una tendencia al incremento del FI, siendo evidente en 2009, tanto para el ordinario como el ampliado, cuando alcanzan valores de 0,036 y 0,044 respectivamente.  

 

Considerando como referencia el 2009, el FI ordinario para citas de revistas MEDLINE fue de 0,029; para otras revistas fue de 0,088; y para citas de la misma RPMESP fue de 0,248; sin variaciones importantes respecto al FI ampliado. Si sumamos el FI por citas en revistas ISI a las citas por la propia RPMESP, se incrementa el FI a 0,288.  

En la Figura 5 se aprecia que el FI total ascendió desde 2004 a 2009, con un aplanamiento en 2006. La contribución mayor al FI total fue dada por las citas de la RPMESP, ubicando el FI total para 2009 en 0,40.  

 

De forma adicional, al buscar las citas en documentos considerados como ‘no citables’, se identificó 20 citas, 16 de ellas provenientes de la propia RPMESP y cuatro de otras revistas no indizadas a ISI o MEDLINE. Al calcular el FI considerando el total de documentos (citables + no citables), este disminuyó en todos los años y según la indización de las revistas.  

En el análisis del probable FI no se consideró ocho citas dado que no se pudo acceder a ellas para verificarlas, sin embargo, de haberlas ingresado hubiesen modificado solo el FI ampliado de 2005 sumando en 0,009 unidades, de 2008 en 0,012, y del 2009 en 0,005.  

DISCUSIÓN  

El presente estudio analiza la producción, visibilidad y citación de la RPMESP. Si bien estos no son indicadores absolutos e incluso son controversiales, deben ser evaluados periódica y críticamente en busca de mejorar la calidad de la Revista.  

La poca variabilidad en el número de artículos publicados en la RPMESP podría deberse a la política editorial de la revista (2) al limitar el número de publicaciones por edición, entendiendo que cada vez podrían ser más rigurosos para aceptar la publicación de un artículo conforme se incrementa el prestigio (y, por tanto, incrementar el número de artículos rechazados) (15).  

Se observa un incremento de las “cartas al editor” publicadas en la RPMESP, lo que puede reflejar el interés o impacto generado por algunas de sus publicaciones en la comunidad científica, debido a su calidad o controversia. Este fenómeno ya había sido comentado en un estudio previo al señalar que la RPMESP publica más cartas al editor que las demás revistas biomédicas peruanas (11), esta situación debe ser estudiada en futuros trabajos, puesto que puede ser un buen indicador de la lectura de la revista.  

También se observa un incremento proporcional de la visibilidad de la RPMESP en sus indizadores. Sin embargo, esta visibilidad no es constante. Los meses de enero y julio de todos los años son los de menor visibilidad, lo que puede reflejar que un número importante del público lector corresponde a personas con un interés académico escolarizado (estudiantes o profesionales con periodos de vacaciones).  

Se aprecia en la RPMESP una evolución de la citación que se relaciona con el incremento de la visibilidad, siendo mayoritaria la citación en la propia revista, mientras que la citación en revistas ISI es menor.  

El probable FI calculado de la RPMESP en revistas ISI es demasiado bajo (un FI de 0,04 significa que se citan cuatro artículos de cada 100 publicados hace uno o dos años). Nuestro análisis utilizando otros indicadores como el FI ampliado, o extendido a otras publicaciones, no varía de forma significativa. Si al FI en revistas ISI agregamos el obtenido por citas de la propia revista (simulando que la RPMESP sea una revista ISI) el FI calculado se incrementa a 0,28 que sigue siendo bajo en comparación al FI promedio para revistas ISI de países como México, Chile, Argentina, o Brasil (16). Dentro de las principales recomendaciones para incrementar la citación de una revista tales como: incrementar su difusión e indizaciones; facilitar el acceso a través de Internet; publicar artículos polémicos, de revisión, en inglés, sobre temas de actualidad, de autores muy citados; y la presencia de autocitas (7), la RPMESP ha cumplido con la mayoría de ellos; se espera que su citación en otras revistas se incremente conforme sea más visible a través de la reciente indización a MEDLINE y a otras bases.  

El estudio presenta algunas limitaciones. La primera refiere al análisis de la visibilidad, pues no se pudo disponer de las estadísticas de todas las indizadoras, ni las características específicas de las visitas (como tiempo de acceso, tipo de descarga o simplemente el país de procedencia del acceso o sitio web de referencia).  

Otra limitación es que el análisis de citación se realizó empleando Google Académico, que si bien es un buscador empleado en otros estudios de impacto, no garantiza que el FI sea correcto (14,17), dado que tiende a no incluir varias citas al no realizar un proceso de búsqueda sistemática, con lo que el FI real puede ser mayor. Por ejemplo, Kubinger et al. usaron Google Académico para calcular el FI de una determinada revista, obteniendo un valor de 0,969 pero oficialmente se informó como 1,268; por lo que sugieren su uso como herramienta complementaria para una autoevaluación dada su facilidad de cálculo (18).  

En conclusión, se ve un incremento progresivo de la citación y visibilidad desde 2006, principalmente de citas realizadas por la propia RPMESP; sin embargo, la citación de la RPMESP en revistas ISI es baja pero en incremento, lo que afecta su FI. Por tanto, se recomienda continuar con evaluaciones periódicas de la visibilidad e impacto de la revista complementando tal análisis con otros índices de impacto y estadísticas específicas de visitas de las demás indizadoras, analizar la repercusión de la RPMESP en la comunidad científica y el porqué de la variabilidad mensual de la visibilidad, y eventualmente incrementar la producción de la revista al ampliar la frecuencia de publicación. Se espera que los indicadores evaluados en este estudio se vean afectados positivamente con la reciente indización a MEDLINE, lo que incrementa en gran medida el prestigio y visibilidad de la revista  

Conflictos de Interés  

El autor fue consultor del Instituto Nacional de Salud para la evaluación bibliométrica de la RPMESP.  

Fuente de Financiamiento  

Instituto Nacional de Salud.  

 

REFERENCIAS BIBLIOGRÁFICAS  

1. Bosques Padilla FJ, Gómez Almaguer D. ¿Goliat vs David? ¿Gigantes vs enanos? El mundo de las revistas biomédicas: en la diversidad está el conocimiento. Med Univer. 2008;10(38):1-3.          [ Links ]

2. López-Piñero JM, Terrada ML. Los indicadores bibliométricos y la evaluación de la actividad médicocientífica. (III) Los indicadores de producción, circulación y dispersión, consumo de la información y repercusión. Med Clin (Barc). 1992;98(4):142-48.          [ Links ]

3. López-Jaramillo P. La generación del conocimiento como mercancía de alto valor: importancia de su difusión. Rev Colomb Cardiol. 2007;14(2):65-66.          [ Links ]

4. Garfield E. The meaning of the impact factor. Int J Clin Health Psychol. 2003;3(2):363-69.          [ Links ]

5. Ruiz-Pérez R, Delgado López-Cózar E, Jiménez Contreras E. Criterios del Institute for Scientific Information para la selección de revistas científicas. Su aplicación a las revistas españolas: metodología e indicadores. Int J Clin Health Psychol. 2006;6(2):401-24.          [ Links ]

6. López-Piñero JM, Terrada ML. Los indicadores bibliométricos y la evaluación de la actividad médicocientífica. (I) Usos y abusos de la bibliometría. Med Clin (Barc). 1992;98(2):64-68.          [ Links ]

7. Buela-Casal G. Evaluación de la calidad de los artículos y de las revistas científicas: Propuesta del factor de impacto ponderado y de un índice de calidad. Psicothema. 2003; 15(1): 23-35.          [ Links ]

8. Quindós G. Confundiendo al confuso: reflexiones sobre el factor de impacto, el índice h(irsch), el valor Q y otros cofactores que influyen en la felicidad del investigador. Rev Iberoam Micol. 2009;26(2):97-102.          [ Links ]

9. Burstein Z, Cabezas C. Avances y retos de la Revista Peruana de Medicina Experimental y Salud Pública al 2010. Rev Peru Med Exp Salud Publica. 2010;27(1):3-5.          [ Links ]

10. Cabezas C, Mayta-Tristán P. Evolución y perspectivas de la Revista Peruana de Medicina Experimental y Salud Pública, 1945-2008. Rev Peru Med Exp Salud Publica. 2008; 25(2): 167-68.          [ Links ]

11. Huamaní C, Pacheco-Romero J. Visibilidad y producción de las revistas biomédicas peruanas. Rev Gastroenterol Perú. 2009;29(2):132-39.          [ Links ]

12. Huamaní C, Mayta-Tristán P. Factor de impacto modificado de las revistas médicas indizadas en SciELO Perú, 2006. Rev Peru Med Exp Salud Publica. 2008;25(3):349-50.          [ Links ]

13. Burstein Z, Mayta-Tristán P. La Revista Peruana de Medicina Experimental y Salud Pública ahora indizada en MEDLINE/Index Medicus. Rev Peru Med Exp Salud Publica. 2010;27(3):312-14.          [ Links ]

14. Huamaní C. Análisis de la citación latinoamericana de la Revista Médica de Chile. Rev Méd Chile 2009; 137: 307-09.          [ Links ]

15. Alfonso F, Segovia J, Heras M, Bermejo J. Revista Española de Cardiología 2008. Actividad, impacto científico y otras consideraciones editoriales. Rev Esp Cardiol. 2008; 61(12): 1346-54.          [ Links ]

16. Téllez-Zenteno JF, Morales-Buenrostro LE, Estañol B. Análisis del factor de impacto de las revistas científicas latinoamericanas. Rev Med Chile. 2007;135(4):480-87.          [ Links ]

17. Noruzi A. Google Scholar: the new generation of citation indexes. Libri. 2005;55(4):170-80.          [ Links ]

18. Kubinger KD, Heuberger N, Poinstingl H. On the selfevaluation of a journal’s impact factor. Psychol Test Assess Model. 2010;52(2):142-47          [ Links ]

 

Correspondencia: Charles Huamaní Saldaña  

Dirección: Av. Arriba Perú 1154, Lima 42, Perú  

Teléfono: (511) 992-814-710  

Correo electrónico: huamani_ca@hotmail.com   

 

Recibido: 24-04-10 Aprobado: 11-08-10