ARTÍCULO ORIGINAL

Errores en las referencias bibliográficas de las revistas médicas peruanas

Errors in peruvian medical journals references

 

Charles Huamaní ^1,2, José Pacheco-Romero ^1,3

1. Facultad de Medicina Humana, Universidad Nacional Mayor de San Marcos, Lima, Perú.

2. Estudiante de Medicina;

3. Doctor en Medicina

 

Conflictos de interés:

CHS fue miembro del comité editorial de la revista CIMEL de 2005 a 2007; JPR es presidente y editor de la revista Anales de la Facultad de Medicina desde el 2000 y de la Revista Peruana de Ginecología y Obstetricia desde 1964.

 

---

 

RESUMEN

INTRODUCCIÓN: Las referencias bibliográficas son el fundamento de nuestros estudios, una adecuada selección es tan importante como una adecuada descripción.

OBJETIVOS: Determinar el número de errores en una muestra de referencias de las revistas médicas peruanas.

MÉTODOS: Se revisó 515 referencias hechas a artículos científicos, seleccionadas a través de un muestreo aleatorio sistemático, corroborando los datos de la referencia con el documento original o su citación en Pubmed, LILACS o SciELO-Perú.

RESULTADOS. El 47,6% (245) de las referencias presentaba errores, identificando 372 tipos de errores, siendo los más frecuentes los errores en el estilo de presentación (120), en la autoría (100) y el título (100), debidos principalmente a errores ortográficos (91).

CONCLUSIONES. El porcentaje de error en las referencias es elevado, variado y múltiple. Se sugiere la revisión sistemática de las referencias en el proceso editorial y ampliar la discusión sobre esta temática.

PALABRAS CLAVE: referencias bibliográficas, publicaciones periódicas, investigación, bibliometría.

 

---

 

ABSTRACT

INTRODUCTION: References are fundamental in our studies; an adequate selection is as important as an adequate description.

OBJECTIVES: To determine the number of errors in a sample of references found in Peruvian medical journals.

METHODS: We reviewed 515 scientific papers references selected by systematic randomized sampling and corroborated reference information with the original document or its citation in Pubmed, LILACS or SciELO-Peru.

RESULTS: We found errors in 47,6% (245) of the references, identifying 372 types of errors; the most frequent were errors in presentation style (120), authorship (100) and title (100), mainly due to spelling mistakes (91).

CONCLUSIONS: References error percentage was high, varied and multiple. We suggest systematic revision of references in the editorial process as well as to extend the discussion on this theme.

KEY WORDS: references, periodicals, research, bibliometrics.

 

---

 

INTRODUCCIÓN

Las investigaciones biomédicas generalmente tienen como característica ser fundamentadas en estudios previos, tanto para discutir como para comparar los resultados del nuevo estudio; por tanto, es deber de los autores seleccionar de manera adecuada las referencias a usar, de manera de fortalecer su estudio y darle mayor credibilidad1. Es así que la repercusión de una revista se obtiene a partir del análisis de las citaciones; es decir, cuántas veces han sido usados los artículos publicados por determinada revista en un periodo, como referencia para otras investigaciones, obteniendo con ello el factor de impacto2,3.

Por esta razón, es un atributo de las referencias bibliográficas ser exactas al momento de dirigir al lector a la fuente primaria u original, avalando o discutiendo con ello la información presentada; y debe ser precisa al señalar la fuente, para que los cálculos de impacto no se distorsionen3,4.

A pesar que el uso de las normas de Vancouver no es difícil, que en las instrucciones para los autores de muchas revistas figuran enlaces a ejemplos de citación, y que el proceso editorial involucra la revisión del manuscrito (incluidas las referencias) por parte de muchos profesionales1,5, son varios los estudios que señalan un gran porcentaje de error en las referencias bibliográficas, que varía entre 19 y 81%4,6-10. Estos porcentajes de error no son exclusivos de las publicaciones científicas, sino que se ha informado resultados similares en tesis o investigaciones de posgrado11; lo que lleva a cuestionar la formación del investigador desde los inicios.

Si bien se puede dar una gran responsabilidad a los autores por estos errores7,8, los manuscritos deberían pasar por un riguroso proceso editorial, por lo que la responsabilidad final pasa a ser de los editores2,4,10,12. Estas incorrecciones no han sido señaladas en estudios peruanos. Pero, la discusión en publicaciones internacionales ha llevado a considerar que errores en las referencias podrían incluso hacer sospechar de infracciones éticas en la investigación, tales como el plagio o 'copia y pega' de referencias y las citas de citas6,7, o infracciones mayores, pues si consideramos que las referencias están mal, pueden ser adulteradas o no existentes, también podríamos sospechar que el manuscrito ha sido adulterado o es deficiente10.

El objetivo de este estudio es determinar el número de errores en las referencias bibliográficas en una muestra de artículos publicados en revistas médicas peruanas, describiendo las características de los errores.

MÉTODOS

Se estudió los errores solamente en las referencias realizadas a artículos publicados en revistas periódicas y se comparó cada uno de los elementos de la referencia con el documento original. Se analizó las referencias de los artículos publicados en ocho revistas médicas peruanas indizadas a SciELO-Perú, de 2005 a 2007, incluyendo los artículos originales y comunicaciones cortas y excluyendo las notas clínicas.

La población de referencias a artículos de revistas periódicas consistía en 7 548 referencias (78% del total de referencias) usadas en los 415 artículos publicados en el periodo de estudio. El cálculo del tamaño de muestra se realizó en el programa Epidat 3,1, considerando que 64,13% de referencias tenían errores6, una precisión absoluta de 4% y nivel de confianza de 95%; por lo tanto, se debía revisar 515 referencias.

La selección de las referencias se realizó de manera proporcional al número de referencias por año y revista, sin considerar el número de artículos. Una vez que se determinó el número de referencias por año de revista, se hizo un listado de las referencias y se hizo un muestreo sistemático para seleccionarlas (se eligió las referencias a intervalos de 1:14 o 1:15, según correspondiera el número de referencias a seleccionar por revista).

Aunque la población de referencias en teoría correspondía a referencias de publicaciones en revistas periódicas, si en la revisión se encontraba una proveniente de una fuente distinta (libros, conferencias, actas de congresos, artículos en prensa, entre otros), esta era excluida. En este caso, se sustituía dicha referencia por la inmediatamente posterior a la excluida; si esta, a su vez, cumplía un criterio de exclusión, se seleccionaba la inmediatamente anterior; y, así, sucesivamente. Se realizó la exclusión de las referencias a fuentes distintas a revistas periódicas para facilitar la verificación de la referencia.

Para acceder a las referencias, se ubicaba el artículo de referencia a través de una consulta informatizada en índices bibliográficos o bases de datos, usando para ello los buscadores Google, Google Scholar y Pubmed. En la búsqueda, se utilizaba los datos de la referencia, como datos del autor, título del artículo o revista fuente. Se daba una referencia por 'no comprobada' únicamente si después de estos procedimientos no se podía verificar que la citación era correcta; también, se señala las referencias no comprobadas, pero que habían sido citadas en otros documentos. Para garantizar la fiabilidad a la hora de introducir y tabular datos, se requería disponer de la versión oficial del documento electrónico (versión en PDF), donde constaran todos los elementos de la referencia.

Para los tipos de errores, se estableció las categorías siguientes:

- errores en la autoría (omisión de autores, orden equivocado; errores ortográficos);

- errores en el título (omisión de palabras, palabras cambiadas, idioma incorrecto);

- incorrecciones en la revista, año, volumen o páginas (cualquier discordancia relativa al nombre de la revista, año de publicación, volumen de la revista y páginas del documento); y,

- errores en el estilo de presentación, al usar de manera incorrecta el formato de Vancouver (solo si esta era solicitada en las instrucciones para los autores de la revista), incluida el uso incorrecto del título abreviado de la revista; consideramos como correcta las formas recomendadas por Medline, LILACS o SciELO.  

En el caso de las referencias 'no comprobadas', se verificó solo los errores en estilo de presentación. Se consideró el estilo y formato de citación médica propuesta por el International Committee of Medical Journal Editors (www.icjme.org) y se usó como guía el libro de Citing Medicine, desarrollado por la U.S. National Library of Medicine13. Se tuvo en cuenta las variaciones señaladas por las revistas; por ello, no se consideró como errores el uso inapropiado de mayúsculas, o no señalar el número de edición.

Se confeccionó una base de datos en Excel 2003. Se describe los resultados en frecuencias y porcentajes, e intervalos de confianza al 95% (IC95%). Para las comparaciones entre el número de errores por año, se utilizó la prueba de ji cuadrado, utilizando el programa Epiinfo 3,5,1.

RESULTADOS

Se revisó un total de 515 referencias; 35 no pudieron ser comprobadas, por tratarse de artículos provenientes de revistas fuera de circulación electrónica o que, a pesar de estar en circulación, no se encontraban completas. De estas, 19 habían sido citadas en otros artículos. Entre las 484 referencias comprobadas, se encontró 237 con algún error, mientras que 8 de las 35 referencias no comprobadas tenían errores en el estilo de presentación. En total, 245 referencias presentaban algún tipo de error, lo que equivale a 47,6% (IC95%: 43 a 52%) del total de referencias (Tabla 1). El error era de un solo tipo en 156 referencias, y de varios tipos en 62.

 

En las 245 referencias con errores, se identificó 372 tipos de errores, distribuidos en cuatro categorías. La categoría de errores más frecuente fue la de un 'inadecuado estilo de presentación', identificando 106 referencias con errores, con un total de 120 errores; entre estos, el tipo de error más frecuente era la 'falta en la abreviatura de la revista' con 71 errores. Le siguieron los errores en la categoría de título (92), en la autoría (87) y en los datos de referencia (51). Según el tipo, los errores más frecuentes fueron 'faltas ortográficas en los datos de los autores' (49), 'errores ortográficos en el título de la referencia' (42), 'estilo de presentación incorrecta de los autores'(40), 'error solo en las páginas de la referencia' (35), 'omisión de autores' (39). Se describe los demás errores en la Tabla 2 y tabla 3.

 

 

Los años 2005, 2006 y 2007 se registraron un total de 73 (46%), 83 (49%) y 89 (47%) referencias con errores, respectivamente, sin que existiera diferencia significativa (p=0,83).

De las 515 referencias incluidas, la revista con más proporción de referencias a artículos fue la revista 'Anales de la Facultad de Medicina', con 128 referencias incluidas, dado que en el periodo de estudio hizo uso de 1839 referencias. En cuanto a los errores según la revista, la 'Revista de Gastroenterología del Perú' registró el mayor número de errores, con 69%, seguida de 'Folia Dermatológica del Perú' (64%) y 'Acta Médica Peruana' (57%); mientras que, la revista con menor porcentaje de error fue la 'Revista Peruana de Medicina Experimental y Salud Pública', con 27% (Tabla 4).

 

DISCUSIÓN

Existen varias formas de clasificar los errores; incluso los autores los consideran como graves o leves, dependiendo si el error permite o no recuperar el artículo6,8. Todas estas variantes son arbitrarias, pero permiten describir el fenómeno desde varios puntos9,10. En nuestro caso, usamos una clasificación por categoría, según la parte específica de la referencia, y dentro de ella la variante del error; al hacerlo, cubrimos casi todos los tipos de error, dejando de lado los que excluimos en la metodología, como el uso incorrecto de las mayúsculas y el no colocar el número de la revista. Nuestra clasificación incluye los errores en el estilo de presentación, que aunque no impiden una adecuada recuperación de la información son parte del proceso editorial, al normalizar la presentación, que es un criterio de calidad considerado dentro de la evaluación de las revistas para ser indizadas a Medline14.

Los estudios informan porcentajes de error entre 19 y 81%4,6-11. Estos porcentajes se reflejan en los obtenidos a nivel de las revistas peruanas, pues van de 26 a 69%. La amplia dispersión del porcentaje de error en los estudios encontrados se debe a que usaron diversas clasificaciones de error y evaluaron revistas en varias décadas. En contraste, los porcentajes tan variables de errores en las referencias peruanas se deben a la rigurosidad de cada revista a este nivel. Así, la 'Revista de Gastroenterología del Perú' es la revista con mayor porcentaje de error, a pesar de ser la única revista peruana indizada en Medline; esto puede deberse a que la indexadora es exigente en la metodología y discusión, pero descuidan la parte de las referencias. Tal hecho perjudicaría su impacto, al no poder analizar correctamente sus citaciones. Por el contrario, la 'Revista Peruana de Medicina Experimental y Salud Pública' es la que posee el menor número de errores, debido quizá a que es la única que cuenta con profesionales dedicados de manera exclusiva a la edición científica, mientras en las demás revistas los editores comparten su actividad científica con la clínica y docente.

La proporción de errores según categoría no difiere de otros estudios, que informan más errores en la parte de autoría, seguido del título y los datos de la referencia6,7,11. Muchos de ellos se deben a problemas ortográficos, debido a la dificultad para transcribir apellidos o términos inusuales10, pero que limitan la verificación de la información. Errores menos comunes son las alteraciones en el orden de los autores y el uso de títulos traducidos. Lo correcto es usar el título original y, solo si es necesario usar el título traducido, se debe señalar el idioma original (Ejemplo: “…[Sleep apnea syndrome]. Nippon Rinsho. 2005;63(7):1221-6. [Artículo en japonés]”). Cabe diferenciar entre el uso del título traducido que aparece junto al título original, de los errores en la traducción del título original, los mismos que se deben a un inadecuado uso del idioma extranjero16. Solo consideramos como error el uso del título traducido, sin señalar el idioma del título original.

De otro lado, cuando se los analiza, los errores más comunes se encuentran en las abreviaturas de las revistas8,15. Se recomienda el uso de las abreviaturas según Medline. El inconveniente surge en las revistas que no están indizadas a Medline (que son la mayoría de revistas peruanas). Para mantener uniformidad, algunas revistas usan las formas abreviadas recomendadas por LILACS, base de datos que agrupa a la mayoría de revistas latinas; pero, esta difiere en ocasiones de la base de datos SciELO, que proporciona la opción 'cómo citar este artículo'. Ejemplos de estos errores y variantes se muestran en la Tabla 5.

 

Nosotros solo analizamos los errores de las referencias a artículos originales, que son los más usados y fáciles de acceder y, por tanto, deberían tener menos errores. En relación a los otros tipos de documentos, además que es más difícil corroborar la fuente original, existe una gran variación en la forma de citación; por ejemplo, en la citación de referencias electrónicas se puede colocar desde la página índice hasta un hipervínculo12, esto debido a que las normas de Vancouver no son rigurosas. Ello nos hace presumir que el porcentaje de errores en otro tipo de referencias es aún mayor. De igual manera, solo analizamos las referencias en las investigaciones publicadas como 'artículos originales' y 'comunicaciones cortas'. Una revista española informa que secciones como 'historia' o 'notas clínicas' tienen más errores15, así que se recomienda ampliar el estudio a todas las secciones de la revista.

Debido al tipo de muestreo, es difícil determinar otro tipo de errores, como repetición de citas en un mismo documento15. Sin embargo, en una revisión no metódica pudimos observar casos de este tipo, siendo un error más grave, puesto que implica una deficiente revisión por parte del autor y los editores.

Todas estas consideraciones deberían tenerse presente, pues la repercusión directa de los errores en las referencias serían el posible rechazo u observación del manuscrito en el caso de los autores5, o un deficiente análisis de consumo de información2,4 y, por tanto, una disminución del impacto de las revistas. Aunque la citación de las revistas peruanas de por sí es baja3, estas alteraciones afectarían de forma negativa el análisis del factor de impacto.

Como estrategias para disminuir el número de errores, se sugiere:

- el uso de sistemas aparentemente precisos (como los que proporciona Medline, LILACS o SciELO), evitando transcribir las referencias, y por tanto, disminuyendo los errores ortográficos4,8;

- en el caso de las abreviaturas de las revistas, si no figura en el listado de Medline, usar solo un sistema alterno (LILACS o SciELO), el mismo que debería figurar en las instrucciones para los autores de las revistas;

- que las mismas revistas señalen cómo quisieran que citen sus artículos12;

- reducir el número de referencias a las totalmente necesarias4,10;

- solicitar a los autores copias de las referencias usadas, si estas no pueden ser comprobadas9;

- y, una vez editado el artículo, las referencias deberían ser revisadas de forma sistemática y periódica para realizar un control de calidad6,7,10.

En conclusión, el porcentaje de errores en las referencias bibliográficas es elevado, siendo variado y múltiple. Es responsabilidad de los editores de las revistas revisar y corregir estos errores en las referencias, pues es el prestigio de la revista el que está en juego. Para ello, sería recomendable promover la instrucción de los autores en estos tópicos, ampliar la sección de referencias en las normas de publicación de las revistas, ser más rigurosos en el proceso editorial y solicitar consultoría especializada en casos particulares.

 

REFERENCIAS BIBLIOGRÁFICAS

1. REYES BH. Las referencias en articulos publicados en revistas biomedicas. Rev Med Chile. 2001;129:343-5.

2. LOPEZ-PINERO JM, Terrada ML. Los indicadores bibliometricos y la evaluacion de la actividad medicocientifi ca. (III) Los indicadores de produccion, circulacion y dispersion, consumo de la informacion y repercusion. Med Clin (Barc). 1992;98:142-8.

3. HUAMANI C, MAYTA-TRISTAN P. Factor de impacto modifi cado de las revistas medicas indizadas en SciELO Peru, 2006. Rev Peru Med Exp Salud Publica. 2008;25(3): [en prensa].

4. VARGAS-ORIGEL A, GOMEZ-MARTINEZ G, VARGAS-NIETO MA. The accuracy of references in paediatric journals. Arch Dis Child. 2001;85:497-8.

5. PACHECO J. Como publicar un articulo biomedico en la Revista Peruana de Ginecologia y Obstetricia. Rev Per Ginecol Obstet. 2004;50(2):123-8.

6. PULIDO M, GONZALEZ JC, SANZ F. Errores en las referencias bibliografi cas: un estudio retrospectivo en Medicina Clinica (1962-1992). Med Clin (Barc). 1995;104:170-4.

7. LEON-LOPEZ G, SOTO-RODRIGUEZ V, ESCAMILLAORTIZ AC. Estudio bibliometrico de las referencias bibliografi cas en la literatura biomedica mexicana. Cir Gen. 2001;23:301-3.

8. ARONSKY D, RANSOM J, ROBINSON K. Accuracy of references in fi ve biomedical informatics journals. Am Med Inform Assoc. 2005;12:225-8.

9. RAJA UY, COOPER JG. How accurate are the references in Emergency Medical Journal? Emerg Med J. 2006;23:625-6.

10. VALERA GARRIDO JF, MASSO AVILA JJ, BERNABEU LLEDO M, OSUNA CARRILLO DE ALBORNOZ E, MEDINA I MIRAPEIX F, SAEZ GOMEZ JM. Calidad de las referencias en la revista Fisioterapia (1991-1999). Fisioterapia. 2003;25:59-68.

11. BRAGA FERREIRA C, BERNADETE MALERBO M, REGINA SILVA M. Errores en las referencias bibliograficas de la produccion academica: un estudio de caso. Scire. 2003;9:133-8.

12. HUAMANI C, MAYTA-TRISTAN P. Consideraciones al usar referencias electronicas de revistas impresas. Rev Med Chile. 2008;136:1221-3.

13. PATRIAS K. Citing medicine: the NLM style guide for authors, editors, and publishers [Internet]. 2da ed. Wendling DL, editor tecnico. Bethesda (MD): National Library of Medicine (EEUU); 2007 [Acceso el 13.12.2008]. Disponible en: http://www.nlm.nih.gov/citingmedicine.

14. LOPEZ-COZAR ED, RUIZ-PEREZ R, JIMENEZCONTRERAS E. Criterios Medline para la seleccion de revistas cientificas; metodologia e indicadores: Aplicacion a las revistas medicas espanolas con especial atencion a las de salud publica. Rev Esp Salud Publica. 2006;80:521-51.

15. FERNANDEZ BAENA MJ. Las referencias bibliograficas de los articulos publicados en la Revista Espanola de Anestesiologia y Reanimacion. Estudio del periodo 1999-2003. Rev Esp Anestesiol Reanim. 2006;53:283-8.

16. NAVARRO FA, BARNES J. Traduccion de titulos al ingles en MEDICINA CLINICA: calidad e influencia del castellano. Med Clin (Barc). 1996;106:298-303.