SciELO - Scientific Electronic Library Online

 
vol.27 número3Evaluación del agua corporal medida por bioimpedancia eléctrica en adultos jóvenes sanos y su correlación estimada según formulaciones convencionalesEl agua corporal medida por impedancia eléctrica y su estimación según fórmulas convencionales y en función del peso ideal y sexo, en adultos con sobrepeso u obesidad índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

  • No hay articulos citadosCitado por SciELO

Links relacionados

  • No hay articulos similaresSimilares en SciELO

Compartir


Revista Medica Herediana

versión impresa ISSN 1018-130X

Rev Med Hered vol.27 no.3 Lima jul. 2016

 

INVESTIGACIÓN ORIGINAL

 

Validación cultural de un instrumento para medir el nivel de conocimiento de bioestadística

Cultural validation of an instrument to measure the level of knowledge in biostatistics

 

Eduardo Espinoza 1,a, Diego Garcés a

1 Clínica Delgado. Lima, Perú.
a Médico-cirujano

 


RESUMEN

Objetivos: Realizar la validación cultural y analizar la fiabilidad de un cuestionario para medir el nivel de conocimientos en bioestadística. Material y método: El cuestionario fue inicialmente traducido al castellano por 3 traductores, y seguidamente retraducido al inglés. Las traducciones y retraducciones fueron analizadas midiendo la correlación y el grado de acuerdo entre ellas. Posteriormente un comité de expertos construyó un documento de consenso y luego se evaluó el grado de comprensibilidad en 30 sujetos. Finalmente, se realizó el test – retest para evaluar fiabilidad del documento validado. Resultados: La correlación entre las parejas de traducciones del inglés al castellano fue rs = 0,21; rs = 0,25 y rs= 0,90 (p<0,05). El grado de acuerdo entre las parejas de traducciones del inglés al castellano fue Kappa = -0,08 (p=0,08), Kappa = 0,67 (p < 0,0000), y Kappa = 0,58 (p < 0.0000). La correlación entre las parejas de retraducciones del castellano al inglés fue rs = 0,97 (p < 0,0000), rs = -0,03 (p=0,0) y rs = 0,18 (p=0,03). El grado de acuerdo entre las parejas de retraducciones del castellano al inglés fue Kappa = 1, Kappa = 0, y Kappa = 0 (p < 0,05). El documento de consenso probó ser comprensible en un 82% (IC al 95% de 80,2 a 83,2%). El test-retest en dos periodos mostró un rp = 0,94 (p< 0,0000). Conclusiones: La adaptación cultural del cuestionario de conocimientos en bioestadística dio origen a un documento final de alta confiabilidad y comprensibilidad.

PALABRAS CLAVE: Validación, bioestadística, estudios de validación, conocimiento. (Fuente: DeCS BIREME).


SUMMARY

Objective: To make the cultural validation and measure the reliability of a questionnaire which will assess level of knowledge of bio-statistics. Methods: The questionnaire was initially translated to Spanish by 3 translators. Then each translation was retranslated to English. The translations and re-translations were assessed by correlation and measure of agreement. A committee of experts built a consensus document and afterwards degree of comprehension was assessed on a 30 subject group. Finally a test/re-test was done in order to assay the temporal stability of the instrument. Results: The correlation between the couples of translations from English to Spanish was rs = 0.21, rs = 0.25 y rs= 0.90 (p < 0.05). The degree of agreement between the couples of translations from English to Spanish was Kappa = -0.08 (p=0.08), Kappa = 0.67 (p < 0.0000), y Kappa = 0.58 (p < 0.0000). The correlations between couples of re-translations from Spanish to English was rs = 0.97 (p < 0.0000), rs = -0.03 (p=0.70) y rs = 0.18 (p=0.03). The degree of agreement between the couples of re-translations from Spanish to English was Kappa = 1.0 (p = 0.00), Kappa = 0 (p < 0.05), y Kappa = 0 (p < 0.05). The consensus document showed to be comprehensible in 82% (95% CI 80.2-83.2) Correlation between the two times the questionnaire was taken was 0.94 (p < 0.0000). Conclusions:Cultural adaptation of the questionnaire about knowledge of bio-statistics originated a final instrument of high compressibility and reliability.

KEYWORDS: Validation studies, biostatistics, validation. (Source: MeSH NLM).

 


INTRODUCCIÓN

En Medicina resulta indispensable la participación de otras disciplinas y una de las más importantes es la bioestadística y cada vez es más necesario recurrir a literatura basada en demostraciones estadísticas para llevar a cabo una adecuada práctica clínica, pero muchas veces la comprensión de la Medicina basada en evidencia (MBE) representa un reto para la mayoría de los prestadores de salud (1,2).

La MBE incluye al uso de la mejor evidencia disponible sumada a la experiencia clínica en la toma decisiones clínicas y realza la verificación de la evidencia mediante la investigación (3,4,5).

En un estudio realizado entre médicos en actividad, se encontró que los participantes presentaron bajo grado de confianza respecto de sus conocimientos bioestadísticos (6). La actitud de los residentes frente a la MBE fue evaluada en un estudio realizado a nivel nacional en los Estados Unidos. A pesar de que los residentes de medicina interna eran evaluados frecuentemente sobre la aplicación de MBE, estos catalogaron como insuficientes sus conocimientos (1).

En dos hospitales del Perú, se observó que los médicos tenían una actitud favorable frente a la MBE, pero existen marcadas deficiencias en la incorporación de conocimientos provenientes de la misma (7).

En un estudio en Dinamarca se concluyó que el conocimiento de estadística de la mayoría de médicos impedía llegar a conclusiones adecuadas a partir de los análisis estadísticos (2).

Consideramos que una evaluación de los médicos y estudiantes de los últimos años, resulta relevante, no sólo para conocer el nivel en que se encuentran sino también para plantear mejoras debido a que son importantes para que el médico y el estudiante tengan una correcta lectura e interpretación de los artículos científicos.

En el Perú no se cuenta con un instrumento validado para poder realizar ésta medición, por lo que planteamos usar la traducción de un cuestionario ya validado usado en otro idioma para lo cual es necesario realizar una validación cultural de la misma (8).

La adaptación de un instrumento a otro idioma es un proceso complejo y debido a las diferencias culturales, no se puede realizar una simple traducción. En la literatura se recomienda adaptar escalas y cuestionarios ya validados, argumentando que eso reduce los costos y facilita el intercambio de información entre la comunidad científica (8,9,10).

La adaptación cultural es un proceso importante cuando el instrumento es usado en un idioma diferente, un contexto y tiempo distinto al original, porque de esta manera se puede evitar el riesgo de introducir sesgos en el estudio (11,12).

En el proceso de adaptación a otra lengua se deben considerar de forma distinta la cultura y el país, teniendo en cuenta el idioma, el contexto cultural y el estilo de vida. Este punto debe ser considerado principalmente en las poblaciones hispánicas que viven en otros países, como los Estados Unidos, y que, aun teniendo el mismo idioma, poseen dialectos propios que necesitan ser tomados en consideración. Igualmente menciona que no hay una estandarización para la realización de la validación cultural (9).

El objetivo del trabajo fue realizar la validación cultural de un cuestionario para medir el nivel de conocimientos en bioestadística en externos, internos y residentes y evaluar la fiabilidad del instrumento validado.

MATERIAL Y MÉTODOS

El cuestionario fue elaborado por Donna M. Windish, MD, MPH del Departamento de Medicina Interna de la Escuela de Medicina de la Universidad de Yale, la misma que autorizó la traducción y su uso. Originalmente fue escrita en inglés y consta de preguntas sobre conocimiento acerca de métodos estadísticos, diseño de estudios e interpretación de resultados de estudios (13). Las aptitudes sobre estadística y las preguntas sobre el grado de confianza fueron adaptadas de la encuesta: “Evaluación de las herramientas para el mejoramiento del pensamiento estadístico” llamada ARTIST por sus siglas en inglés (14). Respecto a las preguntas sobre conocimiento de la bioestadística: dos fueron adaptadas de un estudio danés sobre conocimiento estadístico (2), siete fueron adaptadas del curso de estadística de la Escuela de Johns Hopkins Bloomberg School of Public Health (15) y las preguntas restantes fueron desarrolladas por la misma autora.

Si bien no existe un consenso estricto acerca de la metodología para realizar la validación cultural de un instrumento, se trataron de utilizar las recomendaciones propuestas en la literatura. En la figura 1 se puede apreciar un flujograma de la metodología usada.

 

Para analizar las coincidencias entre las parejas se contaron el número de palabras en las que coinciden cada par de traducciones y se obtuvo un porcentaje; luego se analizó el grado de acuerdo (concordancia) para lo cual se leyó cada pregunta y cada alternativa de la encuesta traducida y se comparó si se entiende lo mismo entre cada pareja de traducciones y se sacó un porcentaje de las preguntas en las que sí se entiende lo mismo y de las que no; posteriormente se hizo lo mismo con las retrotraducciones. Para correlacionar variables continuas (la comparación entre el conteo de palabras) se utilizó el coeficiente de correlación de Spearman por tratarse de variables sin distribución Normal; y para evaluar la concordancia entre variables categóricas (el acuerdo entre las traducciones, es decir, si se entiende lo mismo por cada pregunta traducida) se usó el estadístico Kappa. Se consideró como estadísticamente significativo un valor de p < 0,05. Los datos fueron registrados en el programa Microsoft Excel 2007. Para el análisis, los datos se transfirieron a un software estadístico STATA versión 11.

Luego, se prosiguió a la evaluación de la comprensibilidad de cada pregunta del cuestionario traducido. Se evaluó que el lenguaje sea claro, que la redacción sea adecuada, y que haya comprensión de las preguntas. Posteriormente se calculó la media del grado de entendimiento de cada pregunta y la media del grado de entendimiento del cuestionario en general con un intervalo de confianza (IC) del 95%. Luego de este proceso se obtuvo el cuestionario validado culturalmente.

Finalmente se analizó la fiabilidad del cuestionario previamente validado, mediante el método test-retest. Para esto se aplicó el cuestionario a 30 personas, las cuales tuvieron que resolver las preguntas, marcando la opción que consideren correcta a cada una de las preguntas de opción múltiple; luego de un plazo entre 20 a 30 días se volvió a tomar el cuestionario a las mismas 30 personas y se evaluó las semejanzas en sus respuestas mediante el coeficiente de correlación de Pearson. La diferencia de días permite evitar que las personas recuerden posibles respuestas y que aprendan más acerca del tema. Este análisis nos permitió analizar la estabilidad temporal del instrumento cuando es medido en las mismas condiciones y bajo los mismos parámetros.

La muestra de sujetos, tanto para la evaluación de comprensibilidad como para el análisis de la fiabilidad, fue reclutada de alumnos matriculados de 6to, 7mo año y médicos residentes de la Universidad Peruana Cayetano Heredia (UPCH) que tuvieran como idioma materno el castellano.

El tamaño de la muestra para evaluar la comprensibilidad y el test – retest fue de 10 de 6to año, 10 del 7mo año y 10 médicos residentes de la UPCH, basándonos en la cantidad necesaria descrita en la literatura. Sus nombres permanecieron ocultos y se les entrego una hoja informativa.

RESULTADOS

La evaluación de la concordancia por grupos de parejas de traducciones mostró diferentes grados de acuerdo en los tres grupos. El Kappa fue -0,0858 para Médico-Bilingüe (M-B) vs Médico-Estadístico (M-E) (p = 0,84); Kp=0,6686 para el grupo de M-B vs Bilingüe-Estadístico (B-E) (p < 0,0000) y Kp=0,4183 para el grupo de M-E vs B-E. (p < 0,0000). La concordancia, entre las re-traducciones (castellano al inglés) del M-B vs M-E fue alta (Kappa: 1; p = 0,0000), en comparación al resto de grupos en los cuales no hubo acuerdo (Tabla 1).

 

La correlación por grupos de parejas de traducciones en todos los grupos de traducciones mostró una correlación significativa entre ellos. La más alta fue entre M-E vs B-E.

Al evaluar la correlación por grupos de parejas de las re-traducciones, al emparejar M-B vs M-E se encontró una alta correlación (rs: 0,9770, p: 0,0000) Al emparejar M-E vs B-E la correlación fue baja y al emparejar M-B vs B-E no hubo correlación (Tabla 2).

 

El documento de consenso realizado por el comité de expertos puede ser visto en la figura 2.

 

La evaluación del grado de comprensibilidad del documento de consenso encontró que la media de cada pregunta varió entre 7,5 y 8,8, siendo la media del documento de consenso de 8,20 (IC al 95: 8,02 a 8,32) (Tabla 3). Con este último análisis se obtuvo el cuestionario validado culturalmente.

 

Finalmente se analizó la fiabilidad del documento validado culturalmente para lo que se realizó la toma del documento de consenso a 30 personas las cuales respondieron el cuestionario en 2 periodos, separados entre sí un mínimo de 20 días y un máximo de 30 días, luego del cual se analizaron las semejanzas en sus respuestas obteniéndose una correlación alta rp: 0,94 (p=0,000) (Gráfico 1).

 

DISCUSIÓN

El proceso de adaptación cultural está orientado a lograr la medición de un mismo fenómeno en diferentes culturas; esencialmente es la producción de un instrumento equivalente adaptado a otra cultura. En el Perú no existe un instrumento validado para medir el nivel de conocimiento en Bioestadística en estudiantes de medicina ni médicos residentes.

Si bien no existe un consenso estricto en la literatura de cómo debe realizarse la adaptación cultural de un instrumento, se propone que para realizarla es importante tener en cuenta dos aspectos: la validación cultural que realiza una evaluación lingüística que analiza aspectos de equivalencia entre el instrumento original y la versión traducida; y la evaluación de las propiedades psicométricas del instrumento validado (16,17).

Se recomienda que para las traducciones participen al menos 2 traductores cuya lengua materna sea la del idioma de destino (17). Nosotros hemos utilizado 3, los cuales por su ámbito profesional abarcan los tópicos que son abordados en el cuestionario. Al hacer las traducciones del inglés al castellano se encontró que la concordancia entre el M-B vs B-E fue sustancial, esto se podría explicar porque el estadístico al momento de hacer la traducción al español es el que ha usado el lenguaje más técnico entre los tres, debido a que es el que maneja el nivel más alto de conocimiento respecto al tema, mientras que el médico lo tradujo de manera más sencilla tratando de buscar el sentido de lo que traducía y el bilingüe lo hizo de manera más coloquial, lo cual lo hacía más entendible para la mayoría; es por esto que la versión hecha por el bilingüe tuvo mayor relevancia al comparar la concordancia. En cambio, la correlación fue significativa para todas las parejas aunque en diferente grado, siendo el más alto en la del M-E vs B-E, lo cual se puede entender debido a que tanto el médico como el bilingüe trataron de usar palabras que se adecuaran al lenguaje técnico del tema.

Para las retro-traducciones, la literatura recomienda que sean otros traductores, cuya lengua materna sea la del cuestionario original (17). En nuestro caso, por dificultad para conseguir profesionales con lengua materna inglesa, recurrimos a los mismos traductores, lo que explica los resultados encontrados en el análisis de las retro-traducciones. El grado de correlación y concordancia entre las re-traducciones fue significativo únicamente al comparar las parejas M-B vs M-E. Esto podría ser explicado porque es el médico el que maneja un mejor vocabulario para traducir al inglés términos estadísticos y hacerlos entendibles, buscando el sentido de cada uno de los ítems evaluados; y no solamente una traducción literal (que es hecha por el bilingüe) ni una muy técnica (que es hecha por el estadístico). Además hay que tener en cuenta que los que realizaron las retrotraducciones ya tenían conocimiento del tema, debido a que habían realizado las traducciones al castellano previamente.

En base a las traducciones y retro-traducciones, el comité de expertos, que estuvo conformado por cinco médicos con estudios que respaldan sus conocimientos en bioestadística, (4 con idioma materno español y uno inglés), elaboró un documento único de consenso, que al ser evaluado mostró un alto grado de comprensibilidad en cada uno de las 16 preguntas por parte de los externos, internos y residentes de la Facultad de Medicina de la UPCH.

Después del análisis estadístico realizado a las traducciones, la evaluación por el comité de expertos y la prueba de comprensibilidad a la que se sometió el cuestionario, creemos que se ha preservado el significado original de cada uno de las preguntas, logrando la equivalencia de significados entre la cultura en que originalmente se desarrolló el cuestionario y la nueva población a la cual está dirigida. Luego de esto se puede decir que el cuestionario esta validado culturalmente.

La literatura menciona que la correcta traducción y adaptación cultural de un cuestionario no siempre garantiza la preservación de sus propiedades psicométricas: fiabilidad, consistencia interna, validez de contenido, de criterio y sensibilidad al cambio (9,11,17).

En este trabajo únicamente se evaluó la fiabilidad intra-observador del instrumento mediante la técnica del test-retest; donde mostró una alta confiabilidad. La variabilidad inter – examinadores (inter-observadores) no fue medida debido a que el cuestionario únicamente debe ser entregado a la persona que lo va a responder y esto no variaría los resultados del cuestionario. De esta forma quedaría pendiente analizar las otras propiedades psicométricas del cuestionario.

La metodología utilizada para obtener un instrumento validado culturalmente, puede ser empleada en diversos ámbitos; de esta forma se puede recolectar información valiosa en un país tan heterogéneo como el nuestro.

Dentro de las limitaciones del estudio, debemos considerar que no hay un consenso estricto para realizar la validación cultural, así que nos hemos basado en uno de los métodos más comunes, dejando de lado otras metodologías para realizar la validación cultural, los cuales difieren en análisis posteriores a la obtención del cuestionario traducido, que forman parte de la evaluación psicométrica del documento final.

En conclusión, la adaptación cultural del cuestionario de conocimientos en bioestadística dio origen a un documento final de alta comprensibilidad y confiabilidad que puede ser usada para analizar el nivel de conocimiento en bioestadística de externos, internos y residentes.

 

REFERENCIAS BIBLIOGRÁFICAS

1. Dellavalle RP, Stegner DL, Deas AM, et al. Assessing evidence-based dermatology and evidence based internal medicine curricula in US residency training programs: a national encuesta. Arch Dermatol. 2003; 139(3):369-372.         [ Links ]

2. Wulff HR, Andersen B, Brandenhoff P, Guttler F. What do doctors know about statistics? Stat Med. 1987; 6(1):3-10.         [ Links ]

3. Evidence-Based Medicine Working Group. Evidence-based medicine. A new approach to teaching the practice of medicine. JAMA. 1992;268(17):2420-5.         [ Links ]

4. Ashcroft R. Current epistemological problems in evidence based medicine. J Med Ethics. 2004; 30:131-135.         [ Links ]

5. Sánchez-Mendiola M. La medicina basada en evidencias y la escuela de Medicina. Gac Méd Méx. 2004; 140(3): 314-316.         [ Links ]

6. Young JM, Ward JE. Evidence-based medicine in general practice: beliefs and barriers among Australian GPs. J Eval Clin Pract. 2001;7(2):201-210.         [ Links ]

7. Canelo C. Conocimientos, actitudes y prácticas de la medicina basada en evidencias en médicos asistentes y residentes en dos hospitales de Lima-Perú. Rev Med Hered. 2007;18 (2):76-84.         [ Links ]

8. Alexandre N, Guirardello E. Adaptación cultural de instrumentos utilizados en salud ocupacional. Revista Panamericana de Salud Pública 2002; 11(2):109-111.         [ Links ]

9. Guillemin F, Bombardier C, Beaton D. Crosscultural adaptation of health-related quality of life measures: Literature review and proposed guidelines. Journal of Clinical Epidemiology. 1993; 46: 1417-1432.         [ Links ]

10. Hutchinson A, Bentzen N, Konig-Zanhn C. Cross cultural health outcome assessment: a user’s guide. Groningen: European Research Group on Health Outcomes; 1997.         [ Links ]

11. Gjersing L, Caplehorn JR, Clausen T. Crosscultural adaptation of research instruments: language, setting, time and statistical considerations. BMC Med Res Methodol. 2010; 10:13.         [ Links ]

12. Herdman M, Fox-Rushby J, Badia X: A model of equivalence in the cultural adaptation of HRQoL instruments: the universalist approach. Qual Life Res. 1998; 7:323-335.         [ Links ]

13. Windish DM, Huot SJ, Green ML. Medicine residents understanding of the biostatistics and results in the medical literature. JAMA. 2007; 298(9):1010-22.         [ Links ]

14. Assessment Resource Tools for Improving Statistical Thinking. ARTIST Online Tests. Minnesota: University of Minnesota; 2006.         [ Links ]

15. Department of Biostatistics, Johns Hopkins Bloomberg School of Public Health. Course materials from Statistical Methods in Public Health II and III, 2003-2004 academic year. Baltimore:Johns Hopkins Bloomberg School of Public Health; 2015.         [ Links ]

16. Guyatt G, Patrick D. Evaluation of translation and cultural adaptation in global clinical trials included in Cochrane reviews. Sao Paulo, Brazil:XV Cochrane Colloquium; October 23-27 2007.         [ Links ]

17. Ramada-Rodilla JM, Serra-Pujadas C, Delclós-Clanchet GL. Adaptación cultural y validación de cuestionarios de salud: revisión y recomendaciones metodológicas. Salud Pública de México. 2013;(55) 57-66.         [ Links ]

 

Declaración de financiamiento y de conflictos de intereses: El estudio fue financiado por los autores y declaran que no hay conflicto de intereses entre los mismos.

Contribución de autoría: Ambos autores han contribuido en igual proporción a la elaboración del artículo.

 

Correspondencia:

Eduardo Antonio Espinoza Olórtegui
Av. La Alborada 1684 Lima 1, Perú.
Correo electrónico: eduardo.espinoza@upch.pe

Teléfono: 51 993494856

 

Recibido: 16/03/2016
Aceptado: 03/06/2016