SciELO - Scientific Electronic Library Online

 
 issue71Impact assessment of Brazilian university extension periodicals author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

  • Have no cited articlesCited by SciELO

Related links

  • Have no similar articlesSimilars in SciELO

Share


Biblios

On-line version ISSN 1562-4730

Biblios  no.71 Pittsburgh Apr./Jun. 2018

http://dx.doi.org/10.5195/biblios.2018.470 

ORIGINAL

Surgimiento y desarrollo del método Delphi: una perspectiva cienciométrica

Emergence and development of the Delphi method: a scientometric perspective

 

Miguel Cruz Ramírez*

José Alberto Rúa Vásquez**

* Universidad de Holguín - UHO, Cuba

**Universidad de Medellín - UDEM, Colombia


Resumen

El presente trabajo tiene como objetivo caracterizar el desarrollo del método Delphi, a partir de indicadores cienciométricos relacionados con publicaciones de elevados índices de calidad. A partir de una búsqueda automatizada en Scopus se conforma una base de datos de 10341 documentos, registrados desde 1969. Como principales resultados, se observa un crecimiento acelerado de la actividad científico-técnica relacionada con este método, se constata el impacto de los documentos publicados en una amplia heterogeneidad de campos del conocimiento científico, se identifican colegios invisibles determinados por complejas redes de colaboración científica, y también se exploran nuevas áreas y tendencias de desarrollo. Aunque la marcada variedad de terminologías afines al método Delphi obstaculizan el procesamiento de la información, se concluye que las técnicas cienciométricas son efectivas para caracterizar el desarrollo de este método, incluso más allá del marco de la prospectiva.

Palabras clave: Cienciometría; Método Delphi; Producción científica; Scopus; Técnica Delphi


Abstract

The present work aims to characterize the development of the Delphi method, based on scientific indicators related to publications with high quality indexes. As a result of an automated search in Scopus, a database of 10341 documents recorded since 1969, has been formed. Among the main results, it is observed an exponential growth of the scientific and technical activity, related with this method. The impact of the published documents becomes verified in an ample heterogeneity of fields of the scientific knowledge. Certain invisible fact-finding schools are identified, determined by complex networks of scientific collaboration. On the other hand, some new areas and development tendencies are also explored. Although the marked variety of terminologies related to the Delphi method hinders the processing of information, it is concluded that the scientometric techniques are effective to characterize the development of this method, even beyond the perspective framework.

Keywords: Delphi Method; Delphi Technique; Scientific production; Scientometric; Scopus


 1 Introducción

El método Delphi surgió en el marco de estudios prospectivos realizados por investigadores de la Corporación RAND (http://www.rand.org ) en los Estados Unidos, a mediados del siglo XX. Su objetivo primario consistía en "[…] obtener el consenso más confiable de la opinión de un grupo de expertos" (Dalkey & Helmer, 1963, p. 458). Para ello se estructuró un conjunto de rondas donde los expertos respondían ciertos cuestionarios relacionados con un problema específico. En su concepción clásica, luego de culminada cada ronda la información se sintetiza por medio de métodos estadísticos y se devuelve en forma resumida al panel. Una vez satisfecha cierta condición de parada, el proceso culmina con una síntesis final del juicio de los expertos, la cual constituye una expresión de consenso. Este proceder responde a la premisa epistémica de que el juicio colectivo es superior al individual (Kaplan, Skogstad, & Girshick, 1950).

Transcurrido más de medio siglo desde su aparición en la literatura científica, el método Delphi ha experimentado cambios de denominación, definición, tipología, y espectro de aplicación. En lugar de "método", en la literatura aparecen con frecuencia otros términos tales como metodología, técnica, estudio, tecnología, investigación, diseño, y muchos más (vid. Mullen, 2003). Ello implica cierta ambigüedad y dificulta la búsqueda de información sobre este método en bases de datos, a causa de las consecuentes carencias de normalización.

Una exploración en Google Académico, fechada el 9 de marzo de 2017, refleja la marcada preferencia por los términos Delphi method (51200), Delphi study (44500), y Delphi technique (39500). Estos valores son superiores a los observados para Delphi methodology (5060), Delphi research (3540), y Delphi design (609). Si se filtra con una búsqueda avanzada las referencias que contienen Delphi method y que no contienen Delphi study, resultan 9430 registros que significan el 18.42%. O sea, las 4/5 partes de las referencias que utilizan Delphi method utilizan simultáneamente Delphi study. Algo similar ocurre al excluir los registros con el término Delphi technique, quedando eliminadas aproximadamente las 3/4 partes. En el presente estudio se ha seleccionado el término "método" por motivos históricos más que estadísticos, atendiendo a la denominación primigenia que figura en el resumen del memorándum The use of experts for the estimation of bombing requirements, un reporte de la RAND del 14 de noviembre de 1951, desclasificado una década después (Rand paper RM-727/1-Abridged; Dalkey & Helmer, 1963).

Respecto a la definición, la tendencia ha ponderado cuatro características esenciales del método Delphi: el anonimato, la iteración, la retroalimentación controlada, y la respuesta estadística de grupo (Rowe & Wright, 1999). Por otra parte, tomando como criterio el objetivo de su aplicación, este método puede clasificarse en Delphi clásico o convencional, Delphi para la toma de decisiones, y política Delphi (Linstone & Turoff, 1975). Sin embargo, ciertas variaciones en sus rasgos distintivos producen formas diversas en la concepción del método, como ocurre con e-Delphi, Delphi Online, Delphi Fuzzy, Hybrid Delphi, Real-time Delphi, Decision Delphi, Technological Delphi, max-min Delphi, entre otras nociones modernas. Por este motivo, algunas veces se adoptan tipologías no excluyentes (cf. Davidson, 2013; Hasson & Keeney, 2011; Mullen, 2003).

Todavía más heterogéneo es el espectro de aplicación del método Delphi, en campos disímiles tales como medicina (Zang et al., 2015), investigación en la enseñanza-aprendizaje de las ciencias de la salud (de Villiers, de Villiers, & Kent, 2005), educación superior (Qureshi, Bhatti, Rasli, Yasir, & Zaman, 2014), mercado financiero (Kauko & Palmroos, 2014), gerencia e ingeniería de la construcción (Hallowell & Gambatese, 2010), turismo (Lin & Song, 2014), entre otros estudios recientes. Esta versatilidad está condicionada por su pertinencia en múltiples procesos de investigación, específicamente en la determinación del tema y las preguntas científicas, la identificación de una perspectiva teórica, la selección de variables relevantes, el establecimiento preliminar de relaciones causales, la definición de constructos, la creación de un lenguaje común para el discurso científico, entre otros aspectos (Okoli & Pawlowski, 2004).

Las etapas de desarrollo del método Delphi han transitado primero por la confidencialidad militar de varios estudios realizados para la Fuerza Aérea de los Estados Unidos, acerca de las capacidades tecnológicas que podrían ser utilizadas en el futuro (Keeney, Hasson, & Mckenna, 2011; Landeta, 1999). Este periodo fue llamado de "secretismo u oscuridad" por Rieger (1986, p. 196) y comprende la segunda mitad de los años 40 y principios de los 50 del siglo pasado. Seguidamente transcurre un periodo de novedad casi repentina, a causa de su desclasificación a principios de la década de los 60. Partiendo de aquí, varios autores describen primero una especie de boga por la marcada popularidad que llegó a alcanzar, luego de crítica en ocasiones severa y, finalmente, de continuidad y aceptación algo pragmática dentro del campo de la prospectiva, con notable diversificación y desarrollo teórico-metodológico (Gracht, 2012; Keeney, Hasson, & Mckenna, 2011; Landeta, 1999; Linstone y Turoff, 2011; Rieger, 1986; von der Mullen, 2003).

Tempranamente, Sackman (1974) desarrolla un análisis incisivo que culmina con 16 conclusiones críticas acerca del Delphi convencional, aunque reconoce el valor heurístico de dicho método. Apenas un año después, Coates (2005) sale "en defensa del Delphi" y publica una réplica directa al estudio de Sackman, muy breve, pero incisiva también. Ambos trabajos han sido muy poco citados en la literatura, y es importante reconocer un mérito del trabajo de Sackman quien se esfuerza por recoger en la parte final de su monografía un total de 247

referencias, muchas de ellas inéditas, relacionadas con estudios sobre el método Delphi desarrollados en la RAND, así como en otros países como Reino Unido, Canadá y Rusia. En particular, uno de estos títulos provee información acerca de una publicación donde posiblemente, el método Delphi haya aparecido por primera vez en idioma español. Se trata de la Revista Española de la Opinión Pública, con la traducción de sendos reportes de la RAND (vid. Brown, 1968/1970; Dror, 1969/1970). Desde esos tiempos, uno de los trabajos más citados corresponde a Linstone y Turoff (1975), quienes publican un compendio titulado The Delphi Method: Techniques and Applications, resumiendo lo más notorio hasta 1974 con un total de 489 trabajos.

En años subsiguientes resurgieron críticas relacionadas con la fiabilidad y validez del método, lo cual es señalado por Rieger (1985) hacia el quinquenio 1975-1980. La crítica científica ha perdurado y aún en la actualidad se inquieren aspectos relacionados con los fundamentos epistémicos (vid. Landeta, 1999; Mullen, 2003; Powell, 2003). El desarrollo ha sido muy heterogéneo y, paulatinamente, las investigaciones se han centrado en los tipos de Delphi y su evolución natural con el advenimiento de nuevas tecnologías. Por ejemplo, el empleo de Internet maximizó sus ventajas y ayudó a mitigar ciertas limitaciones relacionadas con la distancia del panel y el tiempo consumido para la implementación de las rondas (Donohoe, Stellefson, & Tennant, 2012).

A pesar de la amplia variedad de reportes realizados, no son frecuentes los estudios cienciométricos que aborden el devenir histórico del método Delphi. Particularmente, la aplicación de técnicas bibliométricas puede ayudar a descubrir tendencias y regularidades en el proceso evolutivo de este método originado en la prospectiva, e incluso a revelar nuevas etapas de cara al futuro.

De forma relativamente indirecta, algunas investigaciones utilizan el método Delphi combinado con otros métodos, en el marco de estudios cienciométricos. Por ejemplo, Caron, Roche, Goyer y Jaton (2008) indagan acerca de la reputación científica en GIScience (Geographic Information Science), para lo cual triangulan resultados de un estudio Delphi con indicadores cuantitativos de impacto en Journal Citation Report. García-Aracil y Palomares-Montero (2012) buscan consenso en relación a la utilidad y validez de un sistema de indicadores para la evaluación de instituciones universitarias. Por su parte, Vollmar, Ostermann y Redaèlli (2015) realizan un estudio apoyado en ocho bases de datos, con el fin de investigar el grado de aplicación de la técnica de escenarios en el campo de la salud. El análisis de esta técnica se basa en comparaciones respecto al método Delphi, a partir de su naturaleza prospectiva y de su utilidad en la planeación estratégica.

De manera más directa, Gargon et al. (2014) realizan una búsqueda en Medline, Scopus y CMR (Cochrane Methodology Register) para identificar métodos de uso frecuente en el análisis de conjuntos estandarizados de datos (Core Outcome Sets), los cuales deben ser medidos y reportados como mínimo en todos los ensayos de efectividad para un área específica de salud. De un total de 198 artículos seleccionados, en seis se utiliza el método Delphi de forma exclusiva y en 23 se hace de manera combinada con otros métodos. Diamond et al. (2014) efectúan una selección aleatoria de 100 artículos registrados en la WoS y Scopus entre los años 2000 y 2009, con el objetivo de investigar cómo se operacionaliza el consenso y así determinar su rol en los resultados de cada estudio Delphi. Por su parte, Robson y Rew (2010) desarrollan un estudio auxiliado de los motores de búsqueda Google y Google Académico, y también de las bases de datos Scopus, PubMed, Medline y Embase, con el objetivo de describir los sistemas de captura y optimización del conocimiento colectivo y con ello profundizar en áreas de complejidad e incertidumbre en oncología quirúrgica, con énfasis en los procesos Delphi.

Los estudios cienciométricos centrados específicamente en el método Delphi son todavía menos frecuentes, y suelen restringirse a determinados tipos de Delphi, o bien a contextos específicos de aplicación e interrelación. Un trabajo pionero en el campo fue desarrollado por Rieger, quien enfrentando lo que él mismo denominó "ataque histórico de Sackman" (Rieger, 1985, p. 195), examina 441 tesis doctorales del periodo 1980-1984, provenientes de la base de datos Dissertation Abstracts, junto a una muestra de tesis del quinquenio anterior. Entre sus conclusiones finales observa que "[…] En algunas ocasiones, el Delphi es utilizado creativa, apropiada y cuidadosamente" (p. 201), lo cual reafirma que las modificaciones de este método y la búsqueda de rigor siempre han sido temas marcadamente recurrentes.

Con el desarrollo de la cienciometría, los estudios contemporáneos logran mayor alcance a partir del incremento del número de documentos relacionados con el método Delphi, junto al desarrollo paulatino y diversificación de las bases de datos. Por ejemplo, Donohoe, Stellefson y Tennant (2012) contabilizan en la WoS un total de 79

documentos, donde aparecen simultáneamente las palabras claves Delphi e Internet en el periodo 1988-2010. Un total de 11 (13.92%) debieron ser removidos por estar realmente relacionados con versiones del lenguaje de programación Delphi, de modo que en una búsqueda más exhaustiva no es conveniente utilizar la palabra clave Delphi en solitario. Por otra parte, Moreira desarrolla un estudio sobre las plataformas SciELO y Scopus y refiere 452 publicaciones brasileñas en el periodo 1990-2011, donde el método Delphi constituye una herramienta metodológica fundamental. A partir de aquí, este autor se centra en 19 trabajos relacionados con la educación, donde observa tres enfoques sobre la base de los objetivos primarios de la implementación de dicho método: evaluación de cursos, planeación educacional, y políticas educacionales (Moreira, 2014).

2 Objetivos del estudio

Ante el desarrollo sostenido que viene experimentando el método Delphi en diversos ámbitos del conocimiento, es difícil establecer un mapa descriptivo que exprese sus estadios de desarrollo, su clasificación más actualizada y holística, sus tendencias principales, y su extensa gama de aplicaciones. Toda mirada desde un campo específico corre el riesgo de contener determinado sesgo y también de mostrar un alcance limitado. Por ejemplo, es difícil asegurar que desde la prospectiva se logre compilar una tipología exhaustiva, conforme a la variedad de aplicaciones existentes, donde muchas veces este método tiene un objetivo que rebasa la simple pronosticación. La cienciometría constituye una herramienta valiosa para desentrañar el devenir histórico del saber científico, con base en el procesamiento de grandes volúmenes de información (Papadimitriou & Kidman, 2012). Por esta razón, el presente estudio adopta el objetivo general de caracterizar el desarrollo del método Delphi, a partir de indicadores cienciométricos provenientes de documentos registrados en bases de datos de elevadas exigencias de calidad. Los siguientes objetivos específicos constituyen una aproximación al cumplimiento de este objetivo general:

- Estudiar el volumen de crecimiento de la actividad científico-técnica en relación al método Delphi.
- Analizar el impacto de las aplicaciones del método Delphi en diversos campos del conocimiento.
- Indagar acerca de la existencia de núcleos de investigación de mayor productividad y sus relaciones de trabajo colaborativo.
- Explorar posibles áreas y tendencias de desarrollo de este método.

3 Materiales y métodos

Resulta complejo establecer un estudio de tipo censal-documental pues, al tratar de compilar un inventario minucioso de las publicaciones relacionadas con el método Delphi con elevados índices de calidad, muy pronto se experimentan tres dificultades fundamentales. En primer lugar, la diversidad de la información requerida necesariamente proviene de varios tipos de documentos, en segundo lugar, es necesario demarcar con precisión los índices de calidad demandados y, en tercer lugar, la falta de normalización en las terminologías afines al método Delphi provoca cierta incertidumbre sobre el grado de aprehensión de la información. Por estos motivos se conforma una matriz de datos que no persigue exhaustividad en términos absolutos, pero si volumen y diversidad, de manera que su análisis aporte una caracterización lo suficientemente acertada del desarrollo alcanzado por el método Delphi. Por esta razón, el método general empleado para el procesamiento de los datos puede clasificarse como un diseño descriptivo-explicativo.

3.1 Establecimiento de la matriz de datos

Se selecciona la base de datos Scopus (www.scopus.com ) de Elsevier, partiendo de los elevados indicadores de calidad exigidos, y también del notable volumen de documentos que en ella se almacenan. La búsqueda se realiza el día 1ro de mayo de 2017, tomando como criterio la aparición disyuntiva de las tres denominaciones más comunes: Delphi method, Delphi study, y Delphi technique, en los títulos, resúmenes, o palabras claves de

los metadatos registrados. La descarga de datos se realiza combinando periodos de tiempo que no superen los 2000 documentos, con el fin de recuperar la información más completa. Por ejemplo, la siguiente sentencia lógica refiere la primera búsqueda de siete intervalos requeridos, y produce 1836 registros:

TITLE-ABS-KEY("Delphi method" OR "Delphi study" OR "Delphi technique") AND PUBYEAR < 2003.

Los archivos correspondientes se unifican en un solo libro en formato CSV, el cual se explora manualmente durante la primera etapa de análisis. Algunos registros incompletos se rellenan con la ayuda de una búsqueda complementaria en Google Académico (por ejemplo, los marcados con los EID: 2-s2.0-0017791285, 2-s2.0-0015942450, 2-s2.0-84916241784, carecen de sus respectivos años de publicación, pero pueden recuperarse mediante una exploración simple). Además, se sustituyen varios caracteres latinos extendidos presentes en algunos nombres propios (ă, ǎ, ą, č, ć, đ, ė, ě, ə, ȩ, ǧ, ǐ, ı, ł, ń, ň, ō, ř, ş, ś, ţ, ū, ů, ű, ź), los cuales no son reconocidos por paquetes estadísticos o bien implican configuraciones adicionales. También se homogenizan de manera automatizada numerosos términos y denominaciones, con el objetivo de lograr mayor grado de normalización y también de efectividad, conforme a las especificidades del presente estudio. Los siguientes ejemplos sirven de ilustración dentro del campo de palabras clave:

- Unificación por coincidencia directa: AHP = analytic hierarchy process = AHP (analytic hierarchy process) = analytic hierarchy process (AHP) = AHP method
- Unificación por coincidencia directa: Fuzzy Delphi method = Fuzzy Delphi = Delphi Fuzzy = Delphi Fuzzy method
- Unificación por asunción conceptual: Delphi method = Delphi study = Delphi technique
- Unificación motivada por necesidades de la investigación, en el sentido de estudiar el comportamiento de la política Delphi: Policy = Policy Delphi method = Policy priorities = Policy making = Policy development = Policy direction = Policy impact evaluation = Health Policy Research

La matriz definitiva contiene 19 columnas correspondientes a variables estándares de Scopus seleccionadas (Authors, Title, Year, Source title, Volume, Issue, Art. No., Page start, Page end, Page count, Cited by, Affiliations, Authors with affiliations, Abstract, Author keywords, References, Language of original document, Document type, EID). No necesariamente estas son esenciales por sí solas, de manera que resulta imprescindible establecer las variables más relevantes para la investigación.

3.2 Principales variables y procesamiento de la información

Las variables fundamentales del presente estudio son las siguientes: año de publicación, título, autor/es, afiliación, país, tipo de documento, colaboración, palabras clave, resumen y número de citas recibidas. Por tanto, existen columnas en la matriz de datos que no se procesan directamente, en cambio son necesarias para ser procesadas por el paquete en desarrollo VOSviewer (v. 1.6.6 – 2017, http://www.vosviewer.com/ ), el cual se emplea con la finalidad de mapear relaciones subyacentes. Para el procesamiento estadístico se realiza una exploración preliminar con SPSS® (v. 20.0.0 – 2011) y luego se construyen los gráficos con Matlab® (v. 8.5.0.197613, R2015a) aprovechando sus potencialidades gráficas.

4 Presentación y análisis de los resultados

4.1 Volumen y tipos de documentos

Bajo las restricciones de búsqueda, en el periodo enero/1969 - abril/2017 la base de datos Scopus registra un total de 10341 documentos relacionados con el método Delphi, con un ritmo productivo notablemente acelerado. La Figura 1 revela un crecimiento diacrónico exponencial y sostenido (y ~ 5.997e0.1018x, R2  0.9342 si se excluye el año 2017 en curso). Además de los registros mencionados, Scopus muestra la existencia de otros 3785 documentos extraídos a partir de referencias bibliográficas, así como 97 patentes relacionadas.

El reconocimiento de otras etapas posteriores a la periodización de Rieger (1986) es sumamente complejo, pues a partir de 1986 la producción científica aumenta aproximadamente 25 veces respecto a lo registrado hasta aquel momento. Dando crédito a la ley "normal" de crecimiento planteada por Price (1963), puede concluirse que la etapa de los precursores va quedando atrás y la actualidad vislumbra un frente impetuoso de producción científica. Según esta ley, en el futuro debe ocurrir un momento de desaceleración donde las publicaciones tienen como objetivo primario la revisión y compilación del conocimiento. A partir de varios ejemplos, Price observa que el punto de inflexión puede aparecer sucesiva y eventualmente, y también que en sus inmediaciones el crecimiento puede modelarse por medio de una curva logística. La Figura 1 no revela con claridad algún punto de inflexión, pero ya un momento así fue señalado por Rieger (1986) hacia el año 1975, basándose en otras fuentes de información bibliográfica y que escapan a este análisis estadístico.

Aunque el volumen de registros en Scopus es elevado, cabe notar que dentro del periodo 1968-1974 figuran apenas 71 documentos. Sin embargo, en su temprana antología Listone y Turoff (1975, p. 3) advierten que:

[...] Hasta 1969 el número de estudios Delphi que se ha hecho podría contarse con tres dígitos; actualmente, en 1974, el monto ya puede haber alcanzado los cuatro dígitos. La técnica y sus aplicaciones están en un periodo de evolución, tanto en el cómo se aplica como en el dónde se aplica.

Esta obra clásica compila casi siete veces lo registrado en Scopus hasta el momento de su publicación. Probablemente, las causas están relacionadas con el número notable de artículos afines publicados en actas de eventos y en reportes de la RAND, muchos de los cuales en aquella época no requerían de resúmenes ni de palabras claves. Por tanto, en todo estudio histórico relacionado con el método Delphi, el empleo de esta base de datos debe hacerse con cautela para los años anteriores a 1975.

Respecto a la tipología de documentos, la amplia mayoría constituyen artículos publicados en revistas arbitradas (77.09%). Si además se incluyen los artículos publicados en actas de congresos y en prensa, la suma constituye el 89.88% como puede verse en la Tabla 1. En fin, prácticamente uno de cada diez documentos contiene un informe de investigación donde se hace uso del método Delphi. Por otro lado, exceptuando 111 datos perdidos, los documentos aparecen redactados originalmente en 30 idiomas, donde pasan de un centenar el inglés (9224), español (313), chino (259), y alemán (123).

4.2 Aplicaciones e impacto en diversos campos del conocimiento

A pesar de que el método Delphi tiene carácter primariamente prospectivo y se orienta hacia la síntesis de la opinión grupal, su vínculo natural con la investigación social (vid. Herbohn, Harrison, & Emtage, 1999, p. 285; Landeta, Barrutia, Hoyos, & Araujo, 2014, p. 69; Rekalde, I., Landeta, J., & Albizu, E., 2015, p. 11) parece contrastar en esta tipología. Varios autores han señalado que las investigaciones sociales generalmente conceden mayor importancia a la difusión del conocimiento por medio de libros y monografías. Ello está condicionado por una eventual orientación idiosincrásica, la diversidad de formas de citar y referenciar, los hábitos de publicación de las comunidades científicas, el uso frecuente de métodos cualitativos que disminuyen la posibilidad de asegurar fiabilidad y validez por el camino tradicional de la prueba de hipótesis, entre otras causas (Archambault & Larivière, 2010; Bornmann, Thor, Marx, & Schier, 2016; Cruz-Ramírez, Escalona-Reyes, Cabrera-García, & Martínez-Cepena, 2014; Hicks, 1999; Vallejo, Ocaña, Bueno, Torralbo, & Fernández, 2005).

El hecho de que los estudios relacionados con el método Delphi tengan salida mayoritaria por medio de artículos en revistas científicas revela que la supuesta preferencia por los libros y monografías no es absoluta en algunas investigaciones de orientación social. En general, el qué se publica no depende en primera instancia del dónde se publica, sino del contexto demarcado por los objetivos de la investigación. A fin de precisar esta idea en el caso objeto de estudio, se tabulan los registros atendiendo al área del conocimiento donde se enmarca cada tipo de documento por orden preferencial. La Figura 2 ilustra la notable concentración en campos afines a las ciencias de la salud. Entre los trabajos relacionados con medicina y enfermería se compila un total de 6360 documentos, lo cual representa el 61.50%, o sea, más de la mitad.

Como puede apreciarse, no predominan las ciencias sociales, sino que un aspecto social de las ciencias de la salud (la búsqueda de consenso) se publica en revistas científicas cuyo objeto se percibe algo distante. La presencia del método Delphi en el área de las ciencias sociales tampoco puede decirse que sea baja pues asciende a 1613 documentos y ocupa el segundo lugar, sin embargo, desde el punto de vista relativo esto apenas representa el 15.60%. En todos los casos, los porcentajes han sido calculados respecto al volumen total y no respecto a la suma simple por áreas del conocimiento, ya que un mismo documento puede clasificarse por más de una de ellas.

Aunque la mayoría de las publicaciones se realiza por medio de artículos contentivos de reportes de investigación, es justo significar que en términos relativos las citaciones se dirigen principalmente hacia las reseñas (prom. = 53.17, desv. típ. = 225.28), lo cual duplica con creces los valores correspondientes a los artículos en revistas (prom. = 21.27, desv. típ. = 71.80) y cuadriplica los correspondientes a actas de congresos (prom. = 12.65, desv. típ. = 41.82). Por otra parte, las citaciones tienden a referir los trabajos más extensos y referativos, los cuales también se concentran en las reseñas por su número de páginas (prom. = 11.45, desv. típ. = 19.75) y es ligeramente menor en artículos de revistas (prom. = 9.73, desv. típ. = 6.87) y en actas de congresos (prom. = 6.55, desv. típ. = 4.14), debido probablemente a razones normativas.

En términos absolutos, los trabajos más citados constituyen artículos. Por ejemplo, de los 260 documentos con al menos 100 citaciones, 201 son artículos de revistas arbitradas (77.31%), 13 son artículos en actas de congresos (5.00%), mientras que 42 corresponden a reseñas (16.15%). Existen 17 documentos con al menos 1000 citaciones, e incluso tres con más de 3000 citaciones (ellos son: Cummings et al., 1994, con 4100 citaciones; Dellinger et al., 2008, con 3327 citaciones; Moher et al., 1999, con 3232 citaciones).

Los datos anteriores también deben asumirse con cierta precaución, ya que en ocasiones puede existir determinado nivel de subjetividad al clasificar un documento. Por ejemplo, existe un registro (EID: 2-s2.0-0033610734) clasificado como reseña en Scopus, el cual también aparece clasificado como artículo al referir una traducción de la Revista Española de Salud Pública (EID: 2-s2.0-0034125974), e incluso como ponencia en acta de congreso al referir una reimpresión publicada en British Journal of Surgery (EID: 2-s2.0-0034320074).

No todas las revistas incluyen trabajos relacionados con el método Delphi en proporción similar. De 4039 fuentes (se exceptúan 26 registros no disponibles), un total de 129 incluyen al menos 10 documentos relacionados con este método (3.19%). La Tabla 2 contiene información relacionada con las diez revistas que ocupan los primeros puestos por número de documentos.

La frecuencia de publicaciones es notablemente irregular, incluso en las revistas con mayor productividad. La Figura 3 refleja el ritmo de aparición por año en las cinco revistas con mayor volumen de artículos relacionados con el método Delphi. El comportamiento más prolongado y estable se observa en Technological Forecasting & Social Change, lo cual está asociado al uso frecuente que experimenta este método en materia de pronosticación. En particular, el pico registrado por esta revista en el año 2011 se debe a la dedicación íntegra del volumen 78 al método Delphi. Aunque Advanced Materials Research y PLoS ONE también experimentan picos similares en la última década, este comportamiento obedece a dos causas principales: primero la significativa cantidad de documentos por cada número, y segundo el ingreso más reciente de ambas revistas a Scopus en los años 2005 y 2006 respectivamente.

4.3 Trabajo colaborativo en investigaciones publicadas

Con el objetivo de estudiar otros indicadores cienciométricos asociados al trabajo individual y colectivo, se centra primero la atención en el comportamiento de los niveles de productividad individual y colectiva. Existen 61 autores con al menos 10 documentos publicados, ya sea como autor principal o como coautor, y los siete siguientes poseen más de 20: A. Cieza (49), G. Stucki (43), A. F. Jorm (38), D. Moher (29), C. M. Kelly (24), e I. Kirchberger (23). Como autor principal, apenas seis investigadores tienen 10 o más documentos publicados. Ellos son: P.-F. Hsu (19), Y. Li (14), Y. Chen, M. Crotty (10), S.-L. Hsueh (10), y H. Liu (10). El número de autores por artículo alcanza un valor promedio de 4.93 (desv. típ. = 6.13), pero si se eliminan casos extremos se obtiene una media recortada al 5% de 4.31 (desv. típ. = 3.27). Esta diferencia se debe a la existencia de casos atípicos con un número elevado de autores, incluso cinco con más de un centenar (e.g., el máximo valor es 129 autores en el registro EID: 2-s2.0-79951476580).

Otro aspecto significativo consiste en que la productividad unipersonal viene decreciendo progresivamente de forma relativa. En el periodo analizado, un total de 1333 documentos (12.89%) han sido publicados individualmente. La Figura 4 muestra los porcientos de documentos con un único autor, con dos o tres, y con cuatro o más coautores. Como puede apreciarse, existe tendencia al predominio del trabajo colectivo sobre el individual. De nuevo esto contrasta con la naturaleza social de dicho método, pues algunos autores han señalado que las publicaciones de las ciencias sociales y humanísticas suelen presentar menores niveles de colaboración que las restantes ciencias (vid. Tsai, Corley, & Bozeman, 2016). No obstante, es justo significar que desde el punto de vista absoluto los trabajos individuales han crecido paulatinamente durante los últimos años.

Subsisten tres clústeres que representan de forma global la colaboración internacional, los cuales han sido determinados por las principales redes de coautoría según la nacionalidad. Ello puede apreciarse claramente en el gráfico de densidad de la Figura 5, elaborado con la ayuda de VOSviewer (vid. Van Eck & Waltman, 2010). Dentro de cada clúster también pueden observarse con cierta nitidez algunos núcleos internos de colaboración. Todos los niveles de coautoría han sido computados por pesos fraccionados (Counting method = Fractional counting), con la finalidad de evitar sesgos ocasionados por subconjuntos numerosos de coautores de un mismo país en un mismo documento. También se ha tomado la escala en función del número de trabajos, con el método de normalización LinLog/modularity (vid. Noack, 2007), y al menos 10 documentos por país lo cual suprime 235 autores (1.48%) de 70 países. Asimismo, un total de 1107 autores (6.97%, con posibles repeticiones) también son excluidos del análisis pues sus nacionalidades respectivas constituyen valores perdidos en la base de datos.

El clúster más productivo (color rojo, 27 países, 56.77% de coautoría) está encabezado por Estados Unidos, Reino Unido, Canadá, China y Australia. De igual modo, en torno a estos países pueden observarse estratos más pequeños de colaboración, como el caso China-India-Taiwán-Indonesia-Filipinas-Tailandia-Sur Corea. En segundo lugar, un clúster de producción media (color verde, 28 países, 32.13% de coautoría) comprende la colaboración de varias naciones europeas, lideradas por los Países Bajos y Alemania. Con una productividad más discreta, el tercer clúster (color azul, 7 países, 2.66% de coautoría) representa la colaboración de países latinoamericanos y caribeños, encabezados por Brasil. La posición que ocupa España muestra una característica interesante, pues además de formar parte del subsistema de colaboración europea, su posición cercana al tercer estrato evidencia su colaboración activa con varios países latinoamericanos, principalmente con los hispanohablantes.

Un hecho notable está relacionado con el cumplimiento de la ley de Lotka (1926) en el presente estudio. Bajo sendas escalas logarítmicas, la Figura 6 contiene cinco niveles de coautoría, desde el conteo exclusivo de los autores principales (línea roja) y así sucesivamente hasta llegar incluso al quinto nivel (línea azul). Descontando los valores no disponibles, la primera línea representa la distribución de 10269 autores principales y así, sucesivamente, la quinta línea representa un total de 34471 autores de 50954 posibles (67.65% incluyendo las repeticiones). Como cabe esperar, incluso para este último número de observaciones se rechaza con fuerza la hipótesis de normalidad, conforme al test de Kolmogorov-Smirnov (Z = 0.43, gl = 24840, p < 0.01). Realmente la distribución presenta asimetría = 10.80 (err. típ. = 0.02) y curtosis = 243.39 (err. típ. = 0.03) y este comportamiento se explica por el hecho de satisfacer la ley de Lotka, con un comportamiento drásticamente decreciente. En la Figura 6 puede observarse cómo en la medida que se incrementan los niveles de coautoría, los gráficos respectivos tienden a ser cada vez más rectilíneos.

Las ecuaciones de Lotka pueden obtenerse con Matlab utilizando la función polyfit sobre coordenadas log-log. En efecto, si w = pz + q es la ecuación correspondiente a la recta teórica que sirve de modelo lineal, entonces la ecuación de Lotka tiene la forma y = axm, donde a = 10q y m = p. Para el conjunto de pares discretos (x, y), x = 10z, y = 10w, la función W = polyfit(log10(x), log10(y), 1) produce el vector W = [p, q], de donde resulta la ecuación de la recta y también la ecuación de Lotka. De esta forma, desestimando las coordenadas con componentes nulos, para la serie correspondiente al quinto nivel de coautoría se obtiene la función y = 118195243582.02x-12.57.

La colaboración entre autores conforma un sistema complejo de relaciones como muestra la Figura 7, donde se representan 784 autores con al menos 5 documentos publicados (Counting method = Full counting, Normalization = LinLog/modularity). Existen 17 clústeres que expresan la colaboración entre autores, como una especie de colegios invisibles. Este entramado posee un nivel muy bajo de densidad (D = 0.01, vid. Otte & Rousseau, 2002, p. 442), lo cual es testimonio de concentración del trabajo alrededor de varios líderes científicos. La escala de burbujas ha sido tomada según el volumen de citaciones de cada autor. Puede observarse, por ejemplo, un clúster en el extremo izquierdo del gráfico donde se concentran 26 autores alrededor de J.-I. Vincent, cuyos 8 documentos suman 8014 citaciones. Incluso, es llamativo que de los diez autores más citados (nueve de ellos con más de 7000 citas), el más productivo es M. Doherty con 16 documentos. Por tanto, ninguno de los diez autores más productivos está entre los diez más citados.

4.4 Principales áreas y tendencias de desarrollo

El estudio de contenido es un aspecto importante para determinar las principales áreas y tendencias evolutivas del método Delphi. Una forma de aproximarse a ello consiste en el análisis del conjunto de relaciones entre palabras clave. Aunque se trata de una aproximación muy rudimentaria, las relaciones entre las palabras claves expresan un atisbo de los elementos fundamentales sobre los cuales trata la investigación. La Figura 8 muestra el gráfico generado por VOSviewer, el cual tiene una estructura levemente conexa (densidad D = 0.29) con un componente central claramente perceptible. Los elementos visualizados expresan valores de frecuencia no inferiores a 50, mientras que el peso de las palabras clave ha sido equiparado, independientemente de su orden de aparición en cada documento (Counting method = Full counting).

En la posición central se sitúa el método objeto de estudio, lo cual es natural a partir del proceso de filtrado en la matriz de datos y la posterior unificación de las terminologías afines. Muy interesante resulta la cercanía de tres elementos notables: consensus, como expresión del Delphi clásico o convencional, decision making concerniente al Delphi para la toma de decisiones, y policy relacionado directamente con la Política Delphi. Son ellos exactamente los descritos por Linstone y Turoff (1975) en su referida clasificación. No obstante, además de reafirmar este hecho, el gráfico también aporta otros aspectos significativos:

- La mayoría de las palabras clave procede del ámbito de la medicina y la enfermería, lo cual responde al elevado número de documentos en ambos campos.
 
- El tamaño de la burbuja correspondiente a la palabra clave consensus revela que persiste el énfasis en la búsqueda de consenso, en lugar de otros propósitos menos polémicos y más efectivos como la "[…] obtención de una opinión grupal fidedigna a partir de un conjunto de expertos" (Landeta, 1999, p. 39).
- Un conglomerado (burbujas color aciano) contiene las palabras clave nursing, critical care, assessment, training, education y curriculum. Ello podría interpretarse como un dominio de aplicación del método Delphi, dirigido a la evaluación en la formación de profesionales de enfermería. No obstante, la visible cercanía de las palabras clave children y evaluation pertenecientes a otro conglomerado (color coral), sugiere que la "Evaluación Delphi" puede conceptualizarse como un nuevo dominio de aplicación del método, lo cual enriquece la clasificación de Linstone y Turoff (1975). Aunque Delphi evaluation no figura entre las palabras clave, sí aparece explícitamente en varios resúmenes (e.g., EID: 2-s2.0-84878694664, 2-s2.0-78649722442, 2-s2.0-3142619236, 2-s2.0-84937440293). Incluso contextualmente, la aplicación del método Delphi se esclarece con especificaciones, tales como risk evaluation/assessment, disability evaluation, program evaluation, performance evaluation, quality assessment, entre otras.

Existe un conglomerado (color malva) algo apartado de los demás, pero en estrecha conexión con el método Delphi. Los elementos distintivos son TOPSIS (Technique for Order Performance by Similarity to Idea Solution), AHP (Analytical Hierarchy Process) y Fuzzy Delphi Method. Este conjunto expresa la combinación de varias técnicas estructuradas para la toma de decisiones complejas, lo cual a menudo requiere del estudio de conjuntos borrosos. En lugar de prescribir la decisión correcta, el objetivo de estas investigaciones apunta hacia la determinación de aquella solución que mejor se ajuste a las necesidades y a la comprensión del problema. Por tanto, el Delphi Fuzzy constituye la modificación de mayor grado de aplicación, mucho más que e-Delphi y Delphi Online, los cuales no son visibles en la Figura 6 a causa de su baja frecuencia.

5 Consideraciones finales

La investigación científica y tecnológica relacionada con el método Delphi se encuentra en una etapa de plena actividad y desarrollo. Da cuenta de ello el elevado volumen de resultados publicados en revistas arbitradas, con un marcado crecimiento exponencial. En este proceso intervienen investigadores de todos los continentes, donde pueden identificarse tres conglomerados principales: el primero es mayormente productivo con la preminencia de Estados Unidos, Reino Unido, Canadá, China y Australia; el segundo está conformado por países principalmente europeos y está liderado por Países Bajos y Alemania; mientras que el tercero es un grupo relativamente pequeño, conformado por países latinoamericanos, encabezados por Brasil. En general, en el complejo entramado de colaboración se evidencian lazos históricos, geográficos y culturales que unen a varios países. La estructura interna de estas redes de colaboración está determinada por 17 colegios invisibles, agrupados en torno a líderes científicos caracterizados por ser los más citados y no necesariamente los más prolíferos.

Muy diversos son los campos de investigación donde el método Delphi ha encontrado aplicaciones. Algunos de ellos están asociados a los estudios pioneros en pronosticación (economía, econometría, finanzas, negocios, gerencia y contabilidad, ciencias de la toma de decisiones), otros pueden resultar sorprendentes por la lejanía de campos comúnmente distantes (matemáticas, ciencias de la computación, bioquímica, genética y biología molecular), mientras que el volumen mayor se ha venido a concentrar alrededor de las ciencias de la salud y especialmente de la Medicina.

Resulta sugestivo el hecho de que el número de documentos relacionados con las ciencias sociales ocupa un segundo lugar, a pesar de que el método Delphi tiene marcada naturaleza social. Análogamente, contrasta la tendencia al trabajo colectivo sobre el individual, así como el predominio de publicaciones en forma de artículos respecto a un volumen marcadamente limitado de libros y monografías. Una explicación subyace en que la mayoría de los trabajos publicados reflejan aplicaciones prácticas. Por tanto, es una necesidad insoslayable prestar mayor atención al desarrollo de investigaciones teóricas, tanto en el orden conceptual, epistémico, como metodológico.

Respecto a la evolución del método, dos tipologías primordiales son tomadas en cuenta. Una de ellas se basa en el objetivo de aplicación, donde perduran los hallazgos de Linstone y Turoff (1975), a cuya clasificación podría incorporarse la Evaluación Delphi. Esta terminología no solo es resultado de las evidencias estadísticas basadas en el análisis de metadatos, sino que ya ha sido empleada de forma explícita por algunos autores (vid. Gear et al., 2012; Xiao, Douglas, Lee, & Vemuri, 1997). Sin embargo, su establecimiento requiere de reflexiones de orden epistémico, lo cual marca el sendero de nuevas investigaciones.

La segunda tipología está basada en numerosas variaciones de los rasgos distintivos del método, donde llama la atención el uso relativamente escaso del término e-Delphi como palabra clave, a pesar de sus numerosas ventajas sobrevenidas con el desarrollo de las tecnologías de la información y las comunicaciones. Este vacío normativo puede estar relacionado con el uso del e-Delphi en la literatura científica el cual, según Meshkat et al. (2014, p. 7), es aún limitado; pero también puede justificarse con base en una observación de Donohoe, Stellefson y Tennant (2012, p. 38), quienes señalan que "El discurso sobre la aplicación del ‘e-Delphi’ ha sido especulativo por naturaleza […]". Entre las disímiles modificaciones, el Delphi Fuzzy va alcanzando un desarrollo considerable y también cierta independencia, de modo que no debería excluirse en tipologías basadas en las variaciones del método.

Como conclusión final, es justo significar la utilidad que revisten los métodos cienciométricos para profundizar en el devenir histórico de la ciencia. Por este camino ha sido posible caracterizar el desarrollo del método Delphi, incluso más allá del marco de la prospectiva. No solo han resultado valiosos aquellos indicadores que reflejan elementos de forma, como el volumen de crecimiento de ciertas variables y sus interrelaciones estructurales, sino también aspectos relativos al contenido y que expresan importantes regularidades y tendencias del propio desarrollo. Sin embargo, el principal obstáculo ha consistido en la diversidad de terminologías que afectan no solo la selección de una muestra adecuada, sino también el procesamiento automatizado de los datos a causa del insuficiente nivel de normalización.

Referencias

ARCHAMBAULT, E., & LARIVIÈRE, V. (2010). The limits of bibliometrics for the analysis of the social sciences and humanities literature. In World Social Sciences Report (pp. 251-254). International Social Science Council: UNESCO Publishing. http://unesdoc.unesco.org/images/0018/001883/188333e.pdf        [ Links ]

BORNMANN, L., THOR, A., MARX, W., & SCHIER, H. (2016). The application of bibliometrics to research evaluation in the humanities and social sciences: An exploratory study using normalized Google Scholar data for the publications of a research institute. Journal of the Association for Information Science and Technology, 67(11), 2778-2789. http://dx.doi.org/10.1002/asi.23627        [ Links ]

BROWN, B. B. (1970). La técnica Delfos. Metodología usada para obtener la opinión de los expertos. Revista Española de la Opinión Pública, 21/22, 217-226 (vid. Rand Corporation Paper P-3925, feb. 1968). http://dx.doi.org/10.2307/40181465        [ Links ]

CARON, C., ROCHE, S., GOYER, D., & JATON, A. (2008). GIScience journals ranking and evaluation: an international Delphi study. Transactions in GIS, 12(3), 293-321. http://dx.doi.org/10.1111/j.1467-9671.2008.01106.x        [ Links ]

COATES, J. F. (1975). In defense of Delphi: A review of Delphi assessment, expert opinion, forecasting, and group process by H. Sackman. Technological Forecasting & Social Change, 7(2), 193-194. https://doi.org/10.1016/0040-1625(75)90058-X        [ Links ]

CRUZ-RAMÍREZ, M., ESCALONA-REYES, M., CABRERA-GARCÍA, S., & MARTÍNEZ-CEPENA, M. C. (2014). Análisis cienciométrico de las publicaciones educacionales cubanas en la WoS y Scopus (2003-2012). Revista Española de Documentación Científica, 37(3), e058. http://dx.doi.org/10.3989/redc.2014.3.1119        [ Links ]

CUMMINGS, J. L., MEGA, M., GRAY, K., ROSENBERG-THOMPSON, S., CARUSI, D. A., & GORNBEIN, J. (1994). The neuropsychiatric inventory: Comprehensive assessment of psychopathology in dementia. Neurology, 44(12), 2308-2314. http://dx.doi.org/10.1212/WNL.44.12.2308        [ Links ]

DALKEY, N., & HELMER, O. (1963). An experimental application of the Delphi method to the use of experts. Management Science, 9(3), 458-467. http://dx.doi.org/10.1287/mnsc.9.3.458        [ Links ]

DAVIDSON, P. L. (2013). The Delphi technique in doctoral research: Considerations and rationale. Review of Higher Education & Self-Learning, 6(22), 53-65. https://research.phoenix.edu/sites/default/files/publication-files/The%20Delphi%20technique%20in%20doctoral%20research_1.pdf        [ Links ]

DELLINGER, R. P., LEVY, M. M., CARLET, J. M., BION, J., PARKER, M. M., JAESCHKE, R., … VINCENT, J.-L. (2008). Surviving sepsis campaign: International guidelines for management of severe sepsis and septic shock: 2008. Critical Care Medicine, 36(1), 296-327. http://dx.doi.org/10.1097/01.CCM.0000298158.12101.41

DE VILLIERS, M. R., DE VILLIERS, P. J. T., & KENT, A. P. (2005). The Delphi technique in health sciences education research. Medical Teacher, 27(7), 639-643. http://dx.doi.org/10.1080/13611260500069947        [ Links ]

DIAMOND, I. R., GRANT, R. C., FELDMAN, B. M., PENCHARZ, P. B., LING, S. C., MOORE, A. M., & WALES, P. W. (2014). Defining consensus: a systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology, 67(4), 401-409. http://dx.doi.org/10.1016/j.jclinepi.2013.12.002        [ Links ]

DONOHOE, H., STELLEFSON, M., & TENNANT, B. (2012). Advantages and limitations of the e-Delphi technique. American Journal of Health Education, 43(1), 38-46. http://dx.doi.org/10.1080/19325037.2012.10599216        [ Links ]

DROR, Y. (1970). La predicción de lo políticamente posible. Revista Española de la Opinión Pública, 21/22, 89-98 (vid. Rand Corporation Paper P-4044, apr. 1969). http://dx.doi.org/10.2307/40181461        [ Links ]

GARCÍA-ARACIL, A., & PALOMARES-MONTERO, D. (2012). Indicadores para la evaluación de las instituciones universitarias: validación a través del método Delphi. Revista Española de Documentación Científica, 35(1), 119-144. http://dx.doi.org/10.3989/redc.2012.1.863        [ Links ]

GARGON, E., GURUNG, B., MEDLEY, N., ALTMAN, D. G., BLAZEBY, J. M., CLARKE, M., & WILLIAMSON, P. R. (2014). Choosing important health outcomes for comparative effectiveness research: a systematic review. PLoS ONE, 9(6), e99111. http://dx.doi.org/10.1371/journal.pone.0099111        [ Links ]

GEAR, C., KOZIOL-MCLAIN, J., WILSON, D., RAE, N., SAMUEL, H., CLARK, F., & McNEILL, E. (2012). Primary healthcare response to family violence: A Delphi evaluation tool. Quality in Primary Care, 20(1), 15-30. https://www.ncbi.nlm.nih.gov/labs/articles/22584364/        [ Links ]

HALLOWELL, M. R., & GAMBATESE, J. A. (2010). Qualitative research: Application of the Delphi method to CEM research. Journal of Construction Engineering and Management, 136(1), 99-107. http://dx.doi.org/10.1061/(ASCE)CO.1943-7862.0000137        [ Links ]

HASSON, F., & KEENEY, S. (2011). Enhancing rigour in the Delphi technique research. Technological Forecasting & Social Change, 78(9), 1695-1704. http://dx.doi.org/10.1016/j.techfore.2011.04.005        [ Links ]

HERBOHN, J., HARRISON, S., & EMTAGE, N. (1999). Response to comments of Don Nicholson, Australian Forestry, 62(3), 285-286. http://dx.doi.org/10.1080/00049158.1999.10674794        [ Links ]

HICKS, D. (1999). The difficulty of achieving full coverage of international social science literature and the bibliometric consequences. Scientometrics, 44(2), 193-295. http://dx.doi.org/10.1007/BF02457380        [ Links ]

KAPLAN, A., SKOGSTAD, A. L., & GIRSHICK, M. A. (1950). The prediction of social and technological events. Public Opinion Quarterly, 14(1), 93-110. http://dx.doi.org/10.1086/266153        [ Links ]

KAUKO, K., & PALMROOS, P. (2014). The Delphi method in forecasting financial markets. An experimental study. International Journal of Forecasting, 30(2), 313-327. http://dx.doi.org/10.1016/j.ijforecast.2013.09.007        [ Links ]

KEENEY, S., HASSON, F., & MCKENNA, H. (2011). The Delphi Technique in Nursing and Health Research. Oxford: Wiley-Blackwell.         [ Links ]

LANDETA, J. (1999). El Método Delphi: Una Técnica de Previsión para la Incertidumbre. Barcelona: Ariel.         [ Links ]

LANDETA, J. (2011). Hybrid Delphi: A methodology to facilitate contribution from experts in professional contexts. Technological Forecasting & Social Change, 78(9), 1629-1641. http://dx.doi.org/10.1016/j.techfore.2011.03.009        [ Links ]

LANDETA, J., BARRUTIA, J., HOYOS, J., & ARAUJO, A. (2014). Initiatives for the improvement of continuous management training. Cuadernos de Gestión, 15(1), 61-92. http://dx.doi.org/10.5295/cdg.130411jl        [ Links ]

LIN, V. S., & SONG, H. (2014). A review of Delphi forecasting research in tourism. Current Issues in Tourism. http://dx.doi.org/10.1080/13683500.2014.967187

LINSTONE, H., & TUROFF, M. (Eds.). (1975). The Delphi Method: Techniques and Applications. London: Addison-Wesley.         [ Links ]

LINSTONE, H., & TUROFF, M. (2011). Delphi: A brief look backward and forward. Technological Forecasting & Social Change, 78(9), 1712-1719. http://dx.doi.org/10.1016/j.techfore.2010.09.011        [ Links ]

LOTKA, A. J. (1926). The frequency distribution of scientific productivity. Journal of the Washington Academy of Sciences, 16(12), 317-323. http://www.jstor.org/stable/24529203        [ Links ]

MESHKAT, B., COWMAN, S., GETHIN, G., RYAN, K., WILEY, M., BRICK, A., … MULLIGAN, M. (2014). Using an e-Delphi technique in achieving consensus across disciplines for developing best practice in day surgery in Ireland. Journal of Hospital Administration, 3(4), 1-8. http://dx.doi.org/10.5430/jha.v3n4p1

MOHER, D., COOK, D. J., EASTWOOD, S., OLKIN, I., RENNIE, D., STROUP, D. F., … YUSUF, S. (1999). Improving the quality of reports of meta-analyses of randomised controlled trials: The QUOROM statement. The Lancet, 354(9193), 1896-1900. http://dx.doi.org/10.1016/S0140-6736(99)04149-5

MOREIRA, M. (2014). Técnica Delphi: metodologia para pesquisas em educação no Brasil. Revista de Educação. 19(1), 63-71. http://periodicos.puc-campinas.edu.br/seer/index.php/reveducacao/article/view/2616        [ Links ]

MULLEN, P. M. (2003). Delphi: myths and reality. Journal of Health Organization and Management, 17(1), 37-52. http://dx.doi.org/10.1108/14777260310469319        [ Links ]

NOACK, A. (2007). Energy models for graph clustering. Journal of Graph Algorithms and Applications, 11(2), 453-480. http://dx.doi.org/10.7155/jgaa.00154        [ Links ]

OKOLI, C., & PAWLOWSKI, S. D. (2004). The Delphi method as a research tool: an example, design considerations and applications. Information & Management, 42(1), 15-29. http://dx.doi.org/10.1016/j.im.2003.11.002        [ Links ]

OTTE, E., & ROUSSEAU, R. (2002). Social network analysis: a powerful strategy, also for the information sciences. Journal of Information Science, 28(6), 441-453, http://dx.doi.org/10.1177/016555150202800601        [ Links ]

PAPADIMITRIOU, F., & KIDMAN, G. (2012). Statistical and scientometric analysis of international research in geographical and environmental education. International Research in Geographical and Environmental Education, 21(1), 11-20. http://dx.doi.org/10.1080/10382046.2012.639153        [ Links ]

POWELL, C. (2003). The Delphi technique: myths and realities. Journal of Advanced Nursing, 41(4), 376-382. http://dx.doi.org/10.1046/j.1365-2648.2003.02537.x        [ Links ]

PRICE, D. J. S. (1963). Little Science, Big Science. New York: Columbia University Press.         [ Links ]

QURESHI, M. I., BHATTI, M. N., RASLI, A. M., YASIR, M., & ZAMAN, K. (2014). The Delphi method for internationalization of higher education in Pakistan: integrating theory of constraints and quality function deployment. Mediterranean Journal of Social Sciences, 5(20), 2702-2710. http://dx.doi.org/10.5901/mjss.2014.v5n20p270        [ Links ]

REKALDE, I., LANDETA, J., & ALBIZU, E. (2015). Determining factors in the effectiveness of executive coaching as a management development tool. Management Decision, 53(8), pp. 1-39. http://dx.doi.org/10.1108/MD-12-2014-0666        [ Links ]

RIEGER, W. (1986). Directions in Delphi developments: dissertations and their quality. Technological Forecasting & Social Change, 29(2), 195-204. http://dx.doi.org/10.1016/0040-1625(86)90063-6        [ Links ]

ROBSON, N., & REW, D. (2010). Collective wisdom and decision making in surgical oncology. European Journal of Surgical Oncology, 36(3), 230-236. http://dx.doi.org/10.1016/j.ejso.2010.01.002        [ Links ]

ROWE, G., & WRIGHT, G. (1999). The Delphi technique as a forecasting tool: Issues and analysis. International Journal of Forecasting, 15(4), 353-375. http://dx.doi.org/10.1016/S0169-2070(99)00018-7        [ Links ]

SACKMAN, H. (1974). Delphi Assessment: Expert Opinion, Forecasting, and Group Process. Santa Monica: Rand Corporation Paper R-1283-PR. http://www.rand.org/pubs/reports/2006/R1283.pdf        [ Links ]

TSAI, C.-C., CORLEY, E. A., & BOZEMAN, B. (2016). Collaboration experiences across scientific disciplines and cohorts. Scientometrics, 108(2), 505-529. http://dx.doi.org/10.1007/s11192-016-1997-z        [ Links ]

VALLEJO, M., OCAÑA, A., BUENO, Á., TORRALBO, M., & FERNÁNDEZ, A. (2005). Producción científica sobre educación multicultural contenida en las bases de datos Social Science Citation Index y Arts y Humanities Citation Index (1956-2003). Revista Española de Documentación Científica, 28(2), 206-220. http://dx.doi.org/10.3989/redc.2005.v28.i2.169        [ Links ]

VAN ECK, N. J., & WALTMAN, L. (2010). Software survey: VOSviewer, a computer program for bibliometric mapping. Scientometrics, 84(2), 523-538. http://dx.doi.org/10.1007/s11192-009-0146-3        [ Links ]

VOLLMAR, H. C., OSTERMANN, T., & REDAÈLLI, M. (2015). Using the scenario method in the context of health and health care: a scoping review. BMC Medical Research Methodology, 15(1), 1-10. http://dx.doi.org/10.1186/s12874-015-0083-1        [ Links ]

VON DER GRACHT, H. A. (2012). Consensus measurement in Delphi studies. Review and implications for future quality assurance. Technological Forecasting & Social Change, 79(8), 1525-1536. http://dx.doi.org/10.1016/j.techfore.2012.04.013        [ Links ]

XIAO, J., DOUGLAS, D., LEE, A. H., & VEMURI, S. R. (1997). A Delphi evaluation of the factors influencing length of stay in Australian hospitals. International Journal of Health Planning and Management, 12(3), 207-218. http://dx.doi.org/10.1002/(SICI)1099-1751(199707/09)12:3<207::AID-HPM480>3.0.CO;2-V        [ Links ]

ZANG, L., FAN, N., HAI, Y., LU, S. B., SU, Q. J., YANG, J. C., … GAO, Y. J. (2015). Using the modified Delphi method to establish a new Chinese clinical consensus of the treatments for cervical radiculopathy. European Spine Journal, 24(6), 1116-1126. http://dx.doi.org/10.1007/s00586-015-3856-7

 

Datos de los autores

Miguel Cruz Ramírez

Doctor en ciencias pedagógicas y profesor titular de la Universidad de Holguín (Cuba). Vicerrector de Investigación y Posgrado. Miembro de la Junta Directiva Nacional de la Sociedad Cubana de Matemática y Computación. Sus intereses científicos están relacionados con la estadística aplicada a la cienciometría y a las investigaciones sociales.

mcruzr@uho.edu.cu

 

José Alberto Rúa Vásquez

Decano de la Facultad de Ciencias Básicas de la Universidad de Medellín (Colombia). Director del Proyecto Institucional Permanencia con Calidad. Coordinador General del Proyecto "Polya". Matemático por la Universidad de Antioquia y máster en educación por la Pontificia Universidad Javeriana.

jrua@udem.edu.co

 

Recibido - Received: 2017-05-22

Aceptado - Accepted: 2018-02-07

Creative Commons License All the contents of this journal, except where otherwise noted, is licensed under a Creative Commons Attribution License