SciELO - Scientific Electronic Library Online

 
vol.17 issue2Profile of a group of university audience in Mexico according to their citizen participation, trust in institutions and civic interaction in the media in 2017Storytelling approaches in magazine radio programs in Argentina: description and analysis of radio genres author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

  • Have no cited articlesCited by SciELO

Related links

  • Have no similar articlesSimilars in SciELO

Share


Revista de Comunicación

Print version ISSN 1684-0933On-line version ISSN 2227-1465

Revista de Comunicación vol.17 no.2 Piura Sept./Feb. 2018

http://dx.doi.org/10.26441/RC17.2-2018-A6 

ARTÍCULO DE INVESTIGACIÓN

 

Metodología de análisis y evaluación de sitios web 2.0. El caso de las Diócesis Andaluzas

Methodology of analysis and evaluation of websites 2.0. The case of the Andalusian Dioceses

 

Jiménez Carreira, M.1 y Álvarez Marcos, J.2

1 Doctor en Periodismo por la Universidad de Sevilla y Licenciado en Teología por la Facultad de Teología de Granada. Es director espiritual del Seminario Menor de Sevilla y colaborador en la Delegación de Medios de la Archidiócesis de Sevilla. manjimcar@alum.us.es

2 Doctor en Periodismo y Profesor Titular de Tecnologías de la Información Periodística, Ciberperiodismo y Comunicación Institucional en el departamento de Periodismo de la Facultad de Comunicación de la Universidad de Sevilla. jmarcos@us.es

 


RESUMEN

La acelerada evolución del ciberespacio y la volatilidad tanto de los sitios web como de los medios online requiere una permanente adecuación de las técnicas y de los métodos de estudio. Hemos desarrollado un nuevo modelo de análisis, unificando propuestas anteriores y completándolo con un sistema de validación de resultados contrastado. Afrontamos la investigación desde una perspectiva global y en consonancia con la Web 2.0 y los medios sociales.
Para ello partimos del Website Communication Model (WCM), desarrollado por Juan Narbona, que analiza los sitios webs utilizando cuatro pilares: contenidos y servicios, instrumentos técnicos, promotores y visitantes. Dicho modelo, válido para la Web 1.0, fue actualizado por Daniel Arasa en el Online Communication Model (OC M), que añade un quinto pilar para contemplar los medios sociales. y para completarlo nos apoyamos en un sistema de medición cuantitativa tan contrastado como el Sistema Articulado de Análisis de Cibermedios (SAAC).

Palabras clave: ciberespacio; análisis de cibermedios; comunicación digital; diseño web; metodología y Web 2.0.

 


ABSTRACT

The rapid cyberspace evolution and the volatility of both, websites as well as online media requires an ongoing education of the technique and study methods. We have developed a new model of analysis, unifying previous designs and completing it with a contrasted results validation system. We confront this query from a global perspective and in line with Web 2.0 and social media.
For this we start from the Communication Model Website (WCM), developed by Juan Narbona, which analyzes websites using four pillars: content and services, technical instruments, promoters and vísítors. This model, valid for Web 1.0, was updated by Daniel Arasa in the Online Communication Model (OCM), which adds a fifth pillar to contemplate social media Also take into account we lean on a quantitative method measurement system the Sistema Articulado de Análisis de Cibermedios (SAAC), for further validation.

Keywords: cyberspace; cybermedia analysis: digital communication; web design; methodology and Web 2.0.

 


1. Introducción

Desde la eclosión de la World Wide Web, numerosos autores han intentado establecer un modelo teórico para calibrar tanto la calidad de un website como la adecuación del mensaje a la comunicación digital. El primer modelo teórico puede atribuirse a Boyd Collins (1995), quien propuso un sistema para que las bibliotecas realizaran una adecuada clasificación y revisión de los recursos en Internet, analizando la autoridad, el contenido, la actualización, el diseño gráfico y el uso innovador del nuevo medio. También en 1995 Jakob Nielsen comenzó a estudiar la usabilidad de los sitios webs en su popular newsletter Alertbox.

Otros antecedentes remotos son el SOSIG (Social Science Information Gateway, actualmente Social Sciences Institute), que constituyó una metodología de evaluación de sitios webs. Codina (200Sa) también destaca los esfuerzos desarrollados por el CSIC en esta materia, que en el año 2004 creó, junto con la Fundación Española para la Ciencia y la Tecnología (FECYT) un portal -Tecnociencia- que incluía un apartado de recursos de calidad en ciencia y tecnología. En España también ha habido iniciativas en el ámbito universitario, como Darwin (de la Universidad de Salamanca), o de ámbito privado, como Cercador.

En las dos últimas décadas autores e instituciones han propuesto modelos para analizar y evaluar aspectos particulares del contenido y diseño de un sitio web, de su efectividad o de las expectativas de los usuarios. Algunos de estos estudios se aplican al análisis de cibermedios, poniendo el énfasis en el diseño y en la usabilidad. Otros modelos están más centrados en la evaluación de la calidad de la información del sitio web, como aquellos utilizados en sitios de ámbito científico. U no de ellos es el BRACARD, propuesto por Marina Jiménez y Virginia Ortiz-Repiso (2007). Estas siglas se corresponden con el nombre de los cinco criterios básicos utilizados en el modelo: Búsqueda y recuperación de información, Autoridad, Contenido, Administración y Diseño.

El objetivo de estas metodologías es analizar e investigar cómo se ajustan los sitios a los objetivos de las instituciones y a las necesidades y características de los usuarios para, así, evaluar la validez de un website. Como explica Juan Narbona (2013: 114), "el análisis puede abordarse desde distintos ángulos: una página puede ser considerada una herramienta tecnológica, un espacio estético, un conjunto de aplicaciones, o una combinación de contenidos encaminados al establecimiento de una relación. Sin embargo, reducir el estudio a uno de estos campos no asegura la certeza sobre la calidad global del web", Es necesario, por tanto, establecer un modelo que aborde el website desde una perspectiva global, que abarque las diferentes facetas y asegure la inclusión de todos los elementos. Para comprobar que sea un modelo válido, debe comprender las características básicas de la comunicación en la Red.

Barroso Huertas (2007: 146) señala cuatro conceptos básicos en el diseño web, que articulan tanto contenidos como características técnicas y enlazan las expectativas de los emisores con las de los visitantes: arquitectura de la información, navegabilidad, usabilidad y diseño de la información. Por su parte, Ramón Salaverría (2005: 28) fija las principales características de la comunicación digital en Internet: hipertextualidad, multimedialidad e interactividad. A las que Parra y Álvarez (2004) agregan la universalidad o trasnacionalidad de la información y, finalmente, la acumulabilidad de los datos.

López Carcía (2005) y otros autores hacen una clasificación según lo que entienden como "nivel de dinamismo de los medios en línea", lo cual explican de esta manera: "El concepto de dinamismo, inherente a los elementos definitorios del periodismo digital, alude al grado de aprovechamiento que los nuevos medios hacen de las posibilidades que ofrece el soporte en línea -aplicación de técnicas hipertextuales, multimedia e interactivas y frecuente actualización". Resulta operativo, pues, determinar el nivel de dinamismo de un cibermedio -algo que se puede hacer extensivo a todos los sitios webs- a partir del grado de adecuación que alcanzan estos cuatro indicadores: hipertextualidad, multimedialidad, interactividad y frecuencia de actualización.

2. Objetivos

Pensamos que la Iglesia, como organización social destacada en la actualidad en España y en Andalucía, debería moverse por los mismos parámetros comunicativos que otras organizaciones sociales, políticas o económicas. En concreto, debería hacer un uso de Internet similar al que realizan otras organizaciones para establecer una comunicación fluida con sus públicos y utilizarlo también como una herramienta de comunicación interna.

Sin embargo, nuestra hipótesis de partida es que la Iglesia no es una institución de vanguardia en el uso de Internet en España. Al contrario, se sitúa más bien en la retaguardia a pesar de su relevancia social, porque posiblemente no dediquen los recursos humanos y económicos necesarios, o falta ingenio e innovación.

Nuestro estudio lo circunscribimos a la Iglesia Católica en Andalucía (España), dividida en diez diócesis o delimitaciones administrativas, para comprobar cómo se materializan las relaciones entre Iglesia e Internet. Para ello hicimos un análisis detallado de los sitios webs de los 10 obispados andaluces, deteniéndonos en iniciativas destacadas como los canales multimedia y las redes sociales.

Nuestra investigación persigue los siguientes objetivos:

  1. Proponer un modelo de análisis válido para las herramientas cibernéticas diocesanas, que tenga en cuenta las relaciones entre el entorno corporativo (website) y el entorno público (medios sociales).

  2. Establecer las dimensiones de la relación entre Iglesia e Internet, observando las diferencias de la Iglesia respecto a otros actores en el panorama comunicacional.

  3. Estudiar la composición, tareas y rutinas de trabajo de las delegaciones diocesanas de medios de Andalucía.

  4. Hacer un análisis de los sitios webs institucionales de las diócesis andaluzas y de la presencia en medios sociales, para llegar a tener una visión descriptiva de la situación del uso de esta herramienta, comprobando las virtualidades y las carencias.

  5. Establecer un ranking de los sitios webs diocesanas de Andalucía en función de parámetros cuantificables.

3. Metodología

Utilizamos la metodología del estudio de casos múltiples, basándonos en las experiencias y recomendaciones de autores como Yin (1998), Coller (2000), Caro González (2002), Stake (2010) y Grandon Gill (2011). El estudio de casos tiene una amplia tradición en las ciencias sociales, desde que Le Play publicara su investigación Les Ouvries Europeenns en 1855, considerado el primer trabajo sociológico genuinamente científico. La metodología que empleó fue denominada, a posteriori, estudio de casos. Este método, como nos recuerda Coller (2000: 22-23) fue relevante en el proceso de configuración de la Sociología como disciplina científica, tal y como se aprecia en la obra de dos de sus padres fundadores: Max Weber, en La ética protestante y el espíritu del capitalismo (1904/5) y Durkheim, en Las formas elementales de la vida religiosa (1912).

Para algunos autores, como Fernández Cano (2002), el método del caso es una aportación de los jesuitas, que ya lo empleaban en el siglo XVI. A veces, el maestro de casos los compilaba y agrupaba formando lo que se vino a llamar Collationes casuum (Casos comparados). Un concepto semejante al de casos múltiples, que utilizamos en nuestra investigación.

Según Yin (1998: 23), "un estudio de casos es una investigación empírica que investiga un fenómeno contemporáneo en su contexto real, donde los límites entre el fenómeno y el contexto no se muestran de forma precisa, y en el que múltiples fuentes de evidencia son usadas". Coller (2000: 29) define 'caso' de la siguiente manera: "Un caso es un objeto de estudio con unas fronteras más o menos claras que se analiza en su contexto y que se considera relevante bien sea para comprobar, ilustrar o construir una teoría o una parte de ella, bien sea por su valor intrínseco. (...) Cualquier objeto de naturaleza social puede construirse como caso".

El estudio de casos se basa en el razonamiento inductivo. Las generalizaciones y teorías surgen a partir del examen minucioso de los datos. Se parte del análisis cualitativo de uno (caso único) o de distintos casos (casos múltiples) para hacer más adelante una generalización y una interpretación de la que se obtengan conclusiones. Aunque también se cuenta con un componente deductivo al beber de leyes o teorías generales existentes sobre la materia.

Según Caro González (2002: 32), "en el diseño de casos múltiples se utilizan varios casos únicos a la vez para estudiar la realidad que se desea explorar, describir, explicar, evaluar o modificar". Este método permite comparar y contrastar las respuestas que se obtienen de forma parcial con cada caso que se analiza. Es lo que Yin (1998: 23) denomina "replicación lógica": los casos son tratados como una serie de experimentos y cada caso sirve para confirmar o negar las inferencias aportadas por los demás o las perspectivas conceptuales emergentes. El estudio de casos múltiples puede ofrecer una visión más completa y contrastada de la realidad.

En cuanto al número de casos que deben estudiarse para llegar a conclusiones óptimas y válidas desde el punto de vista científico, Eisenhardt (1989: 545) recomienda seleccionar entre cuatro y diez casos. Un número inferior a cuatro dificultaría la generación de conclusiones globales y con más de diez se excedería la función de réplica que pide el método, dando en algunos casos información redundante.

Trabajamos con 10 casos semejantes o "paralelos" (por utilizar la terminología de Coller), relativos a cada una de las diócesis de la comunidad española de Andalucía: Almería, Cádiz y Ceuta, Córdoba, Granada, Guadix-Baza, Huelva, Jaén, Asidonia-Jerez, Málaga y Sevilla. La principal contribución de nuestro trabajo de investigación (Jiménez Carreira, 2016) fue la elaboración de una metodología de análisis válida para sitios webs diocesanos, pero también para sitios de cualquier ámbito. Para ello, nos basamos de entrada en el Website Communication Model (WCM), desarrollado por Daniel Arasa (2008). Este autor analiza los sitios webs utilizando cuatro pilares: contenidos y servicios (1), instrumentos técnicos (2), promotores (3) y visitantes (4).

Dicho modelo lo completamos con las propuestas de la red de investigación hispano-brasileña liderada por los profesores Marcos Palacios y Javier Díaz Noci (2009). Ambos autores hicieron una propuesta de análisis de cibermedios, basándose en cuatro elementos definitorios de la comunicación digital: la hipertextualidad, la multimedialidad, la interactividad y la frecuencia de actualización.

Establecieron tres metodologías para el análisis de los cibermedios: la primera es descriptiva, mediante una ficha de análisis (con cuatro pilares: contenidos, accesibilidad e investigación, disposición de elementos y análisis de elementos); la segunda interroga al grupo de expertos que rodean la web; la tercera se compone de estudios centrados en la audiencia. De la fusión entre ambos modelos, elaboramos una ficha de análisis que fue la guía en nuestra investigación.

Años después Juan Narbona (2013) desarrolló el Online Communication Model, (OCM), que añade un quinto pilar para contemplar el acercamiento a los medios sociales. Este nuevo pilar relaciona la comunicación en el entorno institucional (sitio web) con la del entorno público (medios sociales: redes sociales, blogs y comunidades de contenido). Esta era la base de nuestro estudio. El OCM es fruto de su tesis doctoral, Comunicación online de las organizaciones humanitarias sin ánimo de lucro, dirigida por el profesor Daniel Arasa y defendida en la Facultad de Comunicación Social Institucional de la Universidad de la Santa Cruz (Roma).

Para completar el modelo de Narbona y Arasa (2015) con un sistema de medición cuantitativo, nos apoyamos también en el método introducido por el grupo de investigación de Documentación Digital DigiDoc, de la Pompeu Fabra. Este método, diseñado por Linares, Codina y Pedraza (2014) se denomina Sistema Articulado de Análisis de Cibermedios (SAAC). "Consiste en un grupo de conceptos, presentados a través de una propuesta terminológica con­ creta, y por un grupo de elementos articulados que nos permiten llegar a lo que llamamos el qué (parámetros) y el cómo (indicadores) de cualquier futuro estudio sobre ciberrnedios'',

Los parámetros, según los creadores del SACC, responden a la pregunta sobre qué queremos estudiar y son el marco que garantiza la coherencia de un estudio. Constituyen la dimensión de un cibermedio sobre la que deseamos realizar algún tipo de análisis o de medición. Los parámetros presentan una característica eminentemente conceptual.

Por su parte, los indicadores responden a la pregunta sobre cómo vamos a medir los parámetros. Son, por tanto, elementos de análisis y de toma de decisión que facilitan la recogida de datos sobre la instanciación y la calidad de un parámetro.

El análisis de cibermedios, desde la delimitación de parámetros e indicadores, permite un estudio más o menos neutro de un único website y también realizar comparaciones entre varios cibermedios. Este método nos valió para identificar y fijar los elementos de análisis en los sitios webs diocesanos y para establecer pautas contrastables de evaluación.

Las ventajas que nos ofrecía el SAAC en nuestra investigación eran la de plasmar las pautas del OCM en una tabla de análisis (donde los parámetros se corresponden con los cinco pilares del modelo), y también su perfecto encaje con las disposiciones del estudio de casos múltiples.

Además, la tabla de protocolo de análisis del SAAC contempla una valoración cuantitativa. Así, en cada website analizado se pueden puntuar -siguiendo unas directrices concretas- todos los indicadores y parámetros, de manera que es posible otorgarle una puntuación global a cada caso. De este modo, llegamos a un ranking comparativo de todos los casos.

4. Del Website Communication Model (WCM) al Online Communication Model (OCM)

El Website Communication Model (WCM) es un marco de trabajo comprensivo para analizar la comunicación a través de sitios webs. Este modelo parte de unas intuiciones básicas sobre la construcción y el uso de un portal web, donde se aúnan: contenidos y servicios (1), instrumentos técnicos que permitan usar esos contenidos y servicios (2), promotores y encargados de realizar y mantener el website (3) y visitantes (4). Nos encontramos, por tanto, con elementos físicos (1 y 2) y humanos (3 y 4). Este modelo se corresponde con el sugerido por Jakobson (2002) para la comunicación en general, en aplicación a la comunicación cibernética.

Estas cuatro dimensiones tienen que ser estudiadas por separado, dada su complejidad, y también desde las relaciones que se establecen entre unas y otras. Según Van der Geest (2001), conseguir calidad en Internet requiere un profundo conocimiento del medio y una gran habilidad en aspectos técnicos y no técnicos de la comunicación, es decir, un conocimiento natural de las diferentes dimensiones de la Web. Estas dimensiones se corresponden con cada uno de los pilares del WCM.

Sin embargo, el WCM quedó ligado a un tipo de comunicación web 1.0, unidireccional, que no se corresponde con el desarrollo actual de la web. Así lo afirma Narbona, quien ha desarrollado el Online Communication Model a partir del Website Communication Model: "El modelo fue propuesto en el contexto tecnológico conocido como web 1.0, en el que, aunque los websites utilizaban un lenguaje multimedia, la comunicación era principalmente unidireccional. Si el concepto de red (internet) exige el entretejimiento de una relación recíproca entre agentes, podemos afirmar que en esta etapa inicial la World Wide Web no respetaba su propia naturaleza, ya que no existía esa reciprocidad" (2015: 115).

Desde que se propuso el WCM, Internet ha sufrido una rápida evolución, especialmente en interactividad y multimedialidad. Dejado atrás el modelo unidireccional de Web 1.0, se ha consagrado el de la Web 2.0, donde los protagonistas son los usuarios y las relaciones que se establecen entre ellos. Las webs institucionales se han trasladado a otros entornos 2.0, donde los canales de comunicación se han multiplicado. Por este motivo, el OCM tiene en cuenta no solo el entorno corporativo, sino también el público, el de los medios sociales (redes sociales, blogs y comunidades de contenido). De este modo, a los cuatro pilares del WCM se les ha añadido un quinto, que comprende el entorno público. A continuación nos adentramos en cada uno de estos pilares.

PILAR I. Contenidos y servicios

Se entiende por contenido el conjunto de textos, fotografías, videos y otros elementos que pueden ser interpretados por el usuario en un sitio web. Los servicios, en cambio, lo asisten en su navegación, facilitándole el acceso a los diferentes contenidos o permitiéndole llevar a cabo una acción determinada. Muchos servicios son ya un contenido interpretable, por lo que ambos elementos se pueden presentar entrelazados.

De los contenidos y servicios depende, en gran parte, la calidad del sitio web. Alexander y Tate (1999) distinguen cinco claves para evaluar el contenido y los servicios: autoridad, precisión, objetividad, actualidad y cobertura.

  1. Autoridad. Se refiere a la cualidad que tiene el material creado por una persona u organización que es reconocida con conocimiento en un área determinada.

  2. Precisión. Se refiere a la medida en que la información es de confianza y está libre de errores.

  3. Objetividad. La información no es tendenciosa ni expresa intereses personales.

  4. Actualidad. En Internet es básico este criterio.

  5. Cobertura. Depende de qué se quiere comunicar, a quién y cómo.

PILAR II. Herramientas de accesibilidad. Instrumentos técnicos que permiten el acceso a estos contenidos y servicios

Técnicamente, un sitio web es el resultado de combinar aplicaciones de software. Muchos elementos pueden ser incluidos en el pilar de los instrumentos técnicos, desde los elementos del hardware (como las conexiones necesarias para acceder a los sitios web) a los elementos que dependen de la programación, como los gráficos, diseño, etc.

Según los creadores del OCM, hay que tener en cuenta cuatro herramientas de accesibilidad en un sitio web: hardware, software, conexiones de red e interfaz visual. Aquí es relevante el concepto de usabilidad, que debe estudiarse desde todos los grupos de personas que se relacionan con un sitio web. La usabilidad, en el marco del OCM, se define como una correcta relación entre los contenidos y servicios (pilar I), los instrumentos técnicos (pilar II) y los objetivos de los stakeholders (promotores, pilar III y usuarios, pilar IV).

Pilar III. Grupo de personas que promueve, produce y actualiza la página web (promotores y gestores)

Después de estudiar en los dos primeros pilares los elementos físicos del proceso comunicativo, en el III y en el IV nos detenemos en los elementos humanos o stakeholders que interaccionan en este proceso. Hay dos tipos de stakeholders en un website: aquellos que usan los servicios y contenidos (visitantes) y los que pueden influir en las decisiones de un proyecto web (directores/técnicos).

En el tercer pilar, el modelo de estudio sitúa al grupo de personas responsable de un portal web, que "planifica, crea, mantiene, actualiza, dirige, promueve e interactúa con los visitantes" (Arasa, 2008; 189). Representan a los stakeholders que tienen responsabilidad, de los que se pueden identificar varios tipos:

  1. Clientes. Son los stakeholders que toman la iniciativa de desarrollar el sitio y financiar su desarrollo, promoción y mantenimiento.

  2. Stakeholders que toman decisiones. A ellos les corresponde la toma de decisiones sobre la política comunicativa de la institución y, en concreto, sobre el website.

  3. Expertos. Son los stakeholders cuyo trabajo está relacionado con la producción de contenidos, servicios yel contexto del portal. En ocasiones se contratan sus servicios.

  4. Equipo de desarrollo. Son los stakeholders envueltos directamente en el análisis, proyecto, diseño, evaluación y mantenimiento de la web. Se llaman también webmasters.

PILAR IV. Grupo de personas que accede al website (usuarios)

Las personas que visitan un portal web, que interactúan con sus contenidos y servicios, forman también parte del mismo. Hay que identificar dos cuestiones:

  1. ¿Quién es el público objetivo? ¿A quién va dirigida la comunicación?

  2. ¿Quién puede tener interés en visitar el sitio?

Estas preguntas delimitan los dos tipos de usuarios: el público a quien la entidad se quiere dirigir y el público interesado en comunicarse con la entidad. Los públicos del website pueden ser internos (ligados al organigrama de la institución) o externos.

La analítica web ofrece herramientas, como Google Analytics, para comprobar el uso que los visitantes hacen de los contenidos y servicios de Internet: número de páginas vistas, número de visitas, número de visitantes únicos, páginas de origen que han remitido a la web, palabras clave usadas en los motores de búsqueda para acceder a la página web, tiempo de permanencia, áreas geográficas de procedencia, etc.

PILAR V. Entorno público (Social Media)

En el entorno público hay que analizar los principales canales de información de la Web 2.0: redes sociales, blogs y comunidades de contenido. En estos canales, consideramos aquellos que tienen un respaldo institucional, y los analizamos según el modelo propuesto.

Según Juan Narbona (2013; 189), las instituciones utilizan estas herramientas con tres objetivos: persuasión, usabilidad e interactividad. Cada uno de estos niveles se corresponde con uno de los pilares del modelo de análisis OCM: persuasión (I), usabilidad (II) e interactividad (III).

El primer pilar se refiere a la capacidad persuasiva de los contenidos y servicios. Los promotores deben adaptar los contenidos y los servicios al nuevo entorno de comunicación 2.0, que no se guía por los mismos patrones que la comunicación 1.0. El segundo pilar contempla la usabilidad de las herramientas de acceso. En el siguiente nivel se unifican los pilares III y IV del OCM para conocer el alcance de la interactividad que mantienen los dos agentes, ya que, en el entorno público, los promotores y los usuarios son, a la vez, tanto productores como consumidores de la información.

5. Tabla de protocolo de análisis

Los cinco pilares del OCM los concretamos y adaptamos en una tabla ajustada a las necesidades de nuestra investigación. Para la creación de nuestra tabla de protocolo recurrimos también, como indicamos anteriormente, el Sistema Articulado de Análisis de Cibermedios (SMC).

Este método es el que nos permitió la creación de una ficha sistemática, denominada por sus creadores tabla de protocolo de análisis: "Es el instrumento principal de trabajo del SMC. Consiste en una tabla en la cual cada fila corresponde a un indicador. Mediante las columnas, se asignará un comentario y una puntuación a cada indicador, previéndose también la toma de datos u observaciones para cada indicador" (Linares, Codina, y Pedraza, 2015: 12).

Para el SAAC corresponde al investigador la tarea de fijar los indicadores dentro de los parámetros que quiere estudiar, algunos de los cuales serán comunes a otros ámbitos temáticos cibernéticos, mientras que otros serán específicos para la evaluación que se está realizando.

Los parámetros responden a la pregunta ¿qué queremos evaluar? Los sitios webs representan una amplia variedad de géneros (cibermedios, sitios de empresa, publicaciones en línea, directorios, bases de datos, portales institucionales ...), cada uno de los cuales, para ser evaluado, requiere parámetros específicos. Nosotros tomamos como parámetros de la ficha de análisis los cinco pilares del Online Communication Model. Una vez definida la lista de parámetros, tenemos que saber cómo medirlos, cómo comprobar su eficiencia en el sitio web considerado. Aquí intervienen los indicadores.

Los indicadores responden a la pregunta ¿cómo evaluamos ese parámetro? En la delimitación de la ficha hay que realizar una identificación y selección de indicadores. Habitualmente, cada parámetro genera varios indicadores.

Para cada uno de ellos, según Lluís Codina (2008), hay que delimitar los siguientes elementos:

  • Definición: presentación del indicador.

  • Examen: pregunta o preguntas que debe hacerse el analista para adoptar decisiones sobre la calidad del indicador.

  • Ejemplos: aclaraciones o ejemplos de recursos digitales que ayuden a entender cómo evaluar el indicador.

  • Procedimiento y evaluación del indicador y puntuación.

Para la identificación y selección de indicadores, Lluís Codina propone una sencilla metodología, que seguimos para confeccionar nuestra tabla de protocolo de análisis, y que resumimos a continuación en la siguiente tabla:

 

Comprobamos que la identificación y selección de indicadores se basa, fundamentalmente, en la observación del investigador, que se apoya en los parámetros globales de análisis dados y en las aportaciones de otros autores que ya han hecho un recorrido en esta materia. Estos son los pasos que hemos seguido en nuestra investigación, y que han dado como resultado la tabla de protocolo de análisis que resumimos a continuación. En dicha tabla (que es fundamentalmente descriptiva) aún no se contemplan los procedimientos de evaluación, que detallamos de forma más precisa en una tabla de valoración, en la que se seleccionan los indicadores evaluables y se indica la forma de puntuación.

 

6. Valoración cuantitativa

El modelo de análisis desarrollado se completa con una valoración cuantitativa de los parámetros e indicadores, siguiendo las directrices del Sistema Articulado de Análisis de Cibermedios (SAAC). La tabla de protocolo de análisis confeccionada desde el Online Communication Model (OCM) contempla también, para cada indicador, una puntuación -junto con la explicación del procedimiento de puntuación seguido-, que nosotros hemos querido desligar para crear una nueva tabla, denominada tabla de valoración cuantitativa.

Siguiendo las directrices de Lluís Codina y su grupo de investigación, cada indicador tiene en la tabla una puntuación; de la suma de las puntuaciones se obtiene la puntuación global de cada parámetro (los parámetros se corresponden con los pilares del OCM); de la suma de las puntuaciones de cada parámetro se obtiene la puntuación global de cada website. El SAAC permite el estudio de un solo medio cibernético, pero también el estudio comparado de varios casos, estableciendo un ranking que identifica cuáles son los websites con mejor y con peor puntuación (Linares, Codina y Pedraza, 2015; 22). Nuestra metodología se ajusta a esta segunda posibilidad, ya que la diseñamos para un estudio de casos múltiples.

El SAAC delimita cómo calcular la puntuación de cada indicador, según este sea molecular o binario (Codina, 2008b; 22):

  • Los indicadores moleculares son aquellos cuya evaluación se hace mediante una escala, que puede te­ ner una puntuación de 0 a 3. Según los creadores de este sistema, el 0 se correspondería con "error grave en el indicador", ell con un "error", el 2 con "correcto, pero mejorable" y el 3 con "excelente". En esta valoración se deja en manos del investiga­ dor, en el que influye su experiencia como usuario.

  • Los indicadores binarios son aquellos que se corresponden únicamente con una respuesta de sí o no. La puntuación en estos casos es de 0 a 1, donde el 0 representa el incumplimiento del indicador y el 1 el cumplimiento.

La suma de las puntuaciones máximas de los indicadores muestra la puntuación máxima de cada parámetro, que nos dará una idea de la importancia que cada pilar tiene en el OCM. La suma de las puntuaciones de los parámetros indica la puntuación máxima que puede alcanzar un website, y que nos lleva a establecer la puntuación global. Esta se obtiene dividiendo el total de puntos entre el número de indicadores que se han implicado en la tabla de valoración. Así, en nuestra tabla, la puntuación total (de todos los parámetros) es de 140. Al contar con 70 indicadores, la puntuación global es de 2.

En cada website hemos hecho la suma de las puntuaciones de los indicadores y de los parámetros, que nos ha dado la puntuación total. Al dividirla entre 70, obtenemos la puntuación global para cada website, que nos permite establecer el ranking entre los diez casos analizados. Una puntuación global por encima de 1 indica que se está haciendo un trabajo correcto en el website (haciendo una comparación académica, tendría una nota de aprobado); por el contrario, una puntuación por debajo de 1 indica que el sitio debería someterse a una renovación (estaría suspenso). Por encima de la puntuación 1,5 estamos ante sitios sobresalientes.

Hechas estas indicaciones, recogemos a continuación la tabla de valoración que elaboramos desde la tabla de protocolo de análisis. En ella no están presentes los datos institucionales o informativos, y se han simplificado los indicadores de cada pilar unificándolos en varios grupos. Hay también ciertos indicadores que no aparecen en esta tabla, ya que se cumplen de igual forma en todos los websites, y no cabe hacer una valoración sobre ellos. Otros también se han omitido, en el caso de que no haya herramientas para su valoración en todos los websites. El tipo de puntuación (molecular o binaria) se señala junto a cada indicador (0­ 3; 0-1); también se especifica la puntuación máxima de cada parámetro.

 

7. Resultados

Completadas las tablas de valoración de las 10 diócesis andaluzas, siguiendo la forma de puntuación propuesta, elaboramos la siguiente tabla de valoración final, que recoge las puntuaciones por parámetros, totales y globales registradas en enero de 2016.

 

Comprobamos que en la puntuación global hay cinco diócesis que se sitúan por encima del 1 (estarían aprobadas), mientras que otras cinco están por debajo del 1 (suspensas). Las tres mejores puntuaciones corresponden a Málaga (1.54), Sevilla (1.47) y Córdoba (1.43).

Tras estas tres diócesis, las siguientes se sitúan a bastante distancia. Aprobadas solamente hay dos más: Cádiz (1.19) y Granada (1.06). Almería roza el 1 (0,96). Jaén (0,84) y Huelva (0,83) tienen puntuaciones similares, al igual que las dos diócesis en la cola del ranking: Jerez (0,77) y Guadix (0,76).

Esta metodología de análisis, válida para cualquier conjunto de sitios web y cibermedios, podría completarse con un estudio de madurez digital de las instituciones o corporaciones responsables de estos canales de comunicación. Para ello, Martin Gill (2016) nos propone una serie de herramientas interactivas que miden las dimensiones que con­ figuran dicha madurez, como la Intensidad Digital y la Intensidad en la gestión de la transformación. La Intensidad Digital es la inversión en iniciativas de corte tecnológico, con el objetivo de cambiar la forma de trabajar de la institución o empresa. Mientras que la Intensidad de la gestión de la transformación, consiste en crear capacidades de liderazgo para llevar a cabo la transformación digital de la organización.

8. Conclusiones

Los principales documentos eclesiales de los últimos años sobre la comunicación en la Iglesia han enfatizado mucho la necesidad del uso de las herramientas cibernéticas 1.0 y 2.0 por parte de todos los organismos eclesiales, aunque estas indicaciones no siempre se llevan a la práctica. Quizá, el ámbito de la comunicación sea uno de los más atendidos por la Iglesia en su Magisterio. Sin embargo, esta relevancia teórica no se corresponde con una realización práctica esperable.

En el caso del uso de Internet, habiendo tomado los casos representativos de las diócesis andaluzas, comprobamos cómo hay un atraso destacado a la hora de poner en marcha iniciativas que ya han pretendido impulsar el Papa Francisco (por ejemplo, en la comunicación vaticana) o los obispos, y que de hecho se utilizan con normalidad en otros ámbitos institucionales (sociales, políticos, económicos, etc.).

En general, detectamos una falta de medios económicos y humanos en las delegaciones de medios de Andalucía. Un 40 por ciento no cuenta con el presupuesto ni con el número de profesionales adecuado (aunque hay diferencias según las diócesis). Solamente seis delegaciones contemplan una partida anual fija en los presupuestos diocesanos (Cádiz y Ceuta, Córdoba, Guadix, Huelva, Málaga y Sevilla), y esta suele ser baja. Hay tres casos en los que no hay ningún trabajador externo en la delegación aparte del delegado (Almería, Guadix y Asidonia-Jerez). En la mitad de ellas (Almería, Córdoba, Guadix, Jaén y Sevilla), el delegado es un sacerdote que tiene que compaginar este puesto con otras muchas tareas pastorales. Podemos decir que sólo la mitad de las diócesis (Córdoba, Granada, Jaén, Málaga y Sevilla) dispone de un equipo de trabajo consolidado, de tres o más profesionales en la delegación.

Hay diferencias significativas en el funcionamiento y composición entre las distintas delegaciones de medios de Andalucía, que se corresponden con el volumen poblacional de las diócesis y su dotación de recursos. Las cinco diócesis más pobladas de Andalucía son, por este orden: Sevilla, Málaga, Córdoba, Granada y Cádiz. Málaga y Córdoba son las que cuentan con un equipo más numeroso en la delegación de medios, y también, junto con Sevilla, son las que más iniciativas cibernéticas llevan adelante. Por el contrario, las cinco diócesis menos pobladas -que tienen, por tanto, menos recursos- son las que tienen unas delegaciones más pequeñas, con menos medios económicos y humanos.

Según el ranking obtenido tras la aplicación de la tabla de valoración cuantitativa (tablas 3 y 4), las cinco diócesis en cabeza (las que han conseguido una calificación de aprobado) son las que tienen un mayor volumen de población y recursos, mientras que las cinco diócesis que se sitúan en la parte baja de la clasificación (las suspensas) son las más pequeñas. El podio (al que se han subido Málaga, Sevilla y Córdoba) está ocupado por las tres diócesis más grandes.

Las diferencias son importantes, de hasta casi un punto entre el caso mejor valorado (Málaga: 1,54 puntos) y el peor (Guadix: 0,76 puntos). Sin embargo, no podemos absolutizar los datos de tamaño de las diócesis y de sus recursos como motivo determinante de las variaciones. Las que más puntuación han recibido son aquellas que más trabajan los aspectos de actualización.

Aunque la mayoría de las diócesis estudiadas está presente en los canales más usuales (Facebook, Twitter y YouTube), los perfiles no están actualizados en muchos casos a un ritmo deseable, ni guardan una relación estrecha a nivel gráfico, temático o relacional con el website (falta unidad en cuanto a imagen institucional, hay poca presencia de enlaces o widgets en el sitio, unidad de contenido guardando la especificidad comunicativa de cada canal -generalmente, solo se publican enlaces a artículos del sitio-, etc.).

Por lo general, el nivel de interactividad que hemos detectado en nuestro análisis es muy básico: la mayoría de los sitios webs permite únicamente recibir feedback de los usuarios mediante correo electrónico; en ninguno de los casos hay posibilidad para foros, chats o encuestas (solamente Málaga permite comentarios de los lectores a los artículos) .

Por tanto, es imprescindible para la Iglesia por su identidad y por su misión, potenciar el uso de Internet. Un ámbito idóneo para hacerlo lo conforman las delegaciones diocesanas de me­ dios, a través de sus portales institucionales y a través de otras iniciativas cibernéticas que en la Iglesia andaluza han comenzado a ponerse en marcha, teniendo aún por delante un camino largo que recorrer.

A pesar de esta carencia de recursos económicos y humanos, hay diócesis que están dando los pasos adecuados para usar las herramientas cibernéticas como plataformas evangelizadoras. Lo desarrollan desde la creación de equipos de voluntarios, que hacen de la comunicación una pastoral diocesana más, como pueden serlo la atención a los más necesitados o a los enfermos. En este sentido, concluida nuestra investigación, la Archidiócesis de Sevilla presentó a principios de 2018 una nueva plataforma online con un inequívoco carácter pastoral. Archisevilla Siempre Adelante es el nombre de esta herramienta evangelizadora que consiste en una moderna web con perfiles de redes sociales vinculados y que se actualiza a diario. Es este un ejemplo de cómo se pueden dar los pasos adecuados para situar a la Iglesia andaluza en la vanguardia según marcan los documentos y las directrices indicadas por otros ámbitos eclesiales, superando las carencias existentes.

 

Bibliografía

Alexander, J.E. Y Tate, M.A. (1999). Web wisdom. How to evaluate and create information quality on the web. Mahwah (NJ): Lawrence Erlbaum Associates

Arasa, Daniel (2008). Church communications through diocesan websites. Roma: Edusc.         [ Links ]

Barroso Huertas, O. (2007). Nuevas tendencias en el diseño de sitios web corporativos. Madrid: Universitas.         [ Links ]

Caro González, F.J. (2002). Cambio en innovación en la empresa informativa. Universidad de Sevilla.         [ Links ]

Codina, Lluis (2008a). Evaluación de calidad en sitios web: metodología de proyectos de análisis sectoriales y de realización de auditorías. Barcelona: UPE        [ Links ]

Codina, Lluis (2008b). Sistema general de análisis y evaluación de sitios web. Parámetros e indicadores. Barcelona: UPE Recuperado: http://www.lluiscodina.com/wp-content/uploads/2014/04/indicadores_2008.pdf.         [ Links ]

Codina Ll, Díaz Noci, J. y otros (2014). Sistema Articulado de Análisis de Cibermedios (SAAC). Una propuesta sobre el qué y el cómo para estudiar medios de comunicación digitales. Hipertext.net [online], 2014, Núm. 12. DOI: 10.2436/20.8050.01.13

Coller, X: (2000). Estudio de casos. (Cuadernos metodológicos, 30). Madrid: CIS.         [ Links ]

Boyd R. Collins y Eileen Flick (2009). Infofilter: Making sense of the internet. New Review of Information Networking, 1:1,203-207, DOI: 10.1080/13614579509516861        [ Links ]

Fernández Cano, Antonio (2002). La casuística: Un ensayo histórico-metodológico en busca de los antecedentes del estudio de caso. Arbor CLXXI, 675 (marzo), pp. 489-511.         [ Links ]

Eisenhardt, K. (1989). Building theories from case study research. The Academy of Management Rewiew [en línea]. Vol. 14, núm. 4, pp. 532-550.         [ Links ]

Gill, Martin (2016). The Digital Maturity Model 4.0 Interactive Tool. Recuperado de: https://www.forrester.com/report/The+Digital+Maturity+Model+40+Interactive+Tool/-/E-RES117661        [ Links ]

Grandon Gill, T. (2011). Informing with the Case Method. Santa Rosa (CA): Informing Science Press.

Jakobson, R. (2002). Saggi di linguistica generale. Milano: Feltrinelli        [ Links ]

Jiménez, M., y Ortiz-Repiso, V. (2007). Evaluación y calidad de sedes web. Gijón: Trea.         [ Links ]

Jiménez Carreira (2016). El uso de Internet en las diócesis andaluzas. (Tesis doctoral). Universidad de Sevilla. Disponible en: https://idus.us.es/xmlui/handle/11441/39455.         [ Links ]

Linares, J., Codina, Ll. y Pedraza, R., (2015). Interactividad en cibermedios. Propuesta nuclear de protocolo de análisis. Barcelona: Grupo de Investigación DigiDoc. Recuperado de: http://www.upf.edu/digidoc/_pdf/protocolo_interactividad_2015.pdf.         [ Links ]

López García, X (2005). Tipología de los cibermedios. En Salaverría, R. (coord.). Cibermedios. El impacto de Internet en los medios de comunicación en España (pp. 39-81). Sevilla: Comunicación Social.         [ Links ]

Narbona, J. (2013). Comunicación online de las organizaciones humanitarias sin ánimo de lucro. (Tesis doctoral). Facultad de Comunicación Social de la Universidad de la Santa Cruz, Roma.

Narbona, J. y Arasa, D (2015). The Online Communication Model: A theoretical framework to analyse the Institutional Communication on the Internet. En Cheruvallil-Contractor, S. y Shakkour, S. (eds.). Digital Methodologies in the Sociology of Religion (pp. 109-136). Derby: Bloomsbury Academic.         [ Links ]

Nielsen, J. (2002). Usabilidad. Diseño de sitios web. Madrid: Pearson Educación.         [ Links ]

Palacios, Marcos y Díaz Noci, Javier. (eds.) (2009). Ciberperiodismo: métodos de investigación. Una aproximación multidisciplinar en perspectiva comparada. Bilbao: Servicio de Publicaciones de la Universidad del País Vasco.         [ Links ]

Parra Valcarce, David y Álvarez Marcos, José (2004). Ciberperiodismo. Madrid: Síntesis.         [ Links ]

Salaverría, R (2005). Redacción periodística en Internet. Pamplona: Eunsa.         [ Links ]

Stake R.E. (2005). Investigación con estudios de casos. V edición. Madrid: Morata.         [ Links ]

Yin, R.K (1998). Case study research. Desing and methods. Newbury Park (CA). Sage Publications.

Van der Geest, T.M (2001). Web Site Design is Communication Design. Amsterdam: John Benjamins Publishing Company.         [ Links ]

 

Recibido: 2-05-2018
Aceptado: 20-06-2018

 

Creative Commons License All the contents of this journal, except where otherwise noted, is licensed under a Creative Commons Attribution License