Artigo em XML
Referências do artigo
Tradução automática
Enviar este artigo por email
Citado por SciELO 
Similares em
SciELO 
Permalink
1. Introducción
Las instituciones que ofrecen educación superior a distancia permiten que grupos diferentes de estudiantes puedan acceder al sistema de educación superior (Delgado-Almonte, Bustos, & Pedraja-Rejas, 2010), por cuanto los factores de espacio y tiempo, ocupación o nivel de los participantes no condicionan el proceso de enseñanza-aprendizaje (Moreira, Reis-Monteiro, & Machado, 2017; Gil Villa, Urchaga Litago, & Sánchez Fernández, 2020; Tejedor et al., 2020). Estas alternativas educativas amplían las perspectivas de la propia universidad en cuanto a gasto y generación de recursos (Ganga-Contreras, Díaz-Barrios, & Borjas, 2020), gracias a los desarrollos educacionales derivados de los nuevos usos de las redes sociales (Caldevilla-Domínguez, Barrientos-Báez, & Padilla-Castillo, 2021; Gonzálvez-Vallés et al., 2021; Martínez-González, Parra-López, & Barientos-Báez, 2021), todo lo cual deriva en la denominada "sociedad de la infoxicación" (Barrientos-Báez et al., 2021).
A pesar de estas realidades y proyecciones tan positivas, la educación a distancia ha recibido críticas, tales como aquellas que hacen referencia a un menor grado de calidad académica, que el aprendizaje recae en la responsabilidad de los estudiantes y que existen problemas con la interacción (por ejemplo, Salmerón-Pérez, Rodríguez-Fernández, & Gutiérrez-Braojos, 2010; Buil et al., 2012; Sena Rivas et al., 2019). Sin embargo, en Chile, por ejemplo, ha aumentado el número de ofertas de este tipo de programas, cuyas instituciones están siendo acreditadas, lo cual ha permitido disminuir el costo de arancel y, con esto, hacer más accesible el ingreso de las personas a la educación superior (Barrientos Oradini & Araya-Castillo, 2018).
En ese sentido, los niveles de acreditación, directamente relacionados con la calidad medida, son de utilidad para todos los actores del sistema, ya que permiten apreciar las diferencias existentes entre las instituciones (Jiménez-Bucarey, Araya-Castillo, & Rojas-Vallejos, 2020). Dado esto, la acreditación es un factor que modifica la toma de decisiones en las instituciones educativas, y se enfoca en la mejora continua de la oferta académica y la calidad de los servicios proporcionados (Barrientos Oradini & Araya-Castillo, 2018).
En este contexto, para enfrentar las debilidades indicadas, diversos autores han propuesto mejoras para los problemas que presenta la educación superior a distancia, tales como el uso de estrategias pedagógicas transformativas o la incorporación de foros de discusión u otras tecnologías de información (Keegan, 2011; Buil et al., 2012). Sin embargo, estas mejoras no se han enfocado en analizar la percepción que los estudiantes en educación a distancia tienen sobre la calidad de servicio ofrecida por las universidades (Martínez-Argüelles, Blanco, & Castán, 2013).
Esta situación tiene repercusiones estratégicas, por cuanto los programas que se ofrecen en modalidad a distancia requieren de una adecuada evaluación de la calidad de servicio; esto debido a los cambios tecnológicos, globales, sociales y regulatorios, y a los crecientes niveles de competencia que se observan entre las instituciones participantes (Araya-Castillo & Rivera-Arroyo, 2021).
Lo anterior es de importancia, ya que la literatura reconoce que una concepción de calidad en educación superior debe ser aplicable y exigible a todas las modalidades, pero se diferenciará en la especificidad de las modalidades (Jung, 2011).
Es así como el servicio prestado en un entorno virtual de aprendizaje presenta dos características particulares (Martínez-Argüelles et al., 2013): (1) es un servicio puro, que no se materializa en transacciones puntuales, sino en una interacción prolongada en el tiempo; y (2) complejo, al incluir la docencia y otros servicios complementarios.
Asimismo, en la educación a distancia, la mediación tecnológica cobra importancia, ya que permite que el proceso de enseñanza-aprendizaje se realice sin considerar las limitaciones que se pueden generar por el lugar, tiempo y espacio (Bersin, 2004). Además, en la educación a distancia, el actor principal es el alumnado y no el profesor, ya que es una metodología de enseñanza que se fundamenta en el autoaprendizaje (Grow, 1991).
Existen diversos modelos para medir la calidad de servicio en contextos virtuales, pero estos han sido poco aplicados en el sector de la educación superior (Martínez-Argüelles, Castán, & Juan, 2010; Martínez-Argüelles et al., 2013; Araya-Castillo & Bernardo, 2019). Esto es relevante, ya que las universidades que ofrecen programas en formato no tradicional necesitan averiguar qué tipo de atributos tienen en cuenta los estudiantes para evaluar la calidad y determinar su importancia relativa (Nath & Zheng, 2004); pero, para ello, se requiere de un repensamiento de su gobierno universitario, con nuevas ópticas organizacionales que se enfoquen en estas peculiaridades (Brunner, Ganga-Contreras, & Rodríguez, 2018; Brunner et al., 2019; Ganga-Contreras et al., 2019; Castillo & Ganga-Contreras, 2020).
Ahora bien, Martínez-Argüelles et al. (2010) y Martínez-Argüelles et al. (2013) estudian la calidad de servicio en el contexto de la educación superior a distancia; no obstante, las dimensiones encontradas por estos autores podrían considerarse no generalizables, por cuanto en ambas investigaciones solo se consideró alumnado de una universidad en particular de España, la Universitat Oberta de Catalunya.
En la literatura, se pueden encontrar otras escalas que miden la calidad de servicio en un contexto de educación superior virtual (o a distancia), pero estas se limitan a un servicio universitario específico, en este caso la biblioteca (O'Neill & Palmer, 2003), y a la calidad del aprendizaje virtual de un curso de grado en línea (De Lange, Suwardy, & Mavondo, 2003; Udo, Bagchi, & Kirs, 2011). Otros estudios que se han desarrollado (por ejemplo, LaBay & Comm, 2003; Ehlers, 2004; Greasley & Bennett, 2004) presentan una naturaleza exploratoria; algunos utilizan escalas propias, analizan la satisfacción con servicios específicos concretos y/o no permiten identificar cuáles son las dimensiones del constructo (Martínez-Argüelles et al., 2013).
Dado esto, la presente investigación se concentra en la propuesta, desarrollo y validación de una escala de medida en educación superior a distancia. Esta situación es de relevancia para Chile, por cuanto es un país que ha respondido a los cambios en la economía global con un modelo de crecimiento basado en las exportaciones (López & Yadav, 2010; O'Ryan et al., 2010), ante lo cual su sector de educación superior debe responder a la necesidad de diversificar la oferta académica y la del alumnado (Brunner & Uribe, 2007).
Los resultados obtenidos en la presente investigación no son de interés solo para Chile, por cuanto la educación superior presenta dinámicas similares entre los diferentes países, tal vez con la excepción de aquellos de menores ingresos (Larraín & Zurita, 2008). Esto es particularmente relevante, por cuanto se sostiene que, de todos los servicios, el sector de educación superior es aquel que se relaciona de manera directa con el crecimiento de una sociedad y su desarrollo socioeconómico (Senthilkumar & Arulraj, 2011), puesto que, para lograr un desarrollo como país, es fundamental la creación de conocimiento como un elemento central para mejorar la calidad de vida y el progreso (Sebastián, 2007).
2. Metodología
2.1 Modelos de ecuaciones estructurales
Los modelos de ecuaciones estructurales analizan las relaciones causales y no causales entre variables tomadas como indicadores de medida de los constructos, excluyendo del análisis el error de medición (Batista-Foguet & Coenders, 2000). Estos modelos son una familia de modelos estadísticos multivariantes que permiten estimar el efecto y las relaciones entre múltiples variables (Kahn, 2006; Ruiz, Pardo, & San Martín, 2010). Sin embargo, a diferencia de otras técnicas multivariadas, los modelos de ecuaciones estructurales tienen la capacidad de estimar y evaluar la relación entre constructos no observables, denominados generalmente "variables latentes" (Cupani, 2012).
En la literatura, a los modelos de ecuaciones estructurales se los suele llamar SEM (structural equation models). No obstante, la técnica SEM abarca varios modelos conocidos por muchos nombres, entre ellos (Ruiz et al., 2010; Escobedo Portillo et al., 2016): regresión múltiple con multicolinealidad, análisis factorial confirmatorio, modelo causal completo con variables latentes, modelos multinivel, modelos multigrupo, modelos basados en las medias (Anova, Ancova, Manova y Mancova), análisis de la estructura de covarianza, y análisis Lisrel.
En la presente investigación, se trabaja con la metodología de análisis factorial confirmatorio (AFC), ya que el AFC se focaliza en la comprobación de la existencia de una teoría o hipótesis establecidas a priori mediante la formalización de un modelo de medida que se pone a prueba (Fernández Pulido, 2008). Dado esto, el AFC permite corregir o corroborar, en caso de haberlas, las deficiencias del AFE (análisis factorial exploratorio), conduciendo a una mayor contrastación de las hipótesis especificadas. De igual manera, analiza la matriz de covarianzas en lugar de la de correlaciones, lo que ayuda a establecer si los indicadores son equivalentes (Escobedo Portillo et al., 2016).
2.2 Herramientas metodológicas
Numerosos artículos y libros explican cómo desarrollar una escala (por ejemplo, Deng & Dart, 1994; Nunnally & Bernstein, 1994; Haynes, Nelson, & Blaine, 1999; Netemeyer, Bearden, & Sughash, 2003). Esto implica que los pasos y procedimientos varían de autor a autor, en función de los objetivos y propósitos de la medición, aun cuando la mayoría de los trabajos comparten un conjunto de directrices para desarrollar una escala.
Para obtener la escala DIHESQ con suficiente grado de validez y confiabilidad, se siguen distintas metodologías en diferentes etapas que tienen respaldo en la literatura (por ejemplo, Jöreskog & Sorbom, 1993; Deng & Dart, 1994; Batista-Foguet & Coenders, 1998; Hair et al., 2005). La primera consiste en construir una escala de medida tratando de asegurar la validez de contenido, para posteriormente desarrollar el cuestionario y recolectar los datos de una muestra representativa (Deng & Dart, 1994). La segunda consiste en emplear los datos obtenidos anteriormente para verificar que cada uno de los constructos presenta suficientes grados de unidimensionalidad (Hair et al., 2005). La tercera consiste en analizar las propiedades psicométricas de la escala de medida. En esta etapa, se realiza el análisis de la bondad de ajuste global del modelo, y luego se busca la mejora de la significación estadística a través de la aplicación de distintos indicadores (Jöreskog & Sorbom, 1993; Batista-Foguet & Coenders, 1998).
Para el análisis de los datos, se hizo uso del paquete estadístico Mplus (versión 7.4). La ventaja de Mplus radica en que los modelos pueden contener variables latentes continuas, variables latentes categóricas, o una combinación de ambos tipos de variables.
2.3 Diseño y selección de la muestra
Esta investigación es de tipo concluyente causal con corte transversal o seccional (Malhotra, 2004). El estudio de campo se realizó entre los meses de marzo del año 2014 y febrero del año 2015. El tipo de muestreo es no probabilístico por conveniencia (Malhotra, 2004), pero la muestra es representativa por zona geográfica, género, tipo de institución, tipo y área de estudio. Se aplicó una encuesta estructurada a 688 estudiantes de educación superior a distancia en Chile, en la modalidad de e-learning, semipresencial y a distancia. Estas encuestas se aplicaron a través de la plataforma Survey Monkey. De las 688 encuestas, 622 resultaron válidas.
En cuanto a los encuestados, un 54,8% son hombres, la edad promedio es de 38,1 años, y un 27,3% reside en la región metropolitana. Estos estudiantes cursan programas de magíster (58,2%), carreras de pregrado (17,5%), licenciatura (9,8%), diplomado (4,0%), segundo título profesional (3,5%), prosecución de estudios (2,9%), especialización (1,6%), postítulo (1,4%) y curso de formación (1,1%). Además, los estudiantes cursan estudios en las áreas de economía y negocios (54,2%), educación (31,3%), ciencias sociales (4,7%), salud (3,9%), gestión pública (3,5%) e ingeniería (2,4%).
El tamaño mínimo requerido para la muestra se ha definido por medio del criterio recomendado por Hair et al. (2005), que consiste en un equivalente a cinco observaciones por cada parámetro de estimación del estudio, siendo ideal aproximarse a las 10 observaciones por parámetro. Desde esta perspectiva, la muestra obtenida superó el tamaño óptimo, con 12,4 observaciones por parámetro. Ninguna de las variables tuvo más de un 3% de valores perdidos, y estos fueron distribuidos aleatoriamente entre los casos sin ningún patrón (Olinsky, Chen, & Harlow, 2003).
La encuesta se aplicó en ocho universidades que imparten educación a distancia en Chile. Estas universidades se localizan en las zonas norte, centro, sur y capital (región metropolitana) de Chile, y son públicas, privadas o privadas con aporte del Estado.
Se realizó un pretest que incluyó una muestra aleatoria de 80 estudiantes. Con estos datos, se realizó un análisis factorial exploratorio de componentes principales con rotación varimax (Hair et al., 2005), con el objetivo de verificar que cada una de las dimensiones presenta suficientes grados de unidimensionalidad, lo cual implica que miden un único constructo.
2.4 Validez y confiabilidad
Un modelo correcto predice adecuadamente la realidad, es decir, conduce a diferencias reducidas y aleatorias entre las varianzas y covarianzas observadas y las implicadas por el modelo (Batista Foguet & Coenders, 2000). Para analizar si el modelo es correcto, es necesario analizar sus indicadores de validez y confiabilidad.
La confiabilidad de una medida analiza si esta se halla libre de errores aleatorios y, en consecuencia, proporciona resultados estables y consistentes (Sarabia, 1999). La confiabilidad es una condición necesaria, aunque no suficiente, para la validez de dicha medida. Esto se debe a que la validez analiza el grado en que un instrumento mide el concepto bajo estudio (Bohrnstedt, 1976).
En la presente investigación, se considera la clasificación de validez de Nunnally (1978, 1987). De acuerdo con este autor, la validación tiene tres aspectos:
La validez de contenido, que se refiere al grado en el que la medida recoge el dominio del concepto estudiado.
La validez de constructo, que evalúa el grado en que el instrumento refleja la teoría del fenómeno o del concepto que mide (en este tipo de validez, la validez convergente significa que un mismo fenómeno medido de diversas formas independientes da lugar a resultados similares; por su parte, la validez discriminante -validez divergente- mide el grado de capacidad del instrumento para distinguir entre individuos o poblaciones que se espera que sean diferentes).
La validez de criterio, la cual se refiere al grado de eficacia con el que se puede pronosticar una variable a partir de la medición efectuada; este tipo de validez analiza si el constructo medido por los indicadores propuestos guarda relaciones con otros conceptos teóricamente previsibles (concurrente o predictiva).
3. Resultados
3.1 Propuesta del modelo
Para la propuesta del modelo DIHESQ, se realizó una exhaustiva revisión de la literatura. La escala DIHESQ que se propuso con base en la revisión de la literatura, se depuró a través de un análisis exhaustivo recomendado por De Wulf y Odekerken-Schroder (2003). Con este objetivo, se aplicó un cuestionario semiestructurado a 80 personas que estudian o estudiaron en la modalidad a distancia. La muestra fue no probabilística por conveniencia (Malhotra, 2004), y estuvo compuesta por estudiantes (y exestudiantes) de diferentes universidades, tipos y áreas de estudio. En dicho cuestionario, se solicitó a los encuestados que escribieran los 20 factores que consideraban más relevantes para evaluar la calidad de servicio en la educación a distancia.
Al mismo tiempo, se hizo uso de herramientas cualitativas, ya que permiten analizar los fenómenos con un mayor grado de profundidad de lo que es posible con las herramientas cuantitativas (Denzin & Lincoln, 2000). Se desarrollaron 22 entrevistas en profundidad y 4 focus groups (conformados por cinco integrantes), ya que se buscó conocer las percepciones de los estudiantes sobre el constructo "calidad de servicio", y sobre las dimensiones que consideran relevantes en su evaluación. El número de entrevistas y focus groups se fundamentó en la saturación de la categoría (Denzin & Lincoln, 2000).
También se contó con la participación de ocho expertos en educación superior a distancia. Se solicitó a estos expertos que respondieran un cuestionario semiestructurado indicando los aspectos que, en su opinión, los estudiantes consideran relevantes en el momento de evaluar la calidad de servicio. Esta información se usó para validar los resultados obtenidos del cuestionario semiestructurado aplicado al alumnado. Asimismo, con cuatro de estos expertos, se realizaron entrevistas en profundidad con el objetivo de conocer con un mayor nivel de detalle la perspectiva de las universidades.
Con todo lo anterior, se configuró el modelo DIHESQ, el cual parte del supuesto de que la calidad de servicio en educación superior a distancia es un constructo de naturaleza multidimensional. Este modelo está configurado por las dimensiones "profesores y enseñanza" (por ejemplo, Tan & Kek, 2004; Torres & Araya-Castillo, 2010; Icli & Anil, 2014), "plan curricular y material de estudio" (por ejemplo, Entwistle & Tait, 1990; Capelleras & Veciana, 2004; Jain, Sahney, & Sinha, 2013), "evaluación y feedback" (por ejemplo, Hill, 1995; Casanueva, Periáñez, & Rufino, 1997; Douglas, McClelland, & Davies, 2008), "administración y organización" (por ejemplo, Morales & Calderón, 1999; Holdford & Patkar, 2003; Sultan & Wong, 2011), "plataforma funcional" (por ejemplo, Martínez-Argüelles et al., 2010; Udo et al., 2011; Akbariyeh, 2012), "plataforma emocional" (por ejemplo, Childers et al., 2001; Song & Zhinkan, 2008; Bernardo, Marimon, & Alonso-Almeida, 2012), "apoyo institución" (por ejemplo, Hampton, 1993; Martensen et al., 2000; Gruber et al., 2010) y "social y laboral" (por ejemplo, Pereda, Airey, & Bennett, 2009; Sutarso & Suharmadi, 2011; Martínez-Argüelles et al., 2013).
La escala DIHESQ se compone de 50 indicadores. Todas las preguntas fueron redactadas como afirmaciones, donde los encuestados debían responder a través de una escala Likert de 1 (totalmente en desacuerdo) a 5 (totalmente de acuerdo). El concepto "calidad de servicio" se midió bajo la perspectiva que proponen Cronin y Taylor (1992) en su escala SERVPERF. Esta consiste en medir la calidad del servicio considerando solo la percepción del consumidor y no las expectativas (véase la tabla 1).
Tabla 1 Escala de medida del modelo DIHESQ
| Cuestionario | Ítems |
|---|---|
| Profesores y enseñanza (PROF) | |
| Los profesores responden en forma rápida las preguntas de los estudiantes | Prof1 |
| Los profesores mantienen una comunicación constante con los estudiantes | Prof2 |
| Los profesores responden con claridad las preguntas de los estudiantes | Prof3 |
| Los profesores muestran respeto cuando responden las preguntas formuladas por los estudiantes | Prof4 |
| Los profesores tienen conocimientos adecuados de los contenidos del curso | Prof5 |
| Los profesores motivan a los estudiantes para que participen con la realización de preguntas | Prof6 |
| Los profesores se preocupan por el proceso de aprendizaje de los estudiantes | Prof7 |
| Plan curricular y material de estudio (PCME) | |
| El material de estudio está escrito con claridad | Pcme1 |
| El material del curso está escrito con conocimientos actualizados | Pcme2 |
| El material del curso posee conocimientos que se pueden aplicar en el ámbito profesional | Pcme3 |
| El plan de estudios (malla curricular) es excelente | Pcme4 |
| El programa de estudios tiene amplio campo laboral | Pcme5 |
| El programa de estudios tiene una duración adecuada | Pcme6 |
| El plan de estudios (malla curricular) es adecuado a los requerimientos del mercado laboral | Pcme7 |
| Evaluación y feedback (EFEED) | |
| Los resultados de las evaluaciones se entregan en un corto plazo | Efeed1 |
| El feedback que se recibe de las evaluaciones es excelente | Efeed2 |
| El nivel de dificultad de las evaluaciones es apropiado | Efeed3 |
| Las evaluaciones se relacionan con los contenidos del material de estudio | Efeed4 |
| La carga de trabajo en las distintas asignaturas es adecuada | Efeed5 |
| El formato de las preguntas que se incluyen en las evaluaciones mide adecuadamente los conocimientos de las asignaturas | Efeed6 |
| Administración y organización (AORG) | |
| Las distintas actividades del programa de estudios se encuentran correctamente planificadas | Aorg1 |
| Las fechas de las distintas actividades del programa de estudios siempre son cumplidas | Aorg2 |
| El personal de administración responde rápidamente a los requerimientos de los estudiantes | Aorg3 |
| El personal de administración mantiene una comunicación constante con los estudiantes | Aorg4 |
| El personal de administración muestra respeto cuando responde a los requerimientos formulados por los estudiantes | Aorg5 |
| El personal de administración se preocupa por los problemas de los estudiantes | Aorg6 |
| El personal de administración soluciona eficientemente los requerimientos de los estudiantes | Aorg7 |
| Plataforma funcional (PFUN) | |
| La plataforma virtual es fácil de usar | Pfun1 |
| La plataforma virtual nunca presenta problemas para descargar el material de estudio | Pfun2 |
| La plataforma virtual presenta un diseño atractivo | Pfun3 |
| La plataforma virtual está siempre disponible (con conexión) | Pfun4 |
| La plataforma virtual facilita la comunicación entre los estudiantes y los profesores | Pfun5 |
| La plataforma virtual mantiene información actualizada sobre las fechas de las actividades y evaluaciones | Pfun6 |
| Plataforma emocional (PEMO) | |
| Disfruto cuando ingreso a la plataforma virtual | Pemo1 |
| Cuando ingreso a la plataforma virtual no me percato de cuánto tiempo ha transcurrido | Pemo2 |
| Me siento seguro(a) porque mi información privada (por ejemplo, domicilio y teléfonos de contacto) no es compartida con otras personas que ingresan a la plataforma virtual | Pemo3 |
| Me siento relajado(a) cuando navego por la plataforma virtual | Pemo4 |
| Me siento bien cuando interactúo con otros integrantes del curso a través de la plataforma virtual | Pemo5 |
| Siento mayor satisfacción si en los foros de discusión participan simultáneamente los profesores y estudiantes | Pemo6 |
| Apoyo institución (AINS) | |
| El programa de inducción que realiza la administración del programa es excelente | Ains1 |
| La administración del programa asesora correctamente a los estudiantes sobre cómo deben estudiar en programas que se cursan a distancia | Ains2 |
| La existencia de diferentes opciones de evaluación (por ejemplo, exámenes que se pueden rendir en distintas fechas, trabajos de aplicación que son ponderados en la nota final, etc.) beneficia a los estudiantes | Ains3 |
| El arancel (precio) del programa de estudios es adecuado | Ains4 |
| La existencia de distintas opciones para pagar el arancel del programa de estudios ayuda a los estudiantes | Ains5 |
| El envío del material del curso al domicilio de los estudiantes es algo positivo | Ains6 |
| Social y laboral (SOLAB) | |
| La existencia de actividades en las que se conforman grupos con distintos estudiantes es positiva | Solab1 |
| La oficina de empleos de la universidad tiene información actualizada y útil para los estudiantes | Solab2 |
| La información que publica la administración del programa sobre exestudiantes es interesante | Solab3 |
| La reputación de la universidad en que estudio es excelente | Solab4 |
| La reputación del programa de estudios es excelente | Solab5 |
Elaboración propia.
Todo lo anterior responde a los pasos que se siguen en la propuesta de modelos teóricos, debido a que en la etapa de elaboración de un instrumento de medición es relevante la validez de contenido (Deng & Dart, 1994).
3.2 Análisis de unidimensionalidad del modelo
En la tabla 2, se aprecia que la escala presenta un elevado grado de unidimensionalidad, ya que ninguno de los ítems cargó en un segundo factor (Hair et al., 2005), los valores de Kaiser-Meyer-Olkin (KMO) son mayores o iguales a 0,5 (Malhotra, 2004), los factores tienen valores de eigenvalue superiores a 1 (Malhotra, 2004), los valores de la varianza explicada son superiores a un 60% (Hair et al., 1998), los indicadores presentan cargas factoriales superiores al mínimo exigido de 0,4 (Larwood et al., 1995), y los valores de la varianza común con el componente (comunalidad de extracción) son iguales o superiores a 0,5 (Hair et al., 1998).
Este procedimiento permitió confirmar la exactitud del instrumento de medida, y corroborar que no era necesario eliminar indicadores.
3.3 Validación psicométrica del modelo
En una primera etapa, se evalúa el ajuste del modelo DIHESQ. En la tabla 3, se observa que la escala DIHESQ tiene adecuados niveles de ajuste global, por cuanto los índices estimados cumplen con las reglas de la significación estadística (Orgaz, 2008).
Tabla 3 Estadísticos de ajuste global del modelo DIHESQ
| Índices | Regla general para aceptar el ajuste si los datos son continuos | Resultado estadístico del modelo | Ajuste global modelo |
|---|---|---|---|
| Chi-cuadrado (χ2) | Ratio de χ2 a gl ≤ 2 o 3 | 1357,117 / 1.070 = 1,268 | Sí |
| Índice de Ajuste Comparativo (CFI) | ≥ 0,95 | 0,983 | Sí |
| Índice de Tucker-Lewis (TLI) | ≥ 0,95 puede ser 0 > TLI > 1 | 0,982 | Sí |
| Raíz del error cuadrático promedio aproximación (RMSEA) | < 0,06 a 0,08 con intervalo de confianza | 0,060 | Sí |
| Raíz cuadrada media residual ponderada (WRMR) | < 0,90 | 0,874 | Sí |
Elaboración propia.
Una vez analizado el ajuste global del modelo, se procedió a estudiar el comportamiento del conjunto de indicadores que conforman las ocho dimensiones del modelo DIHESQ. Cada uno de los indicadores que se presentan en la tabla 4 debe ser parte del modelo, ya que las cargas factoriales (coeficientes estandarizados) son significativas con un 99% de confianza (p-value de dos colas).
Considerando las diferentes variables latentes que representan el constructo DIHESQ, se llevó a cabo un proceso de mejora mediante una estrategia de desarrollo de modelo (Hair et al., 2005), que consiste en eliminar aquellos indicadores o variables menos adecuados para lograr un buen ajuste (Ding, Velicer, & Harlow, 1995). La tabla 4 muestra el resultado de este proceso. Se consideraron los tres criterios propuestos por Jöreskog y Sörbom (1993). El primero consiste en eliminar aquellos indicadores que no presenten un alto nivel de convergencia con su correspondiente variable latente (t de Student menor de 2,58). Con el segundo, se eliminan aquellos indicadores con coeficientes estandarizados (λ) menores de 0,5. Por último, se eliminan aquellos indicadores que muestran una relación lineal R2 menor de 0,3. En el proceso de ajuste del modelo, se eliminaron las variables Prof4 y Aorg1 por presentar un R2 por debajo de 0,3.
Tabla 4 Estadísticos indicadores del modelo DIHESQ
| Constructos | Coeficientes estandarizados (λ) | Error estándar | t de Student | p-value dos colas | R cuadrado (R2) |
|---|---|---|---|---|---|
| PROF | |||||
| Prof1 | 0,760 | 0,052 | 14,553 | 0,000 | 0,577 |
| Prof2 | 0,945 | 0,017 | 55,818 | 0,000 | 0,894 |
| Prof3 | 0,938 | 0,018 | 52,683 | 0,000 | 0,880 |
| Prof5 | 0,935 | 0,025 | 37,643 | 0,000 | 0,874 |
| Prof6 | 0,944 | 0,020 | 47,120 | 0,000 | 0,891 |
| Prof7 | 0,955 | 0,016 | 60,897 | 0,000 | 0,912 |
| PCME | |||||
| Pcme1 | 0,899 | 0,029 | 30,993 | 0,000 | 0,809 |
| Pcme2 | 0,824 | 0,041 | 20,271 | 0,000 | 0,680 |
| Pcme3 | 0,908 | 0,027 | 33,033 | 0,000 | 0,824 |
| Pcme4 | 0,931 | 0,028 | 32,704 | 0,000 | 0,867 |
| Pcme5 | 0,825 | 0,046 | 18,107 | 0,000 | 0,681 |
| Pcme6 | 0,887 | 0,039 | 22,993 | 0,000 | 0,787 |
| Pcme7 | 0,907 | 0,031 | 29,412 | 0,000 | 0,822 |
| EFEED | |||||
| Efeed1 | 0,895 | 0,029 | 30,492 | 0,000 | 0,800 |
| Efeed2 | 0,924 | 0,024 | 37,892 | 0,000 | 0,854 |
| Efeed3 | 0,977 | 0,013 | 74,507 | 0,000 | 0,954 |
| Efeed4 | 0,839 | 0,041 | 20,285 | 0,000 | 0,704 |
| Efeed5 | 0,915 | 0,025 | 36,526 | 0,000 | 0,837 |
| Efeed6 | 0,906 | 0,027 | 33,571 | 0,000 | 0,820 |
| AORG | |||||
| Aorg2 | 0,952 | 0,028 | 34,295 | 0,000 | 0,907 |
| Aorg3 | 0,874 | 0,033 | 26,294 | 0,000 | 0,763 |
| Aorg4 | 0,866 | 0,034 | 25,277 | 0,000 | 0,750 |
| Aorg5 | 0,923 | 0,025 | 37,544 | 0,000 | 0,852 |
| Aorg6 | 0,977 | 0,014 | 69,233 | 0,000 | 0,955 |
| Aorg7 | 0,953 | 0,013 | 71,218 | 0,000 | 0,909 |
| PFUN | |||||
| Pfun1 | 0,911 | 0,026 | 34,534 | 0,000 | 0,829 |
| Pfun2 | 0,848 | 0,036 | 23,573 | 0,000 | 0,719 |
| Pfun3 | 0,825 | 0,048 | 17,243 | 0,000 | 0,680 |
| Pfun4 | 0,852 | 0,037 | 23,071 | 0,000 | 0,727 |
| Pfun5 | 0,963 | 0,023 | 41,679 | 0,000 | 0,928 |
| Pfun6 | 0,860 | 0,039 | 22,055 | 0,000 | 0,739 |
| PEMO | |||||
| Pemo1 | 0,916 | 0,024 | 37,860 | 0,000 | 0,839 |
| Pemo2 | 0,762 | 0,055 | 13,734 | 0,000 | 0,581 |
| Pemo3 | 0,816 | 0,041 | 19,671 | 0,000 | 0,666 |
| Pemo4 | 0,886 | 0,028 | 31,194 | 0,000 | 0,785 |
| Pemo5 | 0,876 | 0,034 | 25,784 | 0,000 | 0,767 |
| Pemo6 | 0,913 | 0,034 | 26,559 | 0,000 | 0,834 |
| AINS | |||||
| Ains1 | 0,916 | 0,025 | 36,075 | 0,000 | 0,840 |
| Ains2 | 0,860 | 0,035 | 24,679 | 0,000 | 0,739 |
| Ains3 | 0,920 | 0,029 | 32,046 | 0,000 | 0,846 |
| Ains4 | 0,768 | 0,052 | 14,795 | 0,000 | 0,590 |
| Ains5 | 0,643 | 0,064 | 10,032 | 0,000 | 0,414 |
| Ains6 | 0,605 | 0,065 | 9,314 | 0,000 | 0,366 |
| SOLAB | |||||
| Solab1 | 0,853 | 0,039 | 21,961 | 0,000 | 0,728 |
| Solab2 | 0,600 | 0,075 | 8,011 | 0,000 | 0,360 |
| Solab3 | 0,756 | 0,050 | 15,172 | 0,000 | 0,572 |
| Solab4 | 0,773 | 0,059 | 13,194 | 0,000 | 0,597 |
| Solab5 | 0,942 | 0,026 | 36,331 | 0,000 | 0,887 |
Elaboración propia.
En la tabla 5, se observa que el modelo DIHESQ es de segundo orden, reflexivo y multidimensional (MacKenzie, Podsakoff, & Podsakoff, 2011), y que se descompone en las dimensiones siguientes: (a) profesores y enseñanza (PROF); (b) material de estudio y plan curricular (PCME); (c) evaluación y feedback (EFEED); (d) administración y organización (AORG); (e) plataforma funcional (PFUN); (f) plataforma emocional (PEMO); (g) apoyo institución (AINS); y (h) social y laboral (SOLAB).
Tabla 5 Estadísticos de las dimensiones del modelo DIHESQ
| DIHESQ POR | Coeficientes estandarizados (λ) | Error estándar | t de Student | p-value dos colas |
|---|---|---|---|---|
| PROF | 0,987 | 0,007 | 132,508 | 0,000 |
| PCME | 0,959 | 0,012 | 78,936 | 0,000 |
| EFEED | 0,992 | 0,007 | 147,199 | 0,000 |
| AORG | 0,915 | 0,021 | 43,933 | 0,000 |
| PFUN | 0,958 | 0,012 | 81,910 | 0,000 |
| PEMO | 0,948 | 0,013 | 73,034 | 0,000 |
| AINS | 0,920 | 0,022 | 42,379 | 0,000 |
| SOLAB | 0,935 | 0,020 | 46,831 | 0,000 |
Elaboración propia.
El modelo DIHESQ se representa gráficamente en la figura 1. A través de las cargas factoriales (coeficientes estandarizados), se puede concluir que las dos dimensiones que más contribuyen a explicar la variable dependiente (calidad de servicio en educación superior a distancia) son EFEED (evaluación y feedback) y PROF (profesores y enseñanza); y las dos dimensiones que menos contribuyen a explicar la variable dependiente son AORG (administración y organización) y AINS (apoyo institución).
Nota. * significativo al 0,01.
Elaboración propia.
Figura 1 Modelo óptimo de calidad del servicio en educación superior a distancia (DIHESQ)
Además, se puede concluir que el modelo DIHESQ tiene adecuados niveles de validez y confiabilidad. Para determinar la fiabilidad de las subescalas, se calculó el coeficiente H (Hancock & Mueller, 2001). Se puede concluir que la escala DIHESQ tiene un elevado grado de fiabilidad, esto porque el coeficiente H proporcionó valores superiores a 0,9 para cada una de las subescalas. Además, la escala DIHESQ tiene un elevado grado de fiabilidad, debido a que los valores de la fiabilidad compuesta (fiabilidad del constructo) superan el nivel recomendado de 0,7 (Fornell & Larcker, 1981) (véase la tabla 6).
Tabla 6 Estadísticos de confiabilidad y validez convergente del modelo DIHESQ
| Constructos | Coeficiente H | Fiabilidad del constructo (ρɳ) | Varianza extraída promedio |
|---|---|---|---|
| PROF | 0,977 | 0,969 | 0,838 |
| PCME | 0,966 | 0,961 | 0,781 |
| EFEED | 0,977 | 0,967 | 0,829 |
| AORG | 0,981 | 0,973 | 0,856 |
| PFUN | 0,965 | 0,953 | 0,770 |
| PEMO | 0,954 | 0,946 | 0,745 |
| AINS | 0,942 | 0,910 | 0,632 |
| SOLAB | 0,933 | 0,892 | 0,629 |
Elaboración propia.
Para medir la validez de la escala DIHESQ, se comprobó que esta tenga validez de contenido ya garantizada, debido a que las subescalas utilizadas para medir el modelo DIHESQ se han diseñado a partir de un análisis detallado de la literatura. Posteriormente, las escalas propuestas fueron sometidas al juicio y a la discusión de expertos, y a la validación por parte de estudiantes de educación superior a distancia.
La validez de constructo se comprobó considerando la validez convergente y validez discriminante de la escala resultante del análisis factorial confirmatorio. La validez convergente se evalúa a través del promedio de varianza extraída por factor. Si este es menor de 0,50, entonces la varianza debida al error de medida es mayor que la varianza capturada por el constructo y la validez es cuestionable (Fornell & Larcker, 1981) (véase la tabla 6). La validez convergente se confirmó también al observar que el promedio de las cargas estandarizadas sobre un factor está en torno de 0,7 o más (Hair et al., 1998), y que todos los coeficientes estandarizados resultaron estadísticamente significativos al 0,01 y mayores de 0,6 (Anderson y Gerbing, 1988; Bagozzi & Yi, 1988).
La validez discriminante es crucial para conducir el análisis de la variable latente (Fornell & Larcker, 1981). Fornell y Larcker (1981) recomiendan el uso de la varianza extraída promedio, que corresponde a la varianza media compartida entre un constructo y sus medidas. Esta medida debería ser mayor que la varianza compartida entre el constructo con los otros constructos presentes en el modelo analizado. En la tabla 7, se observa que la escala DIHESQ cumple con las condiciones de la validez discriminante.
Tabla 7 Validez discriminante del modelo DIHESQ
| Constructos | Varianza extraída promedio | Pares de constructos | Varianza común entre constructos |
|---|---|---|---|
| PROF | 0,838 | PROF-PCME | 0,418 |
| PCME | 0,781 | PROF-EFEED | 0,442 |
| EFEED | 0,829 | PROF-AORG | 0,426 |
| AORG | 0,856 | PROF-PFUN | 0,428 |
| PFUN | 0,770 | PROF-PEMO | 0,424 |
| PEMO | 0,745 | PROF-AINS | 0,475 |
| AINS | 0,632 | PROF-SOLAB | 0,358 |
| SOLAB | 0,629 | PCME-EFEED | 0,587 |
| PCME-AORG | 0,566 | ||
| PCME-PFUN | 0,567 | ||
| PCME-PEMO | 0,561 | ||
| PCME-AINS | 0,630 | ||
| PCME-SOLAB | 0,475 | ||
| EFEED-AORG | 0,598 | ||
| EFEED-PFUN | 0,601 | ||
| EFEED-PEMO | 0,594 | ||
| EFEED-AINS | 0,618 | ||
| EFEED-SOLAB | 0,503 | ||
| AORG-PFUN | 0,578 | ||
| AORG-PEMO | 0,573 | ||
| AORG-AINS | 0,626 | ||
| AORG-SOLAB | 0,483 | ||
| PFUN-PEMO | 0,575 | ||
| PFUN-AINS | 0,629 | ||
| PFUN-SOLAB | 0,486 | ||
| PEMO-AINS | 0,623 | ||
| PEMO-SOLAB | 0,480 | ||
| AINS-SOLAB | 0,539 |
Elaboración propia.
Por último, la validez con relación a un criterio se comprobó a través de la validez concurrente. Para comprobar este tipo de validez, se planteó una relación causal ampliamente sugerida en la literatura, que propone que la calidad de servicio podría influir directamente sobre la satisfacción de los consumidores (por ejemplo, Kristensen, Martensen, & Gronholt, 1999; Subramony, Beehr, & Johnson, 2004; Liu & Yun, 2005). Para este análisis, se utilizó el constructo DIHESQ resultante del análisis psicométrico de los datos realizado anteriormente y una escala con suficiente validez de contenido y fiabilidad que se construyó para medir la satisfacción de los estudiantes con su universidad (coeficiente H = 0,970; fiabilidad del constructo = 0,928). La escala satisfacción (SATISF) presentó adecuados niveles de ajuste global, por cuanto cumple con los criterios de χ2 (2,920), CFI (0,992), TLI (0,984), RMSEA (0,149) y WRMR (0,391). Como se puede apreciar en la figura 2, existe una evidente relación causa-efecto positiva entre ambas variables. Esto nos permite deducir que el constructo propuesto de DIHESQ presenta una adecuada validez concurrente, con lo que se logra respaldar la validez de criterio de este concepto.
Nota. * significativo al 0,01.
Elaboración propia.
Figura 2 Relación entre calidad de servicio y satisfacción en validación de modelo DIHESQ
Por lo tanto, considerando todos los análisis realizados, se puede concluir que la escala propuesta para medir la calidad de servicio de la educación superior a distancia, desde la perspectiva del alumnado, presenta un elevado grado de fiabilidad, validez y dimensionalidad.
4. Discusión y conclusiones
A través del análisis factorial confirmatorio, se validó psicométricamente el modelo DIHESQ, y en este proceso se obtuvieron adecuados niveles de validez de contenido, validez de constructo (validez discriminante y validez convergente) y validez de criterio. El modelo DIHESQ es de naturaleza multidimensional, de segundo orden y reflexivo, por cuanto la variable latente (constructo calidad de servicio en educación superior a distancia) causa las variables observadas (dimensiones de calidad de servicio). Estos resultados van en línea con la literatura, ya que se argumenta que la mayoría de las escalas para medir la calidad de servicio son multidimensionales, con variación del número de dimensiones (desde 2 hasta 10), de acuerdo con el contexto de servicio (Asubonteng, McCleary, & Swan, 1996; Ladhari, 2008).
En orden decreciente, las dimensiones que más contribuyen a explicar la calidad de servicio en educación superior a distancia son: evaluación y feedback, profesores y enseñanza, plan curricular y material de estudio, plataforma funcional, plataforma emocional, social y laboral, apoyo institución, y administración y organización.
En efecto, en la educación superior no tradicional, la dimensión evaluación y feedback es un tema considerado como crítico por los estudiantes, por cuanto es el instrumento del cual disponen los profesores para conocer el nivel de avance con respecto a las asignaturas, y si el proceso de enseñanza y aprendizaje se está implementando de manera correcta.
Asimismo, la dimensión profesores y enseñanza es otro factor de importancia, debido a que en la educación a distancia no se genera una relación directa entre los profesores y el alumnado, y por lo mismo se espera que los profesores respondan de manera prudente y efectiva las distintas interrogantes que se presentan a los estudiantes en el desarrollo de la asignatura.
También los estudiantes valoran la dimensión plan curricular y material de estudio, por cuanto en la educación a distancia gran parte del proceso de enseñanza recae en el material de estudio, en función del cual se tangibiliza el servicio y desarrollan las evaluaciones; y este material de estudio debe responder a un plan curricular que sea atractivo y responda a las necesidades del mercado laboral.
Además, los estudiantes señalan la importancia de la dimensión plataforma funcional, ya que esta favorece el proceso de enseñanza y aprendizaje al considerar aspectos relacionados con la facilidad de uso, la estabilidad de conexión y lo atractivo del diseño, al mismo tiempo que facilita la comunicación con los profesores y permite conocer las fechas y otros temas administrativos de la planificación académica.
Junto con esto, se incluye la dimensión plataforma emocional, la cual corresponde a la parte hedónica de la plataforma, ya que considera aspectos relacionados con el disfrute que sienten los estudiantes cuando usan la plataforma virtual e interactúan con otros integrantes del curso, además de no sentir angustia por el uso de esta y por compartir información privada.
Por otra parte, se considera la dimensión social y laboral, la cual se relaciona con el apoyo que reciben los estudiantes en su interacción con terceros, ya sea con otros integrantes del curso (aspecto social) y/o con el mercado de trabajo (aspecto laboral); pero también con la reputación que tiene la universidad y el programa que cursan.
Adicionalmente, se incorpora la dimensión apoyo institución, ya que hace referencia al asesoramiento que reciben los estudiantes sobre las particularidades de cursar estudios en la modalidad a distancia, y con el apoyo en temas relacionados con el proceso de enseñanza y aprendizaje, aspectos financieros, y la flexibilidad de las evaluaciones.
Y se encuentra la dimensión administración y organización, que tiene relación con la correcta planificación y cumplimiento de las actividades académicas, y con la comunicación que mantienen los estudiantes con el personal administrativo para hacer presentes sus inquietudes y recibir soluciones empáticas y adecuadas a sus problemáticas.
Estos resultados tienen importancia teórica, por cuanto en la literatura son pocos los estudios que han propuesto, desarrollado y/o validado modelos en educación superior a distancia (Martínez-Argüelles et al., 2010; Martínez-Argüelles et al., 2013; Araya-Castillo & Bernardo, 2019). Asimismo, los resultados obtenidos tienen importancia práctica, por cuanto es una herramienta que pueden usar las universidades en busca de mejorar los niveles de calidad del servicio que entregan, y con esto potenciar el posicionamiento de los programas y las expectativas laborales de sus egresados.
Sin embargo, se presentan algunas limitaciones que afectan la generalización del modelo. En primer lugar, el proceso de propuesta, desarrollo y validación de la escala de medida DIHESQ tiene como desafío recoger los elementos relevantes en cada una de las modalidades (a distancia, semipresencial, e-learning). En segundo lugar, en el proceso de generalización de la escala DIHESQ, se deben tener en consideración las particularidades del nivel de estudio (pregrado, posgrado, continuidad de estudios, etc.), tipo de institución (pública, privada con aporte del Estado, privada) y área de conocimiento (administración y negocios, educación, ingeniería, salud, etc.). En tercer lugar, las universidades presentan diferencias en su dotación de recursos, años de experiencia en educación a distancia, planes estratégicos, estrategias competitivas, tipo de gobierno corporativo, grados de especialización, modelos de gestión, y procesos de enseñanza y aprendizaje, lo cual dificulta la propuesta, desarrollo y validación de escalas que puedan ser generalizables. Y, en cuarto lugar, la percepción de los estudiantes sobre el servicio recibido se ve influenciada por las características propias de los sectores de educación superior, por ejemplo, nivel de madurez, grado de concentración, regulación a nivel de gobierno, existencia y funcionamiento de organismos controladores, nivel de desarrollo y grado de especialización. Además, las escalas de medida se deben adecuar a los elementos culturales del país en el cual se desarrolla el sector de educación superior, por ejemplo, en el lenguaje, costumbres, patrones de conducta, valores, principios y normas de comportamiento social.
A pesar de las limitaciones que se reportan, la presente investigación contribuye al conocimiento de los sectores de educación superior, y los resultados obtenidos pueden ser utilizados como punto de partida en investigaciones que se desarrollen en otros contextos culturales, mercados, submercados, ámbitos de educación (tipo de estudio o área de conocimiento), o universidad en particular.
La escala DIHESQ puede utilizarse como punto de partida para investigadores que propongan, desarrollen y/o validen escalas de calidad de servicio. Esto es porque, a través de ecuaciones estructurales, se valida la estructura, conformación y relaciones del modelo.
Además, la futura investigación podría analizar la validación cross-cultural de la escala DIHESQ, es decir, utilizar la metodología que se sigue en este estudio, así como los indicadores, relaciones estructurales y subescalas que conforman el modelo, en otros países.
La futura investigación podría centrarse también en la incorporación de otras dimensiones que tienen impacto en la percepción de los estudiantes sobre el servicio recibido. Por ejemplo, en Chile, los estudiantes, de manera creciente, consideran crítica la acreditación de las universidades, tanto a nivel institucional como de los programas de estudios en particular.
Asimismo, se podría analizar si la importancia relativa de las dimensiones de calidad de servicio varía en función de las características personales del alumnado (edad, género, ocupación, ingresos, etc.), modalidad de educación no tradicional (a distancia, semipresencial, e-learning), nivel de estudio (carrera profesional, licenciatura, diplomado, máster, etc.), área de conocimiento (economía y negocios, educación, salud, ingeniería, etc.) y tipo de universidad (pública, privada con aporte del Estado, privada).
