SciELO - Scientific Electronic Library Online

 
vol.10 número3Evidencias de validez y confiabilidad de la versión abreviada de la Escala de Soledad de De Jong-Gierveld en estudiantes universitarios de ArgentinaPropiedades psicométricas de la Escala de Carga de Trabajo en profesores ecuatorianos índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

  • No hay articulos citadosCitado por SciELO

Links relacionados

  • No hay articulos similaresSimilares en SciELO

Compartir


Propósitos y Representaciones

versión impresa ISSN 2307-7999versión On-line ISSN 2310-4635

Propós. represent. vol.10 no.3 Lima set./dic. 2022  Epub 31-Dic-2022

http://dx.doi.org/10.20511/pyr2022.v10n3.1708 

Artículos de Investigación

Adaptación lingüística y validación de la Escala de Procrastinación Académica - versión reducida (APS-S)

Linguistic Adaptation and Validation of the Academic Procrastination Scale - Short Version (APS-S)

Alberto Alegre Bravo1  * 
http://orcid.org/0000-0001-6331-6094

Diego Benavente Dongo2 
http://orcid.org/0000-0002-4197-3752

Diego Guevara Rabanal3 
http://orcid.org/0000-0001-7627-3302

1 Universidad San Ignacio de Loyola, Lima, Perú.

2 Universidad San Ignacio de Loyola, Lima, Perú.

3 Universidad San Ignacio de Loyola, Lima, Perú.

Resumen

Este estudio se orientó a adaptar lingüísticamente la versión corta de la Escala de Procrastinación Académica (APS-S) de McClosky y obtener evidencias de validez, confiabilidad y equidad en universitarios limeños. Participaron 4534 estudiantes, siendo 2052 mujeres (45.3%) y varones 2482 (54.7%). El análisis factorial confirmatorio de la escala alcanzó un ajuste adecuado al modelo de medida hipotetizado (CFI= .994, TLI= .988, RMSEA= .038, SRMR = .014). Además, se evidencia validez con otras variables, a través de correlaciones con la autoeficacia académica (r = -.319; p < .001) y el rendimiento académico (r=.146; p < .001). La confiabilidad se estimó con los coeficientes alfa ordinal (αord = .867), y omega ordinal (ωord= .849). El análisis de invarianza factorial mostró que la medida es equivalente entre hombres y mujeres (∆CFI < .010, ∆RMSEA < .015). Se concluye que la APS-S adaptada lingüísticamente al español cuenta con las propiedades psicométricas, constituyendo una medida correcta para evaluar la procrastinación en universitarios de Lima.

Palabras claves: Procrastinación académica; Adaptación lingüística; Validez; Confiabilidad; Equidad

Summary

This study was aimed at linguistically adapting the short version of McClosky's Academic Procrastination Scale (APS-S) and obtaining evidence of validity, reliability, and equity in university students from Lima. A total of 4,534 students participated, 2,052 women (45.3%) and 2,482 men (54.7%). The confirmatory factorial analysis of the scale reached an adequate fit to the hypothesized measurement model (CFI = .994, TLI = .988, RMSEA = .038, SRMR = .014). In addition, validity is evidenced with other variables, through correlations with academic selfefficacy (r=-.319; p<0.001) and academic performance (r= .146; p < .001). Reliability was estimated with the ordinal alpha (αord = .867), and ordinal omega (ωord= .849) coefficients. Factor invariance analysis showed that the measure is equivalent between men and women (∆CFI < .010, ∆RMSEA < .015). It is concluded that the APS-S linguistically adapted to Spanish has psychometric properties, constituting a correct measure to evaluate procrastination in university students from Lima.

Keywords: Academic procrastination; Linguistic adaptation; Validity; Reliability; Equity

Introducción

La procrastinación es considerada comúnmente como una tendencia conductual a posponer irracional y voluntariamente un curso planificado a pesar de anticipar las consecuencias adversas de este retraso (Steel & Konig, 2006; Steel, 2007; Steel & Klingsieck, 2016). También se la ha descrito como aplazar la finalización de la tarea hasta la incomodidad subjetiva (Ferrari et al., 1995) y el posponer deliberadamente el curso de acción previsto (Klassen et al., 2008) o como un rasgo de personalidad estable con consecuencias negativas (Choi & Moran, 2009). Sin embargo, parece existir un consenso en que la procrastinación retrasa constantemente la acción, independientemente del resultado (Van Eerde, 2003).

Su manifestación en el ámbito educativo es la procrastinación académica, que es la tendencia a posponer o retrasar las actividades y comportamientos relacionados con la escuela, la formación y los estudios (McClosky, 2011). Esta se presenta en estudiantes de todas las edades, ya sea que asistan a la escuela primaria o persigan algún tipo de educación o grado, siendo principalmente común entre los universitarios (Schraw et al., 2007). En la literatura se ilustran seis aspectos únicos de la procrastinación académica que configuran el perfil de un procrastinador en el ámbito educativo. Estas características son: las creencias psicológicas sobre la propia competencia, la distracción, los factores sociales, la gestión del tiempo, la iniciativa personal y la pereza (McClusky, 2011).

La procrastinación es cada vez más intensa en los países industrializados (Rozental & Carlbring, 2014), contrariamente a la sobrevaloración en la mayoría de las culturas occidentales por el logro y los resultados (Van Eerde, 2003). Los estudios epidemiológicos han venido reportando el incremento progresivo de este fenómeno, así el 15-20% de los adultos indicaron un historial general de procrastinación, pero, peor aún, más del 70% de estudiantes reportaron procrastinación en tareas académicas específicas (Ferrari et al., 1995; 2007). Además, entre el 95% y el 99% de estudiantes se identificaron como procrastinadores y entre el 32% y el 46% (Day et al., 2000) sufría de procrastinación problemática o crónica (Clark & Hill, 1994). Pese a las consecuencias adversas sobre el aprendizaje en la educación superior, estos índices se han mantenido o incrementado, así según Burka y Yuen (2008) la procrastinación se manifiesta de manera intensa en un 70-95% de universitarios y para Steel (2007) el 95% sería clasificado como procrastinador. En el Perú, se ha reportado como prevalencia un 14.1% de universitarios procrastinadores académicos, cuya manifestación estaría asociada significativamente con variables demográficas y psicológicas (Domínguez-Lara, 2017).

La procrastinación no solo afecta negativamente el rendimiento académico y la salud subjetiva, sino que también puede aumentar el riesgo de enfermedad mental (Stober & Joormann, 2001; Walsh & Ugumba-Agwunobi, 2002); así, el procrastinador tendría riesgo de sufrir de una mayor ansiedad, insomnio y depresión (Sirois & Pychy, 2002). La literatura converge en el aspecto dañino de la procrastinación y sobre el hecho de que los universitarios con perfil procrastinador utilizan estrategias de estudio deficientes, tales como, dificultades para establecer metas y para planificar, percepción deficiente de su propia capacidad de rendimiento actividades académicas, menos interés en las actividades, y experimentar emociones negativas e intensas (Domínguez-Lara & Campos-Uscanga, 2017; Muñhoz-Olano & Hurtado-Parrado, 2017; Rahimi et al., 2016). Además, se ha reportado en universitarios la relación directa de este constructo con los aspectos emocionales, principalmente con la ansiedad e insatisfacción, con aspectos cognitivos, tales como las creencias disfuncionales y una baja autoeficacia, y dominios conductuales como dificultad para gestionar el tiempo, bajo compromiso y bajo rendimiento académico (Alegre, 2013; Brito & Bakos, 2013; Furlan, 2013; González-Brignardello & SánchezElvira-Paniagua, 2013; Ramos-Galarza et al., 2017; Pichen-Fernandez, & Turpo, 2022).

Considerando los índices de prevalencia de la procrastinación entre los estudiantes universitarios como sus posibles efectos adversos, tener medidas psicométricamente sólidas de procrastinación académica es fundamental. Si bien existen escalas para medirla, entre ellas las unidimensionales (Lay, 1986; Tuckman, 1991) y multidimensionales (Chu & Choi, 2005), por lo general han sido diseñadas haciendo referencia a tareas o actividades específicas y no evaluando la procrastinación sobre actividades académicas en general (McCloskey, 2011).

En ese sentido McClosky (2011) desarrolló la Escala de Procrastinación Académica (APS) conformada por 25 ítems, con opciones de respuesta de cinco puntos para evaluar el constructo, considerando los seis dominios de la procrastinación académica (creencias psicológicas sobre la propia competencia, distracción, factores sociales, gestión del tiempo, iniciativa personal y pereza). Para evidenciar las propiedades psicométricas aplicó el instrumento a 681 estudiantes de la Universidad de Texas, reportando validez convergente, debido a las correlaciones moderadas a altas con otros medidas de procrastinación de otros autores, tales como el PASS de Solomon y Rothblum (1984) (r = .53), de Lay (1986) (r = .64); y la ATPS de Tuckman (1991) (r = .70). Encontró una correlación moderada con el rasgo consciencia de la personalidad (r = -.57) y con respecto al rendimiento académico, reportó validez predictiva (B = -.23, t(514) = -5.43, p < .001, r2 = .05). La APS mostró una muy buena estimación de confiabilidad de consistencia interna (Alfa = .94), siendo el rango de correlaciones ítem-total entre .41 a .73. El análisis factorial exploratorio reveló que subyacía un factor que explicaba aproximadamente el 42.50% total. Sin embargo, el autor consideraba que la escala completa (25 ítems) era extensa y que el contenido era similar. Por ello, sugirió una versión de cinco ítems (APS-S), seleccionando los reactivos 2, 4, 7, 17 y 23, debido a que presentaron correlaciones ítem-total mayores a .70 y en su conjunto obtuvieron un coeficiente alfa de Cronbach de .87 (McClosky, 2011).

Considerando la propuesta de una versión de cinco ítems (APS-S) de McClosky (2011), Yockey (2016) la administró a 284 estudiantes de una universidad de los Estados de Occidente en Estados Unidos. El análisis de componentes principales (ACP) determinó una solución basada en un solo componente, explicando el 65% de la varianza total, coincidiendo con lo obtenido con criterios tales como autovalores mayores a 1, el gráfico de sedimentación de Catell y el análisis paralelo de Horn. Las cargas de los reactivos en los componentes fueron mayores a .70, encontrándose en el rango .73 (ítem 3) y .86 (ítem 5). La confiabilidad por consistencia interna fue de .87 y las correlaciones ítem-total se encontraron entre .49, .49, .74, .60 y .75 respectivamente. También reportó validez convergente, dado que la correlación entre el APS-S con el PASS (r = .54) y la escala de Tuckman (1991) (r = .79) resultaron estadísticamente significativas (p < .001) y moderadas.

Si bien la versión original y completa de la APS demostró propiedades psicométricas prometedoras en el estudio realizado por McClosky (2011) y la versión corta de 5 ítems (APS-S) evidenció validez del tipo convergente y sobre su estructura interna unidimensional junto con una adecuada confiabilidad (Yockey, 2016), ambas versiones solo cuentan con reportes de hallazgos en su idioma original (inglés) y en población universitaria de Estados Unidos. Además, considerando que las medidas referentes para evaluar la procrastinación académica constituyen versiones completas que cuentan con investigaciones de validación (Ferrari et al., 1995; Harrington, 2005) como por ejemplo, por el lado internacional: el PASS de 12 ítems de Solomon y Rothblum (1984), la escala de 18 ítems de Tuckman (1991) y la medida de 20 ítems de Lay (1986) y por el lado peruano: la EPA de Busko (1998) con 16 ítems (Domínguez-Lara, 2016; Domínguez et al. 2014) y la APTS de Tuckman con 15 ítems (Alegre-Bravo & Benavente-Dongo, 2019), una escala corta de solo cinco ítems como es el APS-S, puede constituirse en una medida parsimoniosa del constructo y que además provea a otros investigadores de una opción eficiente para sus estudios que involucre dicha variable en universitarios de habla hispana. Además, las escalas EPA de Busko y APTS de Tuckman, que son las más empleadas en investigaciones sobre procrastinación académica en el Perú, en análisis psicométricos han presentado estructuras factoriales distintas y se ha reportado la no pertinencia de algunos ítems (Alegre & Benavente, 2020; Alegre, 2013; Contreras, 2019; Domínguez et al., 2014) que diferiría de la propuesta original de los autores, esto podría deberse a la presencia de reactivos inversos en la composición de cada medida, cuya presencia ha sido no recomendada por sus múltiples efectos negativos (Navarro-González et al., 2016). Es por esto que la presente propuesta de versión corta adaptada de medida de la Procrastinación académica (APS-S) permitirá la medición del constructo en población universitaria peruana con ventajas funcionales y correspondiendo a una aproximación teórica a los dominios que conforman dicho constructo (Ferrari et al., 1995; McClosky, 2011; Steel, 2007) cuyos antecedentes en lengua inglesa con respecto a sus evidencias de validez (relacionada su estructura interna) y confiabilidad (consistencia interna), reportaron indicadores satisfactorios (Jockey; 2016; McClosky, 2011).

Considerando lo anteriormente sustentado y debido a que la versión corta de la Escala de Procrastinación Académica (APS-S) de McClosky (2011) carece de una versión adaptada al español y validada para la población peruana, esta investigación tuvo como propósitos realizar una adaptación lingüística y obtener evidencias de validez, confiabilidad y equidad del instrumento para que pueda constituirse en una herramienta útil para evaluar la procrastinación académica en estudiantes universitarios. Asimismo, este estudio se considera un aporte a la investigación de las propiedades psicométricas de la escala APS-S en ámbitos socioculturales diferentes al de la creación de su versión original.

Método

Tipo y diseño

Esta investigación corresponde a la categoría de estudio instrumental y de diseño descriptivo, dado que implicó un proceso de traducción, aplicación y análisis para obtener evidencias sobre la validez, la confiabilidad y la equidad con respecto a la versión de escala adaptada a una población limeña (Ato et al., 2013).

Participantes

En el estudio participaron 4534 estudiantes del pregrado regular de una universidad privada de Lima, cuyas edades se encontraban entre los 16 y 32 años (M = 19.04; DE = 2.45), encontrándose matriculados entre los años académicos 2020 y 2021, pertenecientes a nueve facultades y cursando del primer al décimo ciclo de sus respectivas carreras al momento de la aplicación. La modalidad de estudios de los participantes fue virtual debido a la pandemia de la COVID19. Con respecto al sexo, respondieron 2052 mujeres (45.3%) y varones 2482 (54.7%). Esta muestra se obtuvo mediante un procedimiento no probabilístico, por conveniencia (Hernández-Sampieri & Mendoza, 2018), debido a que los participantes eran usuarios del servicio de acompañamiento psicopedagógico de la universidad y este es un servicio al que los estudiantes acceden de manera voluntaria.

Instrumentos de recolección de información

Procrastinación académica versión reducida (APS-S).

Es una medida unidimensional de la Procrastinación académica general conformada por cinco ítems en idioma inglés, cuyo escalamiento comprende cinco opciones de respuesta (1: "Muy en desacuerdo" a 5: "Muy de acuerdo") en cada caso, donde un mayor puntaje total implica una mayor procrastinación académica. Estos reactivos formaban parte de la Escala de Procrastinación académica de McCloskey (2011), compuesta de 25 ítems (α = .93), que fueron extraídas y validadas por Yockey (2016) para conformar una versión reducida, a partir de la propuesta del autor. Yockey (2016) reportó un coeficiente de confiabilidad Alfa de Cronbach de .87 y evidencias de validez sobre la estructura interna a través del análisis por componentes principales (ACP), siendo las cargas factoriales entre .73 (ítem 3) y .86 (ítem 5) en el componente extraído (65% de la varianza explicada).

Para este estudio, el proceso de adaptación lingüística se llevó a cabo considerando las recomendaciones The International Test Comission Guidelines (Muñiz et al., 2013); así, la escala APS-S se tradujo al español siguiendo el método de traducción inversa. En la primera etapa, la escala original en inglés fue traducida por dos traductoras (bilingües español-inglés) con lengua materna española, quienes realizaron las traducciones de la versión original al español de forma independiente y, después de revisar las diferencias y similitudes, se acordó una versión síntesis. Como segunda etapa de este proceso, la versión síntesis fue retrotraducida por dos traductoras de lengua materna inglesa, quienes no tuvieron acceso a la versión original en inglés de la escala y realizaron las traducciones inversas de forma independiente. En la tercera fase de este proceso, las traducciones inversas fueron comparadas con la versión original del inglés del instrumento por dos psicólogos educacionales con dominio del dominio inglés, con el objetivo de analizar la equivalencia semántica y no solamente literal entre los ítems de la escala original y las dos versiones traducidas. Se halló que las versiones retrotraducidas y la versión original fueron equivalentes conceptual y semánticamente. Posteriormente, se realizó una prueba piloto del instrumento con un grupo de 25 alumnos del pregrado regular de una universidad de Lima, sin obtener comentarios sobre el contenido o el formato de la propuesta, que conlleve a la consideración de modificaciones. Cabe resaltar que se envió previamente una comunicación electrónica para solicitar la autorización a la MSc. Justin McCloskey, autor de la APS-S, para el empleo del instrumento y del procedimiento de adaptación, quien respondió brindando su anuencia.

Autoeficacia académica.

Para medirla, se empleó la escala unidimensional de Autoeficacia Percibida Específica para Situaciones Académica (EAPESA) de Palenzuela (2012), conformada por 10 ítems, cuyo escalamiento corresponde a 4 opciones de respuesta que van de "nunca" =1 a "siempre" = 4, la cual permite obtener puntuaciones totales entre 10 y 40. Para este estudio, se calcularon los índices de ajuste, a través del análisis factorial confirmatorio, resultando el RMSEA = .061, el CFI = .995, el TLI = .993 y el SRMR = .061 como evidencias de validez y la estimación de la confiabilidad indicó un omega de .881. Cabe resaltar que las puntuaciones en esta medida se emplearon para evidenciar validez discriminante (Martínez-García, 2009).

Rendimiento académico.

Se consideró, para medir esta variable, el promedio ponderado del periodo académico obtenido al finalizar el periodo académico en los estudiantes participó del estudio. El promedio ponderado de periodo se calcula sumando los productos de la nota obtenida en el curso por la cantidad de créditos del curso para luego dividir esta suma entre la cantidad total de créditos matriculados en el periodo. Los datos se obtuvieron directamente de los sistemas informáticos de la universidad con la aprobación de la unidad de servicios psicopedagógicos de la universidad y el consentimiento de los estudiantes.

Procedimiento

Como parte de las actividades del servicio psicopedagógico de una universidad privada de Lima, se invitó a los estudiantes matriculados en el pregrado regular de los periodos académicos 20201, 2020-2, 2021-1 y 2021-2 a participar completando de manera voluntaria un formulario virtual elaborado con Microsoft Forms y compartido a los estudiantes vía sus correos electrónicos y grupos de WhatsApp, el cual se mantenía activo para participación durante cada periodo académico. El servicio de acompañamiento psicopedagógico de esta universidad abarca a todos los estudiantes de pregrado y es brindado de manera voluntaria. El formulario fue completado por los participantes al final de cada período académico; en el formulario iniciaba con la explicación del objetivo del estudio, el consentimiento informado, en el que se enfatiza el carácter voluntario de la participación, para así solicitar que brinden su conformidad para continuar. Se presentaron preguntas para obtener información sociodemográfica, tales como el sexo, la facultad de pertenencia, la edad, el ciclo en el que ubicaban en sus respectivas carreras y se consignaron los valores del rendimiento académico. Una vez completadas las preguntas iniciales, se incluyeron la escala traducida de Procrastinación académica versión reducida (APS-S) y la escala de Autoeficacia Percibida Específica de Situaciones Académicas (EAPESA).

Así, esta investigación se llevó a cabo en concordancia a los principios éticos definidos para estudios con seres humanos (Acevedo, 2022).

Análisis de la información

La estrategia analítica consistió en cinco etapas. La primera estuvo orientada a la determinación de la evidencia de validez en referencia al contenido de la versión traducida de la APS-S por el método del criterio de jueces, valorando la pertinencia de la traducción y la representatividad de cada reactivo. A partir de las calificaciones otorgadas, se calcularon coeficientes V de Aiken y sus respectivos intervalos de confianza al 95%, tomando como punto de corte el valor de .70 en ambos casos (Charter, 2003; Napitupulu et al., 2018, Penfield & Giacobbi, 2004). En la segunda etapa, se procedió al análisis de los ítems a partir de las respuestas de todos los participantes, estimando la media (M), la desviación estándar (DE), los índices de asimetría (g1) y curtosis (g2); estos dos últimos se obtuvieron para determinar la pertinencia de los reactivos y la normalidad univariada, a partir de su ubicación en el rango entre +/2 (Muthén & Kaplan, 1985). Finalmente se obtuvieron los índices de homogeneidad, a través de la correlación ítem-total, considerando valores por encima de .30 (Nunnally & Bernstein, 1995).

Como tercer momento, se realizó un análisis factorial confirmatorio (AFC) para obtener evidencia de validez relacionada a la estructura interna de la APS-S. Considerando la naturaleza ordinal de los reactivos, se empleó el estimador de mínimos cuadrados ponderados robustos (WLSMV), a partir de la matriz de correlaciones policóricas (Brown, 2015; Byrne, 2012). Los hallazgos con respecto al modelo de medida hipotetizado fueron evaluado a través de los índices de ajuste y sus respectivos puntos de cortes considerados como óptimos (Hu & Bentler, 2009), es decir, valores mayores a .95 para los índices de Tucker-Lewis (TLI) y de ajuste comparativo (CFI) e índices menores de .06 para el error cuadrático medio de aproximación (RMSEA) y de .08 para la raíz del promedio de los residuos al cuadrado (SRMR) (Abad et al., 2011; Ruiz et al., 2010).

Posteriormente, se calcularon correlaciones de Pearson (r) entre las puntuaciones totales en el APS-S, la escala de Autoeficacia percibida para situaciones académicas y el promedio ponderado del período para obtener evidencias de validez divergente, a partir de la valoración del sentido, la intensidad de la relación y la significancia estadística (p < 0.05) de los coeficientes obtenidos. Se consideraron los criterios del tamaño del efecto de .10, .20 y .30 considerados por Gignac y Szodorai (2016) como pequeño, mediano y grande, respectivamente.

La estimación de la confiabilidad de las puntuaciones se realizó considerando el método de consistencia interna. Se calcularon los coeficientes alfa ordinal y omega ordinal, en corresponden al nivel de medición de los ítems (Zinbarg et al., 2005; Zumbo et al., 2007) y considerando valores mayores a .80 (Ponterotto & Ruckdeschel, 2007).

Finalmente, se llevó a cabo el análisis el de invarianza factorial, según el sexo como evidencia de equidad a nivel configural: débil, fuerte y estricta. Se consideraron valores corte de CFI > .95, RMSEA < .05, ΔCFI ≤ .01 y ΔRMSEA ≤ .015 (Chen, 2007; Hu & Bentler, 2009).

Para el procesamiento de la información se trabajó a partir de una matriz en Microsoft EXCEL, dónde se codificó y dio formato a los datos, para luego ser importada en el programa RStudio versión 4.1.1., donde se llevaron a cabo los análisis usando los paquetes psych, lavaan, semTools, en sus versiones, 2.0.8, 0.6-7 y 0.5-3, respectivamente.

Resultados

Validez en relación con el contenido

Para obtener evidencias sobre la validez del contenido, se solicitó a ocho expertos con grado académico de Doctor en Psicología y con experiencia en investigación del constructo procrastinación académica que valorarán la pertinencia de la traducción y la representatividad de cada reactivo, siendo la concordancia del 100% para el primer caso y, para el segundo aspecto, calificaron los ítems propuestos entre 0 y 3, calculando sobre sus respuestas los índices V de Aiken. De esta manera, se obtuvieron valores entre .917 (APS-S 1; APS-S 2) y 1 (APS-S 5),

superando el punto de corte de 0.70 (Napitupulu et al., 2018); además considerando los intervalos de confianza al 95% (Penfield & Giacobbi, 2004), los límites inferiores en todos los casos fueron mayores 0.70, valor recomendado por Charter (2003) (Tabla 1).

Tabla 1 Coeficientes V de Aiken 

Nota. V: Coeficiente V de Aiken, IC: Intervalo de confianza, LI: Límite inferior, LS: Límite Superior.

Fuente. Elaboración propia.

Análisis estadístico de ítems

Los ítems obtuvieron valores promedio entre 1.84 (APS-S 2) y 2.79 (APS-S 3) e índices de asimetría y curtosis que se encontraron en el rango de +/2, evidenciando normalidad univariada y resultando aceptables (Ferrando & Anguino-Carrasco, 2010; Muthén & Kaplan, 1985). Además, las correlaciones ítem-total, como indicador de homogeneidad, fluctuaron entre .58 (APS-S 5) y .67 (APS-S 4), superando el criterio mínimo sugerido de .30 (Nunnally & Bernstein, 1995) (Tabla 2).

Tabla 2 Análisis descriptivo de los ítems del APS-S 

Nota. M: Media, DE: Desviación estándar, g1: Asimetría, g2: Curtosis, rit: índice de homogeneidad.

Fuente. Elaboración propia.

Validez en relación con la estructura interna

El análisis factorial confirmatorio siguió un modelo no lineal, con el estimador WLSMV a partir de la matriz de correlaciones policóricas (Byrne, 2012; Brown, 2015), resultando las cargas factoriales estandarizadas de los ítems de la escala entre .65 (APS-S 5) y .76 (APS-S 4), siendo todas estadísticamente significativas (p < .001) (Tabla 3)

Tabla 3 Validez de estructura interna por Análisis Factorial Confirmatorio 

Nota. λ1: Carga factorial no estandarizada, λ2: Carga factorial estandarizada, EE: Error estándar de medida.

Fuente. Elaboración propia.

El AFC evidenció un ajuste óptimo entre el modelo de medida hipotetizado y los datos, así que los índices de ajuste comparativo CFI y TLI fueron mayores a .95, y de ajuste absoluto RMSEA y SRMR resultaron menores a .06 y .05, respectivamente (Abad et al., 2011; Hu & Bentler, 2009; Ruiz et al., 2010) (Tabla 4).

Tabla 4 Índices de ajuste 

Nota. RMSEA: Raíz del Error Cuadrático Medio de Aproximación, CFI: Índice de Ajuste Comparativo, TLI: Índice Tucker-Lewis, SRMR: Raíz del Promedio de los Residuos al Cuadrado.

Fuente. Elaboración propia.

Validez con relación a otras variables

Como evidencia de validez divergente, se correlacionaron las puntuaciones en la APS-S con las obtenidas en la escala de Autoeficacia percibida para situaciones académicas y además con el promedio ponderado del período, obteniéndose coeficientes de Pearson negativos y estadísticamente significativos, pero con tamaños del efecto relativamente grande y pequeño, respectivamente (Gignac & Szodorai, 2016) (Tabla 5).

Tabla 5 Coeficiente de correlación entre el APS-S, la autoeficacia y el rendimiento académico 

Fuente. Elaboración propia.

Estimación de la confiabilidad

Dada la naturaleza ordinal de los ítems del APS-S, se cuantificó la confiabilidad de las puntuaciones empleando los coeficientes alfa ordinal y omega ordinal (Zinbarg et al., 2005; Zumbo et al., 2007) siendo los índices obtenidos de .867 y .849 respectivamente, los cuales podrían valorarse como excelentes (Ponterotto & Ruckdeschel, 2007).

Evidencias de equidad

Se llevó a cabo el análisis de invarianza factorial según el sexo, para determinar que tanto hombres como mujeres tiendan a interpretar de manera similar el contenido del test, obteniéndose así cambios mínimos en el CFI y en el RMSEA (ΔCFI ≤ .01; ΔRMSEA ≤ .015) a nivel configural, débil, fuerte y estricta (Hu & Bentler, 2009; Chen, 2007). Por ende, de presentarse, la diferencia en las medias entre ambos sexos correspondería a dichos grupos y no al constructo; es decir, las puntuaciones obtenidas en la ATPS-S serían atribuidas a la procrastinación académica y no al sexo (Hirschfeld & von Brachel, 2014) (Tabla 6).

Tabla 6 Índices de ajuste de invarianza de la escala APS-S según sexo 

Fuente. Elaboración propia.

Discusión

El objetivo del presente estudio instrumental fue llevar a cabo la adaptación lingüística y obtener evidencias de validez, confiabilidad y equidad del APS-S, en estudiantes universitarios de Lima.

Para la consecución de dicho objetivo se adaptó lingüísticamente siguiendo las recomendaciones de The International Test Comission Guidelines (Muñiz et al., 2013) siendo el idioma fuente el inglés y el idioma objetivo el español. Para ello, la APS-S fue traducida siguiendo el método de traducción inversa, obteniendo que las versiones retrotraducidas y la versión original fueron equivalentes conceptual y semánticamente. Con la versión final traducida, se realizó una prueba piloto del instrumento con un grupo de 25 alumnos del pregrado regular de una universidad de Lima, sin encontrar observaciones o comentarios de los participantes que conlleven a una modificación de los reactivos, las opciones de respuesta ni las instrucciones.

La evidencia de validez referida al contenido se obtuvo a través del criterio de expertos, encontrando concordancia del 100% sobre la pertinencia de la traducción de los reactivos y valores V de Aiken siendo mayores a .70, al igual que los límites inferiores de los intervalos de confianza al 95% (Charter, 2003; Napitupulu et al., 2018; Penfield & Giacobbi, 2004).

El análisis descriptivo de los ítems evidenció normalidad univariada en todos los casos, dado que se encontraron en el rango de +/2 en los índices de asimetría y curtosis; además, las correlaciones ítem-test fueron mayores a .30, lo cual coincide con lo reportado por McClusky (2001) (rit (.41; .73)) y Yockey (2016) (rit (.49 .75)), demostrando la homogeneidad y la pertinencia de cada reactivo en su idioma original y en la versión traducida (Nunnally & Bernstein, 1995).

Como evidencia de validez relacionada a la estructura interna, el análisis factorial confirmatorio de la escala alcanzó índices de ajuste adecuados considerando el modelo de medida hipotetizado (CFI = .994, TLI = .988, RMSEA = .038, SRMR = .014), obteniendo los 5 ítems cargas factoriales estandarizadas mayores a .50. La estructura obtenida coincide con el hallazgo de unidimensionalidad por Yockey (2016) mediante el análisis de componentes principales.

La evidencia de validez discriminante se obtuvo a partir de la correlación de las puntuaciones en el APS-S con el AEPESA como medida de la autoeficacia, resultando negativa, estadísticamente significativa y relativamente grande (r = .319; p < .001), hallazgo coincidente sobre ambas variables en universitarios de Lima (Alegre, 2013; Burgos-Torre & Salas-Blas , 2020; Pichen-Fernandez & Turpo, 2022); esto implicaría, según Farran (2004), que la creencia de los estudiantes en sus habilidades y talentos contribuya a prevenir el comportamiento de procrastinación académica. Además, la relación entre el APS-S y el rendimiento académico fue inversa y estadísticamente significativa, pero pequeña (r = -.146; p < .001) (Gignac & Szodorai, 2016), siendo el mismo sentido y grado del tamaño del efecto según lo reportado por McClusky (2011) al correlacionar ambas variables (r = -.23; p < .001). Al respecto, estudios metaanalíticos coinciden que las relaciones entre procrastinación académica autoinformada y el rendimiento académica resultan negativas pero débiles (Balkıs, 2011; Hen & Goroshit, 2014; Kim & Seo, 2015); y que las inconsistencias encontradas entre los estudios en torno a la intensidad de la relación se debe a la particularidad del indicador elegido para medir el rendimiento académico, así como también del efecto de las características sociodemográficas de los participantes (Kim & Seo, 2015).

La confiabilidad de la medición se cuantificó a través de los coeficientes alfa ordinal (αord = .867 y omega ordinal (ωord = .849) debido a la naturaleza ordinal de los ítems que componen la escala (Zinbarg et al., 2005; Zumbo et al., 2007), obteniendo valores de estimación próximos a la consistencia interna obtenidas por McClusky (2011) y Yockey (2016), reportando un alfa de Cronbach de .87 en ambos casos. Lo que permite indicar que la APS-S permite obtener puntuaciones confiables considerando los errores de medida (Nunnally & Bernstein, 1995).

En el análisis de invarianza factorial según el sexo, se observaron cambios mínimos en el CFI y en el RMSEA (ΔCFI ≤ .01; ΔRMSEA ≤ .015) a nivel configural, débil, fuerte y estricta (Hu & Bentler, 2009; Chen, 2007), así las puntuaciones obtenidas en la ATPS-S serían atribuidas a la cantidad en el constructo procrastinación académica y no al sexo (Hirschfeld & von Brachel, 2014).

Aunque se necesita más investigación de la APS-S, los resultados del estudio actual demuestran que esta versión de la escala de McClusky tiene buenas estimaciones de confiabilidad, evidencias validez y de equidad basado en una muestra de 4534 estudiantes universitarios. Según los resultados de la investigación actual, la APS-S puede ser una buena opción para los investigadores que buscan una medida parsimoniosa y breve de la procrastinación académica para incluirla en sus estudios.

Conclusiones

En el presente estudio instrumental, que implicó un proceso de traducción, aplicación y análisis psicométrico de la APS-S, se reportan fuentes de validez relacionada al contenido, a la estructura interna, del tipo divergente y de equidad, a través del criterio de jueces, el análisis factorial confirmatorio, la correlación con otras variables y la invarianza de la medición, obteniéndose en todos los casos índices apropiados para la versión propuesta a partir de las puntuaciones obtenidas en los participantes. Con respecto a la estimación de los errores medida, los coeficientes alfa y omega ordinales calculados serían indicativos que esta versión de la APS-S permite obtener puntuaciones confiables.

Este estudio, como cualquier otro, tiene limitaciones considerando que se basa en autorreportes, mediado por un formulario en línea, y con la participación de voluntarios de una universidad, lo que restringiría el control estricto en el proceso de aplicación, empleando una muestra no probabilística y sin considerar estudiante de otras instituciones o de diferente gestión. Estas características en su conjunto podrían limitar la representatividad de la muestra frente a la población de estudiantes universitarios de Lima y la generalización de los hallazgos. Además, en esta investigación no se aportó con fuentes de validez convergente, a partir de la correlación de la APS-S con otras medidas de Procrastinación académica, como lo evidenció Yockey (2016) con las escalas de Tuckman (r = .79, p < .001) y PASS (r = .54, p < .001). Por ello, futuras investigaciones deberán considerar dichas medidas para aportar con mayores fuentes de evidencias de validez. Además, se puede mencionar que los participantes pertenecían a una universidad privada de Lima, por lo que se sugiere que otros estudios de validación involucren como participantes a estudiantes de universidades de diferentes tipos de gestión y de otras regiones del país, que favorezca con análisis invarianza factorial, y con ello aportar con otras evidencias de equidad.

REFERENCIAS

Abad, F., Olea, J., Ponsada, V., & García, C. (2011). Medición en ciencias sociales y de la salud. Editorial Síntesis S.A. [ Links ]

Acevedo, I. (2002). Aspectos éticos en la investigación científica. Ciencia y Enfermería, 8(1), 1518. doi: 10.4067/S0717-95532002000100003 [ Links ]

Alegre, A. A. (2013). Autoeficacia y procrastinación académica en estudiantes universitarios de Lima Metropolitana. Propósitos y representaciones, 1(2), 57-82. doi: 10.20511/pyr2013.v1n2.29 [ Links ]

Alegre-Bravo, A., & Benavente-Dongo, D. (2020). Análisis Psicométrico de la Escala adaptada de Procrastinación de Tuckman (APTS). Propósitos y Representaciones, 8(2), e562. doi: 10.20511/pyr2020.v8n2.562 [ Links ]

Ato, M., López, J., & Benavente, A. (2013). Un sistema de clasificación de los diseños de investigación en psicología, Anales de Psicología, 29(3), 1038-1059. doi: 10.6018/analesps.29.3.178511 [ Links ]

Balkıs, M. (2011). Academic efficacy as a mediator and moderator variable in the relationship between academic procrastination and academic achievement. Eğitim Araştırmaları Dergisi, 45, 1-16. https://acikerisim.pau.edu.tr:8080/xmlui/handle/11499/5762Links ]

Brito, F. S., & Bakos, D. G. S. (2013). Procrastinação e terapia cognitivo-comportamental: Uma revisão integrativa. Revista Brasileira de Terapias Cognitivas, 9(1), 34-41. doi: 10.5935/1808-5687.20130006 [ Links ]

Burgos-Torre, K. S., & Salas-Blas, E. (2020). Procrastinación y Autoeficacia académica en estudiantes universitarios limeños. Propósitos y Representaciones , 8(3). e790. doi: 10.20511/pyr2020.v8n3.790 [ Links ]

Burka, J. B., & Yuen, L. M. (2008). Procrastination: Why you do it, what to do about it now. Da Capo Press. [ Links ]

Busko, D.A. (1998). Causes and consequences of perfectionism and procrastination: A structural eqyation model [Unpublished Master´s thesys]. University of Guelph. https://hdl.handle.net/10214/20169Links ]

Charter, R. A. (2003). A breakdown of reliability coefficients by test type and reliability method, and the clinical implications of low reliability. Journal of General Psychology, 130, 290-304. doi: 10.1080/00221300309601160 [ Links ]

Chen, F.F. (2007). Sensitivity of goodness of Þ t indexes to lack of measurement invariance. Structural Equation Modeling: A Multidisciplinary Journal, 14, 464-504. doi: 10.1080/10705510701301834 [ Links ]

Cheung, G.W., & Rensvold, R.B. (2002). Evaluating goodness-of-Þ t indexes for testing measurement invariance. Structural Equation Modeling, 9, 233-255. doi: 10.1207/s15328007sem0902_5 [ Links ]

Choi, J. & Moran, S. (2009). Why not procrastinate? Development and validation of a new active procrastination scale. Journal of Social Psychology, 149(2), 195-211. doi: 10.3200/SOCP.149.2.195-212 [ Links ]

Clark, J. L. & Hill, O. W. (1994). Academic procrastination among African-American college students. Psychological Reports, 75, 931-936. doi: 10.2466/pr0.1994.75.2.931 [ Links ]

Contreras, Y. (2019). Propiedades psicométricas de la escala de procrastinación académica EPA en universitarios y preuniversitarios de Lima Sur [Tesis de licenciatura]. Universidad Autónoma del Perú. https://repositorio.autonoma.edu.pe/bitstream/handle/20.500.1306Links ]

Day, V., Mensink, D. & O’Sullivan, M. (2000). Patterns of academic procrastination. Journal of College Reading and Learning, 30(2), 120-134. doi: 10.1080/10790195.2000.10850090 [ Links ]

Domínguez, S. A., Villegas, G. & Centeno, S. B. (2014). Procrastinación académica: validación de una escala en una muestra de estudiantes de una universidad privada. Liberabit, 20(2), 293-304. https://ojs3.revistaliberabit.com/publicaciones/revistas/RLE_20_2_procrastinacionacademica-validacion-de-una-escala-en-una-muestra-de-estudiantes-de-una-universidad-privada.pdfLinks ]

Domínguez-Lara, S. A. (2016). Datos normativos de la Escala de Procrastinación Académica en estudiantes de psicología de Lima. Revista Evaluar, 16(1). doi: 10.35670/16674545.v16.n1.15715 [ Links ]

Domínguez-Lara, S. A. & Campos-Uscanga, Y. (2017). Influencia de la satisfacción con los estudios sobre la procrastinación académica en estudiantes de psicología: Un estudio preliminar. Liberabit , 23(1), 123-135. Recuperado de doi: 10.24265/liberabit.2017.v23n1.09 [ Links ]

Domínguez-Lara, S. (2017). Prevalencia de procrastinación académica en estudiantes universitarios de Lima metropolitana y su relación con variables demográficas. Revista de Psicología Universidad Católica San Pablo, 7(1), 81-95. https://revistas.ucsp.edu.pe/index.php/psicologia/article/view/49Links ]

Farran, B. (2004). Predictors of academic procrastination in college students [Unpublished Doctoral Dissertation]. Fordham University. [ Links ]

Ferrari, J. R., Johnson, J. L. & McCown, W. G. (1995). Procrastination and task avoidance: Theory, research and treatment. Plenum Press. [ Links ]

Ferrari, J. R. & Díaz-Morales, J. F. (2007). Procrastination: Different time orientations reflect different motives. Journal of research in personality, 41(3), 707-714. doi: 10.1016/j.jrp.2006.06.006 [ Links ]

Furlan, L. A. (2013). Eficacia de una intervención para disminuir la ansiedad frente a los exámenes en estudiantes universitarios argentinos. Revista Colombiana de Psicología, 22(1), 75-89. https://revistas.unal.edu.co/index.php/psicologia/article/view/20784Links ]

Gignac, G. & Szodorai, E. (2016). Effect size guidelines for individual differences researchers. Personality and Individual Differences, 102, 74-78. doi: 10.1016/j.paid.2016.06.069 [ Links ]

González-Brignardello, M. P. & Sánchez-Elvira-Paniagua, A. (2013). ¿Puede amortiguar el engagement los efectos nocivos de la procrastinación académica? Acción Psicológica, 10(1), 117-134. doi: 10.5944/ap.10.1.7039 [ Links ]

Harrington, N. (2005). It’s too difficult! Frustration intolerance beliefs and procrastination. Personality and Individual Differences , 39, 873-883. doi: 10.1016/j.paid.2004.12.018 [ Links ]

Hen, M., & Goroshit, M. (2014). Academic procrastination, emotional intelligence, academic self-efficacy, and GPA: A comparison between students with and without learning disabilities. Journal of Learning Disabilities, 47(2), 116-124. doi: 10.1177/0022219412439325 [ Links ]

Hirschfeld, G. & von Brachel, R. (2014). Multiple-Group confirmatory factor analysis in R - A tutorial in measurement invariance with continuous and ordinal indicators, Practical Assessment, Research & Evaluation, 19(7). doi: 10.7275/qazy-2946 [ Links ]

Hernández-Sampieri, R. & Mendoza, C. (2018). Metodología de la investigación. Las rutas cuantitativas, cualitativa y mixta. McGraw-Hill Educación. [ Links ]

Hu, L.T., & Bentler, P.M. (2009). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal , 6(1), 1-55. doi: 10.1080/10705519909540118 [ Links ]

Kim, K. R., & Seo, E. H. (2015). The relationship between procrastination and academic performance: A Meta-analysis. Personality and Individual Differences , 82, 26-33. doi: 10.1016/j.paid.2015.02.038 [ Links ]

Klassen, R., Krawchuck, L., & Rajani, S. (2007). Academic procrastination of undergraduates: Low self-efficacy to self-regulate predicts higher level of procrastination. Contemporary Educational Psychology, 33(2008), 915-931. doi: 10.1016/j.cedpsych.2007.07.001 [ Links ]

Lay, C. (1986). At last, my research article on procrastination. Journal of research in personality , 20, 474-495. doi: 10.1016/0092-6566(86)90127-3 [ Links ]

McCloskey, J. D. (2011). Finally, my tesis on academic procrastination [Master´s thesys]. University of Texas at Arlington. [ Links ]

Muñiz, J., Elosua, P. & Hambleton, R.K. (2013). Directrices para la traducción y adaptación de los tests: segunda edición. Psicothema, 25(2), 151-157. doi: 10.7334/psicothema2013.24 [ Links ]

Muthén, B. & Kaplan, D. (1985). A comparison of some methodologies for the factor analysis of non-normal Likert variables. British Journal of Mathematical and Statistical Psychology, 38, 171-189. doi: 10.1111/j.2044-8317.1985.tb00832.x [ Links ]

Napitupulu, D., Syafrullah, M., Rahim, R., Amar, A. & Sucahyo, Y. G. (2018). Content validity of critical success factors for e-Government implementation in Indonesia. In IOP Conference Series: Materials Science and Engineering, 352, 1-10. doi: 10.1088/1757-899X/352/1/012058 [ Links ]

Navarro-González, D., Lorenzo-Seva, U. & Vigil-Colet, A. (2016). How response bias affects the factorial structure of personality self-reports, Psicothema , 28, 465-470. doi: 10.7334/psicothema2016.113 [ Links ]

Nunnally, J. & Bernstein, I. (1995). Teoría Psicométrica. (3ª ed.) Editorial Pirámide. [ Links ]

Palenzuela, D. L. (2012). Construcción y validación de una escala de autoeficacia percibida específica de situaciones académicas. Análisis Y Modificación De Conducta, 9(21). doi: 10.33776/amc.v9i21.1649 [ Links ]

Penfield, R. D. & Giacobbi, Jr, P. R. (2004). Applying a score confidence interval to Aiken’s item content-relevance index. Measurement in Physical Education and Exercise Science, 8, 213-225. doi: 10.1207/s15327841mpee0804_3 [ Links ]

Pichen-Fernandez, J. A. & Turpo, J. (2022). Influencia del autoconcepto y autoeficacia académica sobre la procrastinación académica en universitarios peruanos. Propósitos y Representaciones , 10(1), e1361. doi: 10.20511/pyr2022.v10n1.1361 [ Links ]

Ponterotto, J. & Ruckdeschel, D. E. (2007). An Overview of Coefficient Alpha and a Reliability Matrix for Estimating Adequacy of Internal Consistency Coefficients with Psychological Research Measures. Perceptual and Motor Skills, 105, 997-1014. doi: 10.2466/pms.105.3.997-1014 [ Links ]

Rahimi, S., Hall, N. C. & Pychyl, T. A. (2016). Attributions of responsibility and blame for procrastination behavior. Frontiers in Psychology, 7,1179. doi: 10.3389/fpsyg.2016.01179 [ Links ]

Ramos-Galarza, C., Jadán-Guerrero, J., Paredes-Núñez, L., Bolaños-Pasquel, M. & GómezGarcía, A. (2017). Procrastinación, adicción al internet y rendimiento académico de estudiantes universitarios ecuatorianos. Estudios Pedagógicos (Valdivia), 43(3), 275-289. doi: 10.4067/S0718-07052017000300016 [ Links ]

Rozental, A. & Carlbring, P. (2014). Understanding and treating procrastination: A review of a common self-regulatory failure. Psychology, 5(13), 1488. doi: 10.4236/psych.2014.513160 [ Links ]

Ruiz, M., Pardo, A. & Castellanos, R. (2010). Modelos de ecuaciones estructurales. Papeles del psicólogo: revista del Colegio Oficial de Psicólogos, 31(1), 34-45. https://www.papelesdelpsicologo.es/pdf/1794.pdfLinks ]

Schraw, G., Wadkins, T. & Olafson, L. (2007). Doing the things we do: A grounded theory of academic procrastination. Journal of Educational Psychology , 99(1), 12-25. doi: 10.1037/0022-0663.99.1.12 [ Links ]

Solomon, L., & Rothblum, E. (1984). Academic procrastination: Frequency and cognitivebehavioral correlates. Journal of Counseling Psychology , 31(4), 503-509. doi: 10.1037/0022-0167.31.4.503 [ Links ]

Sirois, F. & Pychyl, T. (2002) Academic Procrastination: Costs to Health and Well Being. Presentation at American Psychological Association Annual Convention, Chicago, 22-25 August 2002. [ Links ]

Steel, P. (2007). The nature of procrastination: A meta-analytic and theoretical review of quintessential self-regulatory failure. Psychological bulletin, 133(1), 65. doi: 10.1037/0033-2909.133.1.65 [ Links ]

Steel, P. & Konig, C. J. (2006). Integrating theories of motivation. Academy of management review, 31(4), 889-913. doi: 10.5465/amr.2006.22527462 [ Links ]

Steel, P. & Klingsieck, B. (2016). Academic Procrastination: Psychological Antecedents Revisited. Australian Psychologist, 51(1), 36-46. doi: 10.1111/ap.12173 [ Links ]

Stober, J. & Joormann, J. (2001). Worry, procrastination, and perfectionism: Differentiating amount of worry, pathological worry, anxiety, and depression. Cognitive therapy and research, 25(1), 49-60. doi: 10.1023/A:1026474715384 [ Links ]

Tuckman, B. (1991). The development and concurrent validity of the procrastination scale. Educational and Psychological Measurement, 51, 473-480. doi: 10.1177/0013164491512022 [ Links ]

Van Eerde, W. (2003). A meta-analytically derived nomological network of procrastination. Personality and Individual Differences , 35, 1401-1418. doi: 10.1016/S01918869(02)00358-6 [ Links ]

Yockey, R. D. (2016). Validation of the Short Form the Academic Procrastination Scale. Psychological Reports, 118(1), 171-179. doi: 10.1177/0033294115626825 [ Links ]

Zinbarg, R.E., Revelle, W., Yovel, I. & Li. W. (2005). Cronbach's Alpha, Revelle's Beta, McDonald's Omega: Their relations with each other and two alternative conceptualizations of reliability. Psychometrika. 70, 123-133. doi: 10.1007/s11336-003-0974-7 [ Links ]

Zumbo, B. D., Gadermann, A. M. & Zeisser, C. (2007). Ordinal versions of coefficients alpha and theta for Likert rating scales. Journal of Modern Applied Statistical Methods, 6, 2129. doi: 10.22237/jmasm/1177992180 [ Links ]

Recibido: 15 de Agosto de 2022; Aprobado: 22 de Diciembre de 2022; : 31 de Diciembre de 2022

*Correspondencia: aalegre@usil.edu.pe

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons