Introducción

La evaluación de aprendizajes en educación superior ha tenido un significativo desarrollo en un contexto donde los procesos formativos buscan modificar sus lógicas transmisivas, e incorporar lo que sabemos actualmente sobre el aprendizaje en adultos y la formación de competencias profesionales. Más aún, la evaluación ha sido descrita como una palanca que puede movilizar la mejora y la innovación en las estrategias de docencia universitaria convirtiéndose en un ámbito relevante para la investigación y la innovación.

En efecto, la literatura señala profusamente que la práctica evaluativa determina en gran medida la práctica de enseñanza: condiciona los contenidos, las estrategias, las motivaciones y los aprendizajes (^{Barberà, 2003}; ^{Biggs, 2004}; ^{Bonsón & Benito, 2005}; ^{Dochy et al., 2002}; ; ^{Zabalza, 2003}; ^{Jorba & Sanmartí, 2008}). En este sentido, algunos autores señalan que la evaluación condiciona el aprendizaje, incluso mucho más que la enseñanza; constituyéndose en un orientador significativo para el aprendizaje, toda vez que, en el acto de evaluar los docentes envían un potente mensaje a sus estudiantes acerca de lo que deben aprender y cómo deben hacerlo, ^{McDonald et al. (2013)}. Sin embargo, diversas investigaciones muestran que en educación superior persisten formas habituales o tradicionales de evaluar que no logran dar cuenta de las competencias declaradas en los currículos de formación profesional ni evidenciar cómo los estudiantes están aprendiendo, . Estos antecedentes dan cuenta de la necesidad de movilizar las prácticas de evaluación desde una cultura centrada en la calificación hacia procesos orientados más claramente al aprendizaje del estudiantado.

Al analizar las prácticas de evaluación en la formación, se postula que el actual desafío de la docencia terciaria es transitar de una cultura del examen a una cultura de la evaluación que implique una comprensión formativa, orientada al aprendizaje del estudiantado y su mayor implicación en los procesos evaluativos ( ; ^{Cañadas, 2020}). Una alternativa es hacerlo transitando desde una evaluación del aprendizaje a una evaluación para el aprendizaje ( ), lo que significa a su vez que cualquiera sea la innovación curricular que se busque, requerirá revisar y transformar también las concepciones y prácticas evaluativas puestas en acción ().

En este contexto, la literatura refiere a la “evaluación para el aprendizaje” y la “evaluación auténtica” en educación superior, como conceptos claves para abordar este giro hacia una pedagogía universitaria que logre potenciar el aprendizaje del estudiantado y fortalecer el desarrollo y certificación de competencias profesionales relevantes para el desempeño laboral.

Una revisión reciente a estos conceptos señala que las principales características de la evaluación orientada al aprendizaje son: a) las tareas de evaluación deben estimular el aprendizaje de los estudiantes; b) la evaluación debe implicar a los estudiantes en su propia evaluación y la de sus pares y c) la retroalimentación debe ser oportuna y útil para el aprendizaje actual y futuro del estudiante. Por su parte, los autores refieren a la evaluación auténtica como una modalidad más específica, con fuerte potencial formativo donde se utilizan tareas evaluativas mucho más realistas y situadas en las que el estudiantado debe demostrar sus aprendizajes resolviendo problemas que son similares a los que pueden surgir en el ejercicio de la profesión y utilizando contextos cercanos o equivalentes a los que se encontrarán en el campo laboral ( )

Actualmente existe una línea de trabajo con creciente desarrollo que muestra la relevancia que tienen los procesos de evaluación auténtica en educación superior, como una metodología de evaluación para el aprendizaje ( ; ^{Villarroel et al., 2017}; ). En efecto, la investigación en el ámbito de la evaluación en aulas universitarias da cuenta de criterios y experiencias para transitar hacia estrategias e instrumentos en los que tenga mayor relevancia la contextualización de los ítems o tareas de evaluación. Asimismo, se espera que promuevan habilidades cognitivas de orden superior y que estén vinculadas a las capacidades que declaran los perfiles de competencias de egreso generando mayor articulación con los quehaceres de la profesión en la que se está formando el estudiantado ^{(Buscà et al., 2010}; ).

Adicionalmente, el contexto de pandemia agregó una preocupación adicional por la evaluación en contextos de enseñanza y aprendizaje virtual (^{Fardoun et al., 2020}; ) En el ámbito de la evaluación, el profesorado universitario ha manifestado mayores preocupaciones e incertidumbres especialmente sobre estrategias de evaluación sumativa (^{Cisternas, et al. 2022}). De ahí que sea relevante el desafío de avanzar en la sistematización y mejora de estrategias basadas en un enfoque de evaluación para el aprendizaje.

Con todos estos antecedentes, el problema de investigación está contextualizado en una institución de educación superior con lineamientos para la docencia universitaria basados en un enfoque de evaluación para el aprendizaje. Esto se traduce en diversas orientaciones a los programas de formación del pregrado y sus docentes para que desarrollen evaluaciones “complejas, significativas e integradoras” y establezcan criterios de evaluación conocidos y compartidos. En efecto, las situaciones de evaluación integradoras deben ser (i) complejas, dado el tipo de información que proporcionan y las tareas o problemas a resolver, que deben ser globales y exigentes; (ii) significativas, ya que deben orientarse a la realización de tareas que supongan una implicación personal del estudiante; e (iii) integrar y movilizar distintos conocimientos a la vez. (). En este escenario, los equipos han desarrollado una experiencia que requiere avanzar hacia una mayor institucionalización y efectividad. La revisión e innovación en las prácticas evaluativas atendiendo a las dimensiones y características de la evaluación auténtica, permitiría responder a las necesidades formativas y asegurar la trayectoria educativa del estudiantado y el logro de competencias profesionales relevantes. De allí que resulta pertinente efectuar un estudio con enfoque de investigación-acción, aportando con propuestas para desarrollar estrategias de evaluación auténtica pertinentes tanto en contextos presenciales como no presenciales.

A partir de estos antecedentes, el objetivo de esta investigación fue analizar e implementar estrategias de evaluación auténtica en distintos niveles de un programa de formación inicial docente (en adelante FID) para contextos virtuales y presenciales. En este manuscrito damos cuenta de los siguientes propósitos asociados:

a) identificar los desafíos y fortalezas de las estrategias evaluativas implementadas en contextos virtuales y presenciales, desde la mirada de estudiantes y b) determinar criterios y poner en acción estrategias de evaluación auténtica en coherencia con los desafíos detectados y las perspectivas actuales de evaluación en educación superior.

Método

Instrumentos y análisis

Se construyó y validó un cuestionario semiestructurado cuyo propósito fue identificar las percepciones del estudiantado respecto del modo en que vivencian los procesos evaluativos en las distintas asignaturas del plan de estudio, estableciendo fortalezas, debilidades, expectativas y desafíos de estos procesos en contextos presenciales y virtuales. El diseño de este instrumento contempló la validación mediante juicio de experto con 2 especialistas, una en evaluación y docencia universitaria y otra en educación superior y formación docente. Posterior a ello se efectuó un pilotaje y posterior entrevista con 4 estudiantes del programa. Este proceso validó las dimensiones y preguntas del instrumento, con altos niveles de consistencia entre expertas y entre estudiantes, y permitió ajustar el número de ítems y el lenguaje utilizado en algunos reactivos para asegurar la comprensión de éstos. La versión final del instrumento quedó compuesta por seis dimensiones con un total de 23 preguntas cerradas (selección múltiple y Likert) y 3 abiertas tal como se indica a continuación:

Tabla 1  

El instrumento se aplicó en formato online y fue respondido por 102 estudiantes del programa (82%) El análisis de los datos se efectuó a partir de estadísticos descriptivos para identificar tendencias y varianza en cada pregunta y establecer fortalezas y desafíos por dimensión. Las preguntas abiertas fueron analizadas mediante la estrategia de análisis de contenido, determinando categorías a partir de la literatura revisada.

El segundo instrumento utilizado para el diagnóstico fue una pauta de grupo de discusión con estudiantes cuyo propósito fue profundizar cualitativamente en las fortalezas y desafíos de los procesos evaluativos que emanaron del cuestionario. Esta técnica permite poner en contacto diferentes perspectivas y se define como una conversación cuidadosamente planeada para obtener información sobre una temática específica (^{Barbour, 2013}). Para el análisis de grupo de discusión se usaron categorías a priori basadas en el marco referencial. El proceso culminó con la triangulación y validación del conjunto de análisis (^{Flick, 2004}). En la segunda etapa de esta IA, abocada al diseño y desarrollo de la innovación en evaluación, se trabajó con el registro escrito de los procesos de reflexión y discusión y el análisis de resultados estuvo guiado por preguntas y análisis de evidencias de la implementación (instrumentos de evaluación diseñados e implementados con el estudiantado, materiales de retroalimentación, entre otros). Los resultados fueron validados en un proceso de trabajo colaborativo y documentado (^{Latorre, 2003}).

A continuación, la tabla 2 que resume los instrumentos y participantes en función de las etapas de la IA.

Tabla 2 Síntesis de datos según momentos IA 

Resultados

Los hallazgos se organizan de acuerdo con las etapas de esta IA. Primeramente, se describen las principales fortalezas y desafíos percibidos por el estudiantado del programa en su experiencia con la evaluación en contextos presenciales y virtuales. Luego, se informa sobre el diseño y puesta en acción de estrategias basadas en un enfoque de evaluación auténtica en educación superior, dando énfasis al levantamiento de criterios y orientaciones que resulten relevantes para otros contextos y de educación superior.

Fortalezas y Desafíos de las propuestas evaluativas

Los resultados muestran que para el estudiantado las evaluaciones sumativas o exámenes escritos están alineados a las características de la evaluación auténtica (ver Tablas 3 y 4). En efecto, las perciben como una herramienta que les permite demostrar de mejor forma sus aprendizajes (ítem 1) y están vinculadas a los desafíos del campo profesional (ítems 3, 4 y 5), valorando también la retroalimentación como un componente clave para potenciar los aprendizajes (6). Al respecto, cabe recordar que el contexto institucional donde se desarrolla el estudio cuenta con un recorrido y antecedentes de algunas prácticas de evaluación para el aprendizaje previo a efectuar esta innovación, lo que actúa como línea de base para las mejoras que se espera alcanzar. En los siguientes fragmentos se ilustran las valoraciones que hacen ante el uso de situaciones reales y de la aplicación de recursos tecnológicos en contexto de evaluación virtual:

Tabla 3 Resultados cuestionario a estudiantes 

…siento que es mucho más provechoso, no tan solo para la evaluación sino para nosotros, poner una situación en que vamos a estar en algún momento, como por ejemplo ‘este niño tiene tal dificultad, ¿cómo lo abordarías tú?’… Creo que eso es como muy provechoso en cuanto a la evaluación porque no evalúa solo un contenido sino evalúa lo que vamos a hacer en algún momento, que se va a tener que aplicar. Y ahí nos demuestra cómo se aplicaría y qué herramientas debiésemos utilizar para esa situación. (Grupo de discusión de estudiantes)

Creo que el tema de la virtualidad ha permitido que se haya podido probar mayores formas de evaluación. Claro, pudimos hacer videos, quizás trabajar en distintas plataformas, y creo que eso aporta también al desarrollo de nosotros como profesionales, también ampliar nuestros conocimientos en cuanto a los tipos de evaluación. (Grupo de discusión estudiantes)

En cuanto a los desafíos y necesidades de mejora que resultan del cuestionario y grupo focal, el estudiantado identifica heterogeneidad en las prácticas de retroalimentación que desarrollan los docentes dentro del mismo programa (Tabla 4). La siguiente cita ilustra este hallazgo:

Tabla 4 Resultados cuestionario a estudiantes 

Nos hacen exámenes finales escritos y todo, después nos devuelven la pauta con los puntajes que obtuvimos, pero mucho más detalle no hay de ello. Es “ya, lo lograste” o “no lo lograste”. No está una retroalimentación “mira, lo lograste por tal cosa”, “no lo lograste por tal cosa. Te sugiero hacer… Entonces en esos aspectos siento que va a depender mucho del profe. Como que más allá de la carrera en sí, como que va a depender mucho de la organización del profe… (Grupo focal estudiantes)

Como se observa en la Tabla 4, en situaciones de evaluación en contexto de virtualidad advierten la necesidad de mejorar el tiempo destinado a efectuar las pruebas y trabajos, la variedad de tareas o instrumentos utilizados, y la claridad de los enunciados en las preguntas e instrucciones. En esta misma línea, sugieren avanzar en mejoras tanto en la participación de estudiantes en el diseño de las pautas e indicadores de evaluación, como en la explicación o ejemplificación de los criterios de evaluación.

Con relación al tiempo también siento que es un factor para mejorar (…) quizás sean un poco más flexibles en el tiempo porque con el tiempo una se pone nerviosa, no alcanza a redactar todo lo que una quería redactar. Entonces siento que eso también es un factor por mejorar. (Grupo de discusión Estudiantes)

En algunos cursos nos pasa, por ejemplo, … que no entendemos las instrucciones de una prueba o un trabajo. O a veces un grupo entiende una cosa y otro grupo entiende otra. Entonces quizás un poco de más claridad al entregar las indicaciones. (Grupo de Discusión Estudiantes)

Desarrollo de la innovación en las prácticas evaluativas

De acuerdo con los resultados descritos en el punto anterior y a partir de la literatura especializada, el equipo de investigación junto con las docentes participantes diseñó y aplicó estrategias de evaluación sumativa desde un enfoque de evaluación auténtica en 5 asignaturas correspondientes a distintas líneas de formación en cursos de 1°, 2°, 3° y 4° año del programa de pedagogía. A partir de los principios de los diseños de investigación-acción (^{Latorre, 2003}) se planteó un trabajo colegiado entre docentes universitarias, en el que hubo comentarios, sugerencias y la revisión de los instrumentos evaluativos diseñados, antes de ser aplicados.

De este modo, cada nueva propuesta evaluativa fue desarrollada por el equipo docente considerando los siguientes cinco componentes:

a) Pauta de evaluación e instrucciones que anticipen a los estudiantes los aprendizajes esperados y características de la evaluación b) Uso de situaciones o casos reales, toma de decisiones en acciones, planes de intervención; c) Incorporación en el instrumento los indicadores del perfil de egreso a los que tributa la evaluación; d) Planificación de una instancia de retroalimentación de resultados dirigida al estudiantado que incorpore aspectos logrados y para reforzar ; e) Sumar una instancia de autoevaluación de los estudiantes.

A partir de estos elementos fueron diseñados y aplicados cinco instrumentos de evaluación sumativa e integradora de cierre de semestre, los que utilizaron una o dos formas, y donde se formularon diversos tipos de ítems: preguntas de desarrollo, basados en casos o situaciones problema. Estos fueron aplicadas al estudiantado en formato no presencial, de manera sincrónica con apoyo de plataforma tecnológica.

Al analizar la experiencia se observan hallazgos interesantes. En primer lugar, la incorporación de ítems de autoevaluación impulsó una mayor reflexión y responsabilización del estudiantado con su aprendizaje. Por otro lado, al incorporar en el instrumento evaluativo las capacidades declaradas en el perfil de egreso se logra una mayor articulación con las metas de aprendizaje específicas de cada curso del plan de estudio, y da sentido al curso dentro de la trayectoria formativa. También, la incorporación de los criterios y puntajes de evaluación en el mismo instrumento hacen más eficiente y coherente el proceso de calificación y determinación de logros. Como resultado, los instrumentos evidencian más y mejor los aprendizajes logrados y no logrados y ayuda a situar a los estudiantes en qué se esperaba de ellos. En cuanto a la evaluación en modalidad virtual, resultó clave establecer con claridad a los estudiantes qué se espera de ellos y de qué manera deben demostrarlo; las pautas de evaluación y explicitación de los indicadores del perfil de egreso. Bajo esta modalidad se generaron instrumentos con más de una forma, para reducir el riesgo de plagio entre estudiantes. Las situaciones problemas o casos resultan una buena estrategia, ya que dan mayor confiabilidad respecto de lo que se espera medir pues responder a este tipo de ítems demanda mayor elaboración y no una respuesta estándar o de simple evocación.

Para retroalimentar al estudiantado, se definieron criterios en dos niveles. A nivel individual, se utilizó la estrategia de incorporar comentarios escritos y elaborar audios explicativos utilizando audio. En este sentido, los resultados revelan la importancia de diversificar las formas de devolución de los resultados de la evaluación sumativa en contextos de virtualidad combinando instancias individuales y grupales.

Discusión y Conclusiones

En este apartado se describen cinco orientaciones claves para desarrollar estrategias de evaluación auténtica en contextos universitarios2 utilizando como insumo los resultados de esta investigación que se vinculan más estrechamente a los antecedentes que reporta la literatura especializada.

En primer lugar, es importante asegurar la contextualización, esto es, organizar las evaluaciones a partir de situaciones auténticas o casos reales que permitan vincular al estudiante con elementos de su futuro contexto laboral. La evaluación debe usar situaciones reales con problemas similares a las tareas que deberán desarrollar en su vida profesional. Esto permite al aprendiz dar sentido y valorar el conocimiento como una herramienta que le permitirá resolver situaciones profesionales, a la vez exige aplicar los conocimientos a través de capacidades o habilidades complejas (^{Villarroel & Bruna, 2019}; ).

En segundo lugar, priorizar la evaluación de habilidades complejas relacionadas con las competencias del perfil de egreso y los propósitos de aprendizaje de la asignatura. Las habilidades de pensamiento complejo son fundamentales para que los estudiantes transformen los conocimientos en los contextos reales. Investigaciones ( ; ) muestran que las habilidades del pensamiento devienen del mundo del trabajo y de habilidades del dominio disciplinar declaradas en el perfil de egreso. Implica plantear situaciones que requieren analizar información, sintetizar hallazgos, aplicar conceptos de manera contextualizada, reflexionar críticamente acerca de lo aprendido, tomar y comunicar decisiones, e innovar y crear nuevas soluciones.

Como tercera orientación se encuentra la importancia de describir y anticipar a los estudiantes, las características de la evaluación y los desempeños esperados. Los criterios de evaluación deben orientarles en la preparación de la evaluación y dar claridad respecto de qué se espera de ellos. Tal como lo plantean es clave considerar durante la aplicación de evaluaciones auténticas apoyos para que los estudiantes entiendan las expectativas existentes en función al nivel de logro esperado y también que el docente universitario pueda comunicar con claridad las expectativas de ejecución en términos de criterios consensuados con el grupo, mediante los cuales se juzgará dicha ejecución, al tiempo que se deben generar las condiciones y mecanismos necesarios que permitan registrar el avance de los alumnos. En esta misma línea, ^{Hernández et al. (2021)} al referirse a los procesos de feedback, reconocen la importancia que tiene para la percepción del estudiantado especificar con claridad y tempranamente las tareas y/o resultados de aprendizaje que se espera de ellos.

Como cuarto elemento a considerar, es importante favorecer el desarrollo del juicio evaluativo en los propios estudiantes, democratizando la toma de decisiones incorporando la participación del estudiantado en la construcción de los criterios de evaluación y fomentando procesos de auto y co-evaluación. Específicamente, para favorecer el desarrollo de juicio evaluativo, ^{Villarroel y Bruna (2019}) sugieren involucrar los estudiantes en la construcción de los criterios y en los procesos mismos de evaluación. Esto implica diversificar las formas como se hace la evaluación, incorporando otros procedimientos y técnicas asegurando la participación de diferentes agentes: autoevaluación del estudiante, coevaluación de pares, heteroevaluación del docente.

La quinta orientación que surge de esta investigación-acción, refiere a la planificación del modo en que se efectuará la retroalimentación de resultados a los estudiantes para asegurar que esta instancia les ofrezca información útil para comprender sus fortalezas y debilidades y saber cómo mejorar su desempeño. La retroalimentación es una forma de desarrollar juicio evaluativo, es decir, promueve competencias que le permitan evaluar su propio desempeño, y el de otros. En este sentido, ^{Villarroel et al. (2015)} afirman que esta instancia debe contemplar al menos tres criterios:

a) claridad respecto de qué es un buen desempeño en la tarea que se le solicita, b) conocer la brecha entre el desempeño actual y el esperado, y c) tener claro qué se debe hacer para abordar la diferencia entre su actual rendimiento y el esperado.

Respecto a las exigencias desde el contexto de evaluaciones virtuales, esta investigación identificó dos aspectos esenciales para abordar la evaluación de competencias profesionales bajo esta modalidad. Por un lado, mantener un diseño evaluativo con tareas cuya complejidad permita poner en juego competencias y no solo conocimientos declarativos y por otro, el uso de rúbricas o descripciones cualitativas donde presentar criterios de evaluación centrados en los resultados de aprendizaje o competencias que se espera evaluar (^{Zapata, 2015}; ^{Cubero-Ibáñez et al. 2018}).

Por otra parte, ^{Lezcano y Vilanova (2017}) señalan que los procesos de retroalimentación necesitan revisarse en contextos virtuales pues cambian las formas de comunicación entre docente y estudiantes. En su investigación recomiendan el aprovechamiento de herramientas como foros, comentarios en línea, documentos compartidos, mensajería y chat. En esta línea, identifican que el estudiantado percibe positivamente el feedback y su influencia en los procesos de mejora de aprendizaje y autorregulación cuando es claro, centrado en la tarea y se usan las posibilidades que ofrecen los entornos virtuales facilitando un dialogo interactivo entre iguales. Además, este estudio, en coincidencia con , reconoce que el empleo de estrategias de aprendizaje virtuales, dependen y se subordinan al tipo de aprendizaje que se desea evaluar y cómo queremos utilizar la evaluación.

Los hallazgos obtenidos en esta investigación son considerados válidos, en relación con la naturaleza del estudio, tratándose de una investigación con énfasis cualitativo, contextualizada y que busca el mejoramiento en las propias prácticas de los participantes a través de un diseño de investigación-acción.

Una limitación del estudio es que no se pudo contar con la percepción del estudiantado sobre las estrategias implementadas, algo a atender en futuras investigaciones. Otro elemento es el número de docentes participantes; al ampliar la muestra se enriquece la experiencia. No obstante, los resultados del estudio fueron validados el cuerpo académico del programa, incluyendo a quienes innovaron en sus propuestas. Junto a ello, la revisión teórica de los principios definidos, permiten dar consistencia a los resultados.

En conclusión, el estudio permitió abordar un desafío significativo para la docencia universitaria: articular distintos tipos de aprendizaje (conceptual, procedimental, actitudinal), con las estrategias de enseñanza, los modos de evaluar y los logros que alcanza el estudiantado. En efecto, este tipo de investigaciones en educación superior tiene implicancias significativas en las trayectorias formativas, asunto que paulatinamente ha cobrado mayor relevancia considerando la heterogeneidad del estudiantado y los requerimientos de apoyo al aprendizaje que observamos en nuestras aulas universitarias. Mejorar la calidad y equidad en educación superior, en general, y la formación inicial de docentes en particular, exige considerar instrumentos evaluativos que respondan a distintos niveles de logro y situaciones evaluativas que potencien la autonomía, el compromiso, la motivación, y la capacidad de autorregulación en las y los futuros profesionales; y con ello, aportar al cumplimiento de estándares y criterios de calidad de la formación universitaria.