Sistema de evaluación del aprendizaje de un curso en línea autogestivo de estadística para universitarios

RESUMEN

El objetivo de este artículo es analizar el sistema de evaluación del aprendizaje en un curso en línea autogestivo de estadística avanzada para estudiantes universitarios, en el que se enseña el uso de SPSS para hacer investigaciones de análisis de varianza y regresión. Participaron 145 estudiantes de 163 inscritos de manera voluntaria (102 mujeres y 43 hombres), con un rango de edad que de 19 a 62 años; para analizar los resultados se obtuvieron las diferencias con t de Student entre las calificaciones del Examen diagnóstico, Lección para aprender y Examen final, así como el número de intentos y las calificaciones en cada una de las actividades; se obtuvieron diferencias significativas; por tanto, se concluye que el sistema de evaluación del aprendizaje del curso es diferencial, es decir, que el desempeño de cada fase (evaluación diagnóstica, evaluación formativa y evaluación sumativa) tuvo diferencias significativas a favor del aprendizaje de los alumnos, por lo que el diseño autogestivo del curso se considera idóneo.

ABSTRACT

The aim of this article was to analyze the system of evaluation of learning in a self-managed online course of advanced statistics for university students, in which the use of SPSS was taught to perform analyzes of analysis of variance and regression. Participants 145 students of 163 enrolled voluntarily, 102 were women and 43 men, with an age range ranging from 19 to 62 years, to analyze the results were obtained differences with Student t between the ratings of the Diagnostic Exam , Lesson to learn and Final Exam, as well as the number of attempts and grades in each of the activities, significant differences were obtained, therefore it is concluded that the system of evaluation of the learning of the course is differential, that is to say, that The performance of each phase: diagnostic evaluation, formative evaluation and summative evaluation had significant differences in favor of student learning, so the self-management design of the course is considered suitable.

INTRODUCCIÓN

El aprendizaje de la metodología de investigación y el análisis estadístico es parte de las competencias profesionales que se forman en la educación superior, necesarias para resolver problemas relevantes por medio de la investigación y generar conocimiento sistemático de la misma práctica profesional, sea que los estudiantes se dediquen en el futuro a la investigación o al servicio profesional (Tobón, 2008).

Para formar en competencias de investigación como en otras habilidades, el desarrollo tecnológico se refleja de manera creciente en las prácticas educativas, así como la creación de nuevos métodos de enseñanza y entornos para facilitar el proceso de aprendizaje. Las necesidades y demandas de nuevos, más fáciles y más flexibles, así como la innovación de los métodos de aprendizaje tanto de profesores como de estudiantes, se han intensificado y diversificado enormemente para aprender en línea (Rahayu, Permanasari y Effendi, 2017).

A diferencia de la instrucción tradicional en el aula donde se enseña metodología de la investigación y estadística, el aprendizaje en línea se enfoca en el estudiante y es necesario mucho esfuerzo autodirigido para tener éxito y lograr los aprendizajes de investigación y análisis de datos, sobre todo cuando se trata de aprender estadística avanzada relacionada con análisis de varianza y análisis de regresión lineal simple y múltiple. Aunque la mayoría de los estudios indican que la capacidad de autocontrol y autoevaluación en diferentes etapas del aprendizaje están positivamente relacionados con el rendimiento del estudiante, aún hay trabajo por hacer (Artino, 2007).

Para el aprendizaje de competencias de investigación en universitarios en trabajos previos se ha propuesto el aprendizaje autodirigido, la interacción del estudiante con los contenidos, y la evaluación formativa y sumativa del aprendizaje, como componentes que se han tomado como base para el aprendizaje en línea de formacion de competencias básicas para el análisis en investigación en estudiantes universitarios (Guarneros-Reyes, Espinoza-Zepeda, Silva-Rodríguez y Sánchez-Sordo, 2016).

Respecto al primer componente del trabajo citado, el aprendizaje autodirigido, está asociado con el diseño, conducción y evaluación de un esfuerzo de aprendizaje del estudiante, quien es el que toma el control y guía su proceso de aprendizaje de acuerdo con intereses y necesidades personales, porque el estudiante puede cambiar lo establecido en torno a lo que se debe estudiar y colocar primero sus necesidades e intereses particulares. Además, el estudiante necesita la autorregulación como proceso en el cual active sus cogniciones y conductas de manera sistemática para lograr un objetivo de aprendizaje (Cerda y Osses, 2012), mientras que autogestiona su aprendizaje activando y manteniendo de modo sistemático procesos metacognitivos, motivacionales, afectivos y conductuales, para lograr los objetivos de aprendizaje en un contexto particular (Chaves, 2016; Hadwin, Järvelä y Miller, 2011; Zimmerman, 2008). Para ello, el estudiante debe desarrollar cuatro fases distintivas (planificación, seguimiento, control y evaluación) en las cuales identifica sus necesidades educativas, establece sus objetivos de aprendizaje, hace búsqueda de recursos (incluyendo instructores, compañeros y materiales), elige e implementa sus estrategias y sus métodos, y efectúa actividades de evaluación de sus resultados (Grow, 1991).

El segundo componente es la interacción del estudiante. Según el modelo Moore, la interacción puede ser alumno-alumnos, alumno-instructor o alumno-contenidos. La interacción alumno-alumno se refiere a la comunicación entre los estudiantes que intercambian información, conocimiento, pensamientos o ideas respecto a contenido del curso con o sin la presencia de un instructor; la interacción alumno-instructor consiste en la comunicación entre instructor de un curso y los estudiantes, y la interacción del alumno con el contenido es un proceso individual del estudiante que consiste en la elaboración y reflexión acerca del tema o el contenido de un curso (Kuo, Walker, Belland y Schroder, 2013). Estos tres tipos de interacción tienen efectos distintos en la satisfacción del estudiante en los cursos en línea, de acuerdo con hallazgos de Kuo et al. (2013) y Kuo, Walker, Schroder y Belland (2014), la interacción del estudiante con el tutor y con los demás estudiantes incrementan la satisfacción del estudiante respecto al curso en línea que probabiliza su buen término y aprendizaje, pero el factor que mayor varianza explica la satisfaccción del estudiante en el entorno de aprendizaje de los cursos en línea es la interacción con los contenidos.

El tercer componente es la evaluación del aprendizaje en los cursos en línea. Como Gallego, Gámiz y Gutiérrez (2015) refieren, ésta es uno de los pilares esenciales en los procesos de diseño y desarrollo en la educación en línea, sobre todo la evaluación formativa o evaluación del aprendizaje (Lawton, Vye, Bransford, Sanders, Richey, French y Stephens, 2012; Vonderwell y Boboc, 2013). En la evaluación del aprendizaje entendida como un proceso, los estudiantes tienen una comprensión de sus propias competencias, además de su calificación; la evaluación es la diferencia entre la construcción del conocimiento y el aprendizaje (Cheng, Jordan, Schallert & The, 2013; Ryan, Scott, Freeman y Patel, 2000). Asimismo, el modo en que los estudiantes interactúan en línea está influido por la forma de evaluación (Hernández y Martínez, 2014; Gallego et al., 2015).

La evaluación del aprendizaje en línea puede ser formativa y sumativa; la primera es un proceso que aplican los docentes y estudiantes durante la instrucción y proporciona información para ajustar tanto la enseñanza como el aprendizaje; mediante la evaluación formativa se identifican y registran los atributos de la competencia que se pretende desarrollar con las actividades y las evidencias generadas por los estudiantes con la intención de valorar la evolución del dominio y la transferencia de las mismas (López, 2013; Pasek de Pinto y Mejía, 2017). Además, se hacen retroalimentaciones basadas en el proceso y las evidencias de los estudiantes por medio de la observación y análisis de la evolución del dominio de niveles de pensamiento de orden superior. En la evaluación formativa, en una actividad el estudiante puede considerar las evidencias de sus logros obtenidos, interpretarlos y usarlos para decidir qué pasos seguir en su proceso de enseñanza-aprendizaje (Sancho-Vinuesa y Escudero-Viladoms, 2012; Black y Wiliam, 2009).

En cuanto al proceso de evaluación sumativa, para López (2013) ésta se enfoca en calcular cuánto se ha aprendido, es decir, informa acerca de la proporción aprendida y criterios detallados de los resultados obtenidos sin que el estudiante obtenga una retroalimentación; más bien está enfocada en exámenes finales, por lo general con escasas posibilidades de que se valore el proceso de aprendizaje a lo largo del curso en línea.

Además de la evaluación formativa y la sumativa, existe la evaluación diagnóstica (Quesada, 2006), la cual puede servir para recopilar información al inicio de un curso; es útil cuando el curso en línea tiene un tutor; así podrá saber la retroalimentación específica que requiere cada estudiante; asimismo, la evaluación diagnóstica proporciona el grado de conocimiento de un tema a tratar; del mismo modo puede ser usado para pruebas de autoevaluación con el objetivo de que el estudiante analice y reflexione respecto a su aprendizaje; también se puede complementar con pruebas finales para comparar cómo se comenzó y concluyó el curso.

Es posible que en la evaluación del aprendizaje en los entornos o cursos en línea para formar competencias de investigación de universitarios se observe una tendencia hacia formas tradicionales de evaluación (exámenes vigilados y tareas escritas), así como pocas oportunidades para la variedad en las evaluaciones y limitado desarrollo de habilidades genéricas, como habilidades comunicacionales, capacidades tecnológicas para la lectura y escritura, solución de problemas, trabajo en equipo y otras similares (Dorrego, 2016).

López (2013) indica que para formar en competencias como la investigación, es necesario que el estudiante enfrente el aprendizaje como circuito multidireccional, porque se le tendrá que estimular para que aprenda a tomar la iniciativa y desarrolle su capacidad crítica, ética, creativa y sensible a la gestión propia de su aprendizaje.

Por su parte, Ponce (2016) refiere que la interactividad al interior del entorno en línea de aprendizaje dependerá del resultado de articular de modo conveniente textos escritos, ilustraciones, gráficos, cuadros, secuencias de video y sonido o música. La presentación de contenidos por medio de estas formas desencadena nuevas relaciones cognitivas y sensoriales en los alumnos e incrementa su motivación y su gusto por aprender, debido a su gran poder de atracción.

En este sentido los entornos de aprendizaje en línea, como los cursos masivos MOOC o los autogestivos, generan un ambiente en que se privilegian los componentes descritos (la autogestión del aprendizaje) para que el estudiante planifique, dé seguimiento y decida cómo quiere tomar el curso para estudiar, estime su nivel de aprendizaje y defina sus objetivos a lograr o nivel de conocimiento y competencia mediante la interacción con contenidos sin la participación de un tutor, porque el estudiante guía y regula sus acciones para aprender en actividades que lo conducen en una evaluación formativa que le retroalimenta y le permite estimar sus alcances y estimar lo aprendido en la evaluación sumativa. Para ello es necesario el diseño de un sistema de evaluación autogestivo, programado para posibilitar la trayectoria libre del estudiante según sus necesidades.

Justificación

En esta línea el proyecto PAPIME PE303215 Diseño de cursos en línea sobre estadística y manejo del paquete estadístico SPSS en su nivel básico, intermedio y avanzado para estudiantes de licenciatura y posgrado, tuvo como objetivo enriquecer la experiencia escolar presencial mediante el diseño de cursos de estadística para la investigación en línea autogestivo, porque es una de las asignaturas que tiene alto nivel de reprobación en las diferentes carreras que se imparten y porque con ello se contribuye al repertorio de competencia profesional esencial en el perfil de cualquier universitario (Silva, 2015).

En los cursos de dicho proyecto se promueve el aprendizaje autogestivo, dirigidos a establecer competencias relacionadas con los conocimientos declarativos, demostrativos y competencias procedimentales que doten al alumno de las habilidades para utilizar la estadística en el estudio de los fenómenos de las ciencias sociales y de la salud en el contexto investigativo de problemas relevantes. Además, el estudiante enfrenta el aprendizaje como circuito multidireccional porque puede estimular sus conocimientos y habilidades actuales para que aprenda a tomar la iniciativa y desarrolle su capacidad crítica, ética, creativa y sensible a la gestión propia de su aprendizaje, evaluándose para estimar su nivel inicial, y con los resultados decidir la ruta que desea tomar para estudiar lo que requiere aprender de análisis estadístico para la investigación. Esto lo permite el sistema de evaluación del curso que integra la evaluación formativa y sumativa, además de un examen diagnóstico para estimar cuánto sabe antes de iniciar el curso; durante el curso el estudiante resuelve ejercicios y autoevaluaciones con las que se fomenta la evaluación formativa en un entorno de aprendizaje flexible que le permite participar cuantas veces quiera hacerlo hasta que considere pertinente hacer la prueba final que le indica cuánto aprendió. Las interrogantes que surgen a partir de la propuesta del curso presentado es si el sistema de evaluación propicia que los estudiantes adquieran los aprendizajes esperados y definidos, así como si son diferenciales entre el nivel diagnóstico, formativo y sumativo; además es necesario saber cuántos intentos deben efectuar los estudiantes en las actividades formativas y en cuáles obtienen las calificaciones más altas; para responder estos planeamientos se formuló como propósito de este trabajo analizar el sistema de aprendizaje de un curso en línea autogestivo de estadística avanzada. Como supuestos se tiene que el sistema de evaluación del curso permite el aprendizaje diferenciado de los estudiantes por medio de la evaluación diagnóstica, formativa y sumativa diseñada de manera autogestiva; en cuanto a los intentos, se espera que los estudiantes que retomaron las lecciones en más ocasiones, mejoren sus calificaciones.

MÉTODO

Participantes

Para analizar el sistema de evaluación del aprendizaje en el curso en línea autogestivo de estadística avanzada participaron 145 estudiantes de 163 que se habían inscrito de manera voluntaria (102 mujeres y 43 hombres, con rango de edad de 19 a 62 años, de las carreras de Psicología [87.58%], Biología [2.06%], Cirujano dentista [1.37%] y otras carreras [8.96%]). Como criterio de inclusión se consideró a estudiantes que hubieran realizado el examen diagnóstico de la lección análisis de varianza; como criterio de exclusión se tomó a los estudiantes que sólo respondieron una Escala de Aprendizaje Autodirigido (Fasce, Pérez, Ortiz, Parra y Matus, 2011) y una de Habilidades Digitales, además que hubieran efectuado la “Lección para comenzar”, el cual es un recurso inicial de inducción, reglas y sistema de evaluación del curso.

El tipo de muestro fue no probabilístico, debido a que se abrió la convocatoria mediante redes sociales de internet e invitación por correo electrónico, y quienes desearon participar se registraron de modo voluntario en un formulario Google.

Características del sistema de evaluación del curso

El curso en línea tiene como característica ser autogestivo modular; su diseño instruccional se basó en resultados de aprendizaje, los cuales pretenden que el estudiante: 1) identifique las bases metodológicas del análisis de varianza y regresión; 2) conozca el comando de procedimiento integrado al programa SPSS que hace un análisis unifactorial de la varianza ONEWAY y su procedimiento; 3) identifique las pruebas con que cuenta el programa SPSS, pruebas de comparaciones específicas y pruebas de rangos, y las pruebas de comparaciones múltiples incluidas; 4) reconozca las comparaciones múltiples entre los grupos o condiciones de una misma variable; 5) aplique el análisis de tendencias, y 6) reconozca las funciones adicionales incluidas en el procedimiento ANOVA de un factor por medio del comando ONEWAY.

Como se indicó en el curso es modular, los contenidos se distribuyeron en tres módulos: 1) Análisis de Varianza; 2) Regresión Lineal Simple, y 3) Regresión Lineal Múltiple. El sistema de evaluación se derivó de los resultados de aprendizaje; se diseñó evaluando si se lograron los resultados de aprendizaje definidos y se integra de evaluación diagnóstica, formativa y sumativa en cada módulo mediante sus tres secciones: 1) la evaluación diagnóstica se personalizó en la sección “¿Cuánto sabes?”, el cual consiste en un examen diagnóstico que contiene una serie de problemas y situaciones donde aplica las técnicas de análisis estadístico respectivo; además indaga respecto a las nociones conceptuales y metodológicas del análisis; esto permite al estudiante conocer su nivel de aprendizaje y decidir si comienza con el estudio del módulo del cual hizo el examen diagnóstico o continúa con los demás exámenes de este tipo, para luego elegir el módulo con el cual desea comenzar a estudiar; 2) la evaluación formativa se aprecia en la sección “Aprende con la lección”, la cual es la parte extensa del entorno de aprendizaje; en primer lugar contiene una semblanza acerca del módulo, con las competencias, aprendizajes esperados y el contenido; en su parte final tiene un apartado de “Aprende Offline” en formatos PDF, mp3 y en QR que el estudiante descarga para estudiar el análisis de varianza de diversas maneras, ya sea leyendo o escuchando las lecciones en sus dispositivos móviles; además, el entorno de aprendizaje en línea de “Aprende con la lección”, contiene problemas y preguntas (Gómez, 2015), permite al estudiante interactuar con el contenido y obtiene retroalimentación inmediata que describe su acierto o error con una explicación que le permite una mayor comprensión de las habilidades que va desarrollando en correspondencia con los resultados de aprendizaje planteados al inicio en la semblanza del módulo. Como evaluación sumativa, hay un examen final denominado “¿Cuánto aprendiste?”, con una sección que tiene los instrumentos “Escala de aprendizaje autodirigido” y “Habilidades digitales”, la Lección “¡Para comenzar!”, que introduce al estudiante en la dinámica del curso, además de explicarle el sistema de evaluación. La navegación del curso es libre; el único requisito es contestar dichos instrumentos y la Lección; después de ello, el estudiante elige el módulo con que quiere comenzar.

Es necesario destacar que en el diseño de las preguntas de los exámenes de diagnóstico, los ejercicios autoaplicables de la evaluación formativa y del examen final, se utilizó la amplia gama de preguntas Moodle, como “Arrastrar y soltar texto”, “Arrastrar y soltar imagen”, “Opción múltiple”, “Emparejamiento”, “Respuestas anidadas” (Cloze) y “Verdadero/Falso”, porque éstas permiten plantear los problemas y situaciones que demandan analizar, comparar o aplicar conocimientos y habilidades del análisis estadístico avanzado de acuerdo con los resultados de aprendizaje definidos.

Procedimiento

El desarrollo del curso estuvo a cargo de diseñadores instruccionales con experiencia en el diseño de cursos autodirigidos y modulares; el trabajo se desarrolló en las siguientes etapas.

1. Desarrollo de los guiones de contenido de las lecciones de análisis de varianza, regresión lineal simple y regresión lineal múltiple; el contenido fue hecho por un experto en estadística y metodología de la investigación.
2. Configuración y diseño a nivel gráfico del contenido del curso en el CUVED Ciencia que corre en el LSM Moodle; los aspectos gráficos estaban compuestos por imágenes, botones, texto plano y en acordeones tabs, así como videos; también se incluyeron Slideshows en Cincopa, diseño de juegos interactivos con Educaplay y algunas preguntas relacionadas con la lección; esto con la finalidad de crear el entorno de aprendizaje amigable y dinámico que requirió las características del curso autodirigido y modular.
3. Se invitó, mediante redes sociales como Facebook y por invitación al correo electrónico, a estudiantes de Psicología y de otras áreas de la salud a nivel licenciatura y posgrado.
4. Se hizo la matriculación de los usuarios en la plataforma CUVED Ciencia y la implementación del curso durante 30 días; los estudiantes tuvieron la libertad de navegar en los tres módulos; podían acceder y primero respondían a la Escala de aprendizaje autodirigido y Habilidades digitales, así como a la Lección para comenzar y el examen diagnóstico del módulo de análisis de varianza; al final del curso los estudiantes podían emitir su constancia si obtuvieron una calificación mayor a 80% del total del curso.
5. Se respaldaron el curso y sus actividades después de haber concluido el periodo un mes que se dio acceso y se descargaron los datos que arroja la plataforma CUVED CienciaMediciones

Mediciones

Se recolectaron los datos que arroja la plataforma CUVED Ciencia, de donde se tomó la información de los estudiantes acerca de las actividades realizadas durante el curso, en particular las calificaciones de la evaluación diagnóstica, formativa y sumativa, así como el número de intentos que cada uno de los 145 participantes hicieron en la evaluación diagnóstica y sumativa, es decir en los exámenes diagnóstico y finales, en los cuales se tenía un límite de tres intentos o tres oportunidades para presentarlos, mientras que la evaluación formativa, conformada por lecciones “Aprende con la lección”, tenía una configuración de intentos ilimitados, para ser presentadas las veces necesite el estudiante.

RESULTADOS

Estadísticos descriptivos de las actividades del curso

Antes de comenzar con la explicación del análisis estadístico es necesario mencionar que de los 145 participantes que cumplieron el criterio de exclusión, no todos los usuarios obtuvieron una calificación arriba de 80% para aprobar el curso, por lo que en este curso el total de aprobados fue de 61 estudiantes, equivalentes a 42.1%; en la figura 1 se muestra el número de estudiantes que resolvieron los exámenes de la evaluación diagnóstica, las lecciones para aprender de la evaluación formativa y los exámenes finales de la evaluación sumativa de cada módulo.

Figura 1

Una manera de analizar la dispersión en el sistema de evaluación del curso autogestivo modular de estadística avanzada es mediante los rangos excluyentes de las calificaciones máximas y mínimas obtenidas por los estudiantes. Al respecto, en la figura 2 del módulo Análisis de varianza se muestran las puntuaciones máximas y mínimas obtenidas en la evaluación diagnóstica, formativa y sumativa.

Figura 2

La diferencia en los rangos de la evaluación inicial con el examen diagnóstico (R = 8), la evaluación formativa en la Lección para aprender (R = 11.45) y la evaluación sumativa con el examen final (R = 4.49) muestran que la dispersión se incrementa entre la evaluación diagnóstica y la lección, pero como se esperar al mejorar los conocimientos y habilidades del análisis de varianza disminuye de modo considerable en la evaluación sumativa. Ésta es el módulo con resultados más esperados que muestran que el sistema de evaluación de curso cumple los aprendizajes que se calculó logren los estudiantes.

Figura 3

En la figura 3, sobre el módulo Regresión lineal simple, los rangos obtenidos muestran una dispersión distinta en algunos aspectos en comparación con el módulo Análisis de varianza; en la evaluación diagnóstico y la evaluación formativa el rango fue muy similar (R = 6.8 y R = 7), y el incremento mayor fue en la evaluación sumativa del examen final; los resultados en las calificaciones fueron más altas, aunque también hubo mayor dispersión entre la calificación más baja (4) y la más alta (15).

Por último, en la figura 4 se muestran las calificaciones en las evaluaciones del módulo Regresión lineal múltiple. De acuerdo con los rangos de las calificaciones máximas y mínimas obtenidas, se observa un modo distinto a los módulos anteriores.

Figura 4

Se observa que las calificaciones aumentaron de la evaluación diagnóstica a la formativa, aunque con una dispersión similar; en la evaluación formativa son evidentes más estudiantes de la calificación media hacia arriba, efecto inverso a la evaluación diagnóstica. En la evaluación sumativa se observa el efecto que se esperaba en todos los módulos, pero que sólo se observó en el módulo Regresión lineal múltiple, una dispersión con muy poca variabilidad porque la puntuación más baja fue de 5.09 y la más alta 7, con un R = 1.91.

También se analizaron los intentos, es decir las veces que los estudiantes hicieron los diferentes examenes y lecciones con las calificaciones de las actividades del curso por cada módulo. Para comprender mejor los resultados que a continuación se mencionan, es importante destacar que en todos los módulos, en la evaluación diagnóstica y en la sumativa, el número máximo de intentos que se programó fue tres, mientras que los intentos programados para todas las evaluaciones formativas “Aprende con la lección” fueron ilimitadas, para que los estudiantes las consulten cuantas veces lo consideren necesario. En las siguientes figuras en el eje “X” se encuentran las calificaciones obtenidas, en el eje “Y” el número de estudiantes que las obtuvieorn, y en el eje “Z” se encuentra el intento en que los estudiantes obtivieron las calificaciones, es decir, si efectuaron la actividad una o más veces. Los primeros resultados de estos tipos que se presentan son los del módulo Análisis de varianza.

Intentos y calificaciones del módulo Análisis de varianza

La figura 5 corresponde al examen de la evaluación diagnóstica Análisis de varianza; en ella los estudiantes que obtuvieron 80% de la calificación necesaria para aprobar fueron aquellos con calificaciones entre 8 y 12; se puede observar que quienes alcanzaron ese criterio en su primer intento fueron los que se ven en las barras azules de 27, 20 y 1; en suma, 58 de los 83 estudiantes que hicieron el examen, de los cuales 11 obtuvieron 12, que es 100% de la calificación posible; esto indica que varios estudiantes tenían conocimientos previos del tema, por lo que decidían estudiar o no la lección y revisar otro módulo. En las barras rojas se observa que en suma 44 personas resolvieron este examen por una segunda vez; en dicho intento, de los cuales 43 estudiantes obtuvieron entre 8 y 11.99 de calificación, es decir, lograron 80% mínimo aprobatorio; en la última oportunidad de hacer este examen (el tercer intento), las barras verdes muestran que sólo 17 (12 y 5) obtuvieron el porcentaje mínimo para aprobar; sin embargo, en el segundo y tercer intentos nadie logró la calificación máxima.

Figura 5

Continuando con la evaluación formativa “Aprende con la lección”, 91 estudiantes la cursaron; en la figura 6 se muestra que el número de estudiantes que deciden estudiar la lección en más de un intento, disminuye en comparación con el examen diagnóstico, pero los pocos que lo intentan más de una vez obtienen la calificación máxima; en esta actividad hubo estudiantes que estudiaron la lección hasta seis veces; de los 91 estudiantes que desarrollaron esta actividad, fueron 84 los que aprobaron.

Figura 6

En cuanto a la evaluación sumativa, en el examen final lo hicieron 73 estudiantes de los 84 que acreditaron la lección previa; de nuevo es evidente que si se hace más de un intento no se consiguen calificaciones máximas; esto se muestra en la figura 7, donde la calificaciones aprobatorias están entre 15 y 19; en la barra roja —que representa el primer intento— estuvieron 61, de los cuales 24 estudiantes obtuvieron la calificación máxima.

Figura 7

Intentos y calificaciones del módulo Regresión simple

En las siguientes figuras se muestran los intentos del módulo Regresión simple. En la figura 8 de la evaluación diagnóstica se observa que 89 estudiantes hicieron el examen, y en la barra roja suman 9 que lo acreditaron en el primer intento con calificación entre 8 y 10, de los cuales 4 obtuvieron la calificación máxima en dicho intento. En los siguientes intentos, 26 estudiantes no consiguieron porcentaje para avanzar, que son los estudiantes que lograron calificaciones entre 6 y 7.99 en los intentos 1, 2 y 3.

Figura 8

En figura 9 de la evaluación formativa “Aprendiendo con la lección” se muestra que de los 89 estudiantes que hicieron el examen diagnóstico, 77 decidieron hacer esta actividad en el primer intento, como indican las barras rojas (41 estudiantes aprobaron con calificación máxima, y en segundo intento lo consiguieron ocho estudiantes). Es importante comentar que un estudiante hizo la lección ocho veces más; este es otro ejemplo de que la mayoría consigue calificaciones altas en uno o pocos intentos.

Figura 9

Respecto a la figura 10, el examen final de la evaluación sumativa muestra que de los 70 estudiantes que aprobaron la lección, 68 desarrollaron esta actividad; en las barras rojas se observa que en el primer intento 51 estudiantes aprobaron con calificación entre 6 y 8 (13, 22, 16); de estos, 16 aprobaron el examen con la calificación máxima; aún se refleja que en pocos o un intento los estudiantes consiguen calificaciones altas.

Figura 10

Intentos y calificaciones del módulo Regresión Lineal Múltiple Respecto al módulo Regresión lineal múltiple, en la figura 11 se muestra que 72 estudiantes presentaron el examen diagnóstico; en el intento uno, representado por las barras rojas, 17 aprobaron con una calificación entre 4 y 5; 6 obtuvieron la calificación máxima; esto refiere que en general los estudiantes consiguen calificaciones altas aprobatorias en el primer intento; en los siguientes intentos, 12 estudiantes obtuvieron 80% para acreditar la lección.

Figura 11

Los resultados de intentos de la evaluación formativa “Aprendiendo con la lección”, en la figura 12 indican que 68 estudiantes la cursaron; en suma, entre el intento 1 a 7, 56 aprobaron con calificación entre 7 y 8, 40 lo hicieron con la calificación máxima en el primer intento; sólo un estudiante hizo siete intentos para aprobarla; sin embargo, entre más intentos no se logró obtener la calificación máxima para acreditar.

Figura 12

En el caso de la evaluación sumativa del examen final de Regresión lineal múltiple, la figura 13 muestra que 65 estudiantes hicieron este examen; en el primer intento 55 estudiantes obtuvieron calificación mínima aprobatoria y 37 la calificación máxima; sin embargo, en intentos posteriores no se obtuvo la calificación máxima.

Figura 13

En general, con estos resultados se observa que el número de alumnos disminuye en cada actividad, siendo mucho menos en el módulo de regresión lineal multiple; sin embargo, se puede suponer que como se trata de un curso en línea de navegación libre pudo influir que si aprobaban los exámenes diagnósticos con 80%, que es el mínimo para aprobar, los estudiantes podían decidir ya no estudiar la lección para aprender, y considerar que tenían los conocimientos y habilidades suficientes respecto al tipo de análisis estadístico que se autoevaluaban.

Por último, se utilizó la prueba estadística t de Student para muestras relacionadas; para obtener las diferencias en las calificaciones obtenidas en los exámenes diagnóstico en contraste con las lecciones para aprender, las lecciones para aprender con los exámenes finales y los exámenes diagnósticos con los exámenes finales.

Resultados de t de Student

Al hacer el contraste para el módulo Análisis de varianza entre las calificaciones del examen diagnóstico y la lección para aprender, se encontró una calificación promedio de 9.6262 (DE = 1.5496) de los 12.00 que se podía obtener como máximo en el examen diagnóstico y en la lección para aprender; los estudiantes en promedio obtuvieron una calificación de 12.29 (DE = 1.9713) de los 14.00 que es la calificación más alta, lo cual muestra una diferencia de −2.66681 entre las calificaciones de las dos actividades; al calcular la t de Student relacionada, se obtuvo un valor de t = −11.513, gl = 90, con una probabilidad asociada de p = 0.000 < 0.05, lo que indica que hay diferencias significativas entre las calificaciones de los estudiantes del examen diagnóstico y de la lección del módulo Análisis de varianza.

En el examen final los estudiantes obtuvieron en promedio 17.6856 (DE = 1.25686) de los 19.00 puntos de calificación máxima; al obtener la t de Student de la lección y el examen final, el valor de t = −28.740, gl 71, con una probabilidad estadística de p = 0.000 < 0.05, lo que indica que hubo diferencias significativas en las calificaciones de los alumnos en la lección para aprender y el examen final.

En cuanto al examen diagnóstico, en contraste con el examen final, se obtuvo un valor de t = −38.847, gl = 71, con probabilidad estadística de p = 0.000 < 0.05; estos resultados son estadísticamente significativos.

De igual manera, en el módulo Regresión lineal simple se encontró que en el examen diagnóstico se obtuvo un promedio de 7.2522 (DE = 1.35618), cuando la calificación máxima fue de 10.00 y la Lección para aprender tuvo un promedio de 9.3896 (DE = 1.57410), con una calificación máxima de 10.00; el valor de t = −9.952, gl = 76, con probabilidad estadística de p = 0.000 < 0.05; estos resultados son estadísticamente significativos, por lo que es evidente que hubo diferencias entre las calificaciones del examen diagnóstico y de la lección para aprender sobre Regresión lineal simple.

Respecto al contraste de lección de Regresión lineal y el examen final del mismo módulo, el valor de t = −17.969, gl = 66, con probabilidad estadística de p = 0.000 < 0.05, indica que las calificalificaciones entre estas dos actividades son diferenciales.

En el caso del examen diagnóstico con el examen final, se obtuvo un valor de t = −25.386, gl = 66, p = 0.000 < 0.05, resultados estadísticamente significativos.

En el caso del módulo de Regresión lineal múltiple, los resultados respecto al examen diagnóstico se tuvo un promedio de calificaciones de 3.5281 (DE = 1.04886) cuando la puntuación más alta que se podía obtener era de 5, y en la lección para aprender el promedio fue de 7.5660 (DE = 0.65980) de 8.00, que fue la calificación máxima; al obtener la diferencia entre estas dos actividades con t de Student, se observa t = −27.756, gl = 66, y p = 0.000 < 0.05, con diferencias significativas.

En cuanto a la lección para aprender, contrastándola con las calificaciones del examen final, se obtuvo un valor de t = 13.521, gl = 64, p = 0.000 < 0.05, de nuevo con diferencias significativas.

En el examen diagnóstico, comparado con el examen final, el resultado indicó t = −24.612, gl = 64, p = 0.000 < 0.05, resultados estadísticamente significativos; es necesario mencionar que en este módulo 61 estudiantes aprobaron, es decir, 42.1% de alumnos que iniciaron el curso.

DISCUSIÓN

El objetivo de este trabajo es analizar el sistema de evaluación del curso en línea autogestivo modular de estadística avanzada, con el supuesto de que, de acuerdo con las calificaciones obtenidas de los estudiantes, los aprendizajes fueron diferenciales según el sistema de evaluación, lo cual se confirmó con los resultados; sin embargo, al suponer que los estudiantes harían varios intentos y mejorarían sus calificaciones, no se apreció porque las calificaciones más altas las obtuvieron con pocos intentos.

Por una parte, más resultados favorables se encontraron sobre el diseño y objetivo con el cual se creó el curso; por otra parte, en cuanto al aprendizaje de los estudiantes de acuerdo con el entorno del curso.

Respecto al diseño del curso se pretendía fomentar el aprendizaje autogestivo (Chaves, 2016), el cual se caracteriza por cuatro fases distintivas —1) planificación; 2) seguimiento; 3) control, y 4) evaluación—, en las que el estudiante debe identificar sus necesidades de aprendizaje, establecer sus objetivos, efectuar búsqueda de recursos, elegir e implementar sus estrategias y sus métodos de aprendizaje, además de desarrollar actividades de evaluación.

Con el sistema de evaluación de este curso se creó un entorno en el que los estudiantes, una vez que presentaron los exámenes diagnósticos, planificaron qué actividades desarrollarían primero y cuáles después, cuál sería el primer módulo que estudiarían y en qué orden los tomarían. Después, conforme estudiaron, la evaluación formativa les daba retroalimentación numérica y cualitativa, en forma de comentarios en los ejercicios autoaplicables que los guiaba en su desempeño; de esta manera dieron seguimiento y controlaron las actividades que desarrollaron; además, como podían resolver varias veces los ejercicios y problemas que se les presentaban, investigaban en internet de manera libre para tener mejores resultados en un segundo intento y de este modo mejorar, tal como pretende el aprendizaje autogestivo.

Respecto a esta dinámica que posibilita el curso, se observó libre navegación, ya que se tuvo diferente número de estudiantes en cada módulo, según el plan que cada estudiante decidía seguir para estudiar. Pero es necesario destacar que los exámenes diagnósticos tuvieron un papel importante para que los estudiantes midieran de algún modo el nivel de conocimientos que tenían, y así decidían qué estudiar. En este caso, según los módulos de estadística avanzada, el análisis de regresión implica también el análisis de varianza, por lo que los temas de los tres módulos están muy relacionados de manera secuencial; esto explica por qué en la figura 1 se muestran más estudiantes en el módulo Análisis de varianza, menos en el de Regresión lineal y aún menos en el de Regresión lineal múltiple. Los cursos en línea autogestivos modulares tienen un comportamiento distinto cuando los módulos no están tan relacionados o dependen entre sí; con seguridad la distribución de los estudiantes será diferente.

Respecto al aprendizaje de los estudiantes, este tipo de análisis del sistema de evaluación del curso en línea permitió probar la propuesta del curso en línea autogestivo modular; se logró indagar el nivel de aprendizaje teniendo como referente las calificaciones y el número de intentos o veces que tomaban las lecciones; se observó que el número de estudiantes que desarrollaron las actividades variaba por el factor de libre decisión y navegación, porque decidían si continuaban o no con las lecciones para reafirmar los conocimientos previos, o decidían hacer el examen final para aprobar el módulo, si es que en el examen diagnóstico obtenían una calificación aprobatoria; esto es adecuado porque el curso se los permitía. Asimismo, es necesario destacar que aunque los estudiantes tenían la oportunidad de retomar las “lecciones para aprender” en varias ocasiones de modo ilimitado, la tendencia fue que no lo hicieron; en promedio hicieron tres intentos, y las altas calificaciones se obtuvieron sobre todo en el primero, cuando mucho en segundo intento; este resultado puede deberse a la autorregulación generada en el curso por las actividades de evaluación diseñadas con ese objetivo, como han encontrado otros autores (Kizilcec, Pérez-Sanagustín y Maldonado, 2017).

Una característica del sistema de evaluación del curso fue la retroalimentación; en las “Lecciones para aprender” los comentarios que orientaban al estudiante permitieron confirmar sus conocimientos, y en los juegos pudieron practicar los problemas o conceptos reforzando su aprendizaje; esto como parte de la evaluación formativa. También los exámenes, tanto el diagnóstico como el final, como tenían tres oportunidades para resolverse el estudiante podía confirmar o incluso rectificar sus respuestas; esto es relevante, como indican Mohamed y Ali (2016), quienes encontraron que la retroalimentación de los exámenes puede ayudar a los estudiantes a evaluar y estimar cómo pueden mejorar su progreso académico; afirman que los estudiantes pueden conocer su situación académica real; por tanto, les motivan para mejorar y desarrollar su rendimiento académico de acuerdo con estándares específicos para lograr el aprendizaje.

Otro punto que se discute en los cursos en línea autogestivos o autónomos es la deserción; en este caso, de los 145 estudiantes que comenzaron el curso, 61 aprobaron, es decir 42% no concluyó; en comparación con otros estudios de cursos de tipo autónomos, fue similar como lo obtuvieron Enríquez-Negrete, Arias-García, Sánchez-Medina y Oseguera-Jiménez (2018). Sin embargo, esto es común también en la educación presencial, como lo ha mostrado la ANUIES (Hermosillo, 2016); en México el porcentaje de alumnos que ingresan a estudios universitarios y no los concluyen es 40%; además, Silva-Rodríguez (2016) demostró que los índices de deserción de las carreras presenciales y el de una carrera en línea de una dependencia pública de educación superior de la UNAM no difieren; incluso en algunos casos es mayor el número de alumnos que abandonan los estudios en carreras presenciales que los que dejan los cursos en línea.

Por otro lado, el uso de herramientas multimedia para fomentar la interactividad ha sido de gran utilidad como parte de la evaluación formativa; como señala Ponce (2016), la interactividad al interior del ambiente virtual de aprendizaje depende del resultado de articular de modo conveniente textos escritos, ilustraciones, gráficos, cuadros, secuencias de video, sonido o música. La presentación de contenidos por medio de estas formas desencadena nuevas relaciones cognitivas y sensoriales en los alumnos, aumenta su motivación y su gusto por aprender debido a su gran poder de atracción; en este curso las actividades y materiales del entorno que se dispusieron, complementaron el aprendizaje, como la sección Aprende Offline, con descargables en formato PDF, mp3 o el código QR; con ellos los estudiantes pueden disponer cuántas veces quieran y tener las lecciones en sus dispositivos móviles, computadoras o tabletas, además de que el diseño del contenido distribuido con jQuery, así como videos y juegos interactivos con Educaplay, fomentaron la interactividad que indica Ponce.

CONCLUSIONES

El curso en línea modular autogestivo de estadística avanzada, con sistema de evaluación diagnóstica, formativa y sumativa, puede ser una opción para especializarse en metodología de la investigación en el área de las ciencias de la salud y ciencias sociales.

Respecto a la evaluación de los aprendizajes, los exámenes diagnósticos y los finales fungen como una herramienta porque son indicadores de los conocimientos previos y de los adquiridos durante el curso; asimismo el uso de herramientas interactivas y algunas preguntas relacionadas con la lección cumplieron con la finalidad de garantizar un aprendizaje autodirigido.

En los últimos años la demanda de la enseñanza en línea ha aumentado de modo favorable con oferta como los MOOC y los cursos en línea autogestivos; se puede extender la educación que se ofrece a nivel presencial, por lo que es muy importante promover e innovar este tipo de investigaciones en esta área, pues es necesario conocer, por medio de fundamentos teóricos y prácticos, los lineamientos para orientar la aplicación de cursos posteriores al que aquí se describe, esperando que se tome como referencia.

REFERENCIAS

Artino, A. R. (2007). Online military training. Using a social cognitive view of motivation and self-regulation to understand students’ satisfaction, perceived learning, and choice. Quarterly Review of Distance Education, 8(3), 191-202.

Black, P., & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability (formerly: Journal of Personnel Evaluation in Education), 21(1), 5.

Cerda, C., y Osses, S. (2012). Aprendizaje autodirigido y aprendizaje autorregulado: Dos conceptos diferentes. Revista médica de Chile, 140(11), 1504-1505.

Chaves, E. (2016). Investigación educativa sobre Autogestión en los Entornos Personales de Aprendizaje (PLE): Una revisión de literatura. EDMETIC, 5(2), v 2016, 202-222

Cheng, A. C., Jordan, M. E., Schallert, D. L., & The, D. (2013). Reconsidering assessment in online/hybrid courses: Knowing versus learning. Computers & Education, 68, 51-59.

Dorrego, E. (2016). Educación a distancia y evaluación del aprendizaje. Revista de Educación a Distancia (50), 1-18.

Enríquez-Negrete, D. J., Arias-García, B. D., Sánchez-Medina, R., y Oseguera-Jiménez, O. A. (2018). Análisis longitudinal del desempeño académico de estudiantes de educación superior en un curso autónomo en línea. Revista Latinoamericana de Tecnología Educativa-(RELATEC) 17(2), 101-115.

Fasce, E., Pérez, C., Ortiz, L., Parra, P., y Matus, O. (2011). Estructura factorial y confiabilidad de la escala de aprendizaje autodirigido de Fisher, King y Tague en alumnos de medicina chilenos. Revista médica de Chile, 139(11), 1428-1434.

Gallego, M., Gámiz, V., y Gutiérrez, E. (2015). Tendencias en la evaluación del aprendizaje en cursos en línea masivos y abiertos. Educación XXI, 18(2), 77-96.

Gómez, H. (2015). Uso de los cuestionarios como metodología de evaluación en la modalidad e-learning. Informática Educativa, 3(1), 9.

Grow, G. O. (1991). Teaching learners to be self-directed. Adult education quarterly, 41(3), 125-149.

Guarneros-Reyes, E., Espinoza-Zepeda, A, Silva-Rodríguez, A., y Sánchez-Sordo, J. (2016). Diseño de un curso autogestivo modular en línea de metodología de la investigación para universitarios, México. Hamut’ay, 3(2), 7-24. https://doi.org/10.21503/hamu.v3i2.1305

Hadwin, A. F., Järvelä, S., & Miller, M. (2011). Self-regulated, co-regulated, and socially shared regulation of learning. Handbook of self-regulation of learning and performance, 30, 65-84.

Hermosillo, G. (2016). Modelo de estudio para el análisis del impacto de las TIC como medio para la disminución de la deserción universitaria. Tesis de maestría. México: Universidad Autónoma de Aguascalientes.

Hernández, A., y Martínez M. (2014). La investigación evaluativa: Enfoque estratégico para una educación a distancia en entornos virtuales de calidad. Aula de Encuentro, 2(16).

Kizilcec, R., Pérez-Sanagustín, M., & Maldonado, J. (2017). Self-regulated learning strategies predict learner behavior and goal attainment in Massive Open Online Courses. Computers & education, 104, 18-33.

Kuo, Y., Walker, A., Belland, B., & Schroder, K. (2013). A predictive study of student satisfaction in online education programs. The International Review of Research in Open and Distributed Learning, 14(1), 16-39.

Kuo, Y., Walker, A., Schroder, K., & Belland, B. (2014). Interaction, Internet self-efficacy, and self-regulated learning as predictors of student satisfaction in online education courses. The Internet and Higher Education, 20, 35-50.

Lawton, D., Vye, N., Bransford, J., Sanders, E., Richey, M., French, D., & Stephens, R. (2012). Online learning based on essential concepts and formative assessment. Journal of Engineering Education, 101(2), 244-287.

López, M. (2013). Aprendizaje, competencias y TIC. México: Pearson.

Mohamed, N., & Ali, M. (2016). The Role of Online Diagnostic Exams on the Higher Education Students Performance. International Journal of Engineering and Information Systems, 1(8), 147-152.

Pasek de Pinto, E., y Mejía, M. (2017). Proceso general para la evaluación formativa del aprendizaje. Revista Iberoamericana de Evaluación Educativa, 10(1), 177-193.

Ponce, M. (2016). La autogestión para el aprendizaje en estudiantes de ambientes mediados por tecnología/Self-managed learning in students within technology-mediated environments. Diálogos sobre educación (12).

Quesada, R. (2006). Evaluación del aprendizaje en la educación a distancia. Revista de Educación a Distancia.

Rahayu, E., Permanasari, A., & Effendi, F. (2017, November). Evaluation of learning process based on massive open online course (MOOC) scheme in numerical method subject. In Information Technology, Information Systems and Electrical Engineering (ICITISEE), 2017 2nd International conferences on (pp. 473-478). IEEE.

Ryan, S., Scott, B., Freeman, H., & Patel, D. (2000). The virtual university: The Internet and resource-based learning. London: Kogan Page.

Sancho-Vinuesa, T., y Escudero-Viladoms, N. (2012). ¿Por qué una propuesta de evaluación formativa con feedback automático en una asignatura de matemáticas en línea? Revista de Universidad y Sociedad del Conocimiento (RUSC), 9(2).

Silva-Rodríguez, A. (2016). La educación a distancia en la UNAM: Una semblanza desde el SUAyED Psicología. UNAM, FES-Iztacala, LEED.

Silva, A. (2015). PAPIME PE303215 Diseño de cursos en línea sobre estadística y manejo del paquete estadístico SPSS en su nivel básico, intermedio y avanzado para estudiantes de licenciatura y posgrado. México: DGAPA-PAPIME-UNAM.

Tobón, S. (2008). La formación basada en competencias en la educación superior: El enfoque complejo. México: Universidad Autónoma de Guadalajara.

Vonderwell, S. K., & Boboc, M. (2013). Promoting formative assessment in online teaching and learning. TechTrends, 57(4), 22-27.

Zimmerman, B. J. (2008). Investigating self-regulation and motivation: Historical background, methodological developments, and future prospects. American Educational Research Journal, 45(1), 166-183.