Evaluación del impacto del seminario análisis conductual aplicado usando el modelo de Kirkpatrick

RESUMEN

El objetivo fue evaluar el impacto del seminario Análisis Conductual Aplicado (b-learning) en la práctica profesional de los participantes usando el modelo de Kirkpatrick. Colaboraron 50 egresados (𝑥̅ = 31.8 años), de las generaciones 2008-2018; ellos recibieron la dirección electrónica del cuestionario (Google Drive). Los resultados indican que la evaluación del aprendizaje obtuvo (𝑥̅ = 8.96), la evaluación de la satisfacción (𝑥̅ = 9.0372), la evaluación de la transferencia del conocimiento (𝑥̅ = 8.6175) y la evaluación del impacto de los conocimientos (𝑥̅ = 8.78). Las comparaciones estadísticas se hicieron con la prueba t de Student de una muestra; al comparar el promedio de calificaciones de los egresados se obtuvieron diferencias significativas (p = 0.001); la satisfacción con los docentes obtuvo diferencias significativas (p = 0.001), y la evaluación general obtuvo diferencias significativas (p = 0.001). Se concluye que el curso propicia la superación, la aplicación de conocimientos y el mejoramiento de actividades profesionales, por medio de modelos b-learning y con profesores capacitados en TIC.

Palabras clave: análisis conductual aplicado, b-learning, impacto, Kirkpatrick.

ABSTRACT

The objective was to evaluate the impact of the Applied Behavioral Analysis (b-learning) seminar on the participants’ professional practice using Kirkpatrick’s model. Fifty graduates (𝑥̅ = 31.8 years), of the 2008-2018 generations, collaborated and received the email address of the questionnaire (Google Drive). The results indicate that the learning assessment obtained (𝑥 ̅ = 8.96), the satisfaction assessment (𝑥̅ = 9.0372), the knowledge transfer assessment (𝑥̅ = 8.6175) and the knowledge impact assessment (𝑥̅ = 8.78). Statistical comparisons were made with the Student t test of a sample, comparing the average grades of the graduates obtained significant differences (p = 0.001); satisfaction with teachers obtained significant differences (p = 0.001); and the general evaluation obtained significant differences (p = 0.001). It is concluded that the course favors the overcoming, the application of knowledge, and the improvement of professional activities, by means of b-learning models and with teachers trained in ICT.

Keywords: Applied Behavioral Analysis, b-learning, impact, Kirkpatrick.

INTRODUCCIÓN

El Instituto Politécnico Nacional es una institución de educación superior clasificada como una universidad pública federal; por tanto, entre sus tareas fundamentales están la enseñanza, generación de proyectos de investigación, incubación y aplicación del conocimiento, propagación de la cultura (SEP, s.f.) y la impartición de cursos de actualización y superación académica (Cámara de Diputados, 1982). Está integrado por 13 escuelas de nivel medio superior y 25 unidades de educación superior (IPN, 2017); una de esas escuelas es el Centro Interdisciplinario de Ciencias de la Salud Unidad Santo Tomás (CICS UST), creado el 25 de abril de 2000 con la aprobación de tres licenciaturas relacionadas con la salud (licenciatura en odontología, licenciatura en optometría y licenciatura en psicología) (IPN, s.f.).

En el CICS UST se ha impartido la licenciatura en Psicología desde el año 2000, ubicándose rápidamente como una licenciatura con alta demanda de alumnos; en su historia ha tenido dos planes de estudio (Plan 2000 y Plan 2010); las principales diferencias entre ambos son que en el Plan 2010 las denominadas asignaturas son ahora conocidas como unidades de aprendizaje (UA), las cuales tienen créditos Tepic (para las actividades teóricas y prácticas) y créditos SATCA (donde se contabilizan las diferentes actividades de los alumnos que antes no se contemplaban, cursos, actividades deportivas, culturales, etcétera), y que en la trayectoria escolar los alumnos pueden elegir la carga máxima, mínima o la carga promedio, además de que cuentan con una serie de unidades de aprendizaje electivas (las cuales pueden cubrir también con actividades culturales, deportivas, de investigación, etcétera) y unidades de aprendizaje optativas (las cuales pueden elegir del menú del IPN o cualquier otra IES). Por último, el Plan 2010 está integrado por unidades de aprendizaje “institucionales” en los tres planes de estudio del IPN como “técnicas de aprendizaje auto regulado”, “identidad politécnica”, “habilidades del pensamiento”, etcétera.

En la parte pedagógica los programas de estudio se han organizado con un nuevo formato, el cual solicita que se aclare la estrategia didáctica (basada en problemas, en proyectos, en aprendizaje colaborativo o casos) especificando el tipo de método de instrucción en que se basará el profesor (inductivo, deductivo, analógico y/o heurístico); al final las actividades de aprendizaje deberán estar basadas en el alumno, y en general se sugiere usar mapas, cuadros comparativos, resúmenes, cuadros sinópticos, etcétera. Es pertinente aclarar que el modelo educativo está basado en el constructivismo, y la evaluación de los aprendizajes en la demostración de competencias.

En el rubro de titulación, el IPN y el CICS UST ofrecen 11 opciones de titulación (IPN, 2013), proyecto de investigación, tesis, memorias de experiencia profesional, examen de conocimiento por áreas, por créditos de posgrado, por estudios de licenciatura, por escolaridad, por curricular, por práctica profesional, por programa especial y por seminario.

Las características que se deben cumplir con la opción de los seminarios son según los reglamentos (IPN, 1992, 1990): que deben estar diseñados con 150 horas mínimas, que deberán ser presentados para su aprobación ante el H. Consejo Técnico Consultivo Escolar (HCTCE), y después obtener la aprobación de la Secretaría Académica (SA), quienes emiten la autorización y un registro, el cual tendrá dos años de vigencia. El alumno participante deberá acreditar el seminario con una calificación mínima de 8, con una asistencia de 90% y la presentación de un trabajo escrito con temas vistos en el curso dirigido por un asesor que deberá vigilar el cumplimiento organizado del trabajo escrito, la estructura de éste y el formato en que será entregado y presentado en el lapso establecido en el reglamento.

Entre las características principales el programa de seminario debe tener una introducción, objetivos, temas, metodología y didáctica, evaluación, bibliografía, duración, calendario de actividades, currículo de los expositores, etcétera (IPN, 1990); un punto importante a mencionar es que los seminarios deberán aportar a la superación y sobre todo a la actualización de los participantes en su profesión, tanto en lo teórico como en lo práctico (IPN, 1990: 8), pudiendo participar en dichos cursos cualquier alumno de IES del IPN, tanto las escuelas incorporadas como las que tengan celebrado un convenio (IPN, 1990).

De esta manera el CICS UST admitió en 2008 la impartición del seminario de actualización con opción a titulación “Análisis Conductual Aplicado” (ACA) como una respuesta a los egresados de cinco generaciones que no habían obtenido su titulación por las opciones ya mencionadas; de esta manera, el primer programa presentado cumplía con 150 horas presenciales y 14 temas de desarrollo (introducción al análisis conductual aplicado, principios de condicionamiento operante, selección de la conducta meta, medición de la conducta, registro conductual, fuentes de artificio y sesgo, metodología para realizar un cambio conductual, técnicas de modificación conductual, técnicas para facilitar el cambio conductual, evaluación de la intervención y del tratamiento, evaluación del cambio conductual, presentación de los resultados, aspectos críticos del análisis conductual aplicado y tendencias futuras del análisis conductual aplicado).

Las estrategias didácticas con que se impartió el seminario fueron: dinámicas grupales, exposición del profesor, revisión y discusión de artículos para cada subtema, prácticas dentro del aula, resolución de ejercicios en clase de cada subtema, roll playing, modelamiento, representación, prácticas fuera del aula, desarrollo de entrevistas, exposiciones semanales de avances de proyecto, asesorías del instructor y análisis y corrección de textos. El sistema de evaluación correspondía a tres exámenes teóricos con 40%, la evaluación continua con 10%, y la exposición semanal 50%. Este programa fue impartido en 2008 y 2009. Debido a que por reglamento se terminó la vigencia del registro obtenido en la Secretaría Académica, fue necesaria una actualización del programa del seminario.

El programa del seminario ACA 2010, incluye ajustes a su impartición; los cambios más importantes fueron incluir la modalidad de impartición b-learning, esta decisión fue tomada por el análisis de que la mayoría de los participantes en el curso ya tenían actividades laborales, las cuales dificultaban acudir a las sesiones presenciales y cumplir con las actividades programadas; también se incluyeron temas como las técnicas cognitivo conductuales como alternativa en la modificación de la conducta. Este programa se desarrolló en su modalidad a distancia en el Campus Universitario Virtual de Educación a Distancia (CUVED), el cual a su vez estaba desarrollado en la plataforma Modular Objet Oriented Dinamic Learning Environment o MOODLE (entorno de aprendizaje dinámico orientado a objetos modulares) (Universidad de Antioquía, s.f.) en su versión 1.9, hasta el año 2011.

Este cambio hizo necesario un replanteamiento de las estrategias didácticas usadas hasta el momento porque coincidía con el rediseño curricular de la licenciatura y su presentación ante el Consejo General Consultivo (CGC) del IPN; la propuesta de plan de estudios 2010 de la licenciatura en Psicología era una modificación del Plan de Estudios 2000. En la propuesta de Plan de estudios 2010, se hacía un cambio en la didáctica general del IPN; en concreto, buscaba enfocar la atención en el desarrollo de actividades de aprendizaje (basado en actividades de aprendizaje del alumno, es decir, en el constructivismo) y no de enseñanza (que eran las actividades que comúnmente hacía el profesor); además se procuraba redactar competencias y no objetivos (se quería describir lo que el alumno aprendería a hacer y que podría demostrar, y no sólo mencionar lo que el profesor pretendía lograr), procurando incluir las tecnologías de la información y comunicación (TIC); para lograr el propósito anterior se generó una buena cantidad de cursos para su conocimiento y uso.

En este panorama de esfuerzo colectivo por modificar un plan de estudio y los programas académicos de las unidades de aprendizaje es que se transforma también el seminario de actualización con opción a titulación ACA; se incluyeron actividades de aprendizaje en plataforma como opciones de descarga de presentaciones de los diferentes temas, práctica dentro del aula virtual (actividades solicitadas a los participantes y petición de que subieran los productos para revisión en los espacios destinados para ello), selección de videos de diferentes temas, participación en los diferentes foros (con la participación de los docentes como moderadores y evaluadores de las opiniones de los alumnos), entrevista y envío de informes en plataforma (se les proporcionaba un formato general de entrevista y se solicitaba subieran su archivo para revisión), se generaron diferentes podcast de distintos temas, se solicitaron diferentes tareas dentro de la plataforma virtual (resúmenes, entrevistas, opiniones, análisis de videos, etcétera) participación activa en las wikis (definiciones de diferentes conceptos que se podían elaborar de modo colectivo) y enlaces web, solución de cuestionarios en plataforma (o exámenes parciales de evaluación, diseñados con preguntas de opción múltiple, relación de columnas, de autocompletar; con retroalimentación y diseñados para que el participante reflexionara sus respuestas y se percatara del error o acierto en la misma); estos exámenes estaban configurados para proporcionar una evaluación (de 0 a 10). La modalidad de trabajo elegida fue el b-learning (conocido como mixto), en el que se combinan sesiones presenciales con actividades a distancia (sobre todo en plataformas que consideran diferentes actividades) (Bartolomé, 2004, citado en González, 2006).

En este contexto se desarrolla la tercera actualización del seminario; los principales cambios propuestos en 2012 fueron en el objetivo; se mantuvieron las mismas actividades de enseñanza y aprendizaje presenciales y en plataforma; también en este año se planteó el seminario en la Plataforma Virtual del CICS-UST, la cual fue un esfuerzo del CICS-UST por mantenerse a la vanguardia en la tecnología aplicada al aprendizaje; fue desarrollada y diseñada por la Unidad de Tecnología Educativa y Campus Virtual y la Unidad de Informática UTEyCV, UI; la interfaz contempló el uso de los colores y logotipos institucionales y la inclusión de secciones como atención técnica (se ofrece información de las especificaciones de software necesario y los teléfonos de los responsables para asistencia técnica vía chat o teléfono), introducción (se redactó un texto de bienvenida a los participantes y ahí se les explica la manera de trabajar y los objetivos), temario, forma de evaluar (se ponían a disposición los índices de evaluación y las fechas de los exámenes), bibliografía (se presentaba una lista de obras para que el participante pudiera consultar en caso de necesitar más información), sitios de interés (enlaces a páginas web que pudieran ser de interés de los participantes, relacionadas con la temática del curso) y calendario presencial (incluía las sesiones presenciales en que se daría sesión).

El diseño del bloque central fue dividido por temas y dos enlaces: el de recursos (en el que se ponen a disposición del alumno las lecturas, videos, formatos o presentaciones que debe revisar para ese tema, junto con una breve introducción) y el enlace de actividades (en la cual se proporcionan la fecha, instrucciones y link de subida de archivos para ser revisados). Esta organización tuvo como objetivo ofrecer un ambiente más organizado, con menos saturación de texto e imágenes. También se hizo uso de los métodos de calificación avanzados, asignándoles los índices respectivos y la retroalimentación necesaria.

En 2014 se hizo una nueva actualización; los cambios más importantes fueron el incremento de horas (de 150 a 170), la inclusión del tema: “Conductas problema de alta resistencia al cambio” y el sistema de evaluación —tres exámenes teóricos 15%, evaluación continua 50% (en virtud de reconocer todo el trabajo desarrollado en la plataforma) y trabajo escrito 35%—.

Por último, en la actualización de 2016 se hizo la precisión de la distribución de las 170 horas, aclarando que son 100 horas presenciales (entre clases, asesorías y revisión de trabajo escrito) y 70 horas de trabajo en línea; se incluyó el tema de diseños de investigación y su análisis estadístico, se aclaró que los profesores usarán los métodos de enseñanza inductivo, deductivo, heurístico y/o analógico, y que el aprendizaje se fomentará por el desarrollo de un proyecto (trabajo escrito final, que será desarrollado durante el curso y presentado al final); se utilizan formatos para la presentación de conclusiones, cuadros comparativos, listas de cotejo, formatos de entrevista, carátula para el trabajo escrito, cuadros CQA, formato para hacer el análisis funcional, formato de práctica de diseños experimentales, prácticas para decidir el análisis estadístico de su intervención, rubrica para evaluar su presentación de trabajo escrito, lista de cotejo para evaluar su trabajo escrito y cuadro comparativo de las técnicas de modificación conductual; todo lo anterior con el objetivo de que los participantes (con las lecturas, las clases y las asesorías) adquirieran los elementos para llenar los formatos, y de esta manera describieran los conceptos mencionados, elaboraran una definición, los relacionaran con sus fundamentos teóricos y pudieran diferenciarlos.

De esta manera el seminario pretende desarrollar diversas competencias, como hacer entrevistas, establecer los objetivos de las intervenciones, definir y medir variables según sus características (duración, frecuencia, latencia, intensidad, topografía, etcétera), detectar problemas y describirlos en función del contexto en que se desarrollan, seleccionar o diseñar instrumentos de medición de la conducta, elaborar intervenciones contemplando los diseños experimentales (n = 1, o cualquier otro), elegir las técnicas de intervención conductual según el problema detectado, dar seguimiento al plan de intervención, evaluar el plan de intervención, usar técnicas cuantitativas para la medición del plan, interpretar los resultados de la evaluación del plan de intervención, ajustar el plan de intervención según los resultados, elaborar el reporte de la intervención, actuar de manera profesional y ética (Rodríguez et al., 2005; Zanatta y Camarena, 2012), que son de las competencias más valoradas por los empleadores (Ceneval, 2015, citado en García y Amador, 2016).

En términos generales, el propósito de usar las TIC en la impartición del seminario tuvo como prioridad el mejorar el acceso a los materiales, el desarrollo de exámenes, y la interacción entre los participantes e instructores. En un principio se pensaba en un aprendizaje e-learning (el uso de internet para que los participantes aprendan) (Simumak, 2013). Por lo contrario, y como su registro ante la SA lo avala, la modalidad de impartición fue b-learning (o mixto) porque los participantes revisaron los diferentes materiales, los organizaron, los compararon, llegaron a conclusiones y en las sesiones presenciales (ya sea en clase o en supervisión de trabajo escrito) expresaron sus dudas o reafirman sus conocimientos. La principal razón de programar sesiones presenciales fue esencialmente que aún no se ha encontrado un medio electrónico efectivo que ayude en la revisión, corrección e interacción con el trabajo escrito.

Sin embargo, después de 10 años de impartir el seminario a 15 generaciones de egresados, surge la pregunta “¿Cuál ha sido el impacto de los conocimientos adquirido por los participantes en el curso, en su práctica profesional?”; para medir el impacto de los cursos se han propuesto diferentes formas; por ejemplo, Rubio (2003) menciona por lo menos tres modelos de evaluación de cursos de formación: el modelo de Vann Slyke (el cual evalúa variables como las características institucionales, los participantes, el curso y el entorno de aprendizaje), el modelo de los cinco niveles de evaluación de Marshall and Shriver (evalúa variables como el docente, los materiales, el programa o currículo del curso, módulos y transferencia del aprendizaje) y el modelo de Kirkpatrick (que evalúa cuatro niveles: 1] el aprendizaje —conocimientos adquiridos—; 2] la reacción o evaluación de la satisfacción — se evalúan variables como expectativas, logro de objetivos, satisfacción con el curso, difusión, espacios, organización del curso, materiales, plataforma, ejercicios, temas, resultados de aprendizaje, competencia docentes, nivel de manejo de los temas, claridad, estructura de los temas, adaptación de los docentes a las necesidades, atención a los alumnos y utilidad—, 3] evaluación de la transferencia —se evalúa si los participantes mejoraron en la solvencia de errores en el trabajo, si encontraron nuevas formas de aplicación de los conocimientos adquiridos, si han obtenido mejores resultados, si pueden desarrollar nuevas tareas y si aumentó su motivación y autonomía—, y 4] la evaluación del impacto —mide la utilización del participante por medio del uso efectivo que hacen los estudiantes de las habilidades adquiridas con variables, como poner en práctica los conocimientos, la solvencia de dudas, el saber dónde aplicar los conocimientos y habilidades, si han obtenido mejores resultados y nuevas competencias, y si descubrieron herramientas útiles para su vida profesional— [Rubio, 2003; Jiménez y Barchino, 2011; Feixas, Lagos, Fernández y Sabaté, 2015; Biencinto y Caballo, 2006]).

Algunos investigadores (Jiménez y Barchino, 2011; Díaz, 2010) han propuesto el modelo de Kirkpatrick como uno de los más completos para evaluar el impacto de los cursos de formación y actualización; otros (Treviño, Sirhan, Moore y Montero, 2011; Savi, Gresse von Wangenheim, Ulbricht y Vanzin, 2010) han utilizado el modelo para evaluar sus cursos. Por lo anterior, el propósito del presente trabajo fue evaluar el impacto del seminario ACA en la práctica profesional de los participantes, usando como herramienta el modelo de Kirkpatrik. Esperamos encontrar diferencias significativas en las variables aprendizaje, satisfacción con los docentes y evaluación general del curso en alumnos que toman cursos de formación y actualización profesional.

MÉTODO

Participantes

En este trabajo participaron 50 egresados del seminario ACA, que corresponde a 15.6% del total de participantes; 60% eran mujeres y 40% hombres; el promedio de edad de estos fue de 31.8 años. Para conformar la muestra, a los participantes se les envió un correo electrónico o un mensaje de texto (SMS, WhatsApp, o Messenger, o por medio de redes sociales); en el mensaje se incluia la liga para dirigirse al cuestionario (fue elaborado en Google Drive). Como criterio de inclusión se estableció que hubieran tenido un empleo formal y, para la generación de 2018, haber pasado seis meses después del curso. La muestra fue no probabilística, y fue seleccionada por conveniencia (los que aceptaron responder el cuestionario); además, la muestra representa el 15.5% del total de los participantes.

Materiales

Se usaron las aplicaciones de formularios de Google (aplicación Google Drive), la cual es una aplicación de uso libre, en la que se elaboró el cuestionario de evaluación y fue distribuido por medio de una dirección electrónica proporcionada por la misma aplicación; también se usaron las aplicaciones SMS, WhatsApp, Messenger, Facebook o correo electrónico, teléfonos celulares, computadoras o tabletas, plataforma Moodle y software Excel.

Procedimiento

Se elaboró una base de datos con la información de correo electrónico o número de teléfono celular de los participantes registrados en la plataforma educativa en que se desarrolla el seminario; se procedió a enviar un correo electrónico con la invitación formal para responder el cuestionario; a otros participantes se les envío mensaje de texto y a otros la invitación por redes sociales. En las instrucciones del cuestionario se destacaba la solicitud de información de su experiencia en el seminario y la aplicación de los conocimientos del mismo; se les aclaró que su participación sería confidencial y los resultados serían mostrados de manera grupal (se acaró que de ninguna manera se usarían resultados individuales); se les pidió sinceridad en sus respuestas y se les mencionó que sus afirmaciones ayudarían a mejorar la propuesta didáctica del seminario.

Como consideraciones éticas se contempló la participación voluntaria en la respuesta al cuestionario por parte de los asistentes al seminario (la cual estaba expresada en la invitación que se les envió por diferentes medios electrónicos), obteniéndose de ese modo su consentimiento informado; se hizo uso de los datos de manera grupal y se les aclaró que su participación tenía que estar apegada a su experiencia en el curso y en la aplicación de los conocimientos del mismo, por lo cual se les pidió responder con sinceridad a todas las preguntas.

Mediciones

El cuestionario de evaluación fue el propuesto por Carrascosa, Jover y Nuevo (2011), el cual está dividido en las siguientes secciones: 1) evaluación del aprendizaje: fueron los conocimientos adquiridos en el curso (el promedio de las calificaciones finales obtenidas por los participantes en el seminario, que incluían la sumatoria de los exámenes, las calificaciones de las tareas entregadas y la entrega del trabajo escrito; Kirkpatrick, citado en Jiménez y Barchino, 2011); 2) evaluación de la satisfacción: fueron las respuestas cuantitativas respecto a la satisfacción con el curso (promedio de las valoraciones de los participantes a las preguntas de esta sección; Kirkpatrick, citado en Jiménez y Barchino, 2011); 3) evaluación de la transferencia: en esta sección se consideraron las calificaciones cuantitativas respecto a la aplicación de los conocimientos en el trabajo (promedio de las calificaciones cuantitativas a cada pregunta; Kirkpatrick, citado en Jiménez y Barchino, 2011), y 4) evaluación del impacto: se evaluó el uso efectivo de los conocimientos (se tomó el promedio de calificaciones cuantitativa a las preguntas de esta sección; Kirkpatrick, citado en Jiménez y Barchino, 2011). También se promediaron las calificaciones de las cuatro secciones para obtener el promedio final del seminario. Por último, al cuestionario se agregó una sección de datos sociodemográficos: edad, sexo, trabajo, año en que tomó el seminario, etcétera.

La validez del instrumento fue de constructo porque fue revisado por expertos en el área; se hicieron ajustes en la redacción de algunas preguntas; en total el cuestionario estuvo conformado por 34 cuestiones, las cuales tenían como opción de respuesta una escala de calificación de 0 a 10.

Análisis estadístico

Al contar con datos cuantitativos, en el análisis estadístico se propuso obtener las medias para hacer comparaciones con los resultados de evaluación de otros cursos, ya sea con las calificaciones obtenidas o con índices de “muy satisfecho” (calificaciones de 10 y 9), “satisfecho” (calificaciones de 8 y 7), “regularmente satisfecho” (6) y “no satisfecho” (5 y menores), similar a las propuestas para México (Moodle. Calificaciones con letras, 2017). La prueba estadística usada fue la t de Student para una muestra, al contar con una distribución normal de los datos y mediciones continuas.

RESULTADOS

En el seminario ACA han participado 321 alumnos, distribuidos en 15 generaciones a partir de 2008, progresando a su modalidad mixta en 2010 en el CUVED, y a partir de 2011 en la Plataforma Virtual del CICS-UST (tabla 1).

Por otra parte, el índice de aprobación fue de 95% y el de reprobación fue de 5%, produciéndose así una cantidad considerable (casi 305) de trabajos escritos finales, incluyendo revisiones teóricas, planes de intervención en diferentes contextos, propuestas de intervención, etcétera.

Tabla 1

El promedio de edad de los participantes fue de 31.8 años (la edad menor fue de 25 años y la mayor de 41); 60% eran mujeres y 40% hombres; 96% eran alumnos del CICS UST y 4% del CICS UMA.

El índice de participación por año fue: 8% en 2008, 12% en 2010, 6% en 2011, 16% en 2012, 6% en 2013, 12% en 2014, 10% en 2015, 6% en 2016, 6% en 2017 y 18% en 2018 (total: 100% de la muestra).

En la sección evaluación del aprendizaje, el promedio de calificaciones obtenido por los participantes (promedio de los exámenes, evaluación continua y trabajo escrito) fue de 8.96 (DS = 0.88; V = 0.77).

En la sección evaluación de la satisfacción se obtuvo un promedio general de 9.0372 (DS = 0.384; V = 0.148); los participantes evaluaron el cumplimiento de sus expectativas del seminario con una calificación de 9.16; el logro de objetivos con una calificación de 9.08; también calificaron la satisfacción general con 9.08; la difusión del curso la evaluaron con calificación de 7.87; los salones y laboratorios en que se desarrolló el seminario los evaluaron con una calificación de 9.4; la organización del curso la calificaron con 8.66; los materiales proporcionados los evaluaron con 8.92; la plataforma digital la calificaron con una valoración de 8.72; los ejercicios o prácticas las evaluaron con una calificación de 8.6; los temas tratados en el seminario los evaluaron con 9.18; mientras que evaluaron su aprendizaje con una calificación de 9.06, y consideraron que la utilidad en general de los conocimientos adquiridos era de 9.

En esta sección también se evaluó la satisfacción de los participantes con los instructores; de esta manera calificaron la competencia de los profesores con 9.44; también indicaron que el nivel con que se abordaron los temas fue de 9.3; la claridad de la exposición la calificaron con 9.44; la estructura del programa la evaluaron con 9.28; la adaptación de los profesores a las necesidades del grupo la evaluaron con 9.26, y la atención de las necesidades de los alumnos la calificaron con 9.22 (figura 1).

Figura 1

En cuanto a su correspondencia a índices, se obtuvo en la satisfacción del curso 76% que dijo estar muy satisfecho, 19% que indicó estar satisfecho, 3% que mencionó estar regularmente satisfecho y 5% que manifestó no estar satisfecho.

Por otro lado, la sección evaluación de la transferencia del conocimiento la evaluaron con un promedio de 8.6175 (DS = 0.258; V = 0.067), destacando con las calificaciones más altas los rubros “Poner en práctica los conocimientos”, con calificación de 9.04, y “Descubrimiento de nuevas maneras de aplicar sus conocimientos”, con 8.84. La calificación más baja fue la de “Aumento de la motivación”, con 8.22 (figura 2). Por otro lado, respecto a sus índices, éstos fueron: 63% estuvo muy satisfecho, 26% mencionó estar satisfecho, 4% dijo estar regularmente satisfecho y 7% declaró no estar satisfecho.

Figura 2

Por último, en la sección evaluación del impacto de los conocimientos los participantes evaluaron con promedio general de 8.78 (DS = 0.249; V = 0.062), destacando los rubros “Descubrimiento de escenarios de aplicación de los conocimientos” con calificación de 9.14, y la consideración de poner en práctica los conocimientos con calificación de 9.02 (figura 3). Sus índices fueron: 67% estuvo muy satisfecho, 25% satisfecho, 4% regularmente satisfecho y 4% no estuvo satisfecho. En resumen, el promedio obtenido por sección fue: evaluación del aprendizaje (8.96), evaluación de la satisfacción (9.0372), evaluación de la transferencia del conocimiento (8.6175) y evaluación del impacto del conocimiento (8.78) (figura 5).

Figura 3

Para hacer las comparaciones de datos, en primer lugar, se comparó la variable evaluación del aprendizaje con el promedio de calificaciones de los alumnos del seminario ACA; dicho promedio fue mayor que los reportados en otras investigaciones (8.96 > 8.3 > 8; p = 0.001, gl = 49) (Amador et al., 2015; Treviño, Sirhan, Moore y Montero, 2011), por lo que se acepta la hipótesis de trabajo (figura 4).

Figura 4

Respecto a la satisfacción con de los docentes que impartieron el seminario, la calificación que obtuvieron por los participantes fue mayor a lo obtenido por los profesores de la licenciatura en Psicología del CICS UST en el ranking de mejores universidades 2019 (9.32 > 8.75; p = 0.001, gl = 49, t = 3.951 y DS = 1.02) (El Universal, 2019), por lo que se acepta la hipótesis de trabajo.

Figura 5

Por último, la evaluación general del seminario ACA (promedio de todos los rubros evaluados por los participantes en el seminario) fue 8.8803 > 8.52 superior a la de otros resultados (Fresneda, 2001, p. 39) (p = 0.001, gl = 34, t = 5.857, DS = 36392), por lo que se acepta la hipótesis de trabajo.

DISCUSIÓN

En primer lugar, el seminario presenta una combinación de procesos de enseñanza aprendizaje como el aprendizaje de conceptos (de tipo memorístico, que se da cuando el participante revisa los materiales propuestos en la plataforma y resuelve los exámenes programados), aprendizaje significativo (combinación de conceptos, usos y aplicaciones, que se da en las clases presenciales mediante la exposición de temas por parte del instructor y la resolución de dudas, además de la elaboración de tareas, como los cuadros comparativos, listas de cotejo, etcétera), que se ven reflejados en la construcción de un proyecto de intervención en el que los alumnos fundamentan la solución de un problema por medio de la evaluación, análisis, metodología y medición de los resultados (que se proporciona en la tutoría personalizada). El método de proyectos ha demostrado ser una herramienta útil en el aprendizaje de los estudiantes (Luque, Quintero y Villalobos, 2012; Cenich y Santos, 2005; Rodríguez, Vargas y Luna, 2010), porque los conceptos aprendidos pueden ser aplicados en la solución de problemas reales mediante la supervisión de un asesor, lo que también propicia la transferencia de conocimientos a la vida profesional, mejora los procesos cognoscitivos, sociales y emocionales (Maldonado, 2008).

Además se comprobó que para el buen desarrollo de curso en modalidad b-learning es necesaria la experiencia de los docentes, tanto en los temas que imparte como en el uso de las TIC (González, 2006; Ayzemberg, 2009; Miranda, Aguilera, Rodríguez, Guzmán y Appiani, 2007; Ferrer y Bravo, 2012); de esta manera estará en condiciones de ofrecer a los que lo necesiten formación continua que responda a las necesidades laborales y profesionales de los egresados. Dentro de las habilidades requeridas están el diseño de los cursos, la creación de recursos didácticos, la interacción sincrónica y no sincrónica, la evaluación permanente (diseños de instrumentos de evaluación) y la comunicación. En el seminario ACA los profesores tuvieron una evaluación alta (9.32), lo que pudo influir en la percepción que tuvieron los participantes del curso.

Respecto a la comunicación, se observó que el diseño de la interfaz es muy importante en los cursos mixtos, como lo mencionan Salas y Fragoso (2000); en particular debe propiciar facilidad de navegación (enlaces a diferentes secciones del curso, utilizando herramientas de interacción como foros, chats, mensajes y correos electrónicos, uso de iconos descriptivos de las actividades, textos concretos y correctamente redactados). La interfaz debe estar divida en secciones diferenciables (como datos generales del curso: asistencia técnica, introducción, temario, evaluación, calendario, y temas: introducción, recursos, actividades y exámenes). La interfaz debe facilitar la navegación de los alumnos por los distintos recursos del curso, propiciando entendimiento y cumplimiento de las actividades (Delgado, 2005; González, Crespí y Barreno, 2006; Ortega, 2004), lo que se traducirá en un mejor aprendizaje de los contenidos. Los participantes que respondieron el cuestionario evaluaron la plataforma didáctica con calificación de 8.72, lo que demuestra que la interfaz era clara, sencilla y sistemática. También se evidencia que la inducción a la plataforma digital proporcionada al inicio del curso fue efectiva para el conocimiento de la misma.

Como mencionan Cabero y Gisbert (2005), la selección de materiales de aprendizaje debe hacer accesible la comprensión de los temas, facilitar la evaluación de los conocimientos y orientar el aprendizaje. Sin embargo, en el seminario se diseñaron materiales de aprendizaje orientados a actividades como indica Cabero (2012); en este sentido se elaboraron textos de introducción a cada tema, objetivos, presentaciones de Power Point, videos y enlaces a lecturas diversas; también se elaboraron formatos para la organización, comparación y clasificación de los conceptos (cuadros comparativos, cuadros sinópticos, etcétera) que ayudan al logro de los objetivos de aprendizaje. Los participantes evaluaron los materiales didácticos con calificación de 8.92 y los ejercicios propuestos con 8.6, lo cual manifiesta que fueron útiles en su aprendizaje. Otro aspecto positivo del seminario son los trabajos escritos terminales (tesinas, que es la estrategia de aprendizaje basado en proyecto) con que los alumnos integran la información proporcionada, y la que investigan de manera organizada, estructurada y coherente; también hacen propuestas de intervención basados en su ámbito laboral, contemplando la metodología y la ciencia, haciendo evaluaciones de sus intervenciones.

Algunos aspectos que es necesario enmendar para mejorar el seminario ACA son el servidor, que no tiene capacidad de soporte para los materiales que se usan (algunos recursos como videos no pueden ser contemplados porque no se pueden incluir en la plataforma; otras veces los alumnos experimentan problemas para subir sus tareas por falta de espacio). Por otra parte, se debe tener cuidado con la administración técnica en la habilitación y manejo del software Moodle, sobre todo en lo concerniente a las actualizaciones (se pierden material, vínculos y recursos); lo anterior está relacionado con el conocimiento técnico de las personas que administran la plataforma; son necesarios experiencia y conocimiento; también es necesaria la habilidad digital de los participantes en el manejo de TIC en el aprendizaje (algunos nunca han participado en cursos a través de internet); lo anterior requiere autogestión (tiempo dedicado a las actividades) y entendimiento de las actividades a desarrollar.

Uno de los aspectos que indicaron los alumnos como un punto a corregir es la promoción o difusión del seminario, porque los participantes evaluaron la misma con calificación de 7.87. Otro aspecto para considerar es proponer a los alumnos una lista de cotejo de las diferentes actividades y las fechas de cumplimiento para que puedan planear su desarrollo y tener control del mismo. También es necesario asignar asesores de manera temprana para que desde el principio dirija el desarrollo de los trabajos escritos, contando con más tiempo para su desarrollo, implementación y evaluación (SINED, 2015). Se propone aplicar las encuestas de satisfacción de manera sistemática a los egresados de las diferentes generaciones.

Para futuras investigaciones se sugiere que se elaboren evaluaciones diagnósticas de los conocimientos teóricos previos y posteriores, para hacer comparaciones en las calificaciones entre ambos momentos; también se propone que los superiores inmediatos (jefes) de los participantes en el seminario evalúen el desempeño laboral y profesional de los mismos, con el objetivo de obtener resultados más significativos del desempeño de los estudiantes, lo que también podría compararse con sus consideraciones individuales; también se podría obtener información de los conocimientos que son necesarios y que pueden agregarse al temario del seminario.

Algunas limitaciones del estudio radican en que los participantes en el seminario desarrollan diversas actividades laborales, desde las propias a la Psicología Laboral (reclutamiento, selección y capacitación de personal) o las afines con la Psicología Educativa (orientador, docente, etcétera) o las propias a la Psicología Clínica (consultorio particular, sector salud, etcétera), lo que refleja diversas necesidades de formación y diferentes habilidades desarrolladas en su vida profesional y laboral.

También en su mayoría los participantes buscan la titulación porque en sus empleos los han convenido a mejorar sus sueldos o su continuidad laboral a la obtención de su título profesional; eso es una variable difícil de controlar porque propicia una motivación extrínseca.

CONCLUSIONES

Una vez efectuadas las encuestas y su análisis estadístico, la primera conclusión es que el seminario Análisis Conductual Aplicado cumple con el objetivo considerado en el reglamento de seminarios “aportar a la superación y sobre todo la actualización de los participantes en su profesión, tanto en lo teórico como en lo práctico” (IPN, 1990, p. 8); a su vez se cumple con tener un “alto nivel academico” (IPN, 1990, p. 9), porque la evaluación de los profesores, como del seminario en general, ha obtenido evaluaciones satisfactorias.

En cuanto a la exigencia expresada en el reglamento de seminarios (IPN, 1990, p. 9) de que se tenga una metodología que propicie la superación profesional, se concluye que la modalidad b-learnig con que se imparte el seminario ACA ha sido adecuada porque combina sesiones presenciales con actividades en linea, lo cual es importante para los alumnos egresados, los que disponen de menor tiempo para acudir a formación presencial. Asimismo los materiales propuestos para la revisión de temas en la plataforma han resultado útiles porque contribuyen a la adquisición de conceptos y su relación con los demás conceptos, lo que facilita la elaboración del proyecto y su realización.

Tambien son muy importantes las revisiones academicas y técnicas que efectúan los miembros del H. CTCE, quienes hacen propuestas y observaciones útiles para el correcto desarrollo del curso. Al hacer la presentación de la actualización del seminario se formalizan los avances, se justifican los ajustes y se argumenta la metodología desarrollada; de la misma manera, como se ha mencionado en otros trabajos (Amador, González, Rojas, Montes y Ruiz, 2018) respecto a lo conveniente que resulta para los programas el que sean revisados en las áreas correspondientes del IPN, en este caso en la Dirección de Educación Superior (DES), porque de esa manera se garantiza la calidad del curso y su apego a la normatividad y procedimientos establecidos.

En el seminario se desarrollan diferentes competencias laborales y personales como las de análisis, síntesis, planeación, comunicación oral y escrita, toma de decisiones, trabajo en equipo y conducta ética, las cuales deberían ser evaluadas y comparadas con las que tenían antes de iniciar el curso.

REFERENCIAS

Amador, S. J., González, R. V., Balderrama, C. J., Cerecedo, V. P., López, O. J., Rivera, P. I., & Suárez, G. B. (2015). Rendimiento escolar en alumnos de nivel superior del IPN. Revista Digital Internacional de Psicología y Ciencia Social, 1(1), 90-101.

Amador, S. J., González, R. V., Rojas, B. A., Montes, L. A., & Ruiz, T. R. (2018). Efectos de un programa de formación docente en profesores de nivel superior. Revista Digital Internacional de Psicología y Ciencia Social, 4(2), 252-262. doi: http://dx.doi.org/10.22402/j.rdipycs.unam.4.2.2018.187.252-268

Ayzemberg, C. E. (2009). Análisis de las estrategias de aprendizaje/enseñanza en un contexto de educación a distancia: E-learning. Tesis doctoral. Granada, España: Universidad de Granada.

Biencinto, L. C., & Caballo, S. R. (2006). Determinación del impacto de la formación continua en el sector sanitario: diseño de un modelo de relaciones entre dimensiones. Revista Complutense de Educación, (17), 77-88.

Cabero, A. J. (2012). Tendencias para el aprendizaje digital: de los contenidos cerrados al diseño de materiales centrado en las actividades. El Proyecto Dipro 2.0. Revista de Educación a distancia, 1-27.

Cabero, A. J., & Gisbert, M. (2005). La formación en Internet: guía para el diseño de materiales didácticos. Sevilla: Eduforma.

Cámara de Diputados (1982). Ley orgánica del Instituto Politécnico Nacional. Recuperado el 27 de marzo de 2019, de http://www.diputados.gob.mx/LeyesBiblio/pdf/171.pdf

Carrascosa, G. M., Jover, C. J., & Nuevo, L. E. (2011). Servicio Andaluz de Salud. Consejeria Consejería de salud. Obtenido de http://www.juntadeandalucia.es/servicioandaluzdesalud/chjfiles/pdf/1323779006.pdf

Cenich, G., & Santos, G. (2005). Propuesta de aprendizaje basado en proyecto y trabajo colaborativo: experiencia de un curso en línea. Revista electrónica de investigación educativa. REDIE, 7(2), 1-18.

Delgado, K. (2005). Las plataformas en la educación a distancia. Revista Iberoamericana de Educación, 37(1), 1-5. Obtenido de file:///C:/Users/USUARIO/Downloads/1300Delgado.pdf

Díaz , M. T. (2010). Modelo de evaluación de la calidad de cursos formativos impartidos a través de Internet. RIED, 209-240. Obtenido de http://e-spacio.uned.es/fez/eserv/bi

El Universal (2019). Mejores Universidades. Queremos a los que saben que el futuro se trabaja. Suplemento especial, p. 64. Obtenido de https://interactivo.eluniversal.com.mx/2019/mejores-universidades/#page/70

Feixas, M., Lagos, P., Fernández, I., & Sabaté, S. (2015). Modelos y tendencias en la investigación sobre efectividad, impacto y transferencia de la formación docente en educación superior. Educar, 51(1), 81-107. doi: http://dx.doi.org/10.5565/rev/educar.695

Ferrer, K. M., & Bravo, D. L. (2012). Metodología PACIE en los ambientes virtuales de aprendizaje para el logro de un aprendizaje colaborativo. Diálogos educativos, (24), 3-17. Obtenido de file:///C:/Users/USUARIO/Downloads/Dialnet-MetodologiaPACIEEnLosAmbientesVirtualesDeAprendiza-4156135.pdf

Fresneda, H. Á. (2011). Evaluación formativa de un curso de formación continua destinado a jueces europeos. 1a Parte: Metodología y resultados del programa formativo. Revista de Educación a Distancia, (26). Obtenido de https://www.um.es/ead/red/26/fresneda1.pdf

García, R. M., & Amador, V. R. (2016). Oferta laboral para el psicólogo recién egresado. Revista Universitaria Digital de Ciencias Sociales, 7(12), 1-18.

González, M., Crespí, J. V., & Barreno, J. V. (2006). Moodle, una nueva herramienta para la enseñanza de la Geología. Enseñanza de las Ciencias de la Tierra, 14(1), 54-61. Obtenido de https://www.raco.cat/index.php/ECT/article/viewFile/89075/133913

González, M. J. (2006). B-Learning utilizando software libre, una alternativa viable en educación superior. Revista complutense de Educación, 17(1), 121-133. Obtenido de https://www.researchgate.net/profile/Julio_Gonzalez_Marino/publication/27591806_B-Learning_utilizando_software_libre_una_alternativa_viable_en_Educacion_Superior/links/0deec5304e295de331000000.pdf

Guardeño, N. G., & Enríquez, B. M. (2007). Moodle: una herramienta libre para la formación de usuarios virtual en la biblioteca de la Universidad de Málaga. Servicio de Automatización y Proceso Técnico.FALTA CITA EN EL TEXTO

Instituto Politécnico Nacional (IPN) (1990). ENCB. Recuperado el 2 de mayo de 2018, de https://www.encb.ipn.mx/upis/serviciosDocentes/formatosDES/formatosSeminarios2016/Seminarios.pdf

IPN (1992). Reglamento de titulación profesional del Instituto Politécnico Nacional. Obtenido de https://www.ipn.mx/assets/files/esca-sto/docs/Egresados/reglamento_titulacion.pdf

IPN (2013). Instituto Politécnico Nacional. Recuperado el 2 de mayo de 2018, de Opciones de titulación: http:/www.ipn.mx/egresados/Paginas/TITULACION.ASPX

IPN (2017). Instituto Politécnico Nacional. Recuperado el 2 de mayo de 2018, de www.ipn.mx/transparencia/Paginas/Unidades-Academicas.aspx

IPN (s. f.). Acontecimientos históricos. Recuperado el 27 de marzo de 2019, de https://www.ipn.mx/assets/files/main/docs/conocenos/cronologia-ipn.pdf

IPN (s. f.). Instituto Politécnico Nacional. Recuperado el 2 de mayo de 2018, de www.cics-sto.mx/Conocenos/Antecedentes.aspx FALTA CITA EN EL TEXTO

Jiménez, M. L., & Barchino, R. (2011). Evaluación e implantación de un modelo de evaluación de acciones formativas. Madrid: Universidad de Alcalá de Henares.

Luque, E. D., Quintero, D. C., & Villalobos, G. F. (2012). Desarrollo de competencias investigativas básicas mediante el aprendizaje basado en proyectos como estrategia de enseñanza. Actualidades Pedagógicas, (60), 29-49.

Maldonado, P. M. (2008). Aprendizaje basado en proyectos colaborativos. Una experiencia en educacion superior. Laurus. Revista de Educación, 14(28), 158-180.

Miranda, J. M., Aguilera, E. M., Rodríguez, K. S., Guzmán, D. C., & Appiani, E. M. (2007). Aproximación al mejoramiento profesional de docentes, en una experiencia chilena de formación permanente, en modalidad blended-learning: opiniones y significados. Revista Iberoamericana de Educación, 46(6), 1-11.

Moodle. Calificaciones con letras (2017). Obtenido de https://docs.moodle.org/all/es/Calificaciones_con_Letras

Ortega, S. I. (2004). Los cursos virtuales en la Universidad Nacional de Educación a Distancia: Posibilidades didácticas. Enseñanza & Teaching, (22), 391-412. Obtenido de http://e-spacio.uned.es/fez/eserv/bibliuned:20312/cursos_virtuales.pdf

Quiroz, J. E. (2010). Enseñar en los espacios virtuales: De” profesor” a” tutor”. Diálogos educativos, 19(11), 163-182. Obtenido de file:///C:/Users/USUARIO/Downloads/Dialnet-EnsenarEnLosEspaciosVirtuales-3294842.pdf FALTA CITA EN EL TEXTO

Rodríguez, M. J., Maciá, A. M., Rodríguez, S. F., Escribá, P. F., Chacón, F. P., & Rodríguez, S. F. (2005). Libro blanco. Estudios de grado en psicología. (B. M. Freixa, ed.) Barcelona: ANECA.

Rodríguez, S. E., Vargas, S. É., & Luna, C. J. (2010). Evaluación de la estrategia “aprendizaje basado en proyectos”. Educación y Educadores, 13(1), 13-25.

Rubio, M. (2003). Enfoques y modelos de evaluación del e-learning. RELIEVE, 9(2), 101-120. Obtenido de http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm

Salas, L. M., & Fragoso, C. P. (2000). Diseño y evaluación de un curso en línea para estudiantes de licenciatura. Revista electrónica de investigación educativa, 2(1), 54-67. Obtenido de https://redie.uabc.mx/redie/article/view/17/30

Savi, R., Gresse von Wangenheim, C., Ulbricht, V., & Vanzin, T. (2010). Proposta de um modelo de avaliação de jogos educacionais. Renote, 8(3).

Secretaría de Educación Pública (SEP) (s. f.). Subsecretaría de Educación Superior. Recuperado el 2 de mayo de 2018, de ses.sep.gob.mx/instituciones.html

Simumak. (2013). E-learning y b-learning: coincidencias, diferencias y detalles. Obtenido de http://simumak.com/es/e-learning-b-learning-coincidencias-diferencias-y-detalles

Sistema Nacional de Educación a Distancia (SINED) (2015). SINED. (ANUIES, ed.) Obtenido de http://sined.mx/sined/files/acervo/Diagnostico%20ESaD%20en%20Mexico.pdf

Treviño, X., Sirhan, M., Moore, P., & Montero, L. (2011). Impacto de un programa de formación en docencia en una escuela de medicina. Revista Medica de Chile, 139(11), 1508-1515. Obtenido de https://scielo.conicyt.cl/scielo.php?script=sci_arttext&pid=S0034-98872011001100019

Universidad de Antioquía (s. f.). Aprende en línea. Plataforma académica para investigación. Recuperado el 2 de mayo de 2018, de Las TIC como apoyo a la educación: http:/aprendeenlinea.udea.edu.co/lms/investigación/mod/page/view.php?id=3170

Zanatta, C. E., & Camarena, T. Y. (2012). La formación profesional del psicólogo en México: Trayecto de la construcción de su identidad disciplinar. Enseñanza e investigación en psicología, 17(1), 151-170.