Learning Analytics and academic performance prediction models

A review of predictive models of academic performance or at-risk students.
Image created with AI.
Published

June 28, 2024

1. Introducción

Desde inicios de los XX hasta la actualidad, la psicología ha realizado importantes estudios en el entendimiento del aprendizaje, tanto en la infancia, como en la etapa adolescente (Shaffer & Kipp, 2010). Diferentes teorías han surgido desde la psicología que explicarían cómo se produce el aprendizaje y que factores internos como externos lo mediarían. En efecto, teorías cognitivistas, conductuales, social-cognitivista y constructivistas (McInerney, 2005) han surgido y tomado protagonismo en el intento de explicar este complejo fenómeno personal y social. A su vez, diferentes investigaciones se han enfocado en entender los procesos de aprendizaje dentro el aula, estudiando cómo factores personales e inter-personales impactarían en el rendimiento final de los estudiantes, entre ellos destacan: estudios de autoeficacia (Bandura, 1977), compromiso (Miller, Greene, Montalvo, Ravindran, & Nichols, 1996) y componentes emocionales (Tyng, Amin, Saad, & Malik, 2017), entre otras.

En este mismo intento de comprender el aprendizaje y los contextos donde este se produce, la proliferación del uso de tecnologías también ha contribuido (Castro, Vellido, Nebot, & Mugica, 2007). Cabe señalar que dicha preocupación se enmarca en contextos educacionales que han tenido cambios sustanciales debido a esta explosión en el uso de las tecnologías. Entre estos nuevos contextos educacionales se pueden mencionar (1) aprendizaje virtual, (2) combinado, y (3) a distancia. Como consecuencia, diferentes disciplinas han emergido para intentar comprender estos nuevos contextos educacionales. Efectivamente, desde el 2000 han surgido disciplinas como Educational Data Mining (EDM) (Romero & Ventura, 2010), Academyc Analytics (AA) (Goldstein & Katz, 2005) y LA (Siemens, 2013). Estas disciplinas, usando sofisticados algoritmos computaciones, han intentado caracterizar y comprender los procesos de aprendizaje de los estudiantes. Sin embargo, existen distinciones entre estas tres disciplinas, y se argumenta que LA estaría ligada de manera más profunda y concreta en los aprendizajes de los estudiantes y en los contextos donde este ocurre (Ferguson, 2012).

Enfocando la atención en LA, esta herramienta desde su origen (2011 aproximadamente) ha ido en continuo crecimiento, y, hasta la fecha, ha captado la atención de múltiples investigadores con el fin de entender, por un lado, los procesos de aprendizaje de los estudiantes, y, por otro, la de tomar decisiones a nivel institucional para mejorar las experiencias y los procesos de aprendizaje de los estudiantes. En base a lo anterior, se puede definir LA como el proceso de medir, recolectar, analizar y reportar datos de estudiantes y de sus contextos, con el propósito de entender y optimizar el aprendizaje y los ambientes en los cuales éste ocurre (Clow, 2013). Debido al reciente surgimiento de LA, y a su manera positivista de interpretar la realidad en los contextos educacionales, todavía existen desafíos que enfrentar. Entre estos desafíos se encuentra el desconocimiento en el impacto en el aprendizaje y la falta de integración que suponen los aspectos computacionales de este campo con las investigaciones existente en el aprendizaje y educación (Gašević et al., 2015). Otro de los desafíos que ha enfrentado LA es la creación de un modelo que permita a los investigadores tener mayor conocimiento sobre los dominios o dimensiones en los cuales se enmarca. La importancia de establecer un modelo de LA es que, a partir de éste, es posible delimitar el ciclo de vida de los procesos que involucra una investigación en este campo (Rojas Castro, 2017). Enfocándose en un modelo para LA, el trabajo desarrollado por Greller y Drachsler (2012) ha podido identificar seis grandes dimensiones para este, estos son: (i) Instrumentos; (ii) datos; (iii) objetivos; (iv) partes interesadas; (v) limitaciones internas; y, (vi) limitaciones externas. Estas dimensiones representarían de cierta forma los delimitadores del campo en el sentido de que precisarían las fronteras, o más bien, los elementos que separan y distinguen los trabajos de la comunidad (Rojas Castro, 2017).

Ahora bien, es posible identificar o establecer focos de acción que sigue la línea LA. Estos ejes conversarían o estarían relacionados, en un menor o mayor grado, con cada una de las dimensiones comentadas anteriormente. Estos ejes son: (i) Problemas orientado a la pedagogía; (ii) Contextualización del aprendizaje, (iii) Aprendizaje en Red y (iv) Manejo de recursos educativos (Papamitsiou & Economides, 2016). Centrándonos en los primeros dos ejes, actualmente se pueden encontrar técnicas en LA que permiten abordarlas. Entre estas técnicas destacan los modelos que describen el proceso, la práctica y los desafíos del uso de modelos predictivos en la enseñanza, como también, técnicas que permiten identificar relaciones causales interpretables entre constructos que pueden ser inferidas a partir de los datos (Lang, 2017).

En base a lo explicado anteriormente, uno de los objetivos que busca esta revisión de literatura es abordar los dos primeros ejes expuestos. Para ello, se tiene como objetivo evidenciar, a través de trabajos empíricos, cuáles son los métodos o modelos utilizados por la comunidad de LA. En particular, este trabajo está enfocado en técnicas o métodos que se focalicen en la detección de estudiantes en riesgo, debido a que estos tienen mayor probabilidad de deserción en el sistema educativo. Se entenderá por estudiantes en riesgo, aquellos estudiantes que tienen una alta posibilidad de reprobar un curso o semestre dentro del contexto educativo (Wang & Newlin, 2002). De esta manera, a través de LA se tendría la capacidad de identificar tempranamente a estudiantes en riesgo de fracasar académicamente (o desertar), permitiendo tomar acciones e intervenciones oportunas para mejorar los procesos de aprendizaje y enseñanza de manera tal de apuntar en una mejora de la calidad de esta y en la retención de estudiantes.

En definitiva, este estudio estará guiado por las siguientes preguntas de investigación:

  1. ¿Qué técnicas o métodos se han utilizado en estudios empíricos para predecir estudiantes en riesgo?
  2. ¿Qué implicancias a nivel de investigación y de prácticas se pueden desprender de estos estudios empíricos?

Este texto se dividirá de la siguiente manera. Sección II describirá la metodología, comentando los criterios de inclusión y exclusión de los manuscritos. Los resultados de esta revisión de literatura se abordarán en la Sección III y serán discutidos en la Sección IV. Se finalizará esta revisión con la sección conclusión.

2. Metodología

El propósito de esta revisión bibliográfica es examinar estudios empíricos que incorporen como eje central la predicción de rendimiento académico o estudiantes en riesgo. En relación a lo anterior, esta revisión bibliográfica sólo se centrará en trabajos empíricos en inglés con foco exclusivo en educación superior.

Se realizó la búsqueda en dos bases de datos: Web of Science (WOS) y Journal of Learning Analytics (JLA). Las palabras claves para realizar esta búsqueda fueron: Learning Analytics, performance, risk, academic success y predict. En la Table 1 se encuentra el detalle del código de búsqueda que se utilizó para la base de datos WOS y JAL.

Table 1: Código de búsqueda en WOS y JLA
Base de datos Código de Búsqueda
WOS TS=(“Learning” NEAR/0 “Analytics” AND predict* AND (performance* OR *risk OR “academic” NEAR/0 “success” ) and dt=article AND wc=(EDUCATION EDUCATIONAL RESEARCH EDUCATION) AND PY=2013-2018
JLA performance* OR “academic success”OR risk* OR success

A continuación, se listan los criterios de inclusión-exclusión

  • Artículos vinculados exclusivamente con LA.

  • Publicaciones realizadas entre los años 2013 y 2018. Lo anterior con el fin de realizar una revisión de literatura lo más actualizada.

  • Artículos que tengan revisión de pares y que cumplan con los estándares de calidad.

  • Sólo se consideraron artículos en área WOS EDUCATION EDUCATIONAL RESEARCH EDUCATION. Esto sólo aplica para la base de datos WOS.

  • Alguna de las palabras claves con la que se realizó la búsqueda debían estar presentes en alguna de las siguientes secciones: título del artículo, resumen o palabras claves.

  • Sólo se consideraron artículos empíricos, excluyendo publicaciones teóricas que se enfocaran en la discusión o debate sobre la identificación de estudiantes en riesgo.

Al realizar la búsqueda en cada base de datos, se obtuvo un resultado total de 38 artículos para la base de datos WOS y 19 para JLA. Finalmente, luego de aplicar los criterios de inclusión-exclusión comentados anteriormente, la cantidad de artículos se redujo a 16 en total.

3. Resultados

En la Table 2 se encuentra el listado de los trabajos analizados mostrando el tamaño de la muestra, modalidad de análisis (a nivel de curso o de facultad), modalidad de instrucción, área disciplinar y tipo de variables involucradas.

Table 2: Resumen de investigaciones relacionadas con predictores educativos
Investigación N Nivel Modalidad_instrucción Área_disciplinar Objetivo_de_estudio Tipo_de_variables
Zacharis, 2015 134 Nivel curso Blended Ciencias de la computación Identificar predictores significativos Compromiso (LMS,Moodle); Rendimiento Académico
Jo, Kim, & Yoon, 2015 200 Nivel curso Online (solo para adultos) Finanzas y negocios - 'Credit Derivative' Identificar predictores significativos Compromiso (LMS); Rendimiento Académico
Gašević, Dawson, Rogers, & Gasevic, 2016 4134 Nivel de curso & Facultad Blended Ciencias de la Salud; Educación; Arte y Ciencias Sociales; Tecnología e información; Ingeniería y el ambiente; Finanzas Identificar predictores significativos Compromiso (LMS,Moodle); Rendimiento Académico; Sociodemográfico
You, 2016 530 Nivel curso e-learning Diversas facultades - 'Introduction to color' (curso electivo) Identificar predictores significativos; Crear sistemas tempranos de aviso Compromiso (LMS)
Marbouti, Diefes-Dux, & Madhavan, 2016 3063 Nivel curso Presencial Ingeniería - Herramientas computacionales para la resolución de problemas Evaluar modelos Rendimiento Académico; Logros de objetivos de aprendizaje
de Barba, Kennedy, & Ainley, 2016 862 Nivel curso b MOOC Macro-economía Identificar predictores significativos Participación (Video, quiz); Motivacional
Ellis, Han, & Pardo, 2017 145 Nivel curso Blended Ingeniería Identificar predictores significativos Compromiso (LMS); Cuestionario Student´s Approaches to Learning
Hart & Ganley, 2017 85 Nivel curso Flipped Matemáticas - Cálculo III Identificar predictores significativos; Crear sistemas tempranos de aviso Compromiso (LMS); Intra-personal
Pardo, Han, & Ellis, 2017 145 Nivel curso Blended Ingeniería - Introducción a sistemas de computadores Combinación con enfoques de aprendizaje Compromiso (LMS); Aprendizaje autorregulado
Howard, Meehan, & Parnell, 2018 144 Nivel curso Curso online & 24h de taller presencial Matemáticas - estadística Evaluar modelos Compromiso (LMS); Datos sociodemográficos; Rendimiento Académico
T Lu et al., 2018 59 Nivel curso Blended Matemáticas - Cálculo Identificar predictores significativos Online Assessment System; Compromiso
Choi, Lam, Li, & Wong, 2018 1075 Nivel curso Face-to-face Finanzas – 'Quantitative Methods for Decision Making' Identificar predictores significativos; Crear sistemas tempranos de aviso Interacción en clases (CLIKERS); Sociodemográficos; Creencias y expectativas
Saqr, Fors, & Tedre, 2018 35 Nivel curso Blended Medicina Identificar predictores significativos Estructuras sociales (Moodle); Rendimiento académico; Comprensión, análisis y aplicación
Casey & Azcona, 2017 111 Nivel curso Presencial con módulos virtuales Ciencias de la computación Identificar predictores significativos; Crear sistemas tempranos de aviso Métricas de teclas (desde navegador); Rendimiento académico
Junco & Clem, 2015 236 Nivel curso Presencial con módulos virtuales Psicología; Contabilidad; Leyes; Gestión de operaciones; Teoría de la evolución Explorar patrones de lectura; Identificar predictores significativos Análisis de texto; Rendimiento académico; Datos sociodemográficos

3.1 Muestra de estudio

Tal como se aprecia en la Tabla 2, solo uno de los trabajos empíricos analizados (Gašević, Dawson, Rogers, & Gasevic, 2016) realiza un análisis de predicción tanto a nivel de facultad y de cursos, abarcando una muestra de tamaño N=4134. Respecto a los otros estudios, todos se centran en análisis en contextos particulares, es decir, a nivel de cursos. Por otro lado, Blended courses el tipo de modalidad de instrucción que más predomina, seguido de cursos de carácter masivos online (MOOCs). Solamente uno de los estudios analizados es de carácter presencial (Marbouti, Diefes-Dux, & Madhavan, 2016) y con un gran número de estudiantes analizados: N=3063. Finalmente, el común denominador en términos de número de estudiantes estudiados, lo son trabajos que no superan los 1000 estudiantes, encontrándose siete estudios que analizan una muestra menor a 300 estudiantes (Hart & Ganley, 2017; Howard, Meehan, & Parnell, 2018; Jo, Kim, & Yoon, 2015; Pardo, Han, & Ellis, 2017; T Lu et al., 2018; Zacharis, 2015) y dos estudios abordan muestras mayores a 300 y menores a 1000 (de Barba, Kennedy, & Ainley, 2016; You, 2016). Finalmente, sólo 3 estudios empíricos analizan una muestra sobre 1000 estudiantes (Choi, Lam, Li, & Wong, 2018; Gašević et al., 2016; Marbouti et al., 2016).

Con respecto al área disciplinar abordada por estos estudios empíricos, mayoritariamente se abordan áreas del ámbito científico. Mientras que solo dos investigaciones abordan áreas desde las ciencias sociales (Junco & Clem, 2015; You, 2016).

3.2 Objetivos de estudio abordados en los artículos empíricos

Se pueden identificar diversos objetivos de investigación en los manuscritos analizados. Entre estos objetivos los que más destacan son: (i) Encontrar cuáles son los predictores más importantes de las notas finales de los estudiantes; (ii) Evaluar modelos;(iii) Crear sistemas tempranos de avisos; y, (iv) Combinar técnicas de LA con la teoría de aproximación al aprendizaje. A continuación, se detallan cada uno de estos objetivos, incorporando los trabajos empíricos, como también, las variables que se utilizaron:

  1. Predictores más importantes: Estos estudios declaran explícitamente este objetivo como uno de los ejes centrales de sus investigaciones estudiantes (Casey & Azcona, 2017; Choi, Lam, Li, & Wong, 2018; de Barba, Kennedy, & Ainley, 2016; Ellis, Han, & Pardo, 2017; Gašević et al., 2016; Hart & Ganley, 2017; Jo, Kim, & Yoon, 2015; Junco & Clem, 2015; Saqr et al., 2018; T Lu et al., 2018; You, 2016; Zacharis, 2015). Entre las variables predictoras que se consideran en los modelos, destacan las de compromiso (engagement), abordado por el 50% de los estudios empíricos. Principalmente, esta variable se mide a travése de las actividades que realizan los estudiantes en los Learning Management Systems (LMS) o MOOCs. Ahora bien, variables sociodemográficas se incorporan en cuatro estudios (Choi et al., 2018; Gašević et al., 2016; Howard, Meehan, & Parnell, 2018; Junco & Clem, 2015). Adicionalmente, también se observan otro tipo de variables como potenciales predictores del rendimiento académico, tales como del tipo instruccionales, motivación (de Barba et al., 2016), aproximaciones al aprendizaje (Ellis, Han, & Pardo, 2017; Pardo, Han, & Ellis, 2017) y finalmente, datos que provienen de las acciones a través de Clickers o métricas de teclas (Casey & Azcona, 2017; Choi et al., 2018).

  2. Evaluar modelos: Este objetivo fue abordado como eje central en sólo dos estudios empíricos (Howard et al., 2018; Marbouti et al., 2016) . Por un lado, el estudio de Marbouti et al. (2016) tiene como objetivo contrastar diferentes modelos que para identificar estudiantes en riesgo. Esto se hace a través del rendimiento de sus notas finales – estudiantes en riesgo serían aquellos que tendrían altas posibilidades de reprobar un curso-. Las variables predictores que se usan son los logros de objetivos de aprendizaje (en la modalidad presencial). Por otro lado, el estudio de Howard et al. (2018) tiene como objetivo explorar posibles modelos que predigan de manera temprana estudiantes en riesgo de reprobar. Se utilizan variables de compromiso a través de las acciones de los estudiantes en los MOOCs, de participación (en talleres) y notas de exámenes online.

  3. Crear sistemas tempranos de avisos: Este objetivo fue declarado como eje secundario en los estudios analizados (Casey & Azcona, 2017; Choi et al., 2018; Hart & Ganley, 2017; You, 2016). A grandes rasgos, a través de los modelos predictivos analizados, estos estudios tienen como intención la generación de recomendaciones para implementar un sistema de alerta temprano que permita identificar y ayudar a posibles estudiantes en riesgo.

  4. Combinar técnicas de LA y aproximación al aprendizaje: Estos estudios (Ellis, Han, & Pardo, 2017; Pardo et al., 2017), establencen una relación conceptual que permita conectar las actividades en línea con la teoría de los enfoques de aprenizaje. Utilizan variable predictor del rendimiento académico los enfoques de aprendiaje superficial y profundo junto con variables de actividades en línea. Estos estudios empíricos, según se declara, aportarían conocimiento para ayudar a dilucidar el actual debate que se tiene en la comunidad de LA con respecto a una falta de incorporación del componente mismo del aprendizaje en el diseño de LA.

3.3 Métodos y grado de predictibilidad

Uno de los factores relevantes en LA lo conforman los métodos o herramientas de Minería de Datos. Estas herramientas permiten realizar procesos de descripción e inferencias de los datos educacionales que se recopilan. El uso de estos métodos varía enormemente dentro de la comunidad de LA, y su aplicabilidad en la predicción de rendimiento académico depende de diversos factores, tales como, el número de la muestra a analizar, el tipo de datos que se está analizando, la cantidad de datos que se desean procesar y analizar, requisitos previos que requiere una determinada muestra para aplicar cierto algoritmo, entre otros (Romero & Ventura, 2010). Por las razones comentadas anteriormente, es relevante evidenciar en la literatura qué métodos se han utilizado en la predicción de rendimiento académico dentro del diseño de LA. Los resultados que se expondrán en esta sección responderían explícitamente a la pregunta de investigación número 1. En la Table 3 se muestra un resumen de los métodos o algoritmos utilizados por las investigaciones analizadas.

Table 3: Resultado de los métodos o algoritmos de Míneria de Datos utilizados en los estudios análizados. La variable predictora en todos los casos lo es la nota final del curso
Métodos Estudios
Análisis de correlaciones (Zacharis, 2015);(Jo, Kim, & Yoon, 2015);(You, 2016);(de Barba, Kennedy, & Ainley, 2016);(Ellis et al., 2018);(Hart & Ganley, 2017);(Pardo, Han, & Ellis, 2017);(Choi, Lam, Li, & Wong, 2018);(Saqr, Fors, & Tedre, 2018);(Junco & Clem, 2015)
Regresión lineal múltiple (Zacharis, 2015);(Jo, Kim, & Yoon, 2015);(Gašević, Dawson, Rogers, & Gasevic, 2016);(You, 2016);(Hart & Ganley, 2017);(Pardo, Han, & Ellis, 2017);(T Lu et al., 2018);(Choi, Lam, Li, & Wong, 2018);(Saqr, Fors, & Tedre, 2018);(Junco & Clem, 2015)
Regresión logística (Zacharis, 2015);(Gašević, Dawson, Rogers, & Gasevic, 2016);(Marbouti, Diefes-Dux, & Madhavan, 2016);(Choi, Lam, Li, & Wong, 2018);(Saqr, Fors, & Tedre, 2018);(Casey & Azcona, 2017)
Modelo de ecuaciones estructurales (de Barba, Kennedy, & Ainley, 2016)
Análisis factorial (Ellis et al., 2018);(Pardo, Han, & Ellis, 2017)
Análisis de clustering (Ellis et al., 2018);(Pardo, Han, & Ellis, 2017)
Support Vector Machine (Marbouti, Diefes-Dux, & Madhavan, 2016);(Howard, Meehan, & Parnell, 2018);(Casey & Azcona, 2017)
Arboles de decisión Redes neuronales - Naïve Bayes Classifier - K-Nearest Neigbhor Marbouti, Diefes-Dux, & Madhavan, 2016);(Howard, Meehan, & Parnell, 2018);(Casey & Azcona, 2017)
Network Analysis (Saqr, Fors, & Tedre, 2018)

Tal como se aprecia en la Table 3, se utilizan diversos métodos de Minería de Datos (Romero & Ventura, 2010). La gran mayoría (10 de los 16 artículos) realiza análisis que involucra aplicar una regresión lineal múltiple (o logístico dependiendo del tipo de dato a predecir) como herramienta principal para predecir rendimiento académico, acompañado de análisis de correlaciones para identificar relaciones significativas entre las variables de involucradas. Comentando estudios que tiene mayor grado de predicción en el rendimiento académico utilizando modelos de regresión lineal, destaca el estudio de Zacharis (2015), explicando un 52% de la varianza total. Las variables que provienen de los LMS: Reading y posting messages, explican alrededor del 37% de la nota final. Lo sigue el estudio de (Jo et al., 2015), que logra explicar un 37% de la varianza. En este estudio, solo la variable proxy regularity of learning fue significativa en el rendimiento final de los estudiantes. Para el caso del trabajo de Gašević et al. (2016), las variables LMS explican un 16% de la varianza total. Ahora bien, al utilizar un modelo secundario un análisis de regresión logística, se identifican que las características propias del estudiante (variables sociodemograficas), en conjunto con los datos de rastreo de este (interacción con los LMS), mejora substancialmente el poder de predictibilidad en el desempeño académico. Por otro lado, en el trabajo de You (2016), se explica un 58.1% de la variabilidad total de la nota final, indicando que las variables regular study time, late submissiones time, sessions time y proof of reading, tienen mayor significancia en el modelo. Finalmente, en el estudio de Pardo et al. (2017), los predictores test anxiety, engagment with resources y multiple-choice question, explicarían un 32% de la variabilidad total. Por otro lado, comentando investigaciones que comparan diferentes modelos en la predicción de rendimiento académico, el trabajo realizado por Marbouti et al. (2016), concluye que ninguno de los modelos de predicción tiene una precisión aceptable tanto para estudiantes que aprueban como para los que fracasan en un curso. Por lo anterior, se utiliza un Ensemble con los tres modelos que tienen mayor precisión: Naïve Bayes Classifier, Support Vector Machine y K-Nearest Neigbhor. En definitiva, se concluye que este Ensemble model pudo identificar a estudiantes en riesgo y predecir el éxito de los estudiantes con un 85% de precisión. Por otro lado, el estudio de Howard et al. (2018) concluye que el algoritmo BART es el que mejor desempeño tiene al predecir las notas finales. En definitiva, con el objetivo de identificar tempranamente estudiantes en riesgo, este estudio concluye que la semana 5-6 es el momento crítico en el semestre de curso, según el cual, los modelos de predicción tienen predicciones razonablemente precisas. De este modelo, se desprende que la variable con mayor ponderación lo es Continuous assessment.

4 Discusión

Si bien los tipos de estudios empíricos analizados incorporan, en general, diferentes variables predictores del desempeño académico, como también, diferentes métodos para predecirla, es posible trazar los alcances o implicancias que generan estos resultados tanto a un nivel de investigación como en las prácticas instruccionales. En las siguientes secciones se comentarán las implicancias que tendría en estos dos niveles, respondiendo de esta manera, a la pregunta de investigación número 2.

4.1 Implicancias a nivel de investigación

Variadas pueden ser las implicancias a nivel de investigación en el diseño de LA que se pueden comentar al analizar los estudios empíricos de esta revisión. Se pueden mencionar tres factores a considerar en futuras investigaciones de LA. En primer lugar, destaca la necesidad imperativa de considerar aspectos instruccionales cuando se desarrollan modelos predictivos, tal como se evidencia en los trabajos (Gašević et al., 2016; Marbouti et al., 2016). En segundo lugar, identificar o incorporar características poco convencionales en el diseño de LA puede aportar bastante en mejorar la precisión de los modelos de LA. Entre estas características destacan: (i) factores auto-regulatorios de los estudiantes(You, 2016), que pueden ser medidas a través de cuestionarios o indirectamente a partir de datos de LMS; (ii) elementos que den cuenta de las aproximaciones de aprendizaje de los estudiantes (Ellis, Han, Pardo, et al., 2017; Pardo et al., 2017). Estas dos características (entre varias más) son elementos que ayudarán en el debate teórico de LA. En tercer y último lugar, tal como se abordó como segundo objetivo en algunos de los estudios analizados (Choi et al., 2018; Hart & Ganley, 2017; You, 2016), futuros trabajos deberán investigar con qué frecuencia se deben ejecutar los modelos y qué momentos son los oportunos para informar a los estudiantes.

4.2 Implicancias a nivel práctico

Los resultados que se desprenden de los modelos predictivos analizados en esta revisión, podrían impactar de manera directa tanto a nivel instruccional como a nivel institucional. Desde una perspectiva instruccional, los resultados derivados de los modelos enfocados en cursos específicos pueden proveer al profesor una mejor comprensión sobre los factores que afectan el éxito académico de los estudiantes, de modo que los hallazgos puedan ser interpretados en las condiciones especificas del curso que se imparte, como también, a mejorar la práctica docente. Por ejemplo, los resultados obtenidos en el trabajo de Pardo et al. (2017), entregan información valiosa a los docentes con respecto al nivel de ansiedad que tienen los alumnos al tomar el curso (predictor significativo en el rendimiento de los estudiantes). También, tal como se mostró (You, 2016), tener conocimiento sobre las regularidades en el estudio que tienen los alumnos a lo largo del semestre, puede ser un factor relevante a considerar en las prácticas pedagógicas, de manera tal, que toda modificación que se decida impacten positivamente en los desempeños de los estudiantes. Sin embargo, se debe tener cuidado con sobre generalizar los resultados de trabajos empíricos, ya que, dependiendo de la naturaleza individual de los cursos, se deben tomar diferentes decisiones para intervenirlos de manera apropiada.

A nivel institucional, todavía existen demasiadas preguntas que responder, y así se hace notar en los estudios analizados, en la que sólo uno de los estudios aborda el tema de cómo los resultados impactarían a nivel institucional (Gašević et al., 2016). En ese sentido, se argumenta que las instituciones de educación superior deben proceder con cautela al externalizar las capacidades construidas a partir de LA para garantizar que sus prioridades estratégicas en el desarrollo continuo de la práctica, la calidad y los aspectos socioculturales del aprendizaje y la enseñanza no se vean comprometidas. Además, las instituciones deben tener presente que toda generalización que se hace a partir de los modelos predictivos, pueden no ajustarse a las necesidades particulares de cada contexto, pero que representarían, a priori, una buena estratégica costo-efectiva para identificar estudiantes en riesgos.

Finalmente, a partir de los estudios empíricos analizados, surgen preguntas con respecto a al valor de considerar aspectos instruccionales en los procesos de aprendizaje de los estudiantes, tales como ¿Cuándo y con quién debería intervenir el instructor? ¿Cómo deberían asignarse los recursos para proporcionar ayuda efectiva a los estudiantes en riesgo? ¿Qué aspectos instruccionales se han abordado en estudios de LA de manera tal de ayudar en la toma de decisiones de estos?

5 Conclusión

Esta revisión de literatura se centró en modelos predictivos de rendimiento académico usando técnicas de Learning Analytics. Para ello, esta revisión centró su búsqueda en las bases de datos WOS y JLA. De los 16 artículos obtenidos, se evidencia que la mayoría de los estudios se enfocan en muestras que provienen del área científica. Además, el nivel de análisis de todos los artículos se centra particularmente en cursos, mientras que solo uno de los trabajos estudiados lo hace a nivel de facultad. Ahora bien, con respecto a los objetivos que se identificaron en estos estudios de Learning Analytics, destaca mayoritariamente la predicción de variables significativas en el rendimiento académico. Entre estas variables destacan las de compromiso y sociodemográficas. Con respecto a los métodos utilizados, se identificaron dos grupos: (i) análisis de correlación y regresión lineal múltiple y logística para predecir rendimiento académico; y (ii) modelos Ensemble, en el que, mediante la integración de varios algoritmos, tales como redes neuronales, Support Vector Machine y Naïve Bayes Classifier, permitieron mejorar el nivel de predicción del rendimiento académico. Estos resultados responden a la pregunta de investigación número 1. Con respecto a las implicancias a nivel práctico, los estudios analizados se centran mayoritariamente en aportes a nivel instruccional, en el que, mediante la identificación de variables significativas en el rendimiento académico, permitiría a los profesores tomar decisiones oportunas para ayudar a estudiantes con mayor probabilidad de reprobar. Sin embargo, aportes a nivel institucional son relativamente escasos en las investigaciones estudiadas. Finalmente, con respecto a las implicancias a nivel de investigación, uno de los factores que mayor importancia se identificó es la falta de incorporación de variables instruccionales en los modelos de predicción, como también, la adición de variables relevantes en el rendimiento académico, como lo son: variables que midan autorregulación y enfoque de aprendizaje. En base a lo anterior, se respondería a la pregunta de investigación número 2. Una de los aspectos que no consideró en esta revisión, y que debe ser abordada en futuras revisiones de literatura corresponde a los supuestos epistemológicos en los constructos que se utilizan como predictores del rendimiento académico. Esto que sin lugar a dudas contribuiría a un mayor conocimiento sobre cómo estos constructos, como por ejemplo de compromiso, son abordados en las diferentes investigaciones.

Referencia

  • Almosallam, E. A., & Ouertani, H. C. (2014). Learning Analytics: definitions, applications and related fields. Proceedings of the First International Conference on Advanced Data and Information Engineering (DaEng-2013), Lecture Notes in Electrical Engineering, 285, 721–730. https://doi.org/10.1007/978-981-4585-18-7
  • Bandura, A. (1977). Self-Efficacy: Toward a Unifying Theory of Behavioral Change. The Psychological Review, 84, 191–215. https://doi.org/http://dx.doi.org/10.1016/0146-6402(78)90002-4
  • Casey, K., & Azcona, D. (2017). Utilizing student activity patterns to predict performance. International Journal of Educational Technology in Higher Education, 14(1). https://doi.org/10.1186/s41239-017-0044-3
  • Castro, F., Vellido, A., Nebot, À., & Mugica, F. (2007). Applying Data Mining Techniques to e-Learning Problems. In L. C. Jain, R. A. Tedman, & D. K. Tedman (Eds.), Evolution of Teaching and Learning Paradigms in Intelligent Environment (pp. 183–221). Berlin, Heidelberg: Springer Berlin Heidelberg. https://doi.org/10.1007/978-3-540-71974-8_8
  • Choi, S. P. M., Lam, S. S., Li, K. C., & Wong, B. T. M. (2018). Learning analytics at low cost: At-risk student prediction with clicker data and systematic proactive interventions. Educational Technology and Society, 21(2), 273–290.
  • Clow, D. (2013). Teaching in Higher Education An overview of learning analytics. Teaching in Higher Education, 18(6), 683–695. https://doi.org/10.1080/13562517.2013.827653 de Barba, P. G., Kennedy, G. E., & Ainley, M. D. (2016). The role of students’ motivation and participation in predicting performance in a MOOC. Journal of - Computer Assisted Learning, 32(3), 218–231. https://doi.org/10.1111/jcal.12130
  • Ellis, R. A., Han, F., & Pardo, A. (2017). Improving Learning Analytics – Combining Observational and Self-Report Data on Student Learning Improving Learning - Analytics – Combining Observational and Self-Report Data on Student Learning. Educational Technology & Society, 20(3), 158–169. https://doi.org/10.2307/26196127
  • Ellis, R. A., Han, F., Pardo, A., Ellis, R. A., Han, F., & Pardo, A. (2017). Improving Learning Analytics – Combining Observational and Self-Report Data on Student Learning Improving Learning Analytics – Combining Observational and Self-Report Data on Student Learning. Educational Technology & Society, 20(3), 158–169.
  • Ferguson, R. (2012). Learning analytics: drivers, developments and challenges. International Journal of Technology Enhanced Learning, 4(5/6), 304. https://doi.org/10.1504/IJTEL.2012.051816
  • Gašević, D., Dawson, S., Rogers, T., & Gasevic, D. (2016). Learning analytics should not promote one size fits all: The effects of instructional conditions in predicting academic success. Internet and Higher Education, 28, 68–84. https://doi.org/10.1016/j.iheduc.2015.10.002
  • Gašević, D., Dawson, S., & Siemens, G. (2015). Let ’ s not forget : Learning analytics are about learning. TechTrends, 59(1), 64–71. https://doi.org/10.1007/s11528-014-0822-x
  • Goldstein, P. J., & Katz, R. N. (2005). Academic Analytics : The Uses Of Management Information And Technology In Higher Education. EDUCAUSE Quarterly, 8(December), 113. https://doi.org/10.1080/17439880802097659
  • Greller, W., & Drachsler, H. (2012). Translating Learning into Numbers: A Generic Framework for Learning Analytics Author contact details: Educational Technology & Society, 15(3), 42 – 57. https://doi.org/http://hdl.handle.net/1820/4506 -Hart, S. A., & Ganley, C. M. (2017). Individual differences related to college students’ course performance in Calculus II. Journal of Learning Analytics, 4(2), 129–153.
  • Howard, E., Meehan, M., & Parnell, A. (2018). Contrasting prediction methods for early warning systems at undergraduate level. Internet and Higher Education, 37(January), 66–75. https://doi.org/10.1016/j.iheduc.2018.02.001
  • Jo, I.-H., Kim, D., & Yoon, M. (2015). Constructing proxy variable to measure adult learners’ time management strategies in LMS. Journal of Education Techonology & Society, 18(3), 214–225.
  • Junco, R., & Clem, C. (2015). Predicting course outcomes with digital textbook usage data. Internet and Higher Education, 27, 54–63. https://doi.org/10.1016/j.iheduc.2015.06.001
  • Lang, C. (2017). Handbook of Learning Analytics. https://doi.org/10.18608/hla17 -Marbouti, F., Diefes-Dux, H. A., & Madhavan, K. (2016). Models for early prediction of at-risk students in a course using standards-based grading. Computers and Education, 103, 1–15. https://doi.org/10.1016/j.compedu.2016.09.005
  • McInerney, D. M. (2005). Educational psychology - Theory, research, and teaching: A 25-year retrospective. Educational Psychology, 25(6), 585–599. https://doi.org/10.1080/01443410500344670
  • Miller, R. B., Greene, B. a., Montalvo, G. P., Ravindran, B., & Nichols, J. D. (1996). Engagement in Academic Work: The Role of Learning Goals , Future Consequences , Pleasing Others ,. Contemporary Educational Psychology, 21(4), 388–422. https://doi.org/10.1006/ceps.1996.0028
  • Papamitsiou, Z., & Economides, A. A. (2016). International Forum of Educational Technology & Society Learning Analytics and Educational Data Mining in Practice: A Systematic Literature Review of Empirical Evidence Linked references are available on JSTOR for this article: Learning Analytics and Ed, 17(4).
  • Pardo, A., Han, F., & Ellis, R. A. (2017). Combining University student self-regulated learning indicators and engagement with online learning events to Predict Academic Performance. IEEE Transactions on Learning Technologies, 10(1), 82–92. https://doi.org/10.1109/TLT.2016.2639508
  • Rojas Castro, P. (2017). Learning Analytics. Una Revisión de la Literatura. Educación Y Educadores, 20(1), 106–128. https://doi.org/10.5294/edu.2017.20.1.6
  • Romero, C., & Ventura, S. (2010). Educational data mining: A review of the state of the art. IEEE Transactions on Systems, Man and Cybernetics Part C: Applications and Reviews. https://doi.org/10.1109/TSMCC.2010.2053532 -Saqr, M., Fors, U., & Tedre, M. (2018). How the study of online collaborative learning can guide teachers and predict students’ performance in a medical course. BMC Medical Education, 18(1), 1–14. https://doi.org/10.1186/s12909-018-1126-1
  • Shaffer, D. R., & Kipp, K. (2010). Developmental Psychology: Childhood and Adolescence.
  • Siemens, G. (2013). Learning Analytics: The Emergence of a Discipline. https://doi.org/10.1177/0002764213498851
  • Siemens, G., & Long, P. (2011). Penetrating the Fog: Analytics in Learning and Education. EDUCAUSE Review, 46, 30–32. https://doi.org/10.1145/2330601.2330605
  • T Lu, O. H., Q Huang, A. Y., Huang, J. C., Q Lin, A. J., Ogata, H., H Yang, S. J., & H Huang, J. C. (2018). Applying Learning Analytics for the Early Prediction of Students’ Academic Performance in Blended Learning. Source: Journal of Educational Technology & Society Educational Technology & Society, 21(212), 220–232. Retrieved from http://www.jstor.org/stable/26388400%0Ahttp://www.jstor.org/stable/26388400?seq=1&cid=pdf-reference#references_tab_contents%0Ahttp://about.jstor.org/terms
  • Tyng, C. M., Amin, H. U., Saad, M. N. M., & Malik, A. S. (2017). The influences of emotion on learning and memory. Frontiers in Psychology, 8(AUG). https://doi.org/10.3389/fpsyg.2017.01454
  • Wang, A. Y., & Newlin, M. H. (2002). Predictors of we-based performance: the role olf self-effecacy and reasons for taking an on-line class. Computers in Human Behavior Journal, 18, 151–163.
  • You, J. W. (2016). Identifying significant indicators using LMS data to predict course achievement in online learning. Internet and Higher Education, 29, 23–30. https://doi.org/10.1016/j.iheduc.2015.11.003
  • Zacharis, N. Z. (2015). A multivariate approach to predicting student outcomes in web-enabled blended learning courses. Internet and Higher Education, 27, 44–53. https://doi.org/10.1016/j.iheduc.2015.05.002

Under Construction

Back to top