Formación Universitaria Vol. 3(6), 15-32(2010)

 

Indicadores Básicos para Evaluar el Proceso de Aprendizaje en Estudiantes de Educación a Distancia en Ambiente e-learning

 

Basic Indicators for Assessment the Learning Process in Students of Distance Education in Environment e-learning

 

Diana M. Cardona y Jenny M. Sánchez

Facultad de ingeniería, Universidad Nacional de Colombia, Bogotá-Colombia, (e-mail: dmcardonar@unal.edu.co, jmsanchezt@unal.edu.co)

---

Resumen

Se discute y analiza la identificación de los sistemas de indicadores para la medición del sector e-learning dentro de la sociedad de la información. Este análisis se usa como insumo para proponer un sistema de indicadores de medición del proceso de aprendizaje en e-learning, los cuales se presentan agrupados en cinco categorías: institucionales, pedagógicas, tecnológicas, contextúales y de servicios. Se concluye que los sistemas de referencia de indicadores actualmente miden la inclusión de infraestructura y poco tienen en cuenta la medición del proceso de aprendizaje, encontrando que solo el 16% de los criterios se pueden usar como criterios de medición del proceso de aprendizaje, mientras que en los estudios de evaluación del e-learning se identificó que el 85% de los criterios puede medir ese aspecto. Se encontró también que la evaluación del desempeño del estudiante en la formación es uno de los indicadores preferidos para determinar el grado de aprendizaje que han tenido los estudiantes inmersos en ambientes e-learning.

Palabras Clave: Criterios, Educación a Distancia, e-learning, Indicadores, Variables

---

Abstract

The identification of indicators systems for measure e-learning sector within information society is discussed and analyzed. This analysis is used as input to propose systems indicators for measuring the learning process in e-learning, which are grouped into five categories: institutional, pedagogical, technological, contextual and services. We conclude that the reference systems of indicators currently measure the infrastructure inclusión and do not measure the learning process, finding that only 16% of the criteria can be used as criteria for measuring the learning process, while the evaluation studies of e-learning was identified that 85% of the criteria can measure this aspect. It was also found that the assessment of student performance in training is a preferred indicator for determining the degree of learning in students that had engaged in e-learning environments.

Keywords: Criteria, Distance Education, e-learning, Indicator, Variables

---

 

INTRODUCCIÓN

El uso de las Tecnologías de la Información y las Comunicaciones -TIC- ha tenido un fuerte impacto en el sistema educativo, especialmente en el aprendizaje a distancia, pues en la medida que avanza la tecnología, la alfabetización digital se convierte en un requisito clave para interactuar en el mundo privado y laboral (RICYT, 2009), por ello es importante considerar cómo aprenden los estudiantes, cómo se les puede enseñar mejor, cuáles son las estrategias de enseñanza más convenientes para la apropiación de contenidos y cómo organizar de forma eficiente los recursos educativos. En el ámbito mundial existen varias organizaciones interesadas en conocer el nivel de inclusión de las TIC en varios sectores, uno de ellos, la educación. (Sánchez-Torres, 2006), sin embargo, muchos de los modelos se enfocan en la medición de la inclusión de infraestructura tecnológica y conectividad, como veremos más adelante, pero dejan de lado aspectos importantes como el proceso de aprendizaje, especialmente en estudiantes cuya modalidad de estudio es la educación a distancia. Este trabajo es continuación de aportes previos realizados por el proyecto "e-métrica" financiado por la Universidad Nacional de Colombia (Bustamante y Sánchez-Torres, 2009a y 2009b) donde los autores realizan una revisión sobre los sistemas de indicadores de la sociedad de la información y desarrolla el estudio en profundidad de los sistemas de indicadores para los sectores de e-banca y e-learning. Por su parte, la Sociedad de la Información (SI) considera que el motor de desarrollo social y económico está en la información y el conocimiento, a través de la implantación y el uso de las TICs en todos los ámbitos (Katz y Hilbert, 2003), en donde cada uno de esos ámbitos puede ser, por ejemplo, los servicios en línea prestados por las agencias gubernamentales, o los servicios en línea prestados por las entidades financieras. Ahora bien, dentro de los e-sectores que maneja la SI, considerado como áreas definidas de la sociedad que cuentan con apoyo de TIC y servicios digitales, se puede indicar que la educación es un sector importante que ha sido incluido en últimos años para su medición, ello justifica la realización de este trabajo, además que debe atender a las demandas sociales que desde distintos sectores se realizan.

Por otro lado, se puede indicar que la Educación a Distancia (EaD), se considera una modalidad de formación que permite a los estudiantes conseguir destrezas y actitudes necesarias para comunicarse (interpretar y producir mensajes), utilizando distintos lenguajes y medios, además de desarrollar su autonomía personal, su pensamiento crítico que le capacite para desarrollar una adecuada toma de decisiones (Moore y Kearsley, 1996). Y aunque no existe en la literatura un consenso acerca de su definición, existen rasgos característicos que permiten una mejor comprensión (Keegan, 1996), lo que le ha permitido evolucionar y estar vigente durante los últimos años. Por ello, después de una revisión de literatura (Cardona-Román y Sánchez-Torres, 2010) se encontró que la definición que contiene la mayor parte de las características que definen a la EaD es la propuesta por Moore y Kearsley (1996), donde la definen como "aprendizaje planificado que normalmente ocurre en un lugar diferente al de la enseñanza y como consecuencia requiere técnicas especiales de diseño de cursos, técnicas instruccionales especiales, métodos especiales de comunicación electrónica y otras tecnologías, como también arreglos organizativos y administrativos especiales". Así las características fundamentales propuestas por Keegan (1996), indica que debe darse las siguientes situaciones:

"1. La separación cuasi-permanente del profesor y el aprendiz a lo largo del proceso enseñanza-aprendizaje (esto la distingue de la educación convencional cara a cara); 2. La influencia de una organización educativa tanto en la planificación como en la preparación de los materiales de aprendizaje y en la provisión de servicios de soporte a los estudiantes (esto la distingue de los estudios particulares y los programas de auto-enseñanza; 3. El uso de medios técnicos (materiales impresos, audio, video o computadores) para unir al profesor y al aprendiz y transportar el contenido del curso; 4. La provisión de un medio de comunicación bi-direccional de forma tal que el estudiante pueda beneficiarse de este o aún iniciar el diálogo (esto la distingue de otros usos de la tecnología en la educación); y 5. La ausencia cuasi-permanente del grupo de aprendizaje a lo largo del proceso de aprendizaje de forma tal que la gente es enseñada usualmente como individuos más que como grupos, con la posibilidad de reuniones ocasionales, bien sea cara a cara o por medios electrónicos, para propósitos didácticos como de socialización."

En particular, como lo indica UNESCO (2002) el aprendizaje a distancia tiene como potencial facilitar una educación más centrada en el estudiante, fortaleciendo el vínculo entre las instituciones educativas y las organizaciones, empresas e industrias de la comunidad local, donde el estudiante se forma de acuerdo al contexto que requiere para el desarrollo de su comunidad.

Ahora bien, con la evolución y globalización de las TIC y la importancia del sector educativo en la SI, surge el e-learning considerado como una de las modalidades de EaD, que de forma general se refiere al uso de las nuevas TICs con un propósito de aprendizaje (Seaone et al, 2006; Cardona-Román y Sánchez-Torres, 2010), al convertirse en un insumo relevante para la transferencia de información y capacitación, lo que permite un proceso personalizado de tutoría, acceso constante al programa del curso, incremento en la comunicación entre estudiantes y entre estudiantes y tutores a través del uso de herramientas como foros de discusión, charlas en directo y correo electrónico, actividades diseñadas por el tutor, seguimiento de las actividades y evaluaciones que permitan medir los resultados; actividades desarrolladas normalmente dentro de un aula virtual y en general el proceso de aprendizaje del estudiante. (Comezaña y García, 2005)

De acuerdo a los sectores de la SI (Katz y Hilbert, 2003) y la inclusión de la medición en la e-formación, se evidenció que la inquietud por evaluar ese sector muestra importantes iniciativas y experiencias en el ámbito mundial, encaminadas a establecer estándares que permitan identificar criterios e indicadores específicos (Rubio, 2003), así mismo se encontró que en Chiarani (2004), Olds (2004), Mandinach (2005), Fetaji (2007), Ga-jin (2007), Liu (2007), Yunus (2008) y Shehabat y Mahdi (2009) se proponen diferentes criterios de evaluación del e-learning, y de plataformas como herramienta de apoyo en la educación y como perspectiva de la pedagogía, evidenciándose una alta medición de la tecnología y no del proceso de aprendizaje en sí. En síntesis, durante el desarrollo de este documento se encontrarán los indicadores comunes entre los sistemas de indicadores de la sociedad de la información y los indicadores encontrados en estudios de evaluación del e-learning, de igual forma se presenta una propuesta de los indicadores necesarios para evaluar el proceso de aprendizaje en ambientes e-learning, y posteriormente se realizan las conclusiones del estudio.

MATERIALES Y MÉTODOS

Para el desarrollo de esta investigación se siguieron los siguientes pasos: marco conceptual, caracterización de los sistemas de indicadores de e-learning y propuesta de indicadores.

Marco conceptual

En la fase inicial de esta investigación era necesario realizar una revisión crítica de la literatura sobre varios conceptos, entre ellos: sociedad de la información, educación a distancia, e-learning y evaluación. De tal forma que se tuviese claridad sobre los elementos que se desean estudiar, y a la vez, determinar sus alcances y limitaciones. Se utilizó fuentes secundarias para la obtención de la información, realizándose un análisis crítico de los conceptos y elementos encontrados.

Caracterización de los sistemas de indicadores de e-learning

A partir de la revisión realizada en la primera fase del proyecto "e-metrica" se determinaron los sistemas de indicadores y las características de los indicadores que trabajan con profundidad en e-learning, de igual forma se revisan estudios de evaluación del e-learning, donde se realiza un análisis de los indicadores utilizados en estos estudios.

Propuesta de indicadores

En esta fase se realiza una propuesta sobre los indicadores que se deben tener para evaluar el e-learning, los indicadores son propuestos de acuerdo al análisis de los sistemas de indicadores de e-learning de la sociedad de la información y los estudios indicadores encontrados en los estudios de evaluación de e-learning, adicional a ello se proponen otros indicadores que son necesarios para evaluar proceso de aprendizaje del estudiante.

VARIABLES E INDICADORES PARA LA MEDICIÓN E-LEARNING

Los procesos de medición y evaluación buscan especialmente identificar los efectos, los impactos y la eficiencia de la inversión en el desarrollo de proyectos o actividades específicas. La evaluación se considera un proceso que permite la retroalimentación. Como acertadamente lo señala el equipo del proyecto MERITUM (2002) "lo que no es medible, no es gestionable", si no se evalúa, no hay retroalimentación, no se conocen los resultados, no se identifican los puntos débiles, los puntos fuertes, los ajustes y conexiones para la formulación de política y la puesta en marcha de estrategias. (Sánchez-Torres, 2006). Así, definir un conjunto de indicadores es imprescindible para medir el cambio o transformación ocurrida en el acceso del e-learning, que posibilite un diagnóstico y validación de los progresos y habilidades alcanzados por el estudiante, y de los obstáculos identificados. (Alves, 2008)

Es por ello que antes de abordar esta sección se explica la diferencia entre indicador y variable, pues uno de los principales hechos es la confusión entre los dos términos cuando se va a realizar un proceso de evaluación del e-learning, así, una variable es un aspecto que desea medirse de un objeto de estudio, mientras que un indicador es una característica observable e identificable dentro de una variable, de forma que, los indicadores permiten asignarle a una variable un determinado valor. (Sánchez-Torres 2006).

Sistemas de indicadores en medición de e-learning

La sociedad de la información ha realizado esfuerzos durante varios años para determinar el conjunto de indicadores necesarios para la medición de e-sectores, sin embargo, los indicadores de e-formación o e-learning son aún incipientes y pese a que se ha discutido ampliamente los indicadores de las TIC en la educación y hay varias aproximaciones de creación de conjuntos de indicadores por diversas organizaciones dedicadas a la medición y generación de consensos, la medición efectiva y la existencia de indicadores comparables es limitada, a pesar de su importancia como ámbito de alfabetización digital y espacio para la formación de las competencias básicas asociadas a esta nueva economía. (RICYT, 2009)

Para determinar los criterios de evaluación del sector e-formación se tomó como referencia el trabajo realizado por (Bustamante y Sánchez-Torres, 2009a) en el cual hizo una revisión de los sistemas de referencia para sociedad de la información, allí se determinaron los ámbitos de evaluación de tales sistemas, variables, indicadores, métodos de recolección y procesamiento de información. Esta revisión da como resultado la Tabla 1, en la cual se observa los criterios de medición de los diferentes sistemas de indicadores que han abordado e-learning, de igual forma en (Bustamante y Sánchez-Torres, 2009b) se muestran los indicadores específicos e-learning de cada sistema de indicadores.

Los sistemas de referencia consultados fueron:

SR1: índice de la economía del conocimiento (KEI)

SR2: índice de la nueva economía - PPI

SR3: Modelo de estimación de e-preparación

SR4: Guía de preparación para vivir en el mundo de la Red

SR5: Modelo de indicadores de la Junta de Castilla y León

SR6: Indicadores de eEspaña

SR7: e-Indicadores de BISER (Benchmarking the Information Society in European Regions)

SR8: Nuevos Indicadores eEurope - SIBIS

SR9: Sistema de Indicadores OSCILAC

SR10: Indicadores básicos de TICs - UNESCO -UIS

SR11: EUROSTAT

SR12: Guía para la Medición de la Sociedad de la Información (OECD)

SR13: CEPAL, Conferencia ministerial sobre la sociedad de la información de Am. Latina y el Caribe

Tabla 1. Criterios comunes de evaluación del e-learning en los sistemas de indicadores de la sociedad de la información. Adaptado de Bustamante y Sánchez-Torres (2009a). Los criterios sombreados son los correspondientes a la medición del proceso de aprendizaje

Indicadores / Sistemas de Referencia

SR1

SR2

SR3

SR4

SR5

SR6

SR7

SR8

SR9

SR10

SR11

SR12

SR13

Graduandos avanzados

X

Graduandos universitarios

X

Graduandos Asociados

X

índice de alfabetización de adultos

X

X

Estudiantes matriculados en secundaria

X

X

X

Estudiantes matriculados en educación superior

X

X

X

X

Proporción de escuelas con acceso a Internet, por tipo

X

X

Uso y frecuencia de PC y/o Internet

X

X

X

X

X

X

X

X

Lugar de Acceso del estudiante

X

X

Actividades realizadas y capacidades

X

X

X

X

X

X

computadora en el hogar

X

X

Tipo de Conexión a intemet en el hogar y en la escuela

X

X

X

X

X

X

X

X

Teléfono celular

X

X

Televisión en el hogar y en escuelas con fines educativos

X

X

X

Nivel de calificación de los padres

X

Infraestructura del hogar

X

X

Cantidad de PC de la institución educativa

X

X

X

X

X

X

Computadoras disponibles para las actividades de enseñanza

X

X

X

X

X

X

X

Computadoras conectadas a intemet en la institución educativa

X

X

X

X

X

X

X

X

X

Percepción de la Infraestructura de la institución educativa

X

X

X

X

X

Nivel de enseñanza de la institución educativa

X

X

X

X

Tipo de gestión de la institución educativa(pública o privada)

X

Acceso al PC y/o intemet por estudiantes y profesores

X

X

X

X

X

X

X

 

Tabla 1: (continuación)

Indicadores / Sistemas de Referencia

SR1

SR2

SR3

SR4

SR5

SR6

SR7

SR8

SR9

SR10

SR11

SR12

SR13

Tipo de material utilizado (en formato digital) para la enseñanza

X

X

X

Años de Experiencia del profesor

X

Localización de la institución educativa

X

X

Escuelas con electricidad

X

X

Escuelas con radios para fines educativos

X

X

Habilidades básicas de las TIC

X

X

X

X

% de trabajos en la organización que requieren de habilidades básicas, avanzadas o especializadas de TIC

X

Las TIC están integradas con el Currículo

X

los currículos son de características Colaborativas

X

 

En la Tabla 1 se aprecia qué los indicadores específicos para el proceso de aprendizaje son escasos, sólo el 16% podría responder a evaluar este aspecto, mientras que el 84% de los criterios encontrados pertenecen a infraestructura y acceso a las TICs, en consecuencia, se presenta una distribución de frecuencia no uniforme de los criterios a evaluar, lo que conlleva a que sólo once criterios de los 31 encontrados sean comunes a varios sistemas de indicadores (ver Fig. 1) lo que causa dificultades en encontrar indicadores adecuados para evaluar el proceso de aprendizaje en estudiantes.

Fig. 1. Criterios comunes en los sistemas de indicadores de la sociedad de la información.

Fuente: Elaboración propia con base en Tabla 1

Otro de los elementos que se observa en los criterios de los sistemas de indicadores de la sociedad de la información es que no hay diferencia entre variables e indicadores, por lo tanto la medición de estos criterios es dispendiosa, en la Tabla 2 se puede observar la clasificación de los criterios.

Tabla 2: Identificación del tipo de criterios de los sistemas de indicadores

Criterios	Tipo de criterio
Graduandos avanzados	Indicador
Graduandos universitarios	Indicador
Graduandos Asociados	Indicador
índice de alfabetización de adultos	Indicador
Estudiantes matriculados en secundaria	Indicador
Estudiantes matriculados en educación superior	Indicador
Uso y frecuencia de PC y/o Internet	Variable
Lugar de Acceso del estudiante	Variable
Actividades realizadas y capacidades	Variable
computadora en el hogar	Variable
Tipo de Conexión a intemet en el hogar y en la escuela	Variable
Teléfono celular	Variable
Televisión en el hogar y en escuelas con fines educativos	Variable
Nivel de calificación de los padres	Indicador
infraestructura del hogar	Variable
Cantidad de PC de la institución educativa	Indicador
Computadoras disponibles para las actividades de enseñanza	Indicador
Computadoras conectadas a intemet en la institución educativa	Indicador
Percepción de la Infraestructura de la institución educativa	Variable
Nivel de enseñanza de la institución educativa	Indicador
Tipo de gestión de la institución educativa(pública o privada)	Variable
acceso al PC y/o intemet por estudiantes y profesores	Variable
Tipo de material utilizado (en formato digital) para la enseñanza	Variable
Años de Experiencia del profesor	Indicador
Localización de la institución educativa	Variable
Escuelas con electricidad	Indicador
Escuelas con radios para fines educativos	Indicador
Habilidades básicas de las TIC	Variable
Porcentaje de trabajos en la organización que requieren de habilidades básicas, avanzadas o especializadas de TIC	Indicador
Las TIC están integradas con el Currículo	Variable
los currículos son de características Colaborativas	Variable

En la Tabla 2 se aprecia que hay 15 criterios (48%) considerados como indicadores y 16 criterios (52%) considerados como variables, esto demuestra que aún no se ha llegado a un consenso sobre los indicadores a utilizar en la medición del e-learning, lo que dificulta de esta forma el proceso de evaluación estandarizada en este campo.

Variables e Indicadores en Estudios de Evaluación del e-learning

Para la realización de este apartado se revisaron los trabajos de Chiarani et. al (2004), Fetaji y Fetaji (2007a), Fetaji y Fetaji (2007b), Ga-jin (2007), Liu (2007), Mandinach (2005), Olds (2002), Peña y Avendaño (2006) y Yunus y Salim (2008), en los cuales se proponen diferentes criterios de evaluación del e-learning, que influyen en el aprendizaje como herramienta de apoyo en la educación y como perspectiva de la pedagogía.

En la Tabla 3, se observa que en la evaluación del impacto del e-learning es importante un adecuado diseño instruccional del curso que se ofrezca en esta modalidad, de tal forma que permita al estudiante y al docente, conocer los objetivos de aprendizaje, actividades a realizar, metodología a utilizar y forma de evaluar; otros criterios importantes para la medición del e-learning es la usabilidad, la navegabilidad, el acceso del sistema implementado, el nivel de experticia en manejo de la solución informática por los participantes, de igual forma la comunicación es un proceso indispensable para la adecuada interiorización del conocimiento adquirido, al igual que la realimentación ofrecida en los diferentes momentos de la evaluación formativa, puesto que es un punto de referencia del estudiante sobre sus conocimientos adquiridos. En la Tabla 3 la información está tomada de Ahmad et. al, (2001), Chiarani et. al, (2004), Correia y Dias (2001), Cuevas et. al (2006), Diaz (2002), Divjak y Begicevic (2006), Fang (2007), Fetaji y Fetaji (2007b), Ga-jin (2007), Ketabchi et. al (2008), Mandinach (2005), Marshall y Mitchell (2003), Olds (2002), Osorio y Aldana (2009), Rubio (2003), Wagner et. al (2005), y Yunus y Salim (2008)

Tabla 3: Criterios comunes de evaluación del impacto del e-learning

Criterios 1 Autores

A

B

C

D

E

F

G

H

/

J

K

L

M

N

O

P

Q

Contenido

X

X

X

X

X

X

Diseño Educativo

X

X

X

X

X

X

Modelo pedagógico (estilos de aprendizaje)

X

X

X

Diseño de Interfaz de la herramienta virtual

X

X

X

X

Efectividad de la estructura del curso

X

Necesidades de los estudiantes

X

Recursos de Aprendizaje

X

X

X

X

X

X

X

Numero de Retroalimentaciones dadas por parte del profesor al estudiante

X

X

X

Evaluación del rendimiento y del aprendizaje del Estudiante

X

X

X

X

X

X

X

X

X

X

X

Nivel de Comunicación con el instructor

X

X

X

X

X

X

X

Interacciones con otros estudiantes (trabajo en grupo o colaborativo)

X

X

X

X

X

X

Grado de experiencia en el manejo de la plataforma ( acceso - navegación - usabilidad)

X

X

X

X

X

X

X

Grado de satisfacción del estudiante en el curso

X

X

X

Motivación (Actitud e Interés)

X

X

Infraestructura adecuada

X

X

X

X

X

X

X

X

Nivel de habilidades computacionales y pedagógicas en los actores

X

X

X

X

X

Nivel de soporte tecnológico y pedagógico para los participantes

X

X

X

X

Obstáculos que enfrentan en el aprendizaje electrónico

X

X

% Docentes y estudiantes equipados con PC

X

% Salones de clase equipados para e-learning

X

En la Tabla 3. Las letras de la A a la Q indican los siguientes autores (A) Ahmad et. al, (2001), (B) Chiarani et. al, (2004), (C) Correia y Dias (2001), (D) Cuevas et. al (2006), (E) Diaz (2002), (F) Divjak y Begicevic (2006), (G) Fang (2007), (H) Fetaji y Fetaji (2007b), (I) Ga-jin (2007), (J) Ketabchi et. al (2008), (K) Mandinach (2005), (L) Marshall y Mitchell (2003), (M) Olds (2002), (N) Osorio y Aldana (2009), (O) Rubio (2003), (P) Wagner et. al (2005), (Q) Yunus y Salim (2008)

Al igual que sucedió con los criterios de los sistemas de referencia para la SI, en los estudios de evaluación del e-learning se emplean criterios que son indistintamente llamados variables o indicadores, por lo que en la Tabla 4 se muestra la clasificación de los criterios encontrados. Se encontró que de 20 criterios, nueve corresponden a variables y 11 a indicadores, el 45% y 55% respectivamente, en el cual puede observarse que la proporción entre criterios tipo variable y tipo indicador es equivalente. Sin embargo, esta similitud muestra que el uso de variables es frecuente, lo que dificulta la estandarización de la medición y a su vez la realización de comparaciones, pues en cada estudio las variables son medidas de diferentes modos.

Tabla 4: Identificación del tipo de criterios en los estudios de evaluación del e-learning

Criterios	Tipo de criterio
Contenido	Variable
Diseño Educativo	Variable
Modelo pedagógico (estilos de aprendizaje)	Variable
Diseño de Interfaz de la herramienta virtual	Variable
Efectividad de la estructura del curso	Indicador
Necesidades de los estudiantes	Variable
Recursos de Aprendizaje	Variable
Numero de Retroalimentaciones dadas por parte del profesor al estudiante	Indicador
Evaluación del rendimiento y del aprendizaje del Estudiante	Variable
Nivel de Comunicación con el instructor	Indicador
Interacciones con otros estudiantes (trabajo en grupo o colaborativo)	Indicador
Grado de experiencia en el manejo de la plataforma (acceso - navegación - usabilidad)	Indicador
Grado de satisfacción del estudiante en el curso	Indicador
Motivación (Actitud e Interés)	Indicador
Infraestructura adecuada	Variable
Nivel de habilidades computacionales y pedagógicas en los actores	Indicador
Nivel de soporte tecnológico y pedagógico para los participantes	Indicador
Obstáculos que enfrentan en el aprendizaje electrónico	Variable
% Docentes y estudiantes equipados con PC	Indicador
% Salones de clase equipados para e-learning	Indicador

Por otro lado, los criterios con mayor frecuencia en los estudios de evaluación del e-learning se pueden ver en la Fig. 2, en la que se observa que la evaluación de rendimiento es necesaria para monitorear el proceso de aprendizaje del estudiante, además de los recursos de aprendizaje y la comunicación con el profesor para saber los objetivos del aprendizaje y resolver diversas inquietudes que se puedan presentar en el proceso, también se evidencia que al igual que en los sistemas de referencia, el criterio de infraestructura es necesario para soportar el proceso de educación en ambientes virtuales. De los criterios encontrados en los estudios de evaluación de e-learning se aprecia que el 85% miden el proceso de aprendizaje de los estudiantes, mientras que el porcentaje restante (15%) corresponde a infraestructura y accesibilidad, sin embargo, no se descarta que tener una infraestructura adecuada y un nivel aceptable de accesibilidad puede aportar en la medición del proceso de aprendizaje.

Fig. 2. Criterios comunes en los estudios de evaluación del e-learning.

Fuente: Elaboración propia con base en la tabla 4

Al comparar los dos procesos de selección de criterios de evaluación (sistemas de referencia y estudios de evaluación del e-learning), es de resaltar, que dentro del sistema de indicadores del modelo de estimación de e-preparación (Readiness Guide), se tiene en cuenta la integración de las TICs con el currículo que se orienta en la institución, criterio común extraído de los estudios de evaluación de e-learning, al igual que las características colaborativas en el mismo.

PROPUESTA DE INDICADORES PARA EVALUAR EL PROCESO DE APRENDIZAJE

Como se observó en las dos secciones anteriores, la selección de indicadores no es una tarea fácil, además del alto uso que hay de variables. Así, a partir de los sistemas de referencia analizados se busca sacar provecho de sus fortalezas y debilidades, es por ello que en esta sección se propone un conjunto de indicadores que pretende evaluar el e-learning, específicamente el proceso de aprendizaje de los estudiantes, pues éste proceso permite saber si el estudiante ha realizado la interiorización de contenidos y transferencia de conocimiento de forma adecuada.

La accesibilidad, usabilidad y navegación, se convierten en elementos indispensables a tener en cuenta en el momento de realizar una revisión de medición del e-learning en ambientes educativos. En el mismo sentido, se encuentra el criterio de habilidades básicas en el manejo de herramientas, que en los estudios de evaluación se encontró como el grado de experticia en el manejo de plataformas virtuales, desarrollo de nuevas habilidades por los actores y las capacitaciones asociadas a este indicador que según varios estudios son importantes para una adecuada inclusión de tecnologías en la educación. Así, una propuesta de los indicadores básicos para medir el proceso de aprendizaje de acuerdo al análisis realizado es agruparlo categorías (ver Fig. 3)

Fig. 3. Categorías propuestas de los indicadores y variables para medir el proceso de aprendizaje en e-learning. Fuente: Elaboración Propia

i) Institución: la relacionada con la institución que pretende medir la dotación de la infraestructura de la institución y soporte para TIC cuando el estudiante de EaD haga uso de la infraestructura educativa y la provisión de servicios de soporte a los estudiantes, observándose la relación de esta categoría con el segundo rasgo característico de la EaD.

ii) Pedagogía: en la cual se mide el proceso de aprendizaje del estudiante, con base en los materiales ofrecidos, el diseño instruccional de cada curso, la asesoría del tutor, las retroalimentaciones a las actividades presentadas, donde ésta categoría tiene relación con el tercer rasgo característico de la EaD.

iii) Tecnología: en la cual se evalúa la accesibilidad, navegabilidad y usabilidad de la herramienta virtual utilizada como soporte al proceso educativo, las habilidades en el manejo de TIC por parte de los profesores y los estudiantes es un aspecto necesario que permite evaluar la efectividad de las TICs en la educación, de igual forma la comunicación en sentido bidireccional que permite al estudiante beneficiarse de esta para aclarar dudas o realizar su trabajo en equipo y de forma colaborativa, y se relaciona con el cuarto y quinto rasgo fundamental de la EaD.

iv) Contexto: todo proceso de evaluación depende de las características específicas del contexto de referencia, es por ello que se evalúa, el contexto social, económico, cultural y político, si bien podemos llegar a identificar indicadores en el ámbito internacional o nacional, de carácter más general, hay algunos que solamente son adecuados para una determinada región o centro o programa en función de su misión, valores, u otro tipo de características diferenciales. Esta categoría se relaciona con el primer y segundo rasgo fundamental de la EaD.

v) Servicios y otros: pretende medir otros aspectos que no se encuentran directamente relacionados con los tres anteriores y tiene relación con la satisfacción del estudiante al terminar un curso e-learning, la motivación del mismo durante el desarrollo del curso y su influencia en el proceso de aprendizaje, si se ha mejorado la educación con la inclusión de TIC y cuáles son esos obstáculos que presentan tanto los estudiantes como los profesores cuando son inmersos en un ambiente de formación electrónica.

Los indicadores y variables de cada una de las categorías son explicados en las Tabla 5 a la 9 incluyendo aspectos relacionados con la Institución (Tabla 5), Aspectos pedagógicos (Tabla 6), Aspectos Tecnológicos (Tabla 7), Aspectos Contextúales (Tabla 8) y Servicios y otros (Tabla 9).

Tabla 5: Indicadores de la categoría Institución

Variable	Indicador
Clasificación	Nivel de enseñanza de la institución educativa (básica, secundaria, superior)
	Tipo de formación (formal, no formal)
	N° de programas ofertados (secundaria, pregrado, posgrado)
	% Formación orientada al mercado laboral
Características de la institución	N° total de estudiantes matriculados en la institución
	N° de docentes contratados en la institución
	Tasa de docentes = docentes disponibles/ docentes necesarios
	Densidad de estudiantes por programa académico ofertado
Infraestructura	Nivel de acceso de las escuelas a las TIC
	N° de equipos de audioconferencia
	N° de equipos de videoconferencia
	Razón de computadores conectados a intemet en la institución educativa
	% de docentes y estudiantes dotados de PC
	% de salones de clase dotados para e-learning
	Razón de estudiantes por computador destinado a enseñanza-aprendizaje (E/A)
Retención	N° de estudiantes que matriculan el curso por periodo académico
	N° de estudiantes que aprueban el curso / N° de estudiantes que matriculan el curso
	N° de estudiantes que terminan el curso / N° de estudiantes que matriculan el curso
	Media del N° de estudiantes asignados a atender por docente

Tabla 6: Indicadores de la categoría Pedagogía

Variable	Indicador
Características de los participantes	Nivel de habilidades pedagógicas en los actores
Recursos de aprendizaje	N° de bases de datos en convenio con la biblioteca virtual de la institución
	Razón de acceso a la biblioteca virtual por día
	N° de videos o enlaces a videos dentro del curso
	N° de audios o enlaces a audios dentro del curso
	N° de simuladores o enlace a simuladores dentro del curso
	N° de prácticas o laboratorios (remotos y presenciales) en el curso
Diseño instruccional	Hay objetivos en el curso
	Se indica la metodología de desarrollo del curso
	Es clara la didáctica del curso
	Es clara la estrategia de trabajo del curso
	N° actividades de trabajo en grupo o de aprendizaje colaborativo

Tabla 6: (continuación)

	Las actividades promueven el aprendizaje autónomo
	Tasa de prácticas programadas=N° de prácticas programadas/N° de capítulos del curso
	N° de evaluación en línea que presenta el curso (diagnóstica, continua y sumativa)
	% de evaluaciones presentadas por el estudiante con relación a N° de evaluaciones del curso
	Grado de integración de las TIC al currículo
Modelo Pedagógico	Estilo de aprendizaje e inteligencia del estudiante
	Estilo de enseñanza del docente
	N° de horas asistidas/ N° de horas del curso x 100
	N° de horas de estudio al día
	Tasa de prácticas realizadas = N° de prácticas realizadas por el estudiante / N° de prácticas programadas * 100
	Tasa de actividades teóricas realizadas = N° de actividades teóricas realizadas por el estudiante / N° de actividades teóricas programadas * 100
	N° de retroalimentaciones dadas por el docente al estudiante
	Clima en el proceso de E/A= (media de la satisfacción de los estudiantes con las relaciones estudiante-docente + media de la satisfacción de los estudiantes con las relaciones estudiante-estudiante )/2
Curso	El curso presenta una estructura general
	El curso respeta e incluye la propiedad intelectual
	El curso tiene contenido actualizado
	El curso tiene contenido suficiente
	El curso tiene un contenido útil
	El contenido del curso se entrega a tiempo
	N° de citaciones dentro del contenido del curso
	N°s de revistas indexadas y journal en las referencias
	Involucra a los estudiantes en los procesos de autoevaluación, heteroevaluación y coevaluación

Tabla 7: Indicadores de la categoría Tecnología

Variable	Indicador
Herramienta Virtual	% de navegabilidad de la herramienta virtual
	% de usabilidad de la herramienta virtual
	% de accesibilidad de la herramienta virtual
	Grado de Accesibilidad del estudiante a la herramienta virtual
	Grado de Accesibilidad del docente a la herramienta virtual
	Nivel de Aspecto gráfico
	Rapidez de descarga de las páginas
	Facilidad para imprimir
	Cantidad de información presentada
Habilidad	Grado de experiencia del estudiante en el manejo de TIC
	Grado de experiencia del docente en el manejo de TIC
Comunicación	Síncrona: N° de videoconferencias programadas para labores de E/A en el curso
	Síncrona: N° de chat programados para labores de E/A en el curso
	Asincrona: N° de e-foros abiertos para labores de E/A en el curso
	Asincrona: N° de e-mail enviados por el docente para labores de E/A en el curso
Conectividad	Tiempo promedio en Internet (días a la semana y horas semanales) para realizar actividades académicas
	Tipo de conexión a intemet
	Velocidad de conexión a intemet
	Lugar de acceso a la conexión (hogar, trabajo, café intemet, familiar, amigo)
Nivel de uso	Frecuencia de uso del intemet para actividades de formación
	Frecuencia de uso del computador por parte de los estudiantes

Tabla 8: Indicadores de la categoría Contexto

Variable	Indicador
Político (Demográfico)	N° de habitantes (miles de hab)
	Tasa de natalidad
	Esperanza de vida
	Población por zona de residencia (miles de hab)
	Origen geográfico del estudiante
Económico	PIB percápita
	Tasa de crecimiento del PIB
	% de población por debajo de la línea de pobreza
	Tasa de inflación
	Tasa de desempleo
	Ingreso familiar
	Egresos
	Proporción personas que trabajan en el hogar
	Responsable económicamente por sus estudios
	Ocupación
Cultural	Tasa de analfabetismo
	Promedio de años de escolaridad
	Cobertura por nivel educativo
	Pertenece a minorías
	Grupo religioso al que pertenece
social	N° de personas que integran el núcleo familiar, incluyéndose
	Proporción niños en total de personas
	Proporción adultos mayores en total de personas
	Nivel de estudios del padre
	Nivel de estudios de la madre
	Grupo vulnerable al que pertenece
	Ubicación de la vivienda
	Tipo de vivienda
	Tenencia de la vivienda

Tabla 9. Indicadores de la categoría Servicios

Variable	Indicador
Servicios	N° de servicios de educación en red
Comunicación	Nivel de comunicación del estudiante con el instructor
	Nivel de comunicación del estudiante con otros estudiantes
	Nivel de comunicación del estudiante con el servicio de soporte
	Nivel de comunicación del estudiante con administrativos
Motivación y satisfacción	% de satisfacción del estudiante en un curso
	% de motivación del estudiante (nivel de actitud y nivel de interés) del estudiante
	% conformidad de estudiantes de un curso
Soporte	Nivel de soporte tecnológico y pedagógico para los participantes

CONCLUSIONES

Una vez abordadas las definiciones de EaD y e-learning, se observan características comunes en las dos definiciones lo que permite deducir que el e-learning es la evolución de la EaD con uso de TIC, por lo tanto es importante realizar una evaluación del proceso de aprendizaje en los estudiantes que toman esta modalidad de formación.

La inclusión del sector de e-formación en varios sistemas de indicadores da cuenta de lo importante que es este campo y de allí la necesidad de revisar los indicadores establecidos, además que se debe continuar ahondando en este campo.

En el ejercicio de evaluación de e-learning, la dilucidación de los indicadores es lo más relevante, de tal forma que mida no sólo variables generales de inclusión de TIC sino que se observe el contexto y lo que sucede con el uso de las mismas en la educación.

De los indicadores identificados en los sistemas de referencia de la sociedad de la información, sólo un pequeño porcentaje permite evaluar el proceso de aprendizaje del estudiante, mientras que un gran porcentaje evalúa la inclusión de la infraestructura, caso contrario a lo que se evidenció en los indicadores de los estudios de evaluación donde se invierte la proporción, además que los criterios de la sociedad de la información para la medición de la e-formación, se podría decir que sólo el 16% de los criterios encontrados miden del proceso de aprendizaje, mientras que en los estudios de evaluación el 85% de los indicadores evalúa este aspecto.

La accesibilidad, usabilidad y navegación, se convierten en elementos indispensables a tener en cuenta en el momento de realizar una revisión de medición del e-learning en ambientes educativos, pues son indicadores comunes entre los sistemas de indicadores de la sociedad de la información y los estudios revisados.

El indicador de habilidades básicas en el manejo de herramientas o grado de experticia en el manejo de plataformas virtuales, es igualmente importante para la inclusión en el proceso de evaluación del e-learning.

La evaluación del desempeño del estudiante en la formación es uno de los indicadores preferidos para determinar el grado de aprendizaje que han tenido los estudiantes inmersos en ambientes e-learning.

REFERENCIAS

Alves, A., Educação e Sociedade do Conhecimento Contributo para o capítulo "Educação" del Manual de Lisboa. Memorias del IV Seminario Iberoamericano de Indicadores sobre la Sociedad del Conocimiento. Organizado por CYTED, RICYT y ISCTE. Lisboa - Portugal 11 y 12 de Septiembre (2008).

Ahmad, H.; Udin, Z. y Yusoff, R., Integrated process design for e-learning a case study. The sixth International, Conference on Computer Supported Cooperative Work in Design, pp. 488-491 (2001).

Bustamante A. y Sánchez-Torres J.M., Indicadores para la medición de la Sociedad de la Información una revisión, Encuentro Nacional de Investigación en Postgrados ENIP. Universidad Nacional de Colombia, Bogotá, Diciembre (2009a).

Bustamante A. y Sánchez-Torres J.M., Indicadores de la Sociedad de la Información para la medición en e-banking y e-learning. Encuentro Nacional de Investigación en Postgrados ENIP. Universidad Nacional de Colombia, Bogotá, Diciembre (2009b).

Cardona-Román, D.M. y Sánchez-Torres, J.M., La Educación a Distancia y el e-learning en la Sociedad de la Información un Estado del Arte. Enviado para publicación Revista de la facultad de ingenierías Físico Mecánicas de la Universidad Industrial de Santander (2010).

Chiarani, M.; Pianucci, I.; Lucero, M., Criterios de Evaluación de Plataformas Virtuales de Código Abierto para Ambientes de Aprendizajes Coiaborativos, Anales del VI Workshop de Investigadores en Ciencias de la Computación (WICC 2004) ISBN 950-665-337-2, Neuquén, Argentina Mayo (2004).

Comezaña, O. y García, F., Plataformas para educación basada en web Herramientas, procesos de evaluación y seguridad, Informe Técnico, Universidad del Salamanca p. 66. Disponible en http//tejo.usal.es/inftec/2005/DPTOIA-IT-2005-001.pdf (2005).

Correia, A. y Dias, P., Criteria for evaluating learning web site how does this impact the design of elearning?, In Proceedings II Conferencia Internacional challenges / desafios'2001. pp. 521-528 (2001).

Cuevas, S.O., García L.R. y Cruz M.I., Evaluación del Impacto de una Plataforma Tecnológica utilizada en una Universidad Mexicana, Encuentro de Educación Virtual, VirtualEduca (2006).

Diaz, D.P., Online Drop Rates Revisited, The Technology Source, Disponible en: http//ts.mivu.org/default.asp?show=article&id=1034 Mayo-Junio (2002)

Divjak, B. y Begicevic, N., Imaginative acquisition of knowledge - strategic planning of E-learning, memorias de la 28th International Conference on Information Technology Interfaces - ITI2006, pp. 47-52, Cavtat Croatia, 19-22 Junio (2006)

Fang, C. H., Study on Effects, Limits and Current Situation of E-learning System an Example on Small-median Enterprises Industrial, Memorias de IEEE IEEM, pp. 322-326 (2007)

Fetaji, B., Fetaji, M., E-learning Indicators Approach to Developing e-learning Software Solution, Memorias of the International Conference on "Computer as a Tool" - EUROCON. pp. 2687-2694 (2007a)

Fetaji, B., Fetaji, M., E-learning Indicators Methodology Approach in Designing Successful e-learning, Memorias de 29th International Conference on Information Technology Interfaces, pp. 307-312, Cavtat Croatia, 25-28 Junio. (2007b)

Ga-jin, I., Developing Evaluation Tool for e-learning Management of Engineering an Technology, Portland International center for, Management of Engineering and Technology, pp. 1526-1537 (2007)

González, M.P. y Sánchez-Torres, J.M., Design on Evaluation Model for Social Inclusión in the Information Society A proposal from action research approach, 5th Euro American Conference on Telematics and Information Systems, Ciudad de Panamá, Panamá (2010)

Katz, J.M. y Hilbert, M.R., Los caminos hacia una sociedad de la información en América Latina y el Caribe, Naciones Unidas, (2003)

Keegan, D., Foundations of Distance Education. USA Routledge (1996)

Ketabchi, E., Mortazavi, M. y Moeini, A., Evaluation of user satisfaction in Center of eLearning-University of Tehran. Memorias de International Conference on Computer Science and Software Engineering, (2008)

Liu, Z., Learning from E-commerce from E-learning Information Technologies and Applications in education. ISITAE '07. First IEEE International Symposium, pp. 193-197, (2007)

Mandinach, E., The Development of Effective Evaluation Methods for E-learning A Concept Paper and Action Plan. Teachers College Record. Vol. 107, No. 8, pp. 1814-1835, Agosto (2005)

Marshall, S. y Mitchell, G., Potential Indicators of e-learning Process Capability. Educause in Australasia, ISBN. 1-876346-47-7 (2003)

MERITUM project, Guidelines for managing and reporting on intangibles (intellectual capital statements). Madrid Editorial Fundación Vodafone (2002)

Moore, M.G. y Kearsley, G., Distance Education a Systems View. Belmont, Ca. Wadsworth Publishing Company (1996)

Olds, B. M., Effective Strategies to Assess the Impact of e-learning. Proceedings of Conferences on e-Technologies in Engineering Education Learning Outcomes Providing Future Possibilities, Vol. P1, Article24, pp. 158-163, Davos, Suiza (2002)

Osorio, L. y Aldana, M., Diseño de Lineamientos para la Formulación de Planes Estratégicos de Incorporación de TIC en IES COLOMBIANAS. Ponencia en Ribiecol, Universidad de los Andes apoyado por el Ministerio de Educación Nacional. Disponible en http//www.ribiecol.org/nueve/ponencias/74.pdf (2009)

Peña, M. y Avendaño, B. L, Evaluación de la implementación del aula virtual en una institución de educación superior (Fundación Universitaria Konrad Lorenz, Colombia). Revista Suma psicológica, Vol. 13, No. 2, pp. 173-192, ISSN 0121-4381, Septiembre (2006)

RICYT, Red Iberoamericana de indicadores de ciencia y tecnología, Ministerio de educación República de Portugal, Observatorio CAEU-OEA, Agencia española de cooperación internacional para el desarrollo (aecid). "Manual de Lisboa. 2009. Capítulo de Indicadores en la Educación". Disponible en: http//ricyt.org.elserver.com/docs/lisboa/manual_lisboa ES.pdf (2009)

Rubio, M. J., Focus and models of evaluation of the e-learning, RELIEVE, Revista Electrónica de Investigación y Evaluación Educativa. Vol. 9, No. 2, pp. 101-120, Disponible en http//www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1eng.htm (2003)

Sánchez-Torres, J.M., Propuesta metodológica para evaluar las políticas públicas de promoción del e-government como campo de aplicación de la Sociedad de la Información. El caso colombiano, Tesis Doctoral, Universidad Autónoma de Madrid, España (2006)

Seaone, A., Garcia, F., Bosom, A., Fernandez, E. Y Hernandez, M., Tutoring on-line as quality guarantee on elearning based lifelong learning. Definition, modalities, methodology, competences andskills, CEUR-WS, Vol-186, (2006)

UNESCO, Aprendizaje abierto y a distancia Consideraciones sobre tendencias, políticas y estrategias. Disponible en http//unesdoc.unesco.org/images/0012/001284/128463s.pdf (2002)

Wagner, R., Werner, J. y Schramm, R., An Evaluation of student satisfaction with distance learning course. University of Wisconsin. En 18th Annual Conference on Distance Teaching and Learning. Disponible en: http//www.uwex.edu/disted/conference (2005)

Yunus, Y., y Salim, J., Framework for the Evaluation of E-learning in Malaysian Public Sector from the pedagogical perspective, en IEEE, (2008)

Recibido Nov. 19, 2010;

Aceptado Nov. 29, 2010;

Versión final recibida Dic. 20, 2010