Capítulo 3

Evaluación de hipermedia en la enseñanza. 141 CAPÍTULO 3: EVALUACIÓN DE HIPERMEDIA EN LA ENSEÑANZA 1. MODELOS DE EVALUACIÓN. 2. MODELOS DE EVALUACIÓN DE HIPERMEDIA EN LA ENSEÑANZA. 2.1. DE CONCEPCIÓN AMPLIA. 2.2. DE CONCEPCIÓN RESTRINGIDA. 2.3. DE HIPERMEDIA EN LA ENSEÑANZA. 2.3.1. Sobre la base de estándares. 2.3.2. Sobre la base de instituciones. 2.3.3. Centrados en el proceso de enseñanza y de aprendizaje. 3. DIMENSIONES. 4. ESTRATEGIAS. 142 Capítulo 3 143 Evaluación de hipermedia en la enseñanza. 1. MODELOS DE EVALUACIÓN. La RAE describe el término modelo como el esquema teórico, generalmente en forma matemática, de un sistema o de una realidad compleja que se elabora para facilitar su comprensión y el estudio de su comportamiento. Este isomorfismo también es reconocido por Rodrigo (1995) que desde el plano científico y comunicativo especifica que hablamos de construcciones racionales que representan factores abstractos a través de relaciones extraídas de un conjunto de fenómenos empíricos. Las funciones propias de un modelo, según el autor son tres. De un lado, el modelo tiene como funcionalidad principal la explicación racional partiendo de un conjunto de fenómenos empíricos que conduce a un enunciado teórico basado en relaciones entre grupos de conceptos, para, y esta se entiende como función segunda pero no por ello menos importante, contribuir al avance de la ciencia para servir como punto de partida en un programa de investigación. La tercera función de un modelo es la estrictamente descriptiva. El concepto de modelo, llevado a contextos educativos mantiene ciertos rasgos comunes. En esta línea, Rodríguez (1980), atendiendo a los tipos de modelos reconoce, coincidiendo en parte con la definición que aporta la RAE, la existencia de modelos técnicos (como podría ser la maqueta de un automóvil), modelos gráficos (como podría ser el plano de una vivienda o de un futuro polígono industrial) y modelos verbales o conceptuales, aquellos utilizados para describir la tipología genérica de un fenómeno o un objeto. A continuación y de aquí en adelante vamos a centrarnos exclusivamente en este último, puesto que en nuestro contexto ofrece una “descripción simplificada y globalizante de diversos modos de entender la evaluación” (Rodríguez, 1980: 194). Escudero (1983) considera que un modelo es en sí la representación de una parcela de la realidad de modo simplificado, que no simplista. Dicha porción de la realidad, o conjunto de aspectos presentados a la vista del investigador, implican el objeto del modelo y su representación, además de manifestar el referente correspondiente el cual debe ser coherente con la teoría que le ofrece cobertura. Rodrigo (1995) coincidiendo con Rodríguez (1980) advierte que el modelo implica una generalización y que, como es evidente, la generalización va a suponer que tengamos en cuenta una serie de características o discriminaciones ignorando otras que al tiempo, también son propias del objeto de estudio. La rigidez, la simplicidad y, en el campo de la comunicación el hecho de afrontar un objeto de estudio continuamente cambiante (Rodrigo, 1995) manifiesta las serias limitaciones ante la elaboración de un modelo pero que, empero, no desacreditan las posibilidades que este nos brinda para comprender la realidad y ayudar al investigador a delimitar su línea de trabajo. Capítulo 3 144 2. DE HIPERMEDIA EN LA ENSEÑANZA. Martínez y Sauleda (1993) utilizan el término modelo de evaluación de software educativo o modelo de valoración de courseware indistintamente. La finalidad de ofrecer un modelo es la de favorecer la toma de decisiones del docente contribuyendo presumiblemente a una elección más racional. El modelo evaluativo ofrece, de un lado, información estructurada, y de otro, la valoración considerando la intención curricular dentro de un contexto determinado. Por su parte, Gros y Spector (1994) hablan de nuevos modelos de evaluación de medios cuando reconocen que entre los sistemas hipertextuales e hipermedia existen diferencias con respecto a los CAI tradicionales y que estas diferencias conservan ciertos parámetros de evaluación como por ejemplo el coste, el tipo de soporte, su compatibilidad con los entornos operativos existentes, mientras que otros desaparecen o se modifican. Tal es el caso de la usabilidad en sus actuales combinaciones, como la usabilidad en la ingeniería de sistemas hipertextuales, la usabilidad del contenido, la estructura y el modo en que ambos afectan al sistema hipermedia en su totalidad. La aparición de los modelos de evaluación es apreciada por De Pablos (1993), tal y como reconoce Prendes (1994), que desde un planteamiento centrado en los medios de enseñanza con tendencia hacia los medios audiovisuales, plantea la evaluación considerando dos niveles de análisis. En el primero, el origen epistemológico de investigación es fundamental, en tanto que dependiendo de dicho origen éste lleva consigo matices a la hora de utilizar las dimensiones investigadas de los medios. Desde un planteamiento general, la evaluación de medios de enseñanza implica diferentes modelos evaluativos. Cada uno viene determinado por la concepción general que se tenga de la teoría de la educación, y es lo que se denominan “estructuras de racionalidad” o enfoques de origen epistemológico a los que el autor llama enfoque tecnológico, enfoque simbólico- interactivo y enfoque etnometodológico. El segundo nivel de análisis hace referencia a los factores o variables que determinan el tipo de medio y su uso en la enseñanza, y es equivalente a lo que Cabero (1994, 1999) reconoce como perspectiva o tipo de evaluación, esto es, la manera o maneras de plantearse y llevar a cabo la evaluación del medio de enseñanza (concepto que trabajamos en el capítulo dos). Por definición, un tipo o perspectiva de evaluación podría considerarse también un modelo de evaluación36. Para Cabero (1994, 1999, 2001) las perspectivas desde las que realizar la evaluación de medios son: a) la evaluación del medio en sí; b) la evaluación comparativa del medio; c) la evaluación económica y d) la evaluación didáctico-curricular. Cada una de ellas implica: • 36 Evaluación del medio en sí: Valorar el medio en sí atendiendo a sus características técnicas y didácticas. La evaluación puede efectuarse desde un planteamiento La RAE define el “tipo” como modelo o ejemplar y la “perspectiva” como un conjunto de objetos presentados a la vista del espectador desde un punto determinado. 145 Evaluación de hipermedia en la enseñanza. global o bien identificando distintas dimensiones como por ejemplo el contenido, la imagen o el ritmo. • Evaluación comparativa del medio: Analizar a través de la comparación, la viabilidad entre dos medios distintos a la hora de alcanzar determinados objetivos, o sus potencialidades ya sean técnicas, ya sean expresivas, para la presentación de determinada información. El análisis puede ir desde los aspectos didácticos hasta los estéticos o técnicos. • Evaluación económica: El análisis puede realizarse desde una doble vertiente; de un lado comparando medios centrándose en el costo del diseño y su producción; de otro, relacionando el costo de la producción con diversos beneficios reales o supuestos que se persiguen. Es una evaluación efectuada desde una vertiente mercantilista. • Evaluación didáctico-curricular: Conocer el comportamiento de un medio dentro del contexto de enseñanza y aprendizaje así como sus posibilidades de interrelación con el resto de elementos del currículo. Martínez y Sauleda (1993) tratan la evaluación del courseware desde dos ámbitos: uno descriptivo, el que se refiere a la configuración técnica del programa y el otro, valorativo, enfocado hacia las potencialidades instructivas del courseware. En esta línea se encuentra Del Moral (1999) si bien incorpora matices a la dimensión valorativa. El proceso de evaluación para Del Moral (1999) debe convertirse en el eje central de todo proceso de diseño de cualquier sistema hipermedia y las perspectivas de esta evaluación deben atender, desde la perspectiva técnica, el carácter procesal- formativo así como el análisis del producto final. Desde la perspectiva educativa, se valorará el uso didácticoeducativo del hipermedia, se analizarán sus ventajas e inconvenientes, los beneficios en cuanto al aprendizaje “supuesto” para el que ha sido concebido y la adecuación a los usuarios potenciales. Squires y McDougall (1994) considera dos tipos de evaluación de programas informáticos en contextos educativos diferenciando entre la evaluación formativa, aquella que se efectúa durante el desarrollo del programa y que atiende a las posibles modificaciones del software, y la evaluación sumativa, aquella que se realiza una vez publicado el programa y se centra en la calidad y variedad de experiencias en que puede apoyarse la aplicación. Ya las desarrollamos en el capítulo uno. De otro lado, Gros y Spector (1994) ofrecen un espacio de trabajo conceptual para la evaluación de sistemas de diseño instrucional automatizados (AID Systems) contribuyendo con la evaluación al aprovechamiento tanto de courseware interactivo (ICW) como a la instrucción asistida por ordenador (CAI). Para ello, adoptan un modelo de evaluación, del cual hablaremos más adelante, con el que ofrecer tanto productos acabados como pautas para el proceso de desarrollo de courseware. Tanto para el proceso como para el producto Capítulo 3 146 se plantean tres perspectivas o niveles de consideración: el producto propiamente dicho, el usuario y el contexto donde se desarrolla la acción instrucional. Desde una perspectiva más general, Mateo (2000) agrupa dos grandes propuestas a la hora de ofrecer una aproximación a la evaluación educativa: la evaluación centrada en los resultados y la evaluación orientada al estudio de los procesos. En palabras del autor, la primera se asocia al uso de las tecnologías educativas y son evaluaciones especializadas en fórmulas estandarizadas que tienden a la recopilación de información. En esta línea encontramos el Learning for Mastery y el Personaliced System of Instruction (PSI), ambos propios de la década de los sesenta con Bloom, Carroll y Keller, y que se agrupan dentro de los modelos orientados hacia el dominio cuyas estrategias más eficaces, según apunta Lara (2001) son la evaluación formativa y la exigencia de un estándar de dominio donde una plataforma telemática de enseñanza hace viable su puesta en marcha. El inconveniente más característico que apunta Mateo (2000) ante el uso enfoques que recurren a técnicas estandarizadas es que restringe el análisis ofreciendo resultados parciales o fragmentados mientras que las evaluaciones orientadas al estudio de los procesos evalúan las realidades educativas inmediatas buscando la percepción global de la información (Escudero, 1983; Squires y McDougall, 1994; Mateo, 2000). Por su parte, el inconveniente de esta última estriba en el gran cúmulo de datos que es posible recoger y la necesidad de tiempo y personal para proceder a su análisis. Una síntesis de las perspectivas vistas destinadas a la evaluación de medios en general y útiles en aplicaciones informáticas y sistemas hipermedia en particular aparece recogida en la tabla 3.1. Autor/ Año Martínez y Sauleda (1993) Squires y McDougall (1994) Gros y Spector (1994) Del Moral (1999) Cabero (1994, 1999, 2001) Mateo (2000) Perspectiva de evaluación Ámbito técnico Ámbito instructivo Evaluación formativa Evaluación sumativa Evaluación orientada al producto Evaluación orientada al usuario Evaluación orientada al contexto Perspectiva Técnica Perspectiva Educativa Evaluación del medio en sí Evaluación comparativa de medios Evaluación económica Evaluación didáctico-curricular Evaluación centrada en los resultados Evaluación orientada al estudio de los procesos Tabla 3. 1. Acercamiento a la evaluación de medios en la enseñanza. No perdiendo de vista el objeto de este apartado, esto es, centrarnos en modelos de evaluación con hipermedia, se describen a continuación cuatro modelos cuya elección se debe a la búsqueda de una representación que al tiempo muestre un contraste entre modelos lo suficientemente importante como para separarse. De esta forma, a largo plazo se pretende categorizar los modelos de evaluación útiles para el hipermedia, modelos que 147 Evaluación de hipermedia en la enseñanza. vayan apareciendo paulatinamente y que permitan aproximarnos a clasificarlos aun a costa de caer en cierta simplificación. Las revisiones y análisis de trabajos relacionados con la evaluación de medios en la enseñanza y, más en concreto, con la evaluación de sistemas y aplicaciones hipermedia (como se vio en el capítulo uno al diferenciar entre revisión, selección y evaluación) han sido útiles para marcar los siguientes tres criterios pensando en modelos de evaluación: • Hablamos de modelos desde una concepción amplia cuando nos referimos a aquellos modelos de evaluación que tal y como expusimos con anterioridad (Rodrigo, 1995) no sólo describen, sino que ofrecen una explicación racional con la intención de contribuir al avance científico. Aquí dentro se ubican los modelos que tienen que ver con la evaluación de medios. Las palabras clave dentro de este criterio serían: metamodelo de evaluación, modelo general o modelo de investigación de medios. • Los modelos desde una concepción restringida van a ser aquellos que representan una herramienta de evaluación concreta, me refiero a cuestionarios o listas de control. La finalidad de estos modelos es favorecer la selección, la revisión o la evaluación (adoptando los conceptos de Squires y McDougall expuestos en el capítulo uno) utilizando estas herramientas sin gran detenimiento en teorías de partida. Las palabras clave dentro de este criterio serían: cuestionario, herramienta, dimensiones para la evaluación, criterios de evaluación, listado para evaluar, parrilla de evaluación, lista para evaluar software. • Cuando el modelo no ha podido ubicarse en ninguno de estos criterios sencillamente se le ha denominado modelo de evaluación de hipermedia en la enseñanza. Aquí se van a ubicar los modelos de evaluación específicamente de hipermedia. Van a ser modelos que reconocen explícitamente las características del hipertexto digital por lo que además de asumirlas se detienen en concepciones didácticas para la evaluación del aprendizaje cuando se produce en entornos hipermedia. Las palabras clave dentro de este criterio serían: evaluación del aprendizaje en entornos, evaluación de entornos de aprendizaje o evaluación del aprendizaje con multimedia interactivo. Trato de representar esta idea en la figura 3.1. En ella se observa el grado de cada criterio, su amplitud. Además se incorpora un ejemplo de modelo de acuerdo a esta aproximación. Los ejemplos pasamos a describirlos en los párrafos siguientes. 2.1. DE CONCEPCIÓN AMPLIA: Evaluación de medios. Escudero (1983) bajo la pretensión de perfilar un posible modelo teórico que permita la investigación sobre medios de enseñanza expone, dentro del marco del enfoque sistémico y la perspectiva psico- didáctica, el modelo general interactivo para el análisis de medios, inspirado en los trabajos de finales de los años setenta y principios de los ochenta de Capítulo 3 148 MEDIOS SOFTWARE HIPERMEDIA Modelos desde una concepción amplia Modelos desde una concepción restringida Modelos de evaluación de hipermedia en la enseñanza Autor/Año Modelo Para o dirigido a ... Categoría/ Dirección Escudero (1983) General Interactivo Investigación sobre medios Análisis de medios Enfoque sistémico Concepción amplia (General) Martínez y Sauleda (1993) De courseware Escala de definición y valoración de software Concepción restringida (de selección) Gros y Spector (1994) Orientado al proceso y al producto. Evaluación orientada al producto Evaluación orientada al usuario Evaluación orientada al contexto Squires y McDougall (1994) Interacciones de las perspectivas De hipermedia en la enseñanza (CAI, ICW, AAO) Del profesor y del estudiante. Del diseñador y del estudiante. Del diseñador y del profesor. Figura 3. 1. Acercamiento a una clasificación de modelos de evaluación de hipermedia en la enseñanza. Heidt, Bates, Clark y Salomón (citado en Escudero, 1983). En la figura 3.2 se recoge el perfil general de un modelo teórico para el análisis de medios o como él mismo lo identifica “un modelo para la investigación de medios”. El modelo, recordando las funciones que detalla Rodrigo (1995), trata de ofrecer posibilidades de análisis y facilitar la investigación de medios contribuyendo a su descripción y explicación y con ello al avance científico. Los supuestos básicos que sustentan el modelo útil para el diseño de investigaciones evaluativas llevadas al terreno de los materiales y sistemas hipermedia las concretamos en las siguientes: A) La investigación debe ser congruente con una teoría que le ofrezca cobertura y desde una perspectiva psico-didáctica. Para ello será necesario recoger algunos postulados teóricos desde los que construir el modelo y estos deben ser pensados como contenidos sustantivos desde los que configurar la teoría de la enseñanza. 149 Evaluación de hipermedia en la enseñanza. B) De forma específica deberá proyectarse la teoría sobre la parcela particular del medio de enseñanza. C) Deberá tenerse presente la necesidad de conectar el modelo con el conjunto de elementos que componen el proceso instructivo del que forma parte, esto es, enmarcarse dentro del enfoque sistémico asumiendo que el medio es un componente didáctico al que relacionar con múltiples variables. 1) SUPUESTOS BÁSICOS DEL MODELO 2) REPRESENTACIÓN ESQUEMÁTICA DEL MODELO TEÓRICO 3) CONTEXTO DE FUNCIONAMIENTO DEL MEDIO MODELO DE ANÁLISIS DEL MEDIO 4) ESTRATEGIAS DE INVESTIGACIÓN Figura 3. 2. Perfil general de un modelo teórico para el análisis de medios. Basado en Escudero (1983). Escudero (1983) describe el modelo general interactivo aportando ejes que guían el análisis de cualquier medio de enseñanza. Así, reconoce la necesidad de considerar los modelos psicológicos que describen la dinámica del comportamiento incidiendo en la psicología diferencial, pero también en la importancia de características no cognitivas como la motivación, la ansiedad o la atribución. Otro eje de interés se centra en las diferencias individuales, diferencias que van a referirse al modo en que la persona procesa la información, pero diferencias que también se refieren al comportamiento asociado a la interacción del estudiante con el medio y con los diferentes contenidos (análisis de la estructura conceptual de la información y teoría de la elaboración). El tercer eje de relación que se advierte tiene que ver con la necesidad de integrar en el estudio del medio su propio contexto de funcionamiento. El modelo queda representado en la figura 3.3. Capítulo 3 150 Rasgos sujetos Tareas Medios Contenidos Atributos estructurales ● Habilidades cognitivas ● Estilos cognitivos rigidez- flexibilidad reflexivo - impulsivo holista - serialista ind. - campo - depend. visual - auditivo ● Rasgos no cognitivos introversión - extrav. ansiedad motivación logro atribución X Procesos X Atributos funcionales Productos OPERACIONES COGNITIVAS DEL ALUMNO Figura 3. 3. Modelo General Interactivo para investigación sobre medios. Escudero (1983, inspirado en Heidnt, 1978). De relevancia psico-didáctica, este modelo atiende a la hipótesis del medio de instrucción como instrumento cultural, de exploración de la realidad así como de procesos de internalización generando nuevas habilidades en los estudiantes y mereciendo una atención interdisciplinar37. 2.2. DE CONCEPCIÓN RESTRINGIDA: Evaluación de aplicaciones informáticas. De un plano general del análisis del medio, pasamos a un plano particular centrando la evaluación en las aplicaciones informáticas y la definición y valoración de estas. Del modelo anterior basado en las relaciones entre variables de diversa índole pasamos a una evaluación centrada en los resultados y el procedimiento estandarizado propuesto por Martínez y Sauleda diez años más tarde. Martínez y Sauleda (1993) proponen un modelo de definición y de evaluación al que también denominan modelo de valoración de courseware (atiéndase si se precisa a los matices que extraemos en el capítulo uno del trabajo de Squires y McDougall, 1994) con la intención de objetivar la toma de decisiones por parte del profesorado a la hora de seleccionar aplicaciones informáticas. El modelo se apoya en el enfoque crítico propuesto por Hawkridge en el año 1991 38. La propuesta de evaluación se materializa a modo de escala que va a permitir la comparación 37 Escudero (1983) recurre a los trabajos de Havelock de 1967, Bruner y Olson de 1973, Goodman de 1976, Luria de 1976 y Salomon de 1978 y 1979. Salomon (1979) atendiendo a la interacción recíproca reconoce que los efectos diferenciales del sistema simbólico de los medios sobre la adquisión del conocimiento están relacionados con sus efectos sobre las estrategias cognitivas superiores. Atiende por tanto al empleo de estrategias al servicio de la adquisición del conocimiento incidiendo en un cultivo gradual. 151 Evaluación de hipermedia en la enseñanza. de paquetes informáticos atendiendo a las necesidades que demanda el docente a este respecto. El modelo está dividido en amplias categorías que a su vez se subdividen en apartados concretos. Las áreas básicas, o dimensiones a las que atienden la Escala de definición y valoración de software son: características técnicas, contexto, diseño instruccional, tipo de interactividad y configuración de la evaluación dentro del programa. Landow (1995) en el análisis acerca del hipertexto que ya recogimos en el capítulo uno, incide en la importancia de reconfigurar los métodos de evaluación a la hora de llevar a cabo los procesos de enseñanza y de aprendizaje bajo nuevos ambientes. En este planteamiento también coinciden Cabero y Gisbert (2002) al asumir que el hecho de entender el proceso de enseñanza/ aprendizaje de forma distinta ante medios distintos (entornos tecnológicos basados en redes informáticas, estructuras hipertextuales y aplicaciones y sistemas hipermedia de acceso a la información) deriva hacia formas alternativas de evaluación del aprendizaje. Existe un reconocimiento de que, si bien las estructuras hipertextuales o el aprendizaje en pantalla puede tener sus inconvenientes, debemos dirigirnos hacia la utilidad que el medio tiene en sí mismo, en el caso del hipertexto, los nexos (capítulo dos). La posibilidad de interconexión entre párrafos y entre documentos completos supone posibilidades diferentes a las que brinda un libro de texto por ejemplo, de tal forma que el hecho de dejar que el estudiante escoja su trayectoria llevándole, en última instancia, a la elaboración de sus propia documentación requiere de un lado, de proyectos que animen al estudiante en este sentido, y de otro a mecanismos de evaluación que atiendan a esta posibilidad, reconsiderando el tipo de exámenes y otros métodos de evaluación (Landow, 1995, Gisbert, 2004 y Adell, 2004). 2.3. MODELOS DE EVALUACIÓN DE HIPERMEDIA EN LA ENSEÑANZA. Gros y Spector (1994) centrándose en la instrucción asistida por ordenador (CAI) y en el courseware interactivo (ICW) consideran que, a la hora de plantear una evaluación completa debemos centrarnos en el propio producto, en el usuario y en el contexto sin olvidar los mecanismos de relación entre ellos (proceso). 38 Martínez y Sauleda (1993) siguiendo a Hawkridge clasifican las revisiones sobre software dentro de cuatro categorías: definición del programa de forma descriptiva, valoración del programa de forma analítica, calificación del programa en detalle (enfoque crítico) y revisión exhaustiva y crítica (evaluación). Respecto al enfoque crítico recogen los autores que “aborda la calificación de los programas en detalle, considerando la coherencia interna de los mismo. En una aproximación de esta índole se puede esperar referencias a lo que los alumnos serán capaces de hacer después de trabajar con el paquete, comentarios sobre lo bueno y lo malo del software, datos acerca de la extensión del programa y sobre si los alumnos precisarán mucha asistencia del profesor, notas en relación a si los cortes para proseguir en otra sesión son lógicos, e información sobre la presentación y sobre las facilitaciones de uso como libros u hojas de ejercicios. Las referencias a la eficiencia del programa se limitan a nivel de evidencias anecdóticas u opiniones (1993: 167). Capítulo 3 152 La evaluación orientada al producto tiene la finalidad de emitir un juicio inicial sobre el programa, sin necesidad de que el estudiante lo haya utilizado. Obviamente, esta evaluación va a ser llevada a cabo por expertos, por lo general, de tecnología instruccional. La evaluación orientada al usuario busca los efectos que el programa produce en los estudiantes. El análisis se centra en: 1) 2) 3) 4) 5) las interacciones entre el programa y el alumnado los niveles de adaptación la motivación los efectos de aprendizaje la responsabilidad que recae en el usuario sobre el courseware. La metodología de evaluación deberá relacionarse con el contenido del programa y el tipo de programa que se evalúa. Recordemos que el planteamiento metodológico y la teoría del aprendizaje de partida afecta al proceso de enseñanza y de aprendizaje. Los criterios de evaluación irán orientados hacia la búsqueda de interacciones entre el estudiante, el profesor y el material, los niveles de motivación o la receptividad por parte del estudiante ante el programa. Lo que se pretende es acceder al proceso de aprendizaje completo del estudiante y no al conocimiento adquirido por él ante una intervención instruccional concreta, trato de representarlo en la figura 3.4. EVALUACIÓN INPUT (entrada) PROCESO OUTPUT (salida) Figura 3. 4. Modelo orientado a la toma de decisiones. Evaluación centrada en instrucción asistida por ordenador y courseware interactivo. Basado en Gros y Spector (1994). Finalmente, la evaluación centrada en el contexto atiende a cómo el ordenador y lo que éste transmite intervienen en el entorno. Interesan las formas cualitativas de interacción por lo que se consideran las actividades propias de las lecciones de clase (adquisición de conceptos, contenido) pero también, coincidiendo con Crook (1994), se consideran las relaciones sociales que implican. El modelo de evaluación de partida, o modelo de base, es el propuesto por Stufflebeam y Shinkfield, modelo C.I.P.P. centrado en el contexto, el input (o entrada), el proceso y el producto (Gros y Spector, 1994). Como apunta Mateo (2000) éste modelo muy probablemente sea la aportación evaluativa más importante que agrupa a los modelos orientados a la toma de decisiones. 153 Evaluación de hipermedia en la enseñanza. Otra referencia, siguiendo la línea de Escudero (1983), Gros y Spector (1994) y las necesidades manifestadas por Crook (1994) la ofrece Squires y McDougall (1994) tras una revisión interesante sobre los enfoques de evaluación basados en listas de control 39. Los autores reconocen la necesidad de desarrollar un enfoque de evaluación de software educativo global que permita la descripción, el estudio y la valoración de las aplicaciones, considerando tres grupos de actores: el alumnado, el profesorado y los diseñadores. Nos encontramos dentro de un ambiente de aprendizaje asistido por ordenador (AAO). La evaluación del programa se sustenta bajo la interacción alumnado- profesoradodiseñador, donde las interacciones entre pares contemplan aspectos diferentes. Así, la interacción entre las perspectivas que posee el estudiante y las que posee el profesor va a centrarse en la contemplación de la aplicación como un medio que genera formas innovadoras de interacción en el aula entre profesores y estudiantes. La interacción entre las perspectivas que posee el grupo de diseño de materiales y el alumnado que harán uso de dichos materiales se relaciona con la forma en que ellos van a utilizar el software educativo, preocupándose principalmente en el cómo pueden apoyarse los procesos cognitivos. La interacción entre las perspectivas que posee el equipo de diseño y las propias del profesorado está relacionada con cuestiones curriculares (procesos, contenidos y relaciones de estos con el aprendizaje informatizado). Trato de representarlo en la figura 3.5. García y Aguilar (1999), sobre la base de Squires y McDougall (1994) detallan las fases del modelo identificando un planteamiento descriptivo- evaluativo: 1ª) Descripción del programa, donde se atenderá a la edad de los destinatarios, los contenidos curriculares, el ciclo o cursos equivalentes a los que va destinado el material, las características de arranque del programa y los bloques de que consta. 2ª) Evaluación del programa, donde se atenderá a: A) La interacción de las perspectivas profesor/a-alumno/a, en cuanto a la forma de utilización del programa, las funciones implícitas que desempeña el profesorado con él y la previsión acerca del carácter de las interacciones en clase así como del ambiente de aprendizaje que genera. B) La interacción de las perspectivas diseñador/a-alumno/a, donde se prestará atención a la teoría del aprendizaje que subyace, los procesos cognitivos y experiencias de aprendizaje que apoya y la accesibilidad que genera. C) La interacción de las perspectivas diseñador/a- profesor/a, atendiendo a los contenidos y objetivos curriculares, los procesos (en cuanto a la importancia que da el programa a ellos) y finalmente los rasgos sexistas si los hubiera. 39 Las listas de control son cuestionarios o escalas de evaluación que permiten valorar software. El estudio que ofrece Squires y McDougall en torno a ellas concluye en detrimento de las listas por lo que le lleva a la afirmación de que es necesario generar un enfoque diferente de evaluación. Para dar respuesta a esta necesidad los autores proponen el Paradigma de la Interacciones de las Perspectivas”. Capítulo 3 154 Perspectiva: Diseñador / Alumnado - Teoría del aprendizaje - Procesos cognitivos - Experiencias de aprendizaje - Accesibilidad Perspectiva: Profesorado / alumnado EVALUACIÓN - Uso del programa - Funciones implícitas del docente - Interacciones en clase (previsiones) - Ambiente de aprendizaje (previsiones) INTERACCIÓN Perspectiva: Diseñador / Profesorado DESCRIPCIÓN - Contenidos - Objetivos curriculares - Procesos - Rasgos sexistas Figura 3. 5. Interacciones de las perspectivas como modelo de evaluación, basado en Squires y McDougall (1994). 2.3.1. Sobre la base de estándares. La palabra estándar proviene de la lengua anglosajona standard y se utiliza para referirse a aquello que va a ser utilizado como tipo, como un modelo a seguir, como una norma, o bien como un patrón o una referencia. Dentro del contexto tecnológico, apunta Arriaga et. al. (2002) que el estándar implica acuerdos internacionales documentados o normas establecidas bajo el consenso mundial40. Henríquez y Rallo (1999) entienden por estándar para la elaboración de entornos tecnológicos de enseñanza a la normativa que trata de generar arquitecturas de un sistema tecnológico o abstracciones de alto nivel. Estas arquitecturas o abstracciones intentarán ser representativas de una amplia gama de implementaciones prácticas. Los autores 40 Bajo esta premisa, en 1947 comienza su labor la ISO (International Standards Organization), federación no gubernamental, cuya misión es la de promover el desarrollo de estándares y ofrecerlos facilitando la mejora de los servicios y la cooperación en actividades que atañen a esferas científicas e intelectuales, tecnológicas y económicas. Actualmente abastece a 140 países. No obstante, el término estándar implica diferencias en sí mismo. El Consorcio de E- Learning del Centro MASIE (2002) reconoce dos tipos distintos de estándares: los estándares “de jure” y los estándares “de facto”. Los estándares de jure son aquellos que disponen de un certificado formal tras haber pasado por un proceso de elaboración reconocido y explícito. Estos estándares disponen de un estatus de especificidad al estar dotados de una acreditación. Algunos ejemplos del tipo de estándar al que nos referimos son el IEEE LTSC, ISO/IEC—JTC1/SC36, o el CEN/ISSS europeo. Los estándares de facto son aquellos que se instauran porque una gran mayoría de personas los han adoptado ante un conjunto de cambios que han originado una especificación, independientemente de que haya o no una certificación o acreditación formal. Ejemplos de estos estándares son el TCP/IP o el protocolo HTTP . 155 Evaluación de hipermedia en la enseñanza. mencionados entienden por arquitectura de un sistema a la descripción de un sistema tecnológico según sus componentes básicos (subsistemas) y su interacción con otros sistemas. El uso de estándares y especificaciones destinadas a entornos tecnológicos de enseñanza supone una tarea laboriosa antes de llegar a adoptarse de modo general. Hasta la fecha no se reconoce un proceso único y absoluto para la creación de un estándar común por lo que cada consorcio u organización tiene sus propios procedimientos (ISO, 2002; MASIE, 2002). De modo ilustrativo valga el trabajo del MASIE Center E-Learning CONSORTIUM (2002), el cual identifica un modelo de proceso superior global en la evolución de cualquier estándar. En todo proceso se reconocen por lo general cuatro estados típicos: 1º estado, de I+D (Investigación más Desarrollo) 2º estado, de desarrollo de la especificación 3º estado, de muestreo o prueba piloto 4º estado, el estándar de jure. Paso a detenerme en estos cuatro estados. En sus inicios, determinados organismos e instituciones que se relacionan con la investigación y el desarrollo, actúan ante un problema concreto identificando soluciones posibles. Generalmente las universidades, compañías con departamentos de investigación y/ o consorcios de I+D son quienes actuarán en esta primera etapa a la hora de dar una solución conveniente a un problema determinado. El foro que desarrolla PROMETEUS es un ejemplo de este primer estado (CETIS, 2002c). Una vez detectado el problema y su posible solución se llega al desarrollo de la especificación. Aquella solución que se ha visto como tentadora o meritoria, que ha sido valorada previamente y la cual ha manifestado una utilidad en potencia, se procesa documentalmente obteniendo una especificación por escrito y detallada. De esta forma la propuesta se puede codificar e implementar. Este es el procedimiento típico de un grupo de trabajo, a menudo asumido por varios consorcios y colaboraciones como sucede por ejemplo con el AICC, el IMS o ARIADNE. El tercer estado o fase de un estándar hace referencia al procedimiento de muestreo y pruebas pilotos a desarrollar. La especificación se expone ante situaciones prototipo para Un ejemplo de este estado se da dentro del ADL Co- Lab, grupo directamente vinculado con el Departamento de Defensa de EEUU, destinado al estudio de especificaciones y estándares para el desarrollo de ambientes digitales de formación. Algunos centros específicos dedicados al muestreo son JCIEL projects o CETIS Groups (CETIS, 2002c). Finalmente llegamos al estado donde se encuentra el estándar de jure, es decir, aquel que está dotado de un certificado formal reconociendo todo el proceso de elaboración. Capítulo 3 156 El muestreo ha servido para completar las especificaciones, las cuales van a ser tomadas para acreditar el cuerpo del estándar. Éste será de nuevo revisado, esta vez de un modo más general, y será ofrecido a las industrias iniciales como un trabajo abierto y basado en el consenso y la elección democrática de las entidades participantes. Si las especificaciones son aprobadas éstas reciben una certificación oficial para acreditar el estándar y poner a disposición el contenido completo. Esto es lo que ha sucedido por ejemplo, con el IEEE (LTSC), el ISO/ IEC JTC 1/SC36 o el CEN/ ISSS/ LT-WS. El AICC desarrolla su propio sistema de dirección instruccional (IMS) y el IEEE, desarrolla junto al Comité de Estándares para la Tecnología del Aprendizaje (LTSC) la especificación LTSA (Learning Technology Systems Architecture). En la figura 3.6 se recoge la evolución de un estándar siguiendo los cuatro estados o fases que se acaban de explicar. Grupos, consorcios, organizaciones dedicadas a la elaboración de estándares PROMETEUS AICC, IMS, ARIADNE ADL Co-Lab Concepto s I+D Bosquejo, Bosquejo, Idea, Bosquejo, Idea, Propuesta Idea, Propuesta Propuesta Necesidade s Usuarios Especificaciones técnicas 1º ESTADO 2º ESTADO Usuarios Usuarios Laboratorios Laboratorios Banco de Banco de pruebas pruebas Mercado Mercado IEEE, ISO, CEN/ISSS Estándar Cuerpo Estándar Estándar Implementación de modelos de referencia Acreditación de estándares 3º ESTADO 4º ESTADO Estándar de facto Figura 3. 6. Evolución de los estándares. Basado en CETIS (2002) y MASIE Center e- Learning CONSORTIUM (2002). A continuación presentamos la descripción de la arquitectura de un sistema tecnológico de enseñanza en base a la especificación LTSA (Arquitectura de Sistema Tecnológico para el Aprendizaje) desarrollada por el IEEE. Dicha arquitectura además de contar con herramientas de comunicación síncrona o asíncrona (capítulo dos) permite el intercambio de contenidos hipermedia así como un planteamiento evaluativo. Evaluación de hipermedia en la enseñanza. 157 En la arquitectura del sistema se identifican cinco capas pero sólo la 3 (componentes del sistema) es normativa en el estándar LTSA. Esta arquitectura se aplica a una amplia gama de escenarios de aprendizaje. Del nivel más superior al más bajo, estas capas se enumeran del 1 al 5. Incluimos la tabla 3.2 para comprender las figuras que aparecerán posteriormente 3.7 y 3.8. Código (L1) (L2) (L3) (L4) (L5) (L6) LTSA Flujo de datos sobre el estudiante, entre la evaluación (de carácter finalista) y el seguimiento. Flujo de datos sobre información del estudiante a partir del seguimiento del alumno, dirigido al tutor. Flujo de datos sobre información del estudiante, desde el tutor hacia el seguimiento del alumno. Preferencias de aprendizaje entre el estudiante y el tutor. Flujo de datos de localización desde el tutor hacia la entrega. Flujo de control de localizadores, desde la entrega hacia los recursos de aprendizaje. Tabla 3. 2. Leyenda del LTSA, como ejemplo para comprender la arquitectura de un sistema tecnológico de enseñanza basado en una especificación. En la tabla 3.2 se observa rápidamente como el flujo de datos atiende a la evaluación reconociendo el seguimiento (assessment). Lo cual nos conduce al reconocimiento de la importancia de los procesos tanto en la enseñanza como en la evaluación del aprendizaje. La capa 1 “Interacciones Estudiante- Ambiente” es informativa y atiende a la adquisición por parte del estudiante, transferencia, intercambio, formulación, descubrimiento del conocimiento y/ o información. La capa 1 se interesa por la interacción del estudiante con el ambiente o entorno como se muestra en la figura 3.7. Estudiante/ Interacciones con el entorno Entidad Estudiante (L) Ambiente L1 L3 L2 Interacciones Figura 3. 7. LTSA, capa 1 “Interacciones Estudiante- Ambiente”. Adaptado de Farance y Tonkel (2001). IEEE P1484.1/D9, 2001-11-30. La capa 2 “Características del diseño en relación al estudiante” es informativa y se refiere al efecto que el sistema tecnológico de aprendizaje tiene sobre el estudiante. La capa 3 “Componentes del sistema” es normativa y describe la arquitectura del sistema en base a las características humanas y de penetración como recojo en la figura 3.8. Capítulo 3 158 En la capa 3 los componentes implican un ambiente completo de gestión de datos en torno a la evolución del estudiante. Se advierte que el proceso de enseñanza gira en torno a cuatro indicadores: estudiante, evaluación, tutoría y contenidos (representado este último a través del cuadro “proceso de entrega”. Se trata de un proceso que en sentido estricto implicaría la distribución de contenidos, pero atendiendo a las dudas que el propio estudiante se plantea y a la información que se desprende del seguimiento del estudiante. IEEE 1484.1 Componentes del Sistema LTSA Estudiante Flujo de datos multimedia desde la entrega hacia el estudiante Flujo de datos sobre el comportamiento, desde el estudiante hacia el seguimiento y posterior evaluación (juicio de valor) L4 Proceso de entrega Flujo de datos del contenido de interacción, desde la entrega hacia la evaluación Proceso de Evaluación (finalista) Flujo de datos sobre el seguimiento, desde la evaluación hacia el tutor. Flujo de datos con contenido de aprendizaje, desde los recursos de aprendizaje hacia la entrega Repertorio de datos sobre RECURSOS de APRENDIZAJE Flujo de datos sobre el catálogo de información, desde los recursos de aprendizaje hacia el tutor Flujo de datos sobre el estudiante, entre la evaluación y el seguimiento L5 L6 Proceso de tutoría Repertorio de datos sobre el SEGUIMIENTO del estudiante Flujo de control de dudas, desde el tutor hacia los recursos de aprendizaje Flujo de datos sobre el estudiante, entre la evaluación y el seguimiento Figura 3. 8. LTSA, capa 3 “componentes del sistema”. Adaptado de Farance y Tonkel (2001). IEEE P1484.1/D9, 2001-11-30. La evaluación tiene carácter finalista pero los flujos de datos de un indicador a otro deja abierta la posibilidad al análisis (evaluación del proceso) para favorecer el seguimiento. Desde el punto de vista estrictamente tecnológico, siguiendo con las aportaciones del IEEE (Farance y Tonkel, 2001), los pasos para el éxito en la construcción del estándar e 159 Evaluación de hipermedia en la enseñanza. importantes para llevar a cabo la interoperabilidad de la tecnología de la información aplicada a una diversidad de áreas pasan por hacer referencia a los requerimientos, las funcionalidades, el modelo conceptual y la semántica empleada (capa 5). La capa 4 “Perspectivas y prioridades de la puesta en práctica” es informativa y describe los sistemas tecnológicos de aprendizaje desde una variedad de perspectivas atendiendo a los subconjuntos propios de la capa anterior denominada “componentes del sistema”. La capa 5 “Códigos, protocolos de intercomunicación propio de un sistema operativo y otros protocolos para Componentes Operacionales e Interoperabilidad” es informativa. Describe los componentes genéricos "plug-n-play" así como los interfaces propios de una arquitectura tecnológica para el aprendizaje basada en la tecnología de la información. Parte de unos requerimientos, se dirige hacia unas funcionalidades, toma un modelo conceptual y atiende a una semántica (componentes APIs & Protocolos). Henríquez y Rayo (1999) indican que una realización concreta de los principios básicos de la arquitectura LTSA es la especificación IMS41 cuyo detalle aparece en la figura 3.9. La meta del IMS, según Gómez, García y Martínez (2003) es la búsqueda de objetivos que, en su conjunto, aumenten la calidad de la enseñanza. Figura 3. 9. Arquitectura de un entorno IMS. Tomado de Henríquez y Rayo (1999). 41 El origen del consorcio tiene sus inicios en 1997, con el proyecto IMS lanzado por Educom (ahora conocido como Educause). Este proyecto parte de un conjunto de problemas que se estaban dando en torno a la interoperabilidad cuando los sistemas del gestión del aprendizaje bajo plataformas tecnológicas estaban emergiendo. Con el tiempo se genera el IMS Global Learning Consortium. Estas especificaciones definen un método para representar el comportamiento previsto en una experiencia de aprendizaje de tal manera que se consigue que cualquier sistema tecnológico pueda ordenar actividades de aprendizaje Fuente: http://www.imsproject.org. Capítulo 3 160 Por su parte Adell (2004) informa que el IMS diferencia entre contenidos de aprendizaje y procesos de aprendizaje y reconoce, da importancia, a los flujos de trabajo o lo que es lo mismo, al proceso. El Diseño de aprendizaje IMS es un meta-modelo pedagógico que permite identificar tanto el qué como el cómo enseñar (enfoque pedagógico). Lo hace de acuerdo a cuatro orientaciones: • • • • empírica-conductista racionalista (cognitivista/constructivista) pragmática (histórico-cultural) o constructivismo social ecléctica. Henríquez y Rallo (1999) y Martínez y Prendes (2001) identifican en los sistemas IMS la adopción de roles predeterminados intercambiables en función de las diversas situaciones formativas. Estos roles como se observa en la figura 3.10 son: alumno, profesor y administrador o proveedor de contenidos. Figura 3. 10. Principales roles de los usuarios en un entorno IMS, según Henríquez y Rallo (1999). Egea, Skarmeta, García, Gisbert y Rallo (2000) y Martínez y Prendes (2001) identifican como ejemplo de entorno bajo las especificaciones de IMS el JLE 42 (Java Learning 42 El JLE (Java Learning Environment) nace con el proyecto de investigación PUPITRE-NET, financiado por el Programa Nacional de Aplicaciones y Servicios Telemáticos de la Comisión Interministerial de Ciencia y Tecnología (CICYT, proyecto TEL98-0454-C02-01). Participaron investigadores de ocho universidades españolas (Universidad de Murcia, Universidad Rovira i Virgili de Tarragona, Universidad de Valencia, Universidad Jaume I de Castellón, Universidad de las Islas Baleares, Universidad de Sevilla, Universidat Autónoma de Barcelona y Universidad Autónoma de Madrid) y empresas privadas como ESSI (Enginyeria de Sistemes i Solucions Internet, S.L.). Fuente: Egea, Skarmeta, García, Gisbert y Rallo (2000), Martínez y Prendes (2001). Evaluación de hipermedia en la enseñanza. 161 Environment), plataforma virtual de enseñanza, susceptible de ser adaptada a diversos contextos educativos, ya sean formales, ya sean no formales o informales43. Martínez y Prendes (2001) inciden en la evaluación disponible en el JLE al afirmar que: “Son de interés las herramientas de evaluación y seguimiento que permiten tener un alto grado de control de la actividad del alumno y/o del grupo, pues no sólo facilita datos estadísticos de participación o conexión sino igualmente información cualitativa sobre los nodos de información a los que ha accedido y cuándo, lo que hace posible reconstruir la ruta de navegación de cada alumno” Martínez y Prendes (2001). 2.3.2. Sobre la base de instituciones. Por su amplitud, el Proyecto BENVIC resulta de utilidad como ejemplo de evaluación con responsabilidades en educación, sean o no universitarias. BENVIC, financiado por la unión europea, comenzó a desarrollarse a finales de los noventa y el último informe fue publicado en febrero de 2002. El sistema de referencia ha seguido el proceso que se describe en la figura 3.11 y en este momento sirve como ejemplo de evaluación de instituciones dirigidas a la enseñaza basadas en entornos hipermedia. El modo de llevar a cabo la evaluación de instituciones virtuales da luz al modo de evaluación a gran escala. Nos detenemos por tanto en el procedimiento seguido. Inicialmente se visita la página web del proyecto y se esboza un breve cuestionario (1). Posteriormente se comienza el proyecto estableciendo una guía y un glosario. Se comienza entonces con la descripción de la institución (2) a través del cuestionario y por medio de estudios de casos. A continuación, se lleva a cabo un seguimiento por la propia institución a través de un listado de indicadores (3). Posteriormente (4) se comparan las instituciones utilizando la lista de indicadores y exponiendo las mejores actuaciones. Finalmente (5) se determina el plan de aprendizaje y mejora. Si el perfil de la institución debe cambiar se vuelve a la fase 2 repitiendo el proceso. No obstante, si el perfil de la institución no ha cambiado se recurre a la fase 3. Los dos primeros informes publicados recogen la descripción de las once instituciones del área occidental participantes con responsabilidades en educación a distancia. Se encuentran localizadas, por orden de aparición, en España (Barcelona y La Rioja), Finlandia, Inglaterra, Bélgica, Alemania, Rumania, Rusia, Portugal, Italia y Eslovenia. En la descripción se utilizan los estudios de casos, donde se analizan en profundidad los 43 Actualmente ha adoptado la denominación comercial EduStance, cuyas principales novedades son la incorporación de herramientas de trabajo colaborativo, metadatos y servidor de contenidos. Fuente: L@TE, Laboratorio de Aplicaciones Telemáticas en la Educación. Su origen se remonta a 1994 y al desarrollo de una investigación acerca de hipermedia distribuido. Universidad Rovira y Virgili (Gerona), España. http://noguera.fcep.urv.es/weblate_ant/index.htm, última visita agosto de 2004. 162 Capítulo 3 entornos, ofreciendo una fundamentación metodológica y tratando de definir el concepto de campus virtual44. Figura 3. 11. Sistema de referencia de campus virtuales. BENVIC Project. Evaluation Metodology Report (2000- 2001). Universitat Oberta de Catalunya (2002:10). 44 El concepto de campus virtual utilizado es muy amplio. En el Proyecto BENVIC se refiere a un formato específico de educación a distancia y aprendizaje en línea en el cual los estudiantes, el cuerpo docente, administrativo o técnico “conoce” o se comunica a través de enlaces técnicos. “specific format of distance education and on-line learning in which students, teaching staff and even university administrative and technical staff mainly 'meet' or communicate trough technical links” Fuente: Benchmarking of Virtual Campuses: http://www.benvic.odl.org/indexpr.html (fin de la consulta 5/5/2004). En otro momento, se incide en que la educación a distancia a la cual se refieren no es aplicable a la enseñanza universitaria a distancia tradicional únicamente, sino también a campus convencionales cuyo uso suponga aprendizaje flexible para los estudiantes. “The reference to distance education does not apply to typical distance teaching universities only, but also to conventional campuses in their use of flexible learning for students.”Fuente: Benchmarking of Virtual Campuses: http://www.benvic.odl.org/typology.htm (fin d ela consulta 5/5/2004). Las instituciones no siempre imparten enseñanza superior o universitaria. Evaluación de hipermedia en la enseñanza. 163 Los principios de referencia se dirigen hacia el campus virtual como contenido en sí mismo, una aproximación formativa y sumativa, la colaboración estimulada, las especificaciones culturales, un acercamiento a la evolución de los procesos y la sensibilidad de la población (necesidades, implicaciones). Las áreas entre las que se distribuyen los indicadores son: 1) 2) 3) 4) 5) 6) 7) Servicios al estudiante Recursos de aprendizaje Evaluación Accesibilidad Eficiencia- productividad (economía) Recursos tecnológicos Producciones instruccionales. El indicador definido ha sido “interactividad” tanto desde la perspectiva institucional como desde la perspectiva de aprendizaje. Finalmente el mapa de competencias, como se aprecia en la tabla 3.3 atiende a tareas funcionales: competencias prosectoriales, competencias intersectoriales y las denominadas competencias de aprendizaje abierto y a distancia. Tabla 3. 3. Ejemplo de lista de competencias. BENVIC Project. Evaluation Metodology Report (2000- 2001). Universitat Oberta de Catalunya (2002: 39). Capítulo 3 164 BENVIC utiliza un cuadrante para identificar los cuatro paradigmas sobre los que se soporta el perfil de enseñanza: cuadrante NW (noroeste) donde el profesor está controlado y las actividades especificadas; cuadrante SW (suroeste) donde el profesor está controlado pero se ofrece un sistema abierto-cerrado para el estudiante o bien de aprendizaje de estrategias; cuadrante NE (noreste) donde el estudiante es ahora quien está dirigido en las actividades de aprendizaje; cuadrante SE (sureste) donde se ubica al sistema abiertocerrado para la dirección del estudiante o el aprendizaje de estrategias. Por cada cuadrante hay unas tareas especificadas que tiene que ver con el diálogo, la implicación, el soporte utilizado, el modo de llevar a cabo el control y el rol que desempeña el profesor (BENVIC Project. Evaluation Metodology Report, 2000- 2001, Universitat Oberta de Catalunya, 2002). 2.3.3. Centrados en el proceso de enseñanza y de aprendizaje. Coincidiendo con De Benito y Pérez (2003) los procesos de evaluación centrados en la enseñanza y el aprendizaje deben ir acorde a los planteamientos metodológicos del proceso de enseñanza de partida así como con los modelos pedagógicos que surgen ante las circunstancias actuales. No es objeto de este trabajo el análisis de modelos de enseñanza. No obstante son de utilidad para la elaboración de evaluaciones las bases que plantean los trabajos de Bartolomé (1995), Salinas (1999), Prendes (2000, 2003, 2004), Santángelo (2003) y Martínez (2004) centrados en modelos flexibles, entornos hipermedia y sus características en la enseñanza. Desde planteamientos cognitivos acordes a los nuevos avances sociales y tecnológicos, son de interés los trabajos de Reigeluth y Moore (1999), donde se ofrecen estrategias instruccionales centradas en el aprendizaje, las normas determinadas por Perkins y Unger (1999) dirigidas a los cuatro elementos que dan lugar a la enseñanza para la comprensión, las diferencias entre los entornos de aprendizaje dirigidos y los entornos de aprendizaje abiertos- cerrados (Open-Ended) que ofrecen Hannafin, Land y Oliver (1999), el diseño CLE dirigido a entornos de aprendizaje constructivo descrito por Jonassen (1999), los principios que desarrollan Bielaczyc y Collins (1999) para el diseño de aprendizaje efectivo, las contribuciones de Corno y Randi (1999) acerca del aprendizaje regulado por uno mismo (Self-Regulated Learning), la aproximación al método SCM sobre las condiciones simplificadas que trabaja Reigeluth (1999), el modelo de aplicación para currícula que atiende al desarrollo afectivo, expuesto por Martin y Reigeluth (1999) o el diseño estructurado acerca de la instrucción en actitudes que exponen Kamradt y Kamradt (1999). De Benito y Pérez (2003) plantean la evaluación de los aprendizajes teniendo en cuenta entornos de trabajo cooperativo e identifican la evaluación de los aprendizajes como recopilación de datos durante todo el proceso, movilizando sistemas de recogida de información más o menos sistemáticos. La recogida de información actúa como brújula para el docente ya que le orienta sobre el proceso previamente planificado acomodando sus actuaciones al nivel de partida del estudiante. El docente debe partir de un diagnóstico (conocimientos previos de los estudiantes, habilidades, destrezas, sus motivaciones y Evaluación de hipermedia en la enseñanza. 165 actitudes) y posteriormente, se centrará en el proceso de aprendizaje atendiendo a las adquisiciones de sus alumnos, los recursos que utilizan, cómo se implican, el esfuerzo invertido y el grado de satisfacción. La evaluación final deberá estar acorde a los aspectos anteriores. Por su parte el estudiante asume el proceso de evaluación de forma natural, no sistemática, recogiendo datos útiles que orienten sus actuaciones hacia la consecución de los objetivos. Las herramientas para la evaluación de los aprendizajes en entornos de trabajo cooperativo que proponen aparecen en la tabla 3.4 atendiendo a las redes de comunicación en la enseñanza asumiendo nuevas perspectivas. Intención Herramienta Análisis de la participación BSCW, Teamwave, WebBoard, Altavista Forum, TCB Works Plataformas groupware: (JLE, WebCT, TopClass o Learning Space) Específicas en Web (QuizMaker, QuestionMark,CAT) Evaluación de aprendizajes Características - Aportan datos cuantitativos sobre participación de los miembros. - En entornos tecnológicos de enseñanza resulta más ricos al permitir grabar o transcribir discusiones o debates, consultar mensajes intercambiados, diarios, o entrevistas, en cualquier momentos del proceso de evaluación. - Dimensión “profesor”: orientan sobre el desarrollo del proceso de enseñanza, permite acomodar su actuación al nivel de los estudiantes. - Dimensión “estudiante”: ejercicios de autoevaluación: toma de decisiones, solución de problemas, andamiaje o más en concreto, para el estímulo de habilidades cognitivas (dibujo, formación textual o visual, adivinanzas). Hacen posible la participación activa en el aprendizaje porque requieren de reflexión, toma de decisiones y práctica. Uso de preguntas de diferente tipología Características de los sistemas de evaluación Respuesta múltiple, de relación, espacios en blanco, secuenciación, verdadero o falso, de observación, re respuesta abierta. - De motivación, al final de un ejercicio - Información automática ante respuestas acertadas o no Retroalimentación rápida - Ofrecer la respuesta correcta y de diferente tipología - Hacer comentarios - Puede ser proporcionada por el servidor (automática) o estar filtrada por el profesor (retroalimentación específica). Número de intentos que - Con límite o sin límite de respuesta a la misma pregunta erróneamente permite el sistema - Tipo de refuerzo que aparece cuando contesta erróneamente o correctamente Ayudas, orientaciones - Acerca de los contenidos - Acerca de los test Por medio de los informes generados por la propia herramienta con información Seguimiento acerca de: progreso individual del estudiante, puesto con respecto al resto de compañeros, puntuación agrupada por temas, fecha, hora, tiempo que tardó en realizar la prueba - Dirigidas al estudiante, a informar sobre sí mismo y su posición con respecto a la Puntuaciones media de clase. - Posibilidad de que el profesor asigne valores específicos a cada pregunta Delimitación de fechas y tiempos para la realización de los ejercicios. Conectividad De ejercicios con otras páginas de contenidos, a otras aplicaciones, con el correo electrónico para contestar individualmente a los estudiantes, estudiantes entre estudiantes (interactividad cognitiva o conectividad de mentes). Seguridad Privacidad de resultados de los estudiantes Tabla 3. 4. Herramientas para la evaluación de los aprendizajes en entornos de trabajo cooperativo. Basado en De Benito y Pérez (2003). 3. DIMENSIONES. Detengámonos un momento en el concepto que presenta el resto del apartado que a continuación trabajamos para hacer una breve aclaración en torno a él. El empleo del término dimensión adopta aquí el sentido de pauta de ordenamiento general para 166 Capítulo 3 determinar aspectos más concretos dentro de la evaluación. La determinación de las dimensiones ayudarán a la obtención de nuevos criterios, esta vez más específicos que permitan obtener valores acerca de aspectos concretos de los materiales hipermedia. Por su parte, el término criterio, no es nuevo dentro del plano de la evaluación de courseware o programas informáticos educativos, al menos eso es lo que se deduce tras la revisión de ciertos trabajos elaborados en la década de los ochenta45. En ellos comprobamos que bien para referirse a ítems concretos, bien discriminando entre criterios generales y específicos, las herramientas de evaluación revisadas se elaboraban en torno a criterios mientras que el concepto de dimensión no recoge ninguna acepción que se relacione con la evaluación. En la actualidad, sin embargo, el término dimensión aparece dentro de la literatura europea relacionada con la evaluación educativa y más en concreto la evaluación de medios (véase los trabajos de Cabero 1994, 1999, 2001), Martínez (2002) o los planteamientos de base del Informe Benvic (2001). Este ultimo identifica, dentro de una matriz multidimensional siete dimensiones a las que hacer frente en el estudio de un campus virtual: las bases institucionales y su misión, el alcance de la oferta, las actividades, la escala social, la organización social, las audiencias y el uso de los escenarios de enseñanza/ aprendizaje. Para Castillejo (1987) la dimensiones resultan conjuntos de características vinculadas a algo. Así por ejemplo, la variable “Uso del ordenador” se estudia atendiendo a la dimensión a) perspectiva educativa, y/o b) perspectiva del computador, c) tipos de C.A.L., d) interrelaciones sujeto- computador, d) lenguajes utilizados o e) tipos de programas. Cabero (1999) concretamente se detiene en este término y entiende por dimensiones en la evaluación de un medio de enseñanza a aquellos aspectos desde los cuales se pueden evaluar. En este sentido, el concepto de dimensión es sinónimo del utilizado por otros autores a la hora de referirse a criterios generales de la evaluación (De Pablos, 1991; Gros y Spector, 1994; Squires y McDougall, 1994), categorías (Martínez y Sauleda, 1993; Duarte, 1999; Virtual Michigan University) o variables, ámbitos o apartados que de forma general se utilizan para evaluar un medio de enseñanza (De Pablos, 1993). El informe que redactó la OTA46 en 1988 así como el formulario de evaluación de courseware47 agrupa a más de doscientos ítems destinados a la valoración de software con 45 Microsift en 1982 llama criterios a los ítems incluidos dentro de su herramienta de evaluación de courseware. Salvas y Tomas (1984) , Blease (1986) y la OTA (1988) diferencian entre criterios generales y específicos. Revisión efectuada sobre la obra de Squires y McDougall (1994). 46 La OTA nace ante la iniciativa de crear una Oficina de Seguimiento de la Tecnología (Office of Technology Assessment) en el Congreso de los Estados Unidos. Su objetivo era el asesoramiento a los congresistas norteamericanos a la hora de tomar decisiones sobre la introducción o desarrollo de las nuevas tecnologías. En su momento elaboró, tras el análisis de treinta y seis organizaciones públicas, privadas y gubernamentales estadounidenses, un informe para contribuir al entendimiento del potencial de las nuevas tecnologías interactivas para la mejora del aprendizaje. Información extraída del artículo de M. A. Quintanilla (1992) y la obra de Squires y McDougall (1994). 47 Se hace una análisis del Informe desarrollado por la OTA en Squires y McDougall (1994). Los formularios aparecen en los trabajos de Martínez (1985) en lengua inglesa, y Squires y McDougall (1997) traducidos al castellano. 167 Evaluación de hipermedia en la enseñanza. valor educativo en seis criterios o epígrafes principales: calidad docente, posibilidad de modificación a cargo del profesor, evaluación y mantenimiento de registros, documentación y material de apoyo, calidad técnica, y finalmente, comercialización y características de los ordenadores en los que funcione el programa. Gros et. al. (1994) reconoce como criterios dentro de la evaluación del courseware a los aspectos técnicos, contenidos y utilidades del programa. Dichos criterios se dividen a su vez en secciones como el análisis del contenido, las interacciones con el usuario, las utilidades generales del programa, que a su vez se descomponen haciéndose más concretos y específicos. Cabero (1999, 2001) considera como dimensiones en la evaluación de medios a los contenido, los aspectos técnicos- estéticos, las características y potencialidades tecnológicas, los aspectos físicos y ergonómicos del medio, la organización interna de la información, los receptores, el uso por parte del estudiante (nivel de interactividad) y el coste económico/ distribución de dicho medio. Además, la evaluación no debe limitarse sólo al equipamiento y los programas sino también al material de acompañamiento con el cual se distribuya el medio. Por su parte De Benito y Pérez (2003) identifican algunas dimensiones de observación, dentro de la evaluación del aprendizaje, centrándose en la participación. El primer nivel de participación es cuantitativo y aportaría información complementaria al profesor (número total de mensajes enviados, mensajes enviados por persona, mensajes por temática, mensajes en relación con el momento de trabajo, destinatarios del mensajes, anotaciones enviadas a un documento compartido y revisiones realizadas del mismo documento por cada miembro del grupo). El segundo nivel de participación atiende a la calidad de las intervenciones ofreciendo información acerca del grado de implicación de cada miembro Las dimensiones son: si aporta recursos, información nueva, referencias, pruebas de la experiencia, si sintetiza, resume el nivel de acuerdo y desacuerdo planteando nuevas vías para avanzar en el proceso de trabajo, si integra los nuevos acuerdos y si propone problemas o interrogantes ante el trabajo realizado. En este sentido, podemos concluir, coincidiendo con De Pablos (1991, 1993) que las dimensiones o los criterios de evaluación, actúan como elementos de base sobre los cuales se va a llevar a cabo dicha evaluación y que estas dimensiones, recordemos, vienen afectadas por el origen epistemológico de la investigación. El autor señala que, desde un enfoque tecnológico, las dimensiones más convencionales en la evaluación giran en torno al grado de realismo de los mensajes, el rendimiento que el medio produce en el alumno, la cantidad de información transmitida, la cantidad de información recibida por el alumno y las funciones didácticas y organizativas. El enfoque interpretativo o hermenéutico se dirige hacia la comprensión de los procesos de aprendizaje que generan los medios, centrándose en los códigos específicos de los medios y la estructura del mensaje, las interacciones alumno/ medio, la cantidad de esfuerzo mental invertido en el aprendizaje mediado y las actitudes hacia los medios. Finalmente, desde una perspectiva o enfoque etnometodológico o crítico, las dimensiones de la 168 Capítulo 3 evaluación abarcarían al análisis de la comunicación dentro de contextos concretos y el análisis de los intercambios de mensajes entre sujetos. Los estudios de casos suelen ser habituales dentro de este enfoque. Por su parte, y como ya indicamos más arriba, centrados en la selección de programas informáticos dentro de contextos educativos, Martínez y Sauleda (1993) utilizan el término categoría o área básica para referirse a las dimensiones o criterios generales en la selección de software. Reconocen que a partir de estos criterios podrían obtenerse recomendaciones de carácter genérico o normas a tener en cuenta a la hora de seleccionarlo. Las categorías, o dimensiones que reconocen se refieren a los datos informativos básicos (descripción del programa), el contexto, el diseño curricular, la interacción y la evaluación. Dentro de cada categoría se encuentran las subcategorías o apartados en los cuáles se hace referencia a aspectos concretos y específicos. En esta línea, Squires y McDougall (1994) diferencia entre criterios generales o epígrafes y criterios concretos o subgrupos en la selección de programas. Los primeros, es decir, los criterios generales, tienden a coincidir con los que habitualmente el docente utiliza para evaluar otros materiales. Por su parte, los criterios concretos son subgrupos relacionados con el criterio general, los cuales, dentro del campo de la evaluación de software para la enseñanza, suelen ser técnicos y relativos al estilo y la estructura del programa de forma específica. Las cuestiones utilizadas para alimentar los criterios concretos hacen referencia a la interactividad, el uso dentro del programa de las capacidades, la existencia o no de gráficos, la animación, el sonido, el grado de libertad del programa, el almacenamiento y la existencia de refuerzo dentro del programa. En síntesis, podemos considerar que dentro de la evaluación de medios de enseñanza, y concretamente de materiales multimedia interactivos o hipermedia, es necesario establecer dimensiones, categorías o criterios de evaluación de carácter general y dentro de ellos, subgrupos, subcategorías, criterios específicos o apartados más concretos que hagan más específica la evaluación. En la tabla 3.5 se muestra un resumen del cuestionario de evaluación para aplicaciones multimedia e hipermedia destinadas orientadas a contextos de enseñanza con la intención de ilustrar lo que se acaba de exponer. De lo dicho hasta el momento, se coincide con Crook (1994) y Cabero (1999) en afirmar que, no existe un acuerdo a la hora de indicar los diferentes criterios generales que deben ser contemplados en la evaluación de un medio. Las agrupaciones de ítems así como el título dado al criterio general, dimensión o epígrafe depende según Squires y McDougall (1994), del país de origen de la lista de control, herramienta empleada o cuestionario, del objetivo u objetivos profesionales y de las preferencias particulares del autor de la lista. Evaluación de hipermedia en la enseñanza. 169 Dimensiones Aspectos 1. Datos de 1.1. Datos de identificación. identificación y 1.2. Objetivos. análisis descriptivo 1.3. Elementos de contenido. 1.4. Aspectos técnicos y diseño gráfico. 2.1. Objetivos. 2.2. Contenidos. 2. Evaluación de 2.3. Actividades. aspectos didácticos 2.4. Evaluación. 2.5. Materiales complementarios. 2.6. Sistemas de ayuda. 2.7. Optimización del proceso de Enseñanza/ Aprendizaje. 3.1. Motivación. 3. Evaluación de 3.2.Interactividad. aspectos psico3.3. Atención. pedagógicos 3.4. Creatividad. 3.5. Operaciones cognitivas. Costo total del sistema. Rentabilidad de la adquisición comparado con otros. 4. Aspectos económicos/ Rentabilidad según el beneficio obtenido. distribución Estabilidad del distribuidor oficial. Vendedores alternativos. Mercado. Existencia de apoyo técnico por el distribuidor. 5. Valoración 5.1. Calidad técnica. global 5.2. Calidad pedagógica. Tabla 3. 5. Ficha de evaluación de multimedia didáctico. Adaptado de Martínez et. al. (2002). Si bien con anterioridad ya se hizo referencia a la ausencia de acuerdo a la hora de determinar los diferentes criterios generales para llevar a cabo la evaluación de medios, en este punto sí debe cumplirse con unas garantías a tener en cuenta en toda evaluación. El trabajo elaborado por el Joint Committee on Standards for Educational Evaluation (1988, 1994) ofrece una serie de normas a considerar en la evaluación de material educativo que aún hoy aparecen referenciadas en obras científicas y que recogimos en el capítulo uno. 4. ESTRATEGIAS. Acerca de las estrategias de investigación, y por ende, de la investigación evaluativa de medios, desde un planteamiento general Escudero (1983) incide en la necesidad de evitar investigaciones puramente descriptivas, investigaciones sobre la comparación de medios e investigaciones ausentes de variables bien fundamentadas sobre el uso didáctico del medio. Al tiempo, reconoce la existencia de modelos particulares sobre medios particulares y, como ya indicamos, la conveniencia de potenciar investigaciones dentro de contextos naturales (enfoque epidemiológico en la línea de Shulman). Cabero (1994, 1999) considera que la estrategia de evaluación sobre medios es la forma sistemática de abordar la evaluación de un medio o material de enseñanza y ésta debe estar relacionada con los objetivos que se persigan con ella. Desde este planteamiento distingue tres estrategias de evaluación que se complementan: la autoevaluación de los productores, la consulta a expertos y la evaluación “por” y “desde” los usuarios, esta última reconocida Capítulo 3 170 por Santos (1993) o Martínez Sánchez (1998) al considerarla como aquella que más cercana se encuentra al contexto de uso. En la tabla 3.6 se exponen las particularidades de cada estrategias así como las ventajas y los inconvenientes reconocidos por el autor. Estrategias Autoevaluación por los productores/ realizadores Particularidades ● Es una de las primeras evaluaciones a las que se somete el medio, de forma consciente o inconsciente. ● Procesual: comienza con elaboración del guión y decisiones paulatinas para incorporar unos elementos y no otros. ● Probablemente es la más utilizada. ● Validez: recae en la calidad de los expertos. Evaluación por ● Recomendación: más de una opinión expertos cuando se contrasten dimensiones. ● Recomendación: disponer mínimo de expertos en contenidos científico, tratamiento didáctico del contenido, aspectos técnicos y estéticos del medio y material complementario. ● Asociada con la evaluación didácticoEvaluación “por” curricular: significativa ya que todo medio es producido para que funcione en y “desde” los usuarios un contexto formativo en interacción con profesores, alumnado, contexto físico y contexto organizativo. Ventajas ● Miembros del equipo abierto a críticas. ● Autoperfeccionamiento. ● Incorporación rápida de resultados al medio que se elabora. ● Bajo costo. ● Para realización: no necesidad del medio acabado, se trabaja con prototipo alfa- test. ● No necesidad de ayuda externa. ● Calidad y profundidad de la respuesta. ● Posibilidad de analizar diferentes dimensiones de los medios. ● Puede realizarse sin la versión definitiva del programa. Inconvenientes ● Falta de objetividad en los resultados obtenidos. Se atenúa alternando con instrumentos de apoyo (guías, cuestionarios) y/o asesores externos. ● Falta de formación para percibir que la elaboración del medio pueda abordarse dentro de otros planteamientos. ● Ausencia del receptor. ● Calidad de la respuesta determinada por la calidad del experto. ● Propuestas no inmediatamente introducidas. ● Determinación previa del concepto de experto y criterios de selección y localización. ● Contextualizada. ● Análisis directamente por los destinatarios y en contexto natural donde el medio se utiliza. ● El medio adquiere su verdadero sentido educativo. ● Debe trabajarse con el material ya acabado. ● El tiempo invertido y el costo. ● Necesidad de dominio de técnicas de investigación evaluativa. Tabla 3. 6. Estrategias de evaluación. Basada en Cabero (1994, 1999). Finalmente, De Benito y Pérez (2003) atendiendo a las estrategias de evaluación en entornos colaborativos determinan el tipo de información que podemos recabar para la evaluación del aprendizaje de los estudiantes y que se recoge en la tabla 3.7. Estrategia Debates/ foros a través de conferencias electrónicas Realización de trabajos/ entrevistas a través de chat Acceso a recursos o materiales de aprendizaje Realización de un trabajo o proyecto Tipo de información - Mensajes leídos - Mensajes enviados - Mensajes contestados - Historia del desarrollo del debate - Fecha y número de veces en que se ha accedido al foro - Tiempo de conexión - Análisis del contenido del mensaje - Número de intervenciones realizadas - Análisis del registro de las intervenciones - Análisis del contenido de las intervenciones - Seguimiento de los materiales consultados (de las páginas de contenido) - Tiempo dedicado a la consulta de cada página - Estadísticas de las páginas (materiales) consultadas - Número de veces que se ha revisado el documento - Análisis de contenido Tabla 3. 7. Tipo de información proporcionada en función de la estrategia. De Benito y Pérez (2003)