PROGRAMA DE EVALUACIÓN

PARTICULAR RESPONSABLE
EVALUACIÓN*

Por
Robert E. Stake
Centro de Investigación Instruccional y Evaluación Curricular
Universidad de Illinois en Urbana-Champaign
Noviembre de 1975

Documento # 5

Serie de artículos ocasionales

* documento presentado en una conferencia sobre "Nuevas
tendencias en la evaluación", Goteborg, Suecia, octubre de 1973
 Me complace tener esta oportunidad de hablar sobre algunos desarrollos
recientes en la metodología de evaluación de programas y sobre lo que yo llamo
"evaluación receptiva".
Me siento afortunado de tener no solo estos dos días, sino también unos siete
meses para pensar en estas cosas. Mis anfitriones aquí en el Instituto de Investigación
Educativa de Göteborg han sido muy hospitalarios, pero también generosos al
escucharme, señalarme con la cabeza de otra manera, sopesar el mérito de nuestras
diversas nociones y ofrecer ocasionalmente el lujo de una discusión apasionada.

Cuando Erik o Hans o Sverker o Ulf y yo estamos de acuerdo, nos sorprende el

hecho de que el mundo es un solo mundo y los problemas de la educación son
universales. Cuando no estamos de acuerdo, se apresuran a sugerir que las
condiciones peculiares de la educación en Estados Unidos me han llevado a hacer
suposiciones peculiares y tal vez incluso a deformar mi capacidad de razonamiento.
Estoy seguro de que algunos de ustedes aquí hoy compartirán esos hallazgos. Lo que
tengo que decir no es solo que nosotros, en la investigación educativa, necesitamos
hacer algunas cosas que no hemos estado haciendo, sino que al hacer lo que hemos
estado haciendo, de hecho somos parte del problema.

Nuestra atención principal estará en la evaluación del programa. Un programa

puede estar definido de forma estricta o vaga. Puede ser tan grande como toda la
formación de profesores en los Estados Unidos o puede ser tan pequeño como una
excursión para los alumnos de un aula. Las circunstancias de la evaluación serán las
siguientes: que alguien sea comisionado de alguna manera para evaluar un programa,
probablemente un programa en curso; que tiene algunos clientes o audiencias a las
que ayudar, por lo general, incluidos los educadores responsables del programa; y que
tiene la responsabilidad de preparar las comunicaciones con estas audiencias.

En 1965, Lee Cronbach, entonces presidente de la americano

Educational Research Association, me pidió que preparara un ir a un comité
conjunto de estándares para la evaluación. es, tal vez
como los Estándares para las Pruebas Educativas y Psicológicas y
Manuales , compilado por John French y Bill Michael y publicado en 1966 por la
Asociación Americana de Psicología. Lee Cronbach, Bob Heath, Tom Hastings, Hulda
Grobman y otros investigadores educativos han trabajado con muchos de los
proyectos de reforma curricular de Estados Unidos en la década de 1950 y principios
de la de 1960, y han reconocido la dificultad de evaluar los planes de estudio y la gran
necesidad de orientación sobre la diseño de estudios de evaluación.

Nuestro comité informó que era demasiado pronto para decidir sobre un
método particular o un conjunto de criterios para evaluar los programas educativos,
que lo que los investigadores educativos necesitaban era un período de trabajo de
campo y discusión para ganar más experiencia sobre cómo se podrían realizar los
estudios evaluativos. Ben Bloom, sucesor de Lee Cronbach en la presidencia de AERA,
consiguió que la AERPI patrocinara una serie de monografías sobre evaluación
curricular para el propósito que recomendamos. Los siete volúmenes completados
bajo el patrocinio de AERA se muestran en la sección de Referencia. En efecto, la serie
continuará bajo el patrocinio del Centro para el Estudio de la Evaluación de UCLA, cuya
directora, Mary Alkin, fue profesora invitada aquí en este Instituto de Investigación
Educativa hace dos años. Creo que esta serie de monografías puede llevarse una
buena parte del mérito o la culpa, I
,
a

Hay dos modelos principales para la evaluación de programas en 1965 y hay dos
en la actualidad. Uno es el estudio informal, tal vez un autoestudio, que generalmente
utiliza información ya disponible y se basa en las percepciones de personas
profesionales y autoridades respetadas. Es el enfoque de las asociaciones regionales
de acreditación de escuelas secundarias y universidades en los Estados Unidos y se
ejemplifica en el informe Flexner (1916) de educación médica en los EE. UU. Y en el
informe Coleman (1966) de igualdad.
de oportunidad educativa. En la hoja que recibió con su
material de lectura de fondo , uno titulado Nueve enfoques para el Apéndice
Evaluación educativa (ver A), lo he hecho muy brevemente; éste se conoce
allí como Enfoque de personal. La mayoría de
describió esta y otras modificaciones los educadores
del autoestudio institucional
Son parciales a esta evaluación de en el modelo, más aún si pueden especificar qué
quiénes son los miembros del panel o son los mineros. A los investigadores no les gusta
lo exacto porque se basa mucho en el la información de segunda mano. Pero hay
modelo. .
La mayoría de los investigadores han preferido el otro modelo, el modelo de
preprueba / posprueba, al que me he referido en la hoja Nueve enfoques como
Ganancia del estudiante mediante el enfoque de prueba. A menudo utiliza
declaraciones preespecificadas de objetivos conductuales, como las que se
encuentran disponibles en el Instructional Objectives Exchange de Jim Popham, y
está muy bien representado por Tyler (1942) Eight-Year Study, Husen (1967)
International Study of Achievement in
Matemáticas y la Evaluación Nacional del Progreso Educativo. El foco de atención con
este modelo está principalmente en el desempeño de los estudiantes.

Varios de nosotros hemos propuesto otros modelos. En un artículo de 1963,

Cronbach prefiere que los estudios de evaluación se consideren investigación aplicada
sobre la instrucción, para aprender lo que se podría aprender en general sobre el
desarrollo del currículo, como se hizo en el Proyecto de Currículo de Estudios Sociales
de Hilda Taba. Mike Scriven (1967) criticó fuertemente la elección de Cronbach en la
Monografía No. 1 de AERA, afirmando que era hora de brindar a los consumidores
(agentes de compras, contribuyentes y padres) información sobre lo bueno que es
cada currículo existente. Con este fin, Kenneth Komoski estableció en la ciudad de
Nueva York un Intercambio de información sobre productos educativos, que ha
revisado equipos, libros y material didáctico, pero hasta el día de hoy todavía no ha
llamado la atención del comprador.
 Dan Stufflebeam fue uno de los que reconoció que los diseños preferidos por
los investigadores no se centraban en las variables sobre las que los administradores
educativos tienen control. Con el apoyo de Egon Guba, Dave Clark, Bill Gephart y otros
(1971), propuso un modelo de evaluación que enfatizaba las decisiones particulares
que enfrentará un administrador de programa. La recopilación de datos incluiría datos
sobre contexto, entrada, proceso y producto; pero los análisis relacionarían esas cosas
con la gestión inmediata del programa. Aunque Mike Scriven también criticó este
diseño, diciendo que tenía demasiado sesgo hacia las preocupaciones y los valores del
establecimiento educativo, este modelo Stufflebeam CIPP fue popular en la Oficina de
Educación de los Estados Unidos durante varios años. Gradualmente, cayó en
desgracia porque era un mal modelo, pero en parte porque los gerentes no podían o
no querían examinar sus propias operaciones como parte de la evaluación. En
realidad, ningún modelo de evaluación podría haber tenido éxito. Un obstáculo
importante fue una directiva federal que decía que ninguna oficina federal podía
gastar sus fondos para evaluar su propio trabajo, que solo podía hacerlo una oficina
superior. Quizás los mejores ejemplos de informes de evaluación que siguen este
enfoque son los realizados en las escuelas de Pittsburgh por Mal Provus y Esther
Kresh.

Antes de describir el enfoque en el que he estado trabajando, que espero que

algún día desafíe los dos modelos principales, mencionaré varios desarrollos
relativamente recientes en el negocio de la evaluación.

Mike Scriven y Ernie House reconocen, en particular, que la cooptación es un

problema, que las recompensas para un evaluador por producir un informe de
evaluación favorable a menudo superan en gran medida las recompensas por producir
un informe desfavorable. No conozco a ningún evaluador que falsifique sus informes,
pero sí conozco a muchos que, consciente o inconscientemente, eligen enfatizar los
objetivos del personal del programa y concentrarse en los
problemas y variables que probablemente muestren dónde tiene éxito el programa. A
menudo hago esto yo mismo. Por tanto, la cuestión de la “metaevaluación”, que
proporciona un control de calidad para las actividades de evaluación, se ha convertido en
una preocupación cada vez mayor.
Al principio de su primer mandato, el presidente Nixon creó un modesto
Programa de Escuelas Experimentales, un programa de financiación de cinco años
para tres escuelas secundarias cuidadosamente seleccionadas (de todas las de todo el
país) y las escuelas primarias que alimentan a los estudiantes. Se han elegido tres más
cada año, de acuerdo con su propuesta, para aprovechar una amplia gama de
conocimientos y desarrollos técnicos y para mostrar lo buena que puede ser una
escuela. La responsabilidad de la evaluación fue diseñada para ser asignada a tres
niveles separados, uno interno a nivel de la escuela local; uno externo a nivel de la
escuela local (es decir, en la comunidad que asiste al funcionamiento de la escuela
local pero no está controlada por ella); y un tercero a nivel nacional, sintetizando los
resultados de los proyectos locales y evaluando la organización y efectos del Programa
de Escuelas Experimentales en su conjunto. Numerosos obstáculos y hostilidades
obstaculizaron la labor de los dos primeros equipos de evaluación. Y el trabajo en el
tercer nivel, según Egon Guba, que hizo un estudio de viabilidad, era tan probable que
fracasara que probablemente no debería llevarse más lejos.

Mike Scriven ha hecho varias sugerencias para la metaevaluación, una de las

cuales probablemente se basó en la abstinencia, llamada "evaluación sin objetivos".
Sixten Markiund lo ha llamado en broma "evaluación sin objetivo". Pero es una
noción seria, no ignorar toda idea de metas con los patrocinadores o el personal del
programa. Luego, se espera que el evaluador, quizás con la ayuda de colegas y
consultores, reconozca las metas y logros manifiestos del programa a medida que lo
trabaja en el campo. Nuevamente, con la preocupación por el consumidor de
educación, Scriven
Ha argumentado que lo que se pretende no es importante, que el programa es un
fracaso si sus resultados son tan sutiles que no penetran en la conciencia de un
evaluador alerta. Personalmente, culpo a Scriven por esperar que los evaluadores
seamos tan sensibles, racionales y alertas como lo exigen sus diseños de evaluación. A
veces pienso que Mike Scriven diseña estudios de evaluación que quizás solo Mike
Scriven es capaz de realizar.

Otro desarrollo interesante es el uso de procedimientos contradictorios para

obtener evidencia de la calidad del programa y especialmente para presentarlo a los
tomadores de decisiones. Tom Owens, Murray Levine y Marilyn Kourilsky han tomado
la iniciativa aquí. Han elaborado el trabajo de teóricos del derecho que afirman que la
verdad surge cuando fuerzas opuestas someten sus pruebas a un contrainterrogatorio
directamente ante los ojos de jueces y jurados. Graig Gjerde, Terry Denny y yo
intentamos algo como esto en nuestro informe TCITY (1975). Tiene una copia en los
materiales de lectura de la conferencia que recibió hace varias semanas. Si tiene ese
documento de color naranja con usted, podría

tu rn al mismísimo
últimas páginas, páginas 26 y 27 (ver Apéndice B). O 26 años tu
notario público

encontrar un resumen de las afirmaciones más positivas que t migrazonablemente

para el Instituto que estábamos evaluando. Onotario27 años es un
público

resumen de las cargas más dañinas que pueden t rea ser sondamente
hecho. Para nosotros era importante dejar el iss ue resuelto, a
Naciones Unidas

Deje que el lector decida qué reclamo aceptar, yo F alguna. Pero nosotros

hubiera sido mejor para el lector si tuviéramos ea ch escrito un

declaración de seguimiento para desafiar la c del otro la Soy s . A cualquiera

tasa, este es un ejemplo del uso de un adversario t ech nique en un

estudio de evaluación.
Ahora en el siguiente 45 minutos más o menos quiero concentrarse en
el enfoque para eval usar programas educativos ahora
defendido por Malcolm Parlett de la Universidad oe f Edimburgo,
Barry MacDonald de th University of East Anglia , Lou Smith de
Washington University of St. Louis, Bob Rippey de la Universidad de Connecticut y yo.
Ha tenido la oportunidad de leer una excelente declaración de Malcolm Parlett y
David Hamilton (1972). Como lo hicieron, quiero enfatizar los entornos donde ocurre
el aprendizaje, las transacciones de enseñanza, los datos de juicio, los informes
holísticos y la asistencia a los educadores. No debería sugerir que respalden todo lo
que diré hoy, pero sus escritos en su mayor parte están en armonía con los míos.

Permítanme comenzar con una definición básica, una que obtuve de Mike
Scriven. La evaluación es un VALOR OBSERVADO en comparación con algunos
ESTÁNDAR. Es una razón simple, pero este numerador no es simple.
I n la evaluación del programa pertenece a la totalidad
constell ionade valores mantenidos para el programa. Y el nombre r no es simple
a
porque pertenece al complejo de expectativas y criterios que diferentes personas
tienen paraiotal programa.

La tarea básica para un evaluador se hace apenas tolerable por el hecho de que
no tiene que resolver esta ecuación de alguna manera numérica ni obtener una
calificación descriptiva resumida, sino que simplemente necesita hacer una
declaración completa de lo que se observa que es el programa. con referencias útiles a
la satisfacción e insatisfacción que sienten hacia él las personas seleccionadas
apropiadamente. Cualquier cliente en particular puede querer más que esto; pero esto
satisface el concepto mínimo, creo, de un estudio de evaluación.

Si observa detenidamente el informe TCITY, no encontrará ninguna expresión

terrible de esta fórmula, pero de hecho es la inicial la que nos guió. La forma de
ocurrencia presentación que usamos fue elegida en un mensaje sobre el Twin City Institute
ac para nuestros lectores enneapolis y St. Paul en lugar de ser una fiesta literal de
En m nuestra teoría de la evaluación.
mani
Nuestra teoría de la evaluación enfatiza la distinción entre un enfoque
abr ordenado y un enfoque receptivo. En el reciente
más allá, la principal distinción que hacen los metodólogos es que entre lo que
Scriven llamó formativo y sumativo evaluación. Prestó atención a la diferencia entre
programas en desarrollo y programas ya desarrollados e implícitamente a la
evaluación para una audiencia local de un programa en un entorno específico en
contraste con la evaluación para muchas audiencias de un programa
potencialmente generalizable. Estas son distinciones importantes, pero me parece
aún más importante distinguir entre los estudios de evaluación preordenada y los
estudios de evaluación receptiva.

He señalado que hay muchas formas diferentes de evaluar los programas

educativos. Ninguna forma es la correcta. Algunos procedimientos de evaluación muy
recomendados no proporcionan una descripción completa ni una visión de los méritos
y las deficiencias del programa que se está evaluando. Algunos procedimientos
ignoran las preguntas omnipresentes que deben plantearse cada vez que se evalúan
los programas educativos:

¿Se benefician todos los estudiantes o solo unos pocos específicos? ¿El
programa se adapta a instructores con calificaciones inusuales?

¿Se realizan las oportunidades para la experiencia estética?

Algunos procedimientos de evaluación son insensibles a la singularidad de la

condición local. Algunos son insensibles a la calidad del clima de aprendizaje
proporcionado. Cada forma de evaluación deja algunas cosas sin enfatizar.

Prefiero trabajar con diseños de evaluación que realicen un servicio. Espero

que el estudio de evaluación sea útil para personas específicas. Una Evaluación
probablemente no será útil si el evaluador no conoce los intereses y el lenguaje de
sus audiencias. Durante un estudio de evaluación, se puede dedicar una cantidad
considerable de tiempo a conocer las necesidades de información de la persona para
quien se realiza la evaluación. Los evaluadores
debe tener una idea clara de para quién está trabajando y sus preocupaciones.

Evaluación receptiva

Para estar al servicio y enfatizar los aspectos de evaluación que son importantes
para cada programa en particular, recomiendo el evaluación receptiva Acercarse. Es un
enfoque que sacrifica cierta precisión en la medición, con suerte para aumentar la
utilidad de los hallazgos para las personas dentro y alrededor del programa. Muchos
planes de evaluación son más “preordenados”, enfatizando (1) la declaración de metas,
(2) el uso de pruebas objetivas, (3) los estándares sostenidos por el personal del
programa y (4) los informes de tipo de investigación. La evaluación receptiva depende
menos de la comunicación formal y más de la comunicación natural.

La evaluación receptiva es una alternativa, una vieja alternativa. Es una

evaluación basada en lo que las personas hacen de forma natural para evaluar las
cosas: observan y reaccionan. El enfoque no es nuevo. Pero se ha evitado en los
documentos de planificación y las regulaciones institucionales porque, creo, es
ited
subjetivo, no se ajusta a los contratos formales y es demasiado probable que plantee
m preguntas embarazosas. Creo que al menos podemos superar los peores aspectos
mineral

de la subjetividad. La subjetividad puede ser roja por la replicación y la definición

operativa de un término ambiguo mientras confiamos en gran medida en los uced
conocimientos de la observación personal. Siete

Una evaluación educativa es una evaluación receptiva (1) si se orienta más

directamente a las actividades del programa que a las intenciones del programa, (2) si
responde a los requisitos de información de la audiencia y (3) si se refieren las
diferentes perspectivas de valor de las personas en cuestión. para informar el éxito y el
fracaso del programa. De estas tres formas distintas, un plan de evaluación puede
responder.
 Para hacer una evaluación receptiva, el evaluador, por supuesto, hace muchas
cosas. Hace un plan de observaciones y negociaciones. Hace arreglos para que varias
personas observen el programa. Con su ayuda, se prepara para narraciones breves,
representaciones, exhibiciones de productos, gráficos, etc. Averigua qué es de valor
para sus audiencias. Reúne expresiones de valor de varios individuos cuyos puntos de
vista difieren. Por supuesto, él la calidad de sus discos. Consigue que el personal del
programa cumpla con la precisión de sus representaciones. Obtiene autoridad para
cheques
reaccionar ante la importancia de varios hallazgos. Consigue que los miembros de la
o reaccionar

au reaccionen a la relevancia de sus hallazgos. Lo hizo de manera informal,cifras

iterando
paray
manteniendo un registro de una reacción. Elige medios accesibles a sus audiencias
dence
para aumentar la probabilidad y fidelidad de la comunicación. preparar un es
informe
mucho
final escrito; cción y
o
Él podría
en que

Propósito y Criterios

Muchos de ustedes estarán de acuerdo en que el libro editado por EF Lindquist,

Educational Measurement, ha sido la Biblia para nosotros que nos hemos
especializado en la medición educativa. Publicado en 1950, no contenía materiales
sobre evaluación de programas. La segunda edición, editada por Bob Thorndike
(1971), tiene un capítulo sobre evaluación de programas. Desafortunadamente, los
autores de este capítulo, Alex Astin y Bob Panos, optaron por enfatizar uno de los
muchos propósitos de los estudios de evaluación. Dijeron que el objetivo principal de
la evaluación es producir información que pueda orientar las decisiones relativas a la
adopción o modificación de un programa educativo.

La gente espera que la evaluación tenga lograr m alguna diferente

propósitos:
 a documentar eventos
a registrar cambio de estudiante

a detectar vitalidad institucional

a echar la culpa por los problemas
a ayudar a la toma de decisiones administrativas
a facilitar la acción correctiva
a aumentar nuestra comprensión de la enseñanza y el aprendizaje

Cada uno de estos propósitos está relacionado directa o indirectamente con los
valores de un programa y puede ser un propósito legítimo para un estudio de
evaluación en particular. Es muy importante darse cuenta de que cada propósito
necesita datos separados; todos los propósitos no se pueden cumplir con una sola
recopilación de datos. Solo se puede prestar especial atención a unas pocas preguntas.
No debemos dejar que Astin y Panos decidan qué preguntas atender, o Tyler o Stake.
Cada evaluador, en cada situación, tiene que decidir qué atender. El evaluador tiene
que decidir.

¿Sobre qué base elegirá las preguntas principales? confiar en sus Va a

ideas preconcebidas? ¿O en los planes y objetivos formales del programa?
¿O sobre la actividad real del programa sobre las reacciones de los ies? O
participantes? Es en esta elección que se prueba el propio evaluador. g que un

La mayoría de los evaluadores pueden culpable por dependencia excesiva de

Nociones preconcebidas de succ ess. Aconsejo al evaluador que dé a los hijos la
atención cuidadosa a la razón para evaluación que se le encargó, lo que está
luego prestar atención a cuál elegir lasucediendo en el programa, luego los criterios.
pregunta de valor para descubrir lo No debería fallar en los acontecimientos del
mejor y no dejar que una lista de programa. Él debería o una elección temprana de
instrumentos de objetivos llame la la forma de recopilación de datos de las cosas
atención de las personas que más le preocupan.
involucradas.
Muchos de mis colegas evaluadores están comprometidos con la idea de que
una buena educación genera resultados mensurables:
desempeño, dominio, habilidad, actitud. Pero creo que no siempre es mejor pensar en instrumental
valor de la educación como base para evaluarla. La "recompensa" puede ser difusa,
demorada mucho tiempo; o puede estar más allá del escrutinio de los evaluadores. En
la educación artística, por ejemplo, a veces es el propósito del personal del programa o
de los padres brindar experiencias artísticas - y capacitación - para los intrínseco valor
solo. “Hacemos estas cosas porque son buenas cosas que hacer”, dice un profesor de
ballet. Algunos profesores de ciencias hablan de manera similar sobre el valor
experimental de reconstruir ciertos experimentos clásicos. El evaluador o sus
observadores deben tener en cuenta si esas experiencias de aprendizaje estuvieron
bien organizadas o no. Deben averiguar cuáles piensan las personas adecuadamente
seleccionadas que son los “costos” y los “beneficios” de estas experiencias en el estudio
de danza o en el laboratorio de biología. El evaluador no debe suponer que solo los
resultados mensurables atestiguan el valor del programa.
gy

A veces será importante que el evaluador haga lo mejor para medir los su
resultados de los estudiantes, otras veces no. Creo que hay pocos datos mi
"críticos" en cualquier estudio, al igual que hay pocos componentes "críticos" en re
cualquier experiencia de aprendizaje. El alumno es capaz de utilizar muchos él
caminos, muchas tareas, para obtener su medida de habilidad y "beneficio" en
estético. El evaluador toma diferentes caminos para revelar los beneficios del lata
programa. Las pruebas y otras recopilaciones de datos no deben considerarse
esenciales; ni tampoco deben descartarse automáticamente. La elección de r
estos instrumentos en la evaluación receptiva debe hacerse como resultado de
observar el programa en acción y de descubrir los propósitos importantes para ult
los diversos grupos que tienen interés en el programa.
t en

Las evaluaciones receptivas requieren planificación y estructura; se pero

basan poco en declaraciones formales y representaciones abstractas, por
ejemplo, diagramas de flujo, puntajes de pruebas. Declaraciones de
Los objetivos, las hipótesis, las baterías de pruebas y los programas de enseñanza
reciben, por supuesto, una atención primaria si son componentes primarios del
programa de instrucción. Luego, no se tratan como la base del plan de evaluación, sino
como componentes del plan de instrucción. Estos componentes deben evaluarse al
igual que los demás componentes. La cantidad adecuada de estructura para una
evaluación receptiva depende del programa y de las personas involucradas.

Estructura sustantiva

En lugar de objetivos o hipótesis como "organizadores avanzados" para un

estudio de evaluación, prefiero asuntos . Creo que la palabra
asuntos refleja mejor un sentido de complejidad, inmediatez y valoración. Después de
familiarizarse con un programa, en parte al hablar con los estudiantes, padres,
contribuyentes, patrocinadores del programa y personal del programa, el evaluador
reconoce ciertos problemas o problemas o problemas potenciales. Estos temas son
una estructura para continuar las discusiones con los clientes, el personal y las
audiencias. Estos temas son una estructura para el plan de recopilación de datos. Las
observaciones sistemáticas a realizar, las entrevistas y las pruebas que se den, si las
hubiere, deben ser las que contribuyan a s para

comprender o resolver los problemas identificados.

Al evaluar TCITY, Craig Gjerde y yo nos convertimos en consciente de tal
preguntas temáticas como:

¿Es satisfactoria la política de admisiones? ¿Son algunos

profesores demasiado "permisivos"?
¿Por qué tan pocos estudiantes se quedan por la tarde?
¿Se aprovecha bien la oportunidad de formar a profesores más jóvenes? ¿Es este
Instituto un “faro” para la innovación del currículo escolar regular?
 La importancia de tales preguntas varía durante el período de evaluación. Los
problemas que se identifican desde el principio como importantes tienden a recibir
demasiada atención en un plan de datos preordenado, y es probable que se ignoren
los problemas identificados hacia el final. Los procedimientos de evaluación receptiva
permiten al evaluador responder tanto a los problemas emergentes como a los
problemas preconcebidos.
El evaluador generalmente necesita más estructura que un conjunto de
preguntas para ayudarlo a decidir "qué datos recopilar". Para ayudar al evaluador a
conceptualizar su "lista de compras", una vez escribí un artículo titulado "El rostro de la
evaluación educativa" (Stake, 1967). Contenía la matriz, las trece categorías de
información, que se muestran en esta presentación en la pantalla (ver Figura

1). Puede notar que mis categorías no son muy diferentes de las que piden los
modelos de Dan Stufflebeam y Mal Provus.

Para diferente Para fines de evaluación habrá diferentes e de la matriz o

emphases en un lado el otro: datos descriptivos. Y, de manera similar, habrá un
datos y crítico artículo sobre antecedentes, transacciones y resultados. El
diff erent enfatiza artículo también enfatizó el uso de fuentes de información
info rmati en. La " contradictorias.
de multip le y eve
También Señaló la pregunta a menudo ignorada acerca de la instrucción
matc h-up entre deseada y observó la instrucción pregunta más elusiva sobre la
y el par fuerza de la
cont ingencia o f resultados observados sobre transacciones observadas en r
la particular condiciones observadas. Creo que estos "Rostros" son buenos para
s continuo planificar el contenido del estudio.
ocurrencia

eval uation st
Me gusta pensar en todos estos datos como observaciones: los datos, los
inte estándares, los juicios y las declaraciones de fundamento también son datos
obse importantes. Tal vez fue un error etiquetar solo la nd columna como
seco "observaciones". Thoreau dijo: "¿Podría una mayor
milagro que nos miremos a través de los ojos por un instante ".

Los observadores humanos son los mejores instrumentos que tenemos para
muchas cuestiones de evaluación. Los datos de rendimiento y los datos de
preferencias se pueden escalar psicométricamente cuando se requieren datos
cuantificados objetivamente. Lo importante para el evaluador es obtener su
información en cantidad suficiente de numerosas fuentes independientes y creíbles
para que represente efectivamente el estado percibido del programa, por más
complejo que sea.
Estructura funcional

“Qué datos” es una cosa, pero “cómo hacer la evaluación” es otra. Mi plan de
evaluación receptiva asigna una gran cantidad de recursos de evaluación a la
observación del programa. El plan no está dividido en fases porque la observación y
la retroalimentación continúan siendo las funciones importantes desde la primera
semana hasta la última. He identificado doce eventos recurrentes. Aquí en la pantalla
(ver figura 2) los muestro como en la esfera de un reloj. Sé que algunos de ustedes
me recordarán que un reloj se mueve en el sentido de las agujas del reloj, así que me
apresuro a decir que este reloj se mueve en el sentido de las agujas del reloj, en
sentido contrario a las agujas del reloj y en sentido transversal. En otras palabras,
cualquier evento puede seguir a cualquier evento. Además, muchos eventos ocurren
simultáneamente; y el evaluador regresa a cada evento muchas veces antes de que
finalice la evaluación.

Por ejemplo, tome las doce en punto. Discutir El evaluador

muchas cosas en muchas ocasiones con personas ith el personal del programa y
representativas de los que quieren comparar sus sus audiencias. Él lo hará
ideas sobre el alcance del programa y los temas cone, actividades, propósitos,
las de ellos. Querrá representaciones (por ejemplo, t para mostrarles sus ys,
bocetos, fotografías en pantalla, cintas) de representaciones ,
preguntas de valor, contenido y productos de los actividades, c urricular
estudiantes. Las representaciones de Reactio le ns a estos
ayudarán a aprender cómo configurar. Debe comunicar e en esto
proporcionar información útil para satisfacer los rmación. El sh no debería
deseos de solo información favorable, ni debe r solo desfavorable capaz)
suponer que los evaluadores y las autoridades solo el conce rns de
externas lo son (Por supuesto, estas advertencias digno de dis cussion.
son una evaluación adecuada y una evaluación priate para res ponsivo
preordenada. como.)
 Este comportamiento del evaluador receptivo es muy diferente del
comportamiento del evaluador preordenado. Aquí en la pantalla ahora (ver más
abajo) está mi estimación de cómo los dos evaluadores normalmente gastarían su
tiempo

Preordenado Sensible

Identificar problemas, metas 10% 10%

Preparando instrumentos 30% 15%

Observando el programa 5% 30%

Administración de pruebas, etc. 10% -

Recolectando juicios - 15%

Conocer las necesidades del cliente, etc. - 5%

Procesamiento de datos formales 25% 5%

Preparación de informes informales - 10%

Preparación de informes formales 20% 10%

Creo que el evaluador preordenado se conceptualizó a sí mismo como un estímulo,

rara vez como una respuesta. Hace todo lo posible para generar estímulos
estandarizados, como declaraciones de objetivos de comportamiento, elementos de
prueba o elementos de cuestionarios. Las respuestas que evoca son las que recoge
como sustancia de su informe de evaluación.
El evaluador receptivo considera que los principales estímulos son los que
ocurren naturalmente en el programa, incluidas las respuestas de los estudiantes y los
diálogos posteriores. Al principio, su trabajo es registrar estos, aprendiendo tanto de
los acontecimientos como de los valores. Para obtener información adicional, asume
un papel más intervencionista. Y, con sus clientes y público, asume un papel aún más
activo, estimulando su pensamiento (esperamos) y enriqueciendo su experiencia con
sus reportajes.

El filósofo David Hawkins (1973) respondió a la idea de invertir los roles de S

- R de esta manera:
 . . . como la observación de que uno está invirtiendo la S y la R de la misma. En un
experimento, uno pone el sistema en un estado preparado y luego observa su
comportamiento. La preparación es lo que los psicólogos llaman "estímulo" ... En la
investigación naturalista uno no prepara el sistema, sino que busca patrones,
estructuras, eventos significativos, tal como aparecen en condiciones no controladas o
modificadas por el investigador, que ahora es él mismo un sistema de interés. Es un
resonador, un respondiente. Debe estar en un estado inicial tal que (a) sus respuestas
contengan información importante sobre el complejo de estímulos al que está
respondiendo, y (b) deben ser decodificables al máximo por su público objetivo.

En la siguiente sección de este documento, hablaré sobre informes con máxima

capacidad de decodificación. Permítanme concluir estas dos secciones sobre
estructura diciendo que el evaluador no debe confiar únicamente en sus propios
poderes de observación, juicio y respuesta. Debería reclutar un pelotón de estudiantes,
maestros, líderes comunitarios, especialistas en currículo, etc., su elección
dependiendo de los temas que se estudiarán y las audiencias a las que se atenderá. La
importancia de su información, y la fiabilidad de la misma, aumentará el número y la
variedad de observadores.

Representación y comunicación holística

Los informes que se pueden decodificar al máximo requieren una tecnología

de informes de la que no hemos contado con las mediciones educativas. Hemos
intentado ser impersonales, teóricos, generalizables. Hemos buscado la explicación
parsimoniosa. No hemos aceptado la responsabilidad de escribir de una manera
que sea al máximo comprensible para los educadores en ejercicio y otras personas
interesadas en la educación. Según RF Rhyne (1972): acerca de

Existe una gran y creciente necesidad de la clase de poderes de comunicación que

ayuden a una persona a obtener, indirectamente, una
 Sentir la naturaleza de campos demasiado extensos y diversos para ser
experimentados directamente.
La prosa y su arquetipo, la ecuación matemática, no son suficientes. Ofrecen más
especificidad dentro de una región muy limitada del discurso de lo que es seguro, ya
que lo claramente explícito puede confundirse fácilmente con la verdad, y la diferencia
puede ser grande cuando se desprecia el contexto (p. 93-

104).

Necesitamos este poder de comunicación, esta oportunidad de experiencia

indirecta, en nuestros intentos de resolver problemas educativos.

Una de las principales razones para alejarse del enfoque preordenado de la

evaluación es mejorar la comunicación con las audiencias. El estilo convencional de
informes de investigación es una forma de comunicación "claramente explícita". En un
proyecto de investigación típico, el informe está limitado por el diseño del proyecto. Se
identifica un pequeño número de variables y se buscan relaciones entre ellas. Se
observa a los individuos, se descubre que difieren y se muestran las distribuciones de
las puntuaciones. Se analizan e interpretan covariaciones de diversos tipos. A partir de
un informe de tal investigación analítica, es muy difícil, a menudo imposible, para un
lector saber "cómo era el programa". Si se supone que debe aprender “cómo era el
programa”, el informe de evaluación debería ser diferente del informe de investigación
convencional.

Como parte de mi defensa del enfoque receptivo, he instado a mis colegas

evaluadores a responder a lo que creo que son las formas naturales en las que las
personas asimilan la información y llegan a comprender. Directo La experiencia
personal es una forma eficaz, completa y satisfactoria de generar comprensión, pero
es una forma que normalmente no está disponible para las audiencias de nuestros
informes de evaluación. El mejor sustituto de la experiencia directa es probablemente
la experiencia indirecta, cada vez mejor cuando el evaluador utiliza
Estilos de “atención” y “conceptualización” similares a los que utilizan los miembros
de la audiencia. Es poco probable que tales estilos sean los del especialista en
medición o del científico social de mentalidad teórica. La experiencia vicaria a
menudo se conceptualizará en términos de personas, lugares y eventos.

Necesitamos un procedimiento de presentación de informes para facilitar la

experiencia indirecta. Y está disponible. Entre los mejores evangelistas, antropólogos
y dramaturgos se encuentran aquellos que han desarrollado el arte de contar
historias. Necesitamos retratar la complejidad. Necesitamos transmitir una impresión
holística, el estado de ánimo, incluso el misterio de la experiencia. El personal del
programa o las personas de la comunidad pueden estar "inseguros". El público
debería sentir esa incertidumbre. Es posible que se necesite más ambigüedad en
lugar de menos en nuestros informes. La simplificación excesiva confunde. Ianesco
dijo (Esslin, 1966):

A medida que nuestro conocimiento se separa de la vida, nuestra cultura ya no nos

contiene a nosotros mismos (o solo a una parte insignificante de nosotros mismos)
porque forma un contexto "social" en el que no estamos integrados.

Entonces el problema pasa a ser el de volver a poner nuestra vida en contacto con
nuestra cultura, convirtiéndola de nuevo en una cultura viva. Para lograrlo, primero
tendremos que matar “el respeto por lo que está escrito en blanco y negro ...” para
romper nuestro lenguaje para que se pueda volver a armar para restablecer el contacto
con “lo absoluto , ”O como prefiero decir, con“ realidad múltiple ”; es imperativo
“empujar de nuevo al ser humano a verse a sí mismo como realmente es” (p. 298).

Algunos informes de evaluación deberían revelar la “realidad múltiple” de una

experiencia educativa.
El evaluador receptivo a menudo utilizará representaciones. Algunos serán
breves, con quizás un "guión" de cinco minutos, un registro o un álbum de recortes.
Una representación más larga puede requerir varios medios:
narrativas, mapas y gráficos, exposiciones, conversaciones grabadas, fotografías e
incluso juegos de roles de la audiencia. ¿Qué ingredientes transmiten mejor el
sentido del programa a una audiencia en particular? Los ingredientes están
determinados por la estructura elegida por el evaluador.

Suponga que se va a evaluar un programa de arte de la escuela secundaria. Para

representar al menos un problema, "cómo afecta el programa cada estudiante ”, se podría
pensar que los estudiantes están en dos grupos: los que toman al menos un curso de
bellas artes y los que no toman ninguno. (El propósito aquí es la descripción, no la
comparación).

Se podría seleccionar una muestra aleatoria de diez estudiantes de cada grupo y

desarrollar veinte pequeños estudios de caso. La descripción en prosa de lo que cada
uno hace en clases de diversos tipos (incluida la participación en las artes en la escuela)
podría complementarse con cosas como (1) extractos de entrevistas grabadas con el
joven, sus amigos, sus maestros y sus padres; (2) productos de arte (o fotografías,
recortes de noticias, etc., de los mismos) hechos por él dentro o fuera de clase; (3)
gráficos de su uso del tiempo libre; y (4) puntajes de pruebas de sus actitudes hacia las
artes. Se podría instalar una pantalla (para cada estudiante) en el gimnasio que podría
examinarse razonablemente a fondo en 10-20 minutos.

Se podrían proporcionar otros materiales, incluido el plan, el programa y la dotación de

personal de la escuela. Se debe prestar mucha atención a descubrir cómo la
descripción de estos jóvenes individuales revela lo que la escuela y otras fuentes de
experiencia artística están proporcionando en el camino de la educación artística.

A veces se dará el caso de que informar sobre la calidad de la educación

requiera una comunicación de “dos etapas”. Algunas audiencias no podrán participar
en una experiencia indirecta como la organizada en el ejemplo anterior. Se puede
seleccionar una audiencia sustituta. El evaluador presentará su
representaciones para ellos; luego les preguntará sobre la actividad aparente, los
logros, los problemas, las fortalezas y las deficiencias del programa. Él informará sus
reacciones, junto con una descripción más convencional del programa, a las
verdaderas audiencias.
Estas veinte pantallas podrían ser examinadas por personas especialmente invitadas a
revisarlas y responder a ellas. Los revisores pueden ser estudiantes, profesores,
especialistas en currículos de arte y patrocinadores de las artes. También pueden visitar
las actividades escolares regulares, pero la mayor parte de la atención se centrará en
las exhibiciones. A estos revisores se les debe pedir que respondan preguntas como
"Con base en estos estudios de caso, ¿la escuela está haciendo su parte para brindar
una experiencia artística de buena calidad para todos los jóvenes?" y "¿Hay demasiado
énfasis en el desempeño creativo disciplinado y no lo suficiente en compartir las artes
de una manera que se adapte a los gustos de cada estudiante?" Su respuesta a estas
descripciones y preguntas sería una parte importante del informe de evaluación.

La representación generalmente presentará descripciones de personas. El

evaluador encontrará que los estudios de casos de varios estudiantes pueden
representar de manera más interesante y fiel el programa educativo que unas pocas
mediciones de todos los estudiantes. La promesa de ganancia es doble: los lectores
comprenderán el programa total y se preservará parte de la importante complejidad
del programa. Por lo general, los varios estudiantes no pueden considerarse una
representación satisfactoria de los muchos; existe un error de muestreo.
y
T protesta por el error de muestreo
será ruidoso pero el tamaño de el error puede ser pequeño y
Suele ser un precio satisfactorio ce para pagar la mejora en
comunicación.
Seguirá habiendo muchas consultas de investigación que necesitan
tecnología de encuestas sociales y una especificación exacta de los objetivos. El
trabajo de John Tukey, Torsten Husen, Ralph Tyler, Ben Bloom y James Popham
continuará sirviendo de modelo para tales estudios.
 A menudo, la mejor estrategia será seleccionar pruebas de rendimiento,
pruebas de desempeño o listas de verificación de observación para proporcionar
evidencia de que las metas preespecificadas se lograron o no. El investigador debe
recordar que un enfoque tan preordenado depende de la capacidad para discernir el
logro de esos propósitos, y esas capacidades a veces no están a nuestro alcance. El
enfoque preordenado generalmente no es sensible a los cambios continuos en el
propósito del programa, ni a las formas únicas en que los estudiantes se benefician del
contacto con los maestros y otros estudiantes, ni a los diferentes puntos de vista que la
gente tiene sobre lo que es bueno y malo.

Eliot Eisner (1969) resumió muy bien estas insensibilidades en AERA

Monograph No. 3. Abogó por la consideración de objetivos expresivos, hacia
resultados que son idiosincrásicos para cada alumno y que se conceptualizan y
evalúan. después
la experiencia instruccional; después de que se ha manifestado un producto, una
conciencia o un sentimiento, en un momento en que el profesor y el alumno pueden
reflexionar sobre lo que ha ocurrido. Eisner dio a entender que a veces sería preferible
evaluar la calidad de la
oportunidad aprender - el mérito "intrínseco" de la experiencia en lugar de la
"recompensa" más elusiva, para usar los términos de Scriven.
En mis propios escritos sobre evaluación he sido influenciado por Eisner y
Scriven y otros que no estaban satisfechos con las pruebas contemporáneas. Vemos
muy poca buena medición de logros complejos, desarrollo de estilos personales y
sensibilidades. He sostenido que pocos pasos de aprendizaje específicos, si es que hay
alguno, son realmente esenciales para el éxito posterior en cualquier empresa de la
vida; He argumentado que los estudiantes, profesores y otros observadores
seleccionados intencionalmente ejercen los juicios críticos más relevantes, sean o no
explícitos sus criterios. También he argumentado que es más probable que el alivio de
los problemas de instrucción lo logren las personas que experimentan más
directamente el problema, quizás con ayuda y comodidad (pero no con soluciones
específicas o programas de reemplazo) de consultores o autoridades externas. Yo uso
estos
argumentos como suposiciones para lo que yo llamo el evaluación
receptiva Acercarse.

Utilidad y legitimidad

Se podría decir que la tarea de evaluar un programa educativo es imposible si

fuera necesario expresar verbalmente sus propósitos o logros. Afortunadamente, no
es necesario ser explícito sobre el objetivo, el alcance o la causa probable para indicar
el valor. La explicación generalmente hará que la evaluación sea más útil; pero
también aumenta el peligro de errores en el objetivo, el alcance y la causa probable.

Tanto para el profano como para el profesional, la evaluación significa que

alguien informará sobre los méritos y las deficiencias del programa. El evaluador
informa que un programa es "coherente", "estimulante", "parroquial" y "costoso".
Estos términos descriptivos también son términos de juicio de valor. Se ha realizado
una evaluación. La validez de estos juicios puede ser fuerte o débil; su utilidad puede
ser grande o pequeña. Pero la evaluación no dependió en absoluto de una
especificación cuidadosa de las metas, actividades o logros del programa. Al planificar
y llevar a cabo un estudio de evaluación, el evaluador debe decidir hasta dónde ir más
allá de los ingredientes básicos: valores y estándares. Muchas veces querrá examinar
las metas. Muchas veces querrá proporcionar una representación a partir de la cual el
público pueda formarse sus propios juicios de valor.

Los propósitos de las audiencias son de suma importancia. ¿Qué les gustaría
poder hacer con la evaluación del programa? Lo más probable es que no tengan
planes de usarlo. Pueden dudar de que el estudio de evaluación les sea de utilidad.
Pero los gráficos, los productos, las narrativas y las representaciones no afectan a las
personas. Con estos dispositivos, las personas se vuelven más conscientes del
programa, desarrollan un sentimiento por sus fuerzas vitales, un sentido de sus
decepciones y problemas potenciales. Es posible que estén mejor preparados para
actuar en cuestiones como un cambio de inscripción o una
reasignación de recursos. Es posible que puedan proteger mejor el programa.

Los diferentes estilos de evaluación servirán para diferentes propósitos. Una

evaluación muy subjetiva puede ser útil pero no se considera legítima. Algunos
consideran que el lenguaje altamente específico, las tareas de comportamiento y los
puntajes de desempeño son más legítimos.
. En Estados Unidos, sin embargo, rara vez hay una mayor
La legitimidad than sido el respaldo de un gran número de públicos que significan
t
personas. El evaluador puede necesitar descubrir qué legitimaci
es su audiencia (y sus audiencias) honran.
mi
La valoración receptiva incluye dicha consulta.
La evaluación receptiva será particularmente útil durante la evaluación
formativa cuando el personal necesita ayuda para monitorear el programa, cuando
nadie está seguro de los problemas que surgirán. Será particularmente útil en la
evaluación sumativa cuando el público desee comprender las actividades de un
programa, sus fortalezas y deficiencias, y cuando el evaluador sienta que es su
responsabilidad brindar una experiencia indirecta.

Se debe preferir la evaluación preordenada a la evaluación receptiva

cuando es importante saber si se han alcanzado ciertas metas, si se han cumplido
ciertas promesas y cuándo se van a investigar hipótesis o problemas
predeterminados. mayor enfoque y oportunidad para la preparación, se puede Con
esperar que las mediciones preordenadas realizadas sean más objetivas y
confiables.

Es incorrecto suponer que se pueda fijar un diseño preordenado estricto o un

diseño receptivo en un programa educativo para evaluarlo. A medida que el programa
avanza de maneras únicas e inesperadas, los esfuerzos de evaluación deben adaptarse
a ellos, aprovechando la estabilidad y la experiencia previa cuando sea posible,
extendiéndose a nuevos problemas y desafíos según sea necesario.
 Referencias

Coleman, James S. y col. Igualdad de oportunidades educativas

Washington, DC: Departamento de Salud, Educación y Bienestar de los Estados
Unidos, Oficina de Educación, 1966

Cronbach, Lee. "Mejora del curso a través de la evaluación". Profesores

College Record, 1963, 64, 672-683.

DuBois, Philip H. y Mayo, D. Douglas (Eds.). Estrategias de investigación

para la evaluación de la formación (Serie de monografías de la AERA sobre
evaluación del plan de estudios). Chicago: Rand McNally & Co., 1970.

Eisner, Eliot W. “Instrucción y educación expresiva

Objetivos: su formulación y uso en el plan de estudios ". En
W. James Popham, Eliot W. Eisner, Howard J. Sullivan y Louise Tyler, Objetivos
de instrucción (Serie de monografías de AERA sobre evaluación del plan de
estudios). Chicago: Rand McNally & Co., 1969

Esslin, Martin. El teatro del absurdo. Londres: Eyre y

Spotteswoode, 1966.

Flexner, Abraham. Educación médica en los Estados Unidos y

Canadá . Un informe para la Fundación Carnegie para el Avance de la
Enseñanza. Nueva York: The Carnegie Foundation,
1910. Reimpreso en Nueva York: Prensa de Arno, 1970

Gallagher, James; Nuthall, Graham A. y Rosenshine, Barak.

Observación en el aula (Serie de monografías AERI4 sobre evaluación
curricular). Chicago: Rand McNally & Co., 1970
Grobman, Hulda. Actividades de evaluación de proyectos curriculares
(Serie de monografías de AERA sobre evaluación curricular) Chicago:
Rand McNally & Co., 1968.

Hawkins, David. Universidad de Colorado, Boulder, Colorado,

(Comunicaciones personales).

Husen, Torsten (Ed.) Estudio internacional de logros en

Matemáticas . Nueva York: Wiley, 1967

Levine, Murray. “Método científico y modelo adversario: algunos

Sugerencias preliminares ”, comentario de evaluación, 1973,4, 1-3.

Lindquist, Everett, F. (Ed.). Medición educativa.

Washington: Consejo Americano de Educación, 1950.

Lindvall, CM y Cox, Richard. La evaluación como herramienta en el plan de estudios

Desarrollo (Serie de monografías de AERA sobre evaluación
curricular). Chicago: Rand McNally & Co., 1970

MacDonald, Barry, "Evaluation and the Control of Education". En

D. Tawney (Ed.). Evaluación: el estado del arte. Londres: Consejo de Escuelas,
1975.

Parlett, Malcomb y Hamilton, David. Evaluación como iluminación:

Un nuevo enfoque para el estudio de programas innovadores. Edimburgo:
Centro de Investigación en Ciencias de la Educación, Universidad de Edimburgo,
Documento ocasional No. 9, 1972

Provus, Malcolm. Evaluación de discrepancias. Berkeley, California:

McCutchan, 1971.
Rhyne, RF "Comunicando conocimientos holísticos", Fields Within
Campos: dentro de los campos, 1972, 5, 93-104.

Scriven, Michael S. "La metodología de evaluación". En Ralph

Tyler, Robert Gagne y Michael Scriven (Eds.), Perspectivas
de Evaluación de Currículo (Serie de Monografías de AERA sobre Evaluación de
Currículo). Chicago: Rand McNally & Co., 1967.

_________. "Evaluación sin objetivos". En Ernest House (Ed). Colegio

Evaluación: La política y el proceso. Berkeley,
California: McCutcffan, 1973.

Smith, Louis M. y Pahland, Paul A. “Tecnología educativa y

las Tierras Altas Rurales ". En Louis M. Smith, Four Examples: Economic,
Anthropological Narrative, and Portrayal (AERA Monograph on Curriculum
Evaluation). Chicago: Rand McNally & Co., 1974

Rippey, Robert M. (Ed.). Estudios en Evaluación Transaccional.

Berkeley, California: McCutchan, 1973.

Stake, Robert E. "El aspecto de la evaluación educativa",

Registro de profesores universitarios, 68 , 1967, 523-540

__________ y Gjerde, Craig. Una evaluación de TCITY: The Twin

Instituto Municipal para Jóvenes Talentosos. Documento n. ° 1, Serie de
informes de evaluación. Kalamazoo, Michigan: Centro de Evaluación,
Western Michigan University, 1975.

Stufflebeam, Daniel L. et al. Evaluación y decisión educativa

Haciendo . Itasca, Illinois: pavo real, 1971
Thorndike, Robert L. (Ed.) Medición educativa, Washington:
Consejo Americano de Educación, 1971.

Tyler, Ralph W. "Estudio de ocho años". En ER Smith y Ralph

tyler Evaluar y registrar el progreso del estudiante. Nueva York: Harper, 1942

____________. Principios básicos de curriculum e instrucción.

Chicago: University of Chicago Press, 1949

Mujer, Frank. ¿Qué es la evaluación nacional? Ann Arbor: Nacional

Evaluación del progreso educativo, 1970
 PROTAGONISTAS
COMPETENCIA
(ver CASOS
ACERCARSE PROPÓSITO ELEMENTOS CLAVE Enfatizado referencias) EJEMPLOS

para medir declaraciones de objetivos; Ralp Tyler ACERO

estudiante resultados de las pruebas EDUCATIVO Ben Bloom MUJER
GANANCIA ESTUDIANTIL
rendimiento y análisis; PSICOL Jim Popham LINDVALL-COX
PROBANDO
Progreso discrepancia entre OGISTAS Mal Provus Husen
meta y actualidad

para revisar y trabajo de comité Nacional BOERSMA-

INSTITUCIONAL aumento de personal estándares establecidos por Estudio PLAWECKI
PROFESORES
AUTO ESTUDIO POR efectividad personal; discusión; de la escuela KNOLL-MARRÓN
MAESTROS
PERSONAL profesionalismo Evaluación CARPINTERO
Dressel

resolver prestigioso panel; James Conant FLEXNER

CINTA AZUL crisis y la visita; revisión PRINCIPAL Clark Kerr HAVINGHURST
PANEL preservar el de existente y LOS CIUDADANOS David Henry CASA ET AL
institución documentos PLOWDEN

Para proveer problemas educativos; Lou Smith MacDONALD

comprensión observación en el aula Parlett- HERRERO-
TRANSACCIÓN- CLIENTE,
de actividades ción; estudios de caso; Hamilton POHLAND
OBSERVACIÓN AUDIENCIA
y valores pluralismo Rob Rippey PARLETT
Bob Stake LUNDGREN

para aumentar listas de opciones; León KRAFT

racionalidad en estimados; realimentación Lessinger HAZAÑOSO-
ADMINISTRACIÓN GERENTES,
día a día bucles costos; Dan STAKENAS
ANÁLISIS ECONOMISTAS
decisiones eficiencia Stufflebeam HEMFILO
Don Campbell

para generar condición controlada Lee Cronbach ANDERSON, R.

Explicaciones INSTRUCCIONALES ciones, multivariante EXPERIMEN- Julian PELLA
INVESTIGAR y tácticas de análisis; bases para TALISTAS Stanley ZDEP-JOYCE
instrucción generalización Don Campbell TABA

ayudar medidas de social James Coleman COLEMAN

desarrollo de condiciones y David Cohen JENCKS
POLITICA SOCIAL SOCIOL-
institucional administrativo Carol Weiss LEVITAN
ANÁLISIS OGISTAS
politicas implementación Monsteller- TRANKELL
Moynihan

para evaluar ignorar proponente Miguel HOUSE-HOGBEN

SIN OBJETIVOS efectos de reclamos, seguir Scriven
CONSUMIDORES;
EVALUACIÓN programa Lista de Verificación
 para resolver un defensores opuestos, Tom Owens OWENS

ADVERSARIO dos opciones interrogatorio, EXPERTO: Murray STAKE-GJERDE

EVALUACIÓN elección el jurado JURÍDICO Levine REINHARD
Bob Wolfe

Por supuesto, estas etiquetas descriptivas son una gran simplificación. superposición. Diferentes Los enfoques
proponentes y diferentes usuarios tienen diferentes protagonistas reconocen que un enfoque no estilos. Cada
es ideal para todos los propósitos. incluir varios enfoques. La cuadrícula es una simplificación Cualquier estudio puede
excesiva. muestran algunas diferencias típicas y burdas entre las evaluaciones contemporáneas estar destinado a
actividades.
 apéndice B

INFORME DE EVALUACIÓN DE TCITY-1971: DECLARACIÓN DE UN DEFENSOR

Ningún visitante que miró detenidamente a TCITY-7l mantuvo su escepticismo. Un joven

visitante sabe lo precioso que es descubrir, ser escuchado, pertenecer. Un visitante mayor conoce la
rareza de un aula donde los profesores y los estudiantes se perciben como personas reales. Para el no
visitante, no parece posible que un programa de escuela de verano pueda cumplir con todas estas
promesas a más de 800 niños, pero TCITY-71 lo hizo.

Todo especialista en currículo teme que, al relajar las reglas de conducta y alentar la
independencia de los estudiantes, puedan estar diciendo adiós al trabajo duro y al pensamiento duro
que requiere la educación. Los profesores y estudiantes de TCITY-71 hicieron que el aprendizaje fuera
tan atractivo, tan intencionado, que el pensamiento libre volvía una y otra vez a los temas curriculares:
conciencia de la condición humana, obstáculos a la comunicación, interacciones ecológicas, etc.

TCITY sobresale por su personal. Sus estudiantes le dan movimiento. Sus directores lo
nutren. Sus maestros le dan movimiento, nutrición y dirección. Sería incorrecto decir que el Sr.
Caruson, el Sr. Rose y los maestros piensan de la misma manera en cuanto a los principales objetivos
y métodos de educación, pero, colectivamente, crean un currículo dinámico, humanista y con base
académica.

La calidad de la enseñanza este verano fue consistentemente alta, día a día, de clase en clase.
Algunos de los maestros optaron por ser informales, para ofrecer "oportunidades", para compartir
una experiencia significativa. Otros fueron más intensos, más decididos a compartir información y
métodos de resolución de problemas. Ambos tipos estuvieron ahí, haciéndolo bien.

La calidad del aprendizaje también fue alta. Los estudiantes estaban sintonizados. Estaban
ocupados. Respondieron a los movimientos de su
profesores. Improvisaron, llevaron ideas y argumentos, indignaciones y admiraciones, a la cancha de
voleibol, al Commons, a la sombra de los olmos del campus y los robles del Cannon River. Los jóvenes
dieron un gran paso hacia la madurez.

Es cierto que fue un paso costoso. Miles de horas, miles de dólares y al menos unos cientos de
agravios. Pero si se ajusta a una escala de presupuestos de escuelas públicas, y presupuestos para
parques, carreteras interestatales y armas de guerra, TCITY-7l califica como MEJOR COMPRA. 800
niños, más o menos, se llevaron a casa un nuevo talento, una nueva línea de pensamiento, una nueva
conciencia, una buena compra.

No se puede negar que otros jóvenes de Minneapolis y St. Paul merecen una experiencia como
esta. Deberían tenerlo. Algunos dicen: "ICIlY es malo porque atiende a la élite". Pero una mayor
sabiduría dice: "Cualquier esfuerzo centrado en dar una parte igual de cosas buenas a todos los grupos
está destinado a no compartir nada de valor". Para los jóvenes menos favorecidos, debe garantizarse
una participación más equitativa de las oportunidades educativas. Pero incluso en tiempos de recesión
económica, se deben proteger las oportunidades para los talentosos.

TCITY-71 se ha realizado correctamente. Incluso es la mejor compra. Satisface una obligación

social de educar especialmente a algunos de los que lo dirigirán: las artes, los negocios, el gobierno, la
vida. Los maestros de TCITY71 han combinado un verano de cariño, capricho, apertura y lucha
intelectual para ofrecer a los líderes potenciales un verano de desafíos.

(Preparado por R. Stake, no para indicar su opinión sobre el Instituto, sino como un
resumen de las afirmaciones más positivas que razonablemente se podrían hacer).
 INFORME DE EVALUACIÓN DE TCITY-197l: DECLARACIÓN DE UN ADVERSARIO

TCITY no es un escándalo magnatum. Pero es menos de lo que pretende ser y más de lo que
desea ser. Hay suficiente evidencia al menos para cuestionar ciertas facetas del Instituto, si no para
devolver un verdadero proyecto de ley en su contra. Costoso, ampliado, innovador, ejemplar: estos
atributos del Instituto merecen un examen crítico.

¿Qué tan costoso es este Instituto? Los costos en dólares son suficientes para darle a cada
grupo de seis estudiantes $ 1,000 para diseñar y llevar a cabo su experiencia de verano ganada. Más de
100 estudiantes de Upward Bound podrían prepararse para sus carreras universitarias en Macalester.
Aproximadamente veinticinco especialistas en currículo expertos podrían recibir apoyo durante medio
año para diseñar y desarrollar nuevos currículos para la escuela secundaria.

¿Cuál es el costo de eliminar a 800 líderes talentosos de la cultura juvenil local? ¿Cuál es el costo
de ampliar la brecha de experiencia entre los estudiantes del Instituto y sus padres? ... ¿y sus maestros
en la escuela secundaria "regular"? ... ¿y sus amigos que no son del Instituto? No es suficiente aquí para
acusar el elitismo neofasista. Suficiente para justificar la discusión.

El Instituto abunda en innovadores e innovaciones autodenominados, con alternativas a la

educación habitual de los estudiantes de secundaria. Nótese que el Instituto no se promueve como una
alternativa ejemplar a enseñanza. Busca promover el desarrollo de formas alternativas de educación por escuelas.
Y no está haciendo ni siquiera ese trabajo. ¿Qué está haciendo TCITY para demostrar que el estilo de
vida de TCITY se puede vivir en las escuelas como las conocemos? ¿En qué parte de la escuela regular es
el personal tan crucial para la vida del Instituto? ... ¿el dinero ?. . .¿el liderazgo administrativo? ¿Dónde
están las oportunidades para que los maestros, directores, superintendentes vengan y vivan esa vida
para que puedan venir a compartir la visión? ... ¿y dónde están los padres? TCITY debería estar
obteniendo malas calificaciones por afectar el programa escolar regular.
 Hay otras dimensiones de TCITY que desconciertan al no creyente:

*** ¿Cuánto tiempo puede continuar el "rap" en clase y aún calificar como
autoexploración educativa? ¿Existen procedimientos de control de calidad en vigor
durante el programa de verano? Por ejemplo: cuando entre un tercio y la mitad de
una clase está ausente de una reunión programada, ¿no debería el instructor
considerarlo como una crisis educativa?

*** ¿Qué hace TCITY para ayudar a los estudiantes a darse cuenta de que los estándares
del Instituto son necesariamente altos? que las normas y expectativas de las escuelas
regulares no cuentan; que un "mejor" hasta ahora se convierte en un "regular"? Hay
estudiantes innecesariamente desanimados en TCITY.

*** ¿Es irrazonable esperar que más de dos de los veintidós maestros o maestros
asociados tengan una idea clara o un plan para utilizar los enfoques o planes de
estudio de TCITY en sus aulas regulares el próximo otoño?

*** Pocos estudiantes, o profesores, comprenden los procedimientos de selección

empleados para el personal del cuadro docente y para llenar el cuerpo estudiantil. ¿Por
qué debería ser un misterio?
Lo peor se ha dejado para el final. Este informe concluye con una afirmación: la ausencia de
una dimensión crucial en la vida instruccional de la TCITY, la de la autocrítica constructiva, es un
defecto casi fatal. Las notas de observación y entrevista tomadas por el evaluador adversario durante
cuatro días contienen solo cinco casos de estudiantes que participan o de profesores que ayudan a
los estudiantes a ser hábiles o deseosos de cultivar la autocrítica. Los casos de oportunidades
perdidas fueron excesivos a mi juicio. Peor aún: cuando el escritor les preguntó, tanto los profesores
como los estudiantes mostraron poco entusiasmo por esa tarifa. ¿Es demasiado esperar de los
participantes del Instituto después de cuatro semanas? Siete pueden ser insuficientes. La
La autopsia del personal, “Gleanings”, es un comienzo, pero parece extraño comenzar por el final.

La escasez de acontecimientos es menos condenatoria que la ausencia de una intención

manifiesta y generalizada. Ciertas clases explicaron todos los casos observados. No parecían ser
accidentales. La intención estaba ahí. Un Instituto para jóvenes talentosos de la escuela secundaria no
puede dejar de presentar justificadamente la autocrítica individual y grupal.

(Preparado por T. Denny, no para indicar su opinión sobre TCITY-1971, sino como un resumen
de los cargos más dañinos que razonablemente se podrían hacer).