Evaluación Docente Felipe Mtz. Rizo
Evaluación Docente Felipe Mtz. Rizo
Evaluación Docente Felipe Mtz. Rizo
by/por
Abstract Resumen
Interest in studying teaching practices has increased, be- El interés por las prácticas docentes ha aumentado, en par-
cause of the need to evaluate teachers and dissatisfaction te por la necesidad de evaluar a los maestros y la insatis-
with the usual ways of doing it. Recent approaches with facción con las formas usuales de hacerlo. Los enfoques
Value-Added Models, based on students’ results on basados en Modelos de Valor Agregado según resultados
achievement tests do not seem satisfactory. The article is de los alumnos en pruebas estandarizadas tampoco satis-
based on a review of literature and classifies the ap- facen. Con base en la literatura analizada se clasifican los
proaches to practices in three groups: instruments based acercamientos a las prácticas en tres grupos: instrumentos
on information given by teachers; observation protocols; basados en información dada por los maestros mismos,
and approaches based on the analysis of products of the protocolos de observación y acercamientos basados en
practices. Specific tools are described and advantages and análisis de productos de las prácticas. Se describen herra-
disadvantages of the three approaches are discussed. mientas particulares y se discuten ventajas y desventajas
de los tres tipos de acercamiento.
Keywords Descriptores
Teacher Effectiveness; Instructional Effectiveness; Teach- Efectividad docente; efectividad instruccional; evaluación
er Evaluation; Teacher Surveys; Vignettes; Classroom de maestros; encuestas de maestros; viñetas; técnicas de
Observation Techniques; Portfolios (Background Materi- observación en aula; portafolios; investigación en aula;
als); Classroom Research; Data Collection; Research recolección de datos; instrumentos de investigación; eva-
Tools; Alternative Assessment. luación alternativa.
pación por contar con información sobre los adecuada de herramientas, dados los propósi-
maestros que permita evaluar su desempeño tos y las circunstancias de cada estudio.
con mayor precisión y objetividad que la que
se suele alcanzar con los acercamientos tra- Acercamientos basados en informa-
dicionales. ción dada por algunos sujetos
La educación consume cantidades impor- Cuestionarios y escalas
tantes y crecientes de recursos, y los salarios Un cuestionario busca información a través
de los maestros son el principal renglón del de las respuestas que se den a las preguntas
gasto. El carácter de servicio intensivo en que los integran. En estudios de las prácticas
mano de obra calificada que tiene la educa- docentes los interrogados podrán ser los
ción explica lo anterior y hace previsible que maestros mismos, los directores o superviso-
la tendencia no cambiará pronto. Por otra res, los alumnos o los padres de familia. Ca-
parte, los criterios tradicionalmente usados da sujeto podrá informar sobre distintos as-
para definir el salario de los maestros no re- pectos.
sultan satisfactorios –antigüedad, escolari-
dad— ya que no consideran la calidad misma El uso de cuestionarios supone que los in-
del trabajo de los maestros, que debería ser el terrogados conocen la información, que están
criterio fundamental. dispuestos a darla y que son capaces de en-
tender de manera uniforme las preguntas que
La alternativa de partir de los puntajes ob- se les hagan, lo que depende a su vez de la
tenidos por los alumnos en pruebas de ren- manera en que se formulen y presenten las
dimiento para inferir la calidad del trabajo de preguntas y, en su caso, las opciones de res-
sus maestros, mediante los llamados Mode- puesta.
los de Valor Agregado, parece atractiva a
primera vista, ya que el sentido mismo del El supuesto sobre el conocimiento de la in-
trabajo docente es, precisamente, que los formación por parte de los interrogados tiene
alumnos desarrollen ciertos conocimientos y que ver, entre otras cosas, con la complejidad
competencias. de la información pedida y si se refiere a
hechos actuales, recientes o de un pasado
En la práctica, sin embargo, incluso los lejano. Muy importante es la distinción entre
modelos estadísticos más complejos dan re- preguntas relativas a hechos o bien a cono-
sultados demasiado imprecisos para ser útiles cimientos, opiniones subjetivas o actitudes.
para sustentar por sí mismos decisiones deli- El supuesto relativo a la disposición de las
cadas sobre maestros y escuelas individuales, personas a dar cierta información a quien la
por varias razones, como la diversidad de solicite tiene que ver con la naturaleza de
factores que influyen en el aprendizaje, el dicha información (pública o privada, más o
limitado campo del currículo que cubren las menos íntima, relativa a conductas lícitas o
pruebas, y la dificultad de contar con bases ilícitas, socialmente aceptables o no), así
de datos completas de los alumnos y sus como a la probabilidad de que se difunda o la
maestros. seguridad de que tal cosa no ocurrirá (ano-
nimato, confidencialidad).
No es fácil encontrar alternativas adecua-
das para captar adecuadamente un objeto de Estos prerrequisitos no dependen del inves-
estudio tan complejo; los tres tipos de acer- tigador, sino de los sujetos que cubrirá el
camientos que se presentarán en este trabajo estudio, en dos sentidos: uno referido a los
tienen ventajas y limitaciones que el investi- respondientes en lo individual y otro consi-
gador interesado en el tema deberá tener cla- derándolos en conjunto: unas personas son
ras, para seleccionar la combinación más más capaces de informar sobre ciertos fenó-
menos; unas están más dispuestas a informar
sobre temas delicados o personales, pero sentar en forma inconsciente, como la ten-
además hay contextos culturales en los que dencia a la media, a afirmar o el efecto de
ciertos temas son tabú, mientras que en otros halo.
se puede hablar libremente de ellos.
Para estar seguros de que los informantes
El tercer prerrequisito, sobre la manera en entienden bien las preguntas se debe conside-
que se formulen las preguntas, sí depende de rar la equivocidad de todo vocabulario, da-
los investigadores y afecta a los otros dos: la dos los universos semánticos que implica la
formulación de una pregunta y la forma en diversidad cultural; la complejidad de la sin-
que se asegure el anonimato pueden hacer taxis que puede oscurecer el sentido de las
que una pregunta sea más o menos compren- preguntas, por ejemplo por el uso de frases
sible y más o menos amenazante (Cfr. Con- subordinadas y negaciones dobles; los pro-
verse y Prese, 1986; Fowler, 1995; Wolf, blemas de la extensión y el fraseo; los conte-
1991; Sudman y Bradburn, 1987). nidos dobles, entre otros puntos.
Cada requisito de una encuesta por cues- En el caso de preguntas cerradas, se debe
tionario implica aspectos particulares que considerar la calidad y exhaustividad de las
hay que atender, en función de las personas a opciones, y en el de preguntas abiertas el
quienes se dirija. Un cuestionario para alum- riesgo de interrogantes vagos como los por
nos deberá cuidar especialmente la claridad qué, o los puntos de referencia cuando se
de las preguntas y la extensión, ya que ins- pregunta sobre apreciaciones en términos de
trumentos largos o complejos producirán mucho-poco, etc.
información de baja calidad, sobre todo con
niños de corta edad. En el caso de maestros y No es fácil asegurar que una pregunta será
directores será importante cuidar la tendencia entendida exactamente igual por todos los
a responder lo deseable en lugar de lo real, sujetos y, si eso no se logra las respuestas no
así como los temas delicados o amenazantes. serán comparables, ya que finalmente los
sujetos no estarán respondiendo la misma
En todos los casos se deberá garantizar que pregunta, sino la que cada uno entendió, y
los encuestados conozcan lo que se les pre- sus respuestas no se podrán agregar ni anali-
gunta, lo cual implica tener en cuenta la dife- zar como muestras de ciertos rasgos de los
rencia entre la ignorancia propiamente dicha respondientes.
y el poco interés por información irrelevante.
Deberá atenderse la dificultad que para mu- Un tipo de cuestionario, la escala, trata de
chas personas representa manejar cifras explorar posturas subjetivas como opiniones
grandes, tasas, porcentajes y tendencias; da- o actitudes y no el conocimiento de hechos
tos comparativos o en perspectiva; la inexac- objetivos. Para saber algo de esos aspectos
titud de la memoria y su fragilidad con datos ocultos de la realidad, esos constructos laten-
antiguos; la distinción entre hechos y opinio- tes, es necesario hacer inferencias a partir de
nes. aspectos que se puedan observar, como la
expresión verbal de opiniones o actitudes, o
Asegurar que quien responde esté dispues- la manifestación de conductas que las refle-
to a dar la información solicitada implica jen.
considerar la posibilidad de que influya lo
socialmente deseable; el carácter delicado o Ni siquiera la persona que tiene cierta acti-
amenazante del tema; la confianza que se tud o sentimiento puede necesariamente ex-
tenga en que se mantendrá el anonimato; el presarlo bien verbalmente. Cuando alguien
desinterés que puede producir un cuestiona- experimenta una emoción fuerte suele decir
rio largo o la inadecuada secuencia de las que no tiene palabras para expresarla. Por
preguntas; o fenómenos que se pueden pre- ello buscar información sobre esos aspectos
con una sola pregunta es poco fiable, ya que las respuestas a preguntas de escalas tipo
es difícil encontrar una formulación que diga Likert:
exactamente lo mismo a todos los sujetos. La
idea que subyace la construcción de escalas Desafortunadamente, hay un creciente
tiene que ver con eso: es más confiable la cuerpo de evidencias que sugieren que
información derivada de un conjunto de pre- muchas diferencias que se han observado
guntas que de una sola, con tal que se cumpla en estudios internacionales o intercultura-
una condición básica: que todas se refieran les están realmente contaminadas por
realmente al mismo aspecto de la realidad, ciertas características de los instrumentos
que la escala sea unidimensional. de medición utilizados (artifacts of measu-
rement)… Buena parte de estas investiga-
Si todos los ítems de una escala pertenecen ciones se refiere particularmente a las di-
a la misma dimensión, si se refieren a mani- ferencias interculturales asociadas al uso
festaciones del mismo constructo latente, de escalas Likert, o de ítems categóricos
cada ítem captará un matiz distinto del cons- individuales tomados de ese tipo de esca-
tructo y será más probable que el conjunto de las (Buckley, 2009: 4).
las respuestas represente correctamente lo
que pretende. El análisis factorial, los mode- Las encuestas con cuestionarios y escalas
los de respuesta al ítem y otras técnicas esta- constituyen una estrategia económica para el
dísticas permiten verificar que una escala estudio de las prácticas docentes, pero mu-
mida una sola dimensión y permita observar chas veces producen información de mala
o medir lo que no es posible captar a simple calidad, en general debido a deficiencias que
vista (Cfr. Morgenstern y Keeves, 1997; de podrían evitarse.
Vellis, 1991).
Trabajos recientes indican que la validez y
Las escalas tampoco son inmunes a sesgos la confiabilidad de la información derivada
sistemáticos; en estudios de la OCDE y la de encuestas pueden ser mejores de lo que
IEA, por ejemplo, los alumnos de países con suele pensarse. En un estudio se aplicó un
resultados muy bajos en pruebas de compe- cuestionario a maestros de álgebra; con sus
tencias cognitivas dicen que tienen actitudes respuestas se construyó una medida del gra-
más favorables hacia las mismas competen- do en que sus prácticas eran congruentes con
cias que los estudiantes de países en que los los estándares del National Council of Tea-
resultados cognitivos son mucho mejores. chers of Mathematics.
Se ha utilizado esta herramienta para estu- Al pedir a los maestros que reporten de
diar el currículo implementado y la oportu- inmediato lo que hicieron en el aula cierto
nidad de aprendizaje: el grado en que la en- día, los diarios ganan en confiabilidad res-
señanza cubre o no los temas que el currícu- pecto a encuestas aplicadas una vez al año,
lo planeado establece, lo que incidirá en el pues los problemas de recordar el pasado y
currículo alcanzado o logrado (Rowan, basarse más en interpretaciones de lo desea-
Camburn y Correnti, 2004; Rowan y Corren- ble se reducen sustancialmente; y al pedir
ti, 2009). que los reportes se hagan durante muchos
días la muestra de prácticas reportadas es
El currículo implementado se suele explo- más representativa del universo que la in-
rar con cuestionarios aplicado al final del formación que dan pocas observaciones al
curso en que los maestros informan retros- año. Pero si el número de días a reportar au-
pectivamente sobre los temas cubiertos, o menta, la carga para los maestros se hace
mediante la observación de algunas clases. mayor.
En ambos casos la información puede ser de
baja calidad: Para estimular las respuestas se puede
ofrecer algún pago a los maestros, como hi-
Considérese, por ejemplo, que a lo largo cieron Rowan y colaboradores, quienes tam-
de un año académico de nueve meses, el bién pusieron un número de teléfono gratuito
maestro de primaria típico dará 140 o a disposición de los maestros para resolver
más días de clase… a los 20 o 30 alumnos sus dudas. Como resultado se obtuvieron
de su grupo, a veces con actividades dife- tasas de respuesta del orden de 90% y, según
renciadas para alumnos individuales o reportan los investigadores, datos de calidad
subgrupos. Aún más: durante un día cual- ligeramente inferior a la de los derivados de
quiera, las actividades de enseñanza de un observaciones en el aula (Rowan y Correnti,
maestro típicamente se desarrollarán se- 2009: 122).
gún varias dimensiones; un maestro nor-
malmente cubrirá varios objetivos con
Se construyeron escalas que combinaron Se tuvo acceso a un solo trabajo que anali-
las respuestas a varios ítems, y el análisis za este tipo de diarios de maestros, que se
mostró que un 72% de la variación del tiem- llevó a cabo en relación con el mismo pro-
po de enseñanza se dio entre unos días y yecto del que se derivó la información del
otros; 23% entre maestros de una misma apartado anterior. El trabajo se llevó a cabo
escuela; y sólo 5% entre diferentes escuelas. hacia 1990, cuando el desarrollo de herra-
La σ de la distribución del tiempo de ense- mientas digitales estaba menos avanzado; su
ñanza entre días fue de 45 minutos, o sea que uso con un gran número de maestros, en es-
en 15 de cada 100 días el tiempo dedicado a cuelas con diferentes condiciones de acceso a
la lectura fue realmente de cero minutos, las tecnologías llevó a decidir no manejar la
aunque en el sistema americano suele supo- herramienta en línea, pero pese a ello los
nerse se dedican diariamente 90 minutos a la autores consideraron que los resultados fue-
lectura y la lengua, y aunque en promedio los ron alentadores. (Ball et al., 1999)
maestros estudiados dedicaban 80 minutos
diarios a esa área. Viñetas
Las preguntas de un cuestionario pueden
Estos datos implican que, para tener infor- ser entendidas en forma distinta. Es frecuen-
mación suficiente sobre las prácticas de un te, además, que se utilicen términos propios
maestro son necesarios reportes de unos 20 de ciertas teorías, con las que los investiga-
días al año (Rowan y Correnti, 2009: 123); dores están familiarizados, pero no necesa-
un número similar de observaciones, mucho riamente los maestros, alumnos u otros suje-
más costosas, sería igualmente necesario tos; con ello aumenta la probabilidad de que
para tener una muestra suficiente de lo que la comprensión de los respondientes no coin-
pasa en el aula. cida con la de los investigadores. Abundan
ejemplos en el campo educativo. Si se pre-
Diarios en red (blogs) gunta a unos maestros, por ejemplo, si utili-
El manejo de diarios en línea para recabar zan trabajo colaborativo o evaluación for-
información sobre prácticas docentes puede mativa, y responden afirmativamente, es
reducir de manera importante el peso del difícil saber qué entendían exactamente por
trabajo que cada maestro, así como el de los esos términos, y es probable que haya una
investigadores. Si se cuenta con una plata- diversidad de comprensiones al respecto, lo
forma adecuada, esta forma de recabar la que invalida seriamente las conclusiones que
información permite enviarla rápidamente y se saquen con base en tales respuestas.
hace innecesario que los investigadores de-
ban capturarla posteriormente para su análi- Por ello se ha desarrollado las viñetas que,
sis, ya que se almacena en el sistema al mis- en lugar de pedir información sobre prácticas
mo tiempo que es registrada por los infor- en términos teóricos y abstractos lo hacen
mantes. con descripciones precisas de conductas con-
cretas, contextualizadas, pidiendo a los res-
Los principios metodológicos utilizados pondientes que indiquen si sus propias for-
para diseñar un instrumento de tipo diario mas de trabajar se aproximan más o menos a
para recabar información en línea sobre prác- las descritas en la viñeta. Este tipo de pre-
ticas docentes no son distintos de los que se guntas se utiliza desde hace tiempo en estu-
deben manejar para diarios de tipo tradicio- dios de otros temas, como sobre actitudes
nal, con lápiz y papel. Siempre será necesa- discriminatorias o laborales (Cfr. Martin et
rio basarse en un marco conceptual que pre- al., 1991; Martin, 2006), pero en educación
cise los aspectos a estudiar, identifique sus su uso es más reciente y no hay mucha inves-
dimensiones y defina la manera en que se tigación sobre la calidad de la información
medirán. que permiten obtener.
de tiempo completo para profesionales téc- signos) y de calificación (rating); según es-
nicamente competentes (1963: 253) y, en pecificidad de los ítems: sobre conductas
forma congruente, definían la observación específicas (de baja inferencia) o más gene-
como una técnica rigurosa en los términos rales (de alta inferencia); y según el tipo de
siguientes: codificación, de una o más dimensiones.
Una técnica observacional… es una en Los instrumentos desarrollados reciente-
la que un observador registra aspectos re- mente suelen basarse en teorías actuales so-
levantes de una conducta que tiene lugar bre los aspectos a observar y cuidan las pro-
en el aula a medida que ocurre o muy po- piedades psicométricas. La descripción si-
co después (or within a negligible time li- guiente se reduce a algunos de los instrumen-
mit after) con un mínimo de cuantificación tos más estudiados, seleccionados para el
entre la observación de la conducta y su Proyecto sobre Medición de la Efectividad
registro… por consiguiente no se incluyen de la Enseñanza (MET Project, 2010a y
en esta definición esquemas en los que se 2010c).
pide al observador que califique al maes-
tro, a los alumnos o a la clase en una o Classroom Assessment Scoring System
más dimensiones, aún si las calificaciones (CLASS)
se basan en la observación directa de Posiblemente la herramienta sobre la que
conductas específicas. (Medley y Mitzel, hay más estudios. Es un instrumento para
1963: 253) estudiar las actividades del docente y las
interacciones que tiene con sus alumnos.
Con una concepción más amplia la defini- Fruto de un trabajo de más de una década, a
ción de observación puede incluir procedi- cargo de Robert Pianta y sus colegas, una
mientos con escalas de calificación, técnicas versión previa se difundió con el nombre de
de registro y postcodificación (por ejemplo Classroom Observation System, COS (Pianta
con grabaciones en video) y también técnicas y Hamre, 2009; MET Project, 2010d).
cualitativas. Medley y Mitzel (1963) distin-
guían los sistemas de observación basados en La conceptualización de las actividades e
tiempos (de categorías) y los basados en interacciones distingue tres dominios: uno
eventos (de signos). Una década más tarde relativo a la organización del aula; otro al
Rosenshine y Furst (1973) distinguían técni- apoyo instruccional que se ofrece a los
cas de observación según el procedimiento alumnos; y uno más al apoyo emocional. La
de registro: sistemas de conteo (categorías o Tabla N° 1 las sintetiza.
preparar protocolos y guías de codificación muchas cosas que pasan en el aula no quedan
para observar sesiones de clase en aula registradas, fuera de las que ocurren en ese
(MET Project, 2010d). reducido campo de visión. La forma de sub-
sanar esta limitación es usar simultáneamen-
Observaciones con grabación en video te varias cámaras. Además de aumentar los
Un tipo especial de observación es el que costos, esta solución hace también que la
se hace no directamente en el aula, sino en interferencia producida por la observación
forma diferida, sobre registros de las mismas misma sea muy grande, lo que pone en ries-
que tengan la fidelidad suficiente para permi- go la validez.
tirlo, por ejemplo con grabaciones de video.
Recientemente se explora el uso de video-
La ventaja de este tipo de trabajos –en par- grabaciones mediante un sistema digital
ticular en gran escala, involucrando a dece- avanzado que, a diferencia de las cámaras
nas o centenas de escuelas en regiones o in- convencionales, permite registrar lo que ocu-
cluso en países diversos— es que es más rre en el aula con una visión panorámica de
factible contar en esos lugares con técnicos 360°, y luego al reproducir la grabación ha-
que operen una cámara de video de manera cer los acercamientos que se quiera. Sin mi-
eficiente, que con observadores con la califi- nimizar las ventajas que ofrecen las podero-
cación necesaria para obtener información sas tecnologías digitales a las que hoy se
válida y confiable. Es el caso de los trabajos tiene acceso, debe reiterarse también que su
que usan grabaciones en video de clases uso no evita la necesidad de contar con ob-
conducidas por maestros, y un ejemplo des- servadores calificados, así como con esque-
tacado de ellos es el “estudio de clases gra- mas de categorías que permitan estructurar lo
badas en video” que formó parte del Tercer observado según las dimensiones pertinentes.
Estudio Internacional sobre Matemáticas y
Ciencias (TIMSS) en 1995, y de su repeti- Para valorar adecuadamente el potencial de
ción en 1999 (TIMSS-R) (Stigler, Gallimore los acercamientos a la práctica docente basa-
y Hiebert, 2000). dos en distintos tipos de grabación de video
sería necesario analizar en detalle los pros y
Otras ventajas son que se puede detener la contras, el costo y los beneficios de las dis-
reproducción de la grabación o repetirla tintas opciones, desde los videos con cáma-
mientras se califica, y que se puede volver a ras y micrófonos múltiples, y uno o incluso
calificar con otros jueces y utilizando otros dos camarógrafos, hasta la grabación en
protocolos o escalas. 360°, cuya efectividad debe aún demostrarse,
para ver si puede dar efectivamente informa-
En el caso del TIMSS y el TIMSS-R sólo ción de mejor calidad que las otras opciones
se grabó una clase por profesor, lo que ob- a menor costo o no.
viamente no basta para tener una muestra
suficiente de su forma de trabajar a lo largo Acercamientos basados en el análisis
de un curso. Por otra parte, las grabaciones de productos de las prácticas
en video, como la observación directa en
vivo, no pueden captar lo que están pensando Los acercamientos al estudio de las prácti-
el maestro o los alumnos, sin lo cual no pue- cas docentes que se revisan en este apartado
de entenderse cabalmente el sentido de sus se basan en el análisis de los productos de las
acciones. Esos aspectos “subjetivos” deberán prácticas, como planes de clase, cuadernos
atenderse con otros acercamientos. de alumnos, exámenes aplicados o tareas
encomendadas. Se trata, pues, de una tercera
Una desventaja de la grabación en video se categoría, distinta tanto de los trabajos basa-
deriva de que el ángulo que puede captar una dos en lo que los docentes mismos reportan,
cámara convencional es reducido, por lo que como de los que utilizan observación.
Teacher Assessment and Support Consor- compara favorablemente con los sistemas
tium (INTASC) se evalúa con un portafolios, análogos de los sistemas educativos más des-
y lo mismo ocurre con los estándares del arrollados. Una obra colectiva reciente pre-
National Board for Professional Teaching senta amplia información sobre el desarrollo
Standards (NBPTS) (Porter, Youngs y Od- del sistema y sus resultados, tras varios años
den, 2001: 263-265). de aplicación. (Manzi, González y Sun,
2011)
En Latinoamérica destaca el sistema de
evaluación de docentes desarrollado por el Otros dos ejemplos de herramienta tipo
Ministerio de Educación de Chile, que forma portafolio son los siguientes.
parte de un conjunto mayor de políticas en
pro de la mejora de la calidad educativa, de- El sistema IQA (Instructional Quality As-
ntro de las cuales tienen un peso específico sessment)
las que se refieren a la superación profesio- Es un desarrollo del trabajo de Matsumura
nal de los maestros. sobre el análisis de las tareas hechas por los
alumnos como forma de aproximarse al tra-
El Sistema de Evaluación del Desempeño bajo del maestro. Este nuevo sistema está en
Profesional Docente (SEDPD) comenzó a proceso, y centra la atención en comprensión
desarrollarse en 2003, con base en un con- lectora y matemáticas, en el nivel medio del
junto preciso de estándares que constituyen sistema educativo.
el Marco para la Buena Enseñanza, prepara-
do durante los dos años anteriores. El trabajo El sistema comprende protocolos para eva-
técnico se encomendó a una agencia inde- luar la enseñanza con observaciones en aula,
pendiente muy reconocida, el Centro de Me- así como la calidad de las tareas asignadas
dición de la Universidad Católica de Chile por el maestro. Se reportan trabajos sobre la
(MIDE), que trabajó en estrecha relación con confiabilidad y potencial validez de la infor-
el Centro de Perfeccionamiento, Experimen- mación obtenida.
tación e Investigaciones Pedagógicas
(CPEIP) del Ministerio de Educación de ese Esos trabajos coinciden con otros en en-
país. contrar una amplia variación de la calidad de
la enseñanza en las áreas estudiadas, con un
Los documentos del SEDPD definen con nivel promedio no muy alto. La calidad de la
precisión sus elementos centrales: para qué información fue mejor en matemáticas que
se evalúa; qué se evalúa; qué consecuencias en lectura. Los resultados de la aplicación del
tiene la evaluación para los docentes; quiénes IQA predicen los obtenidos por los alumnos
deben evaluarse; y que instrumentos y fuen- en algunas evaluaciones externas, después de
tes de información deben utilizarse. En cuan- controlar otros factores posiblemente asocia-
to a esto último, los instrumentos de la eva- dos. La solidez de los resultados es limitada
luación son cuatro: una autoevaluación; una porque se derivan de un número reducido de
entrevista por un evaluador par; un informe casos. (Matsumura et al., 2006)
de referencia de terceros (el Director y el
Jefe de la Unidad Técnico Profesional de la Paquetes de materiales (Artifacts Packa-
escuela); y un portafolio de desempeño pe- ges)
dagógico. Para cada uno existen pautas per- Este tipo de instrumentos es una variante
fectamente definidas y son aplicadas por de portafolios y no se limita a la revisión de
personal entrenado para ello. tareas, sino que incluye cualquier otro tipo de
material (artifact) que informe sobre las
El cuidadoso trabajo de diseño y validación prácticas que tienen lugar en el aula: planes
de los instrumentos de dicho Sistema hace de de clase; notas que el maestro entregue a los
él un caso ejemplar en la región, y que se alumnos; fotografías de la forma en que se
validez (Borko, Stecher y Kuffner, 2007; plica el interés por buscar mejores maneras
Borko et al. 2005). de observar y/o medir la instrucción efectiva,
sobre todo con propósitos de evaluación su-
Para cerrar el apartado mativa y rendición de cuentas, en concreto
Las herramientas revisadas en este punto, sustentando sistemas de remuneración.
como las de los anteriores, tiene puntos fuer-
tes y débiles, por lo que conviene verlas co- Es importante destacar la dimensión forma-
mo complementarias, más que como alterna- tiva que puede tener la evaluación de maes-
tivas. tros, al identificar las deficiencias particula-
res de las prácticas para poder diseñar activi-
La utilización de productos de las prácticas dades de actualización y otras formas de in-
como fuentes de información comparte con tervención, que lleven a mejorar las de los
la observación la ventaja de que no se ve maestros menos experimentados y/o menos
afectada por el riesgo de captar lo deseable eficaces. Para contar con evaluaciones suma-
más que lo real; como la observación de gra- tivas válidas y confiables de la eficacia de los
baciones de observaciones, los productos de maestros, o para tener buenas evaluaciones
las prácticas pueden ser revisados una y otra formativas que permitan ayudarles a mejorar,
vez, por distintos analistas y utilizando pro- se necesitan observaciones/mediciones de
tocolos diferentes. Estos acercamientos tam- buena calidad.
bién comparten con la observación su inca-
pacidad de captar lo que pasaba por la mente La aplicación de cuestionarios y herra-
de los maestros al realizar las actividades de mientas similares puede ser barata, pero la
las que se derivaron los productos, lo que información que ofrecen puede ser superfi-
sólo se podrá explorar a través de la versión cial y de baja confiabilidad, al depender de
que den los actores estudiados, con acerca- los informantes, pero sólo con esos acerca-
mientos del primer grupo. mientos es posible captar lo que los actores
estudiados saben, creen o piensan. La obser-
Además de las herramientas revisadas, hay vación puede dar información rica, pero im-
información sobre otras en la “Guía de pro- plica mucho tiempo de observadores califi-
ductos para la evaluación de maestros” cados y no puede captar lo que piensan los
(NCCTQ, 2011, www.tqsource.org) ya men- sujetos. Los análisis de productos de las
cionada, que incluye instrumentos de obser- prácticas comparten algunos de los pros y
vación y otras herramientas: contras de los otros dos tipos de acercamien-
De observación en aula: Artefactos de enseñanza: 8 to.
41 Autorreportes de maestros: Ningún acercamiento es en sí mismo supe-
Portafolios: 6 4
rior o inferior a otros; la calidad de la infor-
Encuestas de alumnos: 3 Modelos de valor agrega-
mación que dará cada uno depende del obje-
Medidas de desempeño do: 6
to y el propósito del estudio, de la calidad del
de alumnos: 4 Modelos combinado: 21
instrumento y la forma en que se aplique y se
analicen sus resultados.
Conclusión La oposición cuanti-cuali
La insatisfacción con los sistemas de eva- Retomemos las nociones de observación y
luación de maestros –tanto los basados en medición y la supuesta oposición que habría
indicadores como antigüedad y escolaridad, entre ambos conceptos, análoga a la que dis-
como los recientes que utilizan medidas del tinguiría los acercamientos cuantitativos y
valor que se supone agregan el maestro y la los cualitativos. En estas páginas se comparte
escuela al aprendizaje de los alumnos— ex- la idea de que no hay una oposición tajante
entre ambos enfoques, sino una de grado.
Project Research Paper. Bill & Melinda teaching. En Travers, Robert M. W. Ed.
Gates Foundation. Second Handbook of Research on Teach-
MET Project (2010d). Overview: Teacher ing, pp. 122-183. Chicago: Rand McNally
Observation Rubrics. Measures of Effec- College Publ. Co.
tive Teaching. Teachscape. Rowan, Brian & Correnti, R. (2009). Study-
MET Project (2010e). The MQI Protocol for ing Reading Instruction With Teacher
Classroom Observations. Bill & Melinda Logs: Lessons From the Study of Instruc-
Gates Foundation. tional Improvement. Educational Re-
MET Project (2010f). The PLATO Protocol searcher, Vol. 38 (2): 120-131.
for Classroom Observations. Bill & Rowan, Brian, Camburn, E. & Correnti, R.
Melinda Gates Foundation. (2004). Using teacher logs to measure the
MET Project (2010g). Validation Engine for enacted curriculum: a study of literacy
Observational Protocols. Bill & Melinda teaching in third-grade classrooms. The El-
Gates Foundation. ementary School Journal, 105, 75-102.
Morgenstern, C. & J. P. Keeves (1997). De- Stecher, B., Le, V., Hamilton, L., Ryan, G.,
scriptive scales. En J. P. Keeves, Educa- Robyn, A., & Lockwood, J.R. (2006). Us-
tional research, methodology & measure- ing Structured Classroom Vignettes to
ment, 900-908. Oxford: Elsevier Measure Instructional Practices in Mathe-
NCCTQ (2011). Guide to teacher evaluation matics. Educational Evaluation and Policy
products. National Comprehensive Center Analysis, Vol. 28 (2): 101-130.
for Teacher Quality. Recuperado el 18 de Stigler, James W., Gallimore, R. y Hiebert, J.
enero de 2011, de www.tqsource.org. (2000). Using Video Surveys to Compare
Pianta, Robert C. & Hamre, Bridget K. Classrooms and Teaching Across Cultures:
(2009). Conceptualization, Measurement Examples and Lessons from the TIMSS
and Improvement of Classroom Processes: Video Studies. Educational Psychologist,
Standardized Observation Can Leverage Vol. 35 (2): 87-100.
Capacity. Educational Researcher, Vol. 38 Sudman, S. & N. M. Bradburn (1987). Ask-
(2): 109–119 ing questions. A practical guide to ques-
Porter, Andrew C., Youngs, P. & Odden, A. tionnaire design. San Francisco: Jossey-
(2001). Advances in teacher assessments Bass.
and their uses. En Virginia Richardson De Vellis, Robert F. (1991). Scale develop-
(ed.), Handbook of Research on Teaching, ment. Theory and applications. Applied
pp. 259-297. Washington: AERA. Social Research Methods Series, Vol. 26.
Rogosa, D., R. Floden & J. B. Willet (1984). Newbury Park: Sage.
Assessing the stability of teacher behavior. Wolf, R. M. (1991). Cuestionarios. En T.
Journal of Educational Psychology, 76, Husén y T. N. Postlethwaithe (Eds.), Enci-
1000–1027. clopedia Internacional de la Educacion,
Rosenshine, Barak & Norma Furst (1973). Vol. 2: 1002-1006. Barcelona: Vicens Vi-
The use of direct observation to study ves.
Reference / Martínez-Rizo, Felipe (2012). Procedimientos para el estudio sobre las prácticas docentes. Revisión de la litera-
Referencia tura. RELIEVE, v. 18, n. 1, art. 1. http://www.uv.es/RELIEVE/v18n1/RELIEVEv18n1_1.htm
Title / Procedimientos para el estudio sobre las prácticas docentes. . Revisión de la literatura. [Procedures for study of
Título teaching practices. Literature Review].
Authors /
Martínez-Rizo, Felipe
Autores
Review /
RELIEVE (Revista ELectrónica de Investigación y EValuación Educativa), v. 18, n. 1
Revista
ISSN 1134-4032
Publication
date /
2012 (Reception Date: 2011 November 11 ; Approval Date: 2012 May 23. Publication Date: 2012 May 23).
Fecha de
publicación
Interest in studying teaching practices has increased, because of the need to evaluate teachers and dissatisfac-
tion with the usual ways of doing it. Recent approaches with Value-Added Models, based on students’ results on
achievement tests do not seem satisfactory. The article is based on a review of literature and classifies the ap-
proaches to practices in three groups: instruments based on information given by teachers; observation proto-
cols; and approaches based on the analysis of products of the practices. Specific tools are described and advan-
Abstract / tages and disadvantages of the three approaches are discussed.
Resumen El interés por las prácticas docentes ha aumentado, en parte por la necesidad de evaluar a los maestros y la insa-
tisfacción con las formas usuales de hacerlo. Los enfoques basados en Modelos de Valor Agregado según resul-
tados de los alumnos en pruebas estandarizadas tampoco satisfacen. Con base en la literatura analizada se clasi-
fican los acercamientos a las prácticas en tres grupos: instrumentos basados en información dada por los maes-
tros mismos, protocolos de observación y acercamientos basados en análisis de productos de las prácticas. Se
describen herramientas particulares y se discuten ventajas y desventajas de los tres tipos de acercamiento.
Teacher Effectiveness; Instructional Effectiveness; Teacher Evaluation; Teacher Surveys; Vignettes; Class-
room Observation Techniques; Portfolios (Background Materials); Classroom Research; Data Collection;
Keywords / Research Tools; Alternative Assessment.
Descriptores Efectividad docente; efectividad instruccional; evaluación de maestros; encuestas de maestros; viñetas; técnicas
de observación en aula; portafolios; investigación en aula; recolección de datos; instrumentos de investiga-
ción; evaluación alternativa..
Institution /
Universidad Autónoma de Aguascalientes (México).
Institución
Publication site
http://www.uv.es/RELIEVE
/ Dirección
Language /
Español & English version (Title, abstract and keywords in English & Spanish)
Idioma
RELIEVE
Revista ELectrónica de Investigación y EValuación Educativa
E-Journal of Educational Research, Assessment and Evaluation
[ISSN: 1134-4032]
© Copyright, RELIEVE. Reproduction and distribution of this articles it is authorized if the content is no modified
and their origin is indicated (RELIEVE Journal, volume, number and electronic address of the document).
© Copyright, RELIEVE. Se autoriza la reproducción y distribución de este artículo siempre que no se modifique el
contenido y se indique su origen (RELIEVE, volumen, número y dirección electrónica del documento).