Location via proxy:   [ UP ]  
[Report a bug]   [Manage cookies]                

Evaluación Docente Felipe Mtz. Rizo

Descargar como pdf o txt
Descargar como pdf o txt
Está en la página 1de 23

Martínez-Rizo, Felipe (2012). Procedimientos para el estudio sobre las prácticas docentes. Revisión de la literatura.

RELIEVE, v. 18, n. 1, art. 1. http://www.uv.es/RELIEVE/v18n1/RELIEVEv18n1_1.htm

e-Journal of Educational Revista ELectrónica de


Research, Assessment and Investigación y EValuación
Evaluation Educativa

PROCEDIMIENTOS PARA EL ESTUDIO DE LAS


PRÁCTICAS DOCENTES. REVISIÓN DE LA
LITERATURA
[Procedures for study of teaching practices. Literature review]

by/por

Article record Ficha del artículo


About authors Martínez-Rizo, Felipe (felipemartinez.rizo@gmail.com) Sobre los autores
HTML format Formato HTML

Abstract Resumen
Interest in studying teaching practices has increased, be- El interés por las prácticas docentes ha aumentado, en par-
cause of the need to evaluate teachers and dissatisfaction te por la necesidad de evaluar a los maestros y la insatis-
with the usual ways of doing it. Recent approaches with facción con las formas usuales de hacerlo. Los enfoques
Value-Added Models, based on students’ results on basados en Modelos de Valor Agregado según resultados
achievement tests do not seem satisfactory. The article is de los alumnos en pruebas estandarizadas tampoco satis-
based on a review of literature and classifies the ap- facen. Con base en la literatura analizada se clasifican los
proaches to practices in three groups: instruments based acercamientos a las prácticas en tres grupos: instrumentos
on information given by teachers; observation protocols; basados en información dada por los maestros mismos,
and approaches based on the analysis of products of the protocolos de observación y acercamientos basados en
practices. Specific tools are described and advantages and análisis de productos de las prácticas. Se describen herra-
disadvantages of the three approaches are discussed. mientas particulares y se discuten ventajas y desventajas
de los tres tipos de acercamiento.

Keywords Descriptores
Teacher Effectiveness; Instructional Effectiveness; Teach- Efectividad docente; efectividad instruccional; evaluación
er Evaluation; Teacher Surveys; Vignettes; Classroom de maestros; encuestas de maestros; viñetas; técnicas de
Observation Techniques; Portfolios (Background Materi- observación en aula; portafolios; investigación en aula;
als); Classroom Research; Data Collection; Research recolección de datos; instrumentos de investigación; eva-
Tools; Alternative Assessment. luación alternativa.

La expresión prácticas docentes denota el además de las conductas en que se manifies-


conjunto de actividades que llevan a cabo los tan, se quiere analizar las ideas y concepcio-
maestros, como parte de su trabajo en el aula nes subyacentes que las explican, los factores
o en relación directa con él, con el propósito que inciden en ellas o, incluso, los efectos
de que los estudiantes alcancen los propósi- que producen
tos de aprendizaje establecidos en planes y En muchos sistemas educativos hay interés
programas de estudio. Dichas prácticas son por el tema, en parte sin duda por la preocu-
un objeto de estudio complejo, en especial si,

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 1


Martínez-Rizo, Felipe (2012). Procedimientos para el estudio sobre las prácticas docentes. Revisión de la literatura.
RELIEVE, v. 18, n. 1, art. 1. http://www.uv.es/RELIEVE/v18n1/RELIEVEv18n1_1.htm

pación por contar con información sobre los adecuada de herramientas, dados los propósi-
maestros que permita evaluar su desempeño tos y las circunstancias de cada estudio.
con mayor precisión y objetividad que la que
se suele alcanzar con los acercamientos tra- Acercamientos basados en informa-
dicionales. ción dada por algunos sujetos
La educación consume cantidades impor- Cuestionarios y escalas
tantes y crecientes de recursos, y los salarios Un cuestionario busca información a través
de los maestros son el principal renglón del de las respuestas que se den a las preguntas
gasto. El carácter de servicio intensivo en que los integran. En estudios de las prácticas
mano de obra calificada que tiene la educa- docentes los interrogados podrán ser los
ción explica lo anterior y hace previsible que maestros mismos, los directores o superviso-
la tendencia no cambiará pronto. Por otra res, los alumnos o los padres de familia. Ca-
parte, los criterios tradicionalmente usados da sujeto podrá informar sobre distintos as-
para definir el salario de los maestros no re- pectos.
sultan satisfactorios –antigüedad, escolari-
dad— ya que no consideran la calidad misma El uso de cuestionarios supone que los in-
del trabajo de los maestros, que debería ser el terrogados conocen la información, que están
criterio fundamental. dispuestos a darla y que son capaces de en-
tender de manera uniforme las preguntas que
La alternativa de partir de los puntajes ob- se les hagan, lo que depende a su vez de la
tenidos por los alumnos en pruebas de ren- manera en que se formulen y presenten las
dimiento para inferir la calidad del trabajo de preguntas y, en su caso, las opciones de res-
sus maestros, mediante los llamados Mode- puesta.
los de Valor Agregado, parece atractiva a
primera vista, ya que el sentido mismo del El supuesto sobre el conocimiento de la in-
trabajo docente es, precisamente, que los formación por parte de los interrogados tiene
alumnos desarrollen ciertos conocimientos y que ver, entre otras cosas, con la complejidad
competencias. de la información pedida y si se refiere a
hechos actuales, recientes o de un pasado
En la práctica, sin embargo, incluso los lejano. Muy importante es la distinción entre
modelos estadísticos más complejos dan re- preguntas relativas a hechos o bien a cono-
sultados demasiado imprecisos para ser útiles cimientos, opiniones subjetivas o actitudes.
para sustentar por sí mismos decisiones deli- El supuesto relativo a la disposición de las
cadas sobre maestros y escuelas individuales, personas a dar cierta información a quien la
por varias razones, como la diversidad de solicite tiene que ver con la naturaleza de
factores que influyen en el aprendizaje, el dicha información (pública o privada, más o
limitado campo del currículo que cubren las menos íntima, relativa a conductas lícitas o
pruebas, y la dificultad de contar con bases ilícitas, socialmente aceptables o no), así
de datos completas de los alumnos y sus como a la probabilidad de que se difunda o la
maestros. seguridad de que tal cosa no ocurrirá (ano-
nimato, confidencialidad).
No es fácil encontrar alternativas adecua-
das para captar adecuadamente un objeto de Estos prerrequisitos no dependen del inves-
estudio tan complejo; los tres tipos de acer- tigador, sino de los sujetos que cubrirá el
camientos que se presentarán en este trabajo estudio, en dos sentidos: uno referido a los
tienen ventajas y limitaciones que el investi- respondientes en lo individual y otro consi-
gador interesado en el tema deberá tener cla- derándolos en conjunto: unas personas son
ras, para seleccionar la combinación más más capaces de informar sobre ciertos fenó-
menos; unas están más dispuestas a informar

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 2


Martínez-Rizo, Felipe (2012). Procedimientos para el estudio sobre las prácticas docentes. Revisión de la literatura.
RELIEVE, v. 18, n. 1, art. 1. http://www.uv.es/RELIEVE/v18n1/RELIEVEv18n1_1.htm

sobre temas delicados o personales, pero sentar en forma inconsciente, como la ten-
además hay contextos culturales en los que dencia a la media, a afirmar o el efecto de
ciertos temas son tabú, mientras que en otros halo.
se puede hablar libremente de ellos.
Para estar seguros de que los informantes
El tercer prerrequisito, sobre la manera en entienden bien las preguntas se debe conside-
que se formulen las preguntas, sí depende de rar la equivocidad de todo vocabulario, da-
los investigadores y afecta a los otros dos: la dos los universos semánticos que implica la
formulación de una pregunta y la forma en diversidad cultural; la complejidad de la sin-
que se asegure el anonimato pueden hacer taxis que puede oscurecer el sentido de las
que una pregunta sea más o menos compren- preguntas, por ejemplo por el uso de frases
sible y más o menos amenazante (Cfr. Con- subordinadas y negaciones dobles; los pro-
verse y Prese, 1986; Fowler, 1995; Wolf, blemas de la extensión y el fraseo; los conte-
1991; Sudman y Bradburn, 1987). nidos dobles, entre otros puntos.
Cada requisito de una encuesta por cues- En el caso de preguntas cerradas, se debe
tionario implica aspectos particulares que considerar la calidad y exhaustividad de las
hay que atender, en función de las personas a opciones, y en el de preguntas abiertas el
quienes se dirija. Un cuestionario para alum- riesgo de interrogantes vagos como los por
nos deberá cuidar especialmente la claridad qué, o los puntos de referencia cuando se
de las preguntas y la extensión, ya que ins- pregunta sobre apreciaciones en términos de
trumentos largos o complejos producirán mucho-poco, etc.
información de baja calidad, sobre todo con
niños de corta edad. En el caso de maestros y No es fácil asegurar que una pregunta será
directores será importante cuidar la tendencia entendida exactamente igual por todos los
a responder lo deseable en lugar de lo real, sujetos y, si eso no se logra las respuestas no
así como los temas delicados o amenazantes. serán comparables, ya que finalmente los
sujetos no estarán respondiendo la misma
En todos los casos se deberá garantizar que pregunta, sino la que cada uno entendió, y
los encuestados conozcan lo que se les pre- sus respuestas no se podrán agregar ni anali-
gunta, lo cual implica tener en cuenta la dife- zar como muestras de ciertos rasgos de los
rencia entre la ignorancia propiamente dicha respondientes.
y el poco interés por información irrelevante.
Deberá atenderse la dificultad que para mu- Un tipo de cuestionario, la escala, trata de
chas personas representa manejar cifras explorar posturas subjetivas como opiniones
grandes, tasas, porcentajes y tendencias; da- o actitudes y no el conocimiento de hechos
tos comparativos o en perspectiva; la inexac- objetivos. Para saber algo de esos aspectos
titud de la memoria y su fragilidad con datos ocultos de la realidad, esos constructos laten-
antiguos; la distinción entre hechos y opinio- tes, es necesario hacer inferencias a partir de
nes. aspectos que se puedan observar, como la
expresión verbal de opiniones o actitudes, o
Asegurar que quien responde esté dispues- la manifestación de conductas que las refle-
to a dar la información solicitada implica jen.
considerar la posibilidad de que influya lo
socialmente deseable; el carácter delicado o Ni siquiera la persona que tiene cierta acti-
amenazante del tema; la confianza que se tud o sentimiento puede necesariamente ex-
tenga en que se mantendrá el anonimato; el presarlo bien verbalmente. Cuando alguien
desinterés que puede producir un cuestiona- experimenta una emoción fuerte suele decir
rio largo o la inadecuada secuencia de las que no tiene palabras para expresarla. Por
preguntas; o fenómenos que se pueden pre- ello buscar información sobre esos aspectos

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 3


Martínez-Rizo, Felipe (2012). Procedimientos para el estudio sobre las prácticas docentes. Revisión de la literatura.
RELIEVE, v. 18, n. 1, art. 1. http://www.uv.es/RELIEVE/v18n1/RELIEVEv18n1_1.htm

con una sola pregunta es poco fiable, ya que las respuestas a preguntas de escalas tipo
es difícil encontrar una formulación que diga Likert:
exactamente lo mismo a todos los sujetos. La
idea que subyace la construcción de escalas Desafortunadamente, hay un creciente
tiene que ver con eso: es más confiable la cuerpo de evidencias que sugieren que
información derivada de un conjunto de pre- muchas diferencias que se han observado
guntas que de una sola, con tal que se cumpla en estudios internacionales o intercultura-
una condición básica: que todas se refieran les están realmente contaminadas por
realmente al mismo aspecto de la realidad, ciertas características de los instrumentos
que la escala sea unidimensional. de medición utilizados (artifacts of measu-
rement)… Buena parte de estas investiga-
Si todos los ítems de una escala pertenecen ciones se refiere particularmente a las di-
a la misma dimensión, si se refieren a mani- ferencias interculturales asociadas al uso
festaciones del mismo constructo latente, de escalas Likert, o de ítems categóricos
cada ítem captará un matiz distinto del cons- individuales tomados de ese tipo de esca-
tructo y será más probable que el conjunto de las (Buckley, 2009: 4).
las respuestas represente correctamente lo
que pretende. El análisis factorial, los mode- Las encuestas con cuestionarios y escalas
los de respuesta al ítem y otras técnicas esta- constituyen una estrategia económica para el
dísticas permiten verificar que una escala estudio de las prácticas docentes, pero mu-
mida una sola dimensión y permita observar chas veces producen información de mala
o medir lo que no es posible captar a simple calidad, en general debido a deficiencias que
vista (Cfr. Morgenstern y Keeves, 1997; de podrían evitarse.
Vellis, 1991).
Trabajos recientes indican que la validez y
Las escalas tampoco son inmunes a sesgos la confiabilidad de la información derivada
sistemáticos; en estudios de la OCDE y la de encuestas pueden ser mejores de lo que
IEA, por ejemplo, los alumnos de países con suele pensarse. En un estudio se aplicó un
resultados muy bajos en pruebas de compe- cuestionario a maestros de álgebra; con sus
tencias cognitivas dicen que tienen actitudes respuestas se construyó una medida del gra-
más favorables hacia las mismas competen- do en que sus prácticas eran congruentes con
cias que los estudiantes de países en que los los estándares del National Council of Tea-
resultados cognitivos son mucho mejores. chers of Mathematics.

Lo anterior hace dudar de la confiabilidad Los escasos estudios anteriores valoraban


de las escalas utilizadas, dado que las actitu- la confiabilidad de los instrumentos ítem por
des podrían ser más susceptibles de influen- ítem, y la validez comparando dos instru-
cias culturales que los conocimientos. En mentos basados en reportes del maestro (un
concreto, se puede hipotizar que rasgos de cuestionario y un diario). La novedad de este
las culturas de algunos países podrían llevar trabajo consistió en que la confiabilidad se
a muchos alumnos a responder positivamente analizó para la medida compuesta basada en
las preguntas que indagan sobre sus actitu- las respuestas a 13 ítems tipo Likert, con seis
des, en un grado mayor que el que ocurre con opciones de respuesta cada uno; el análisis
los chicos de otros medios culturales. de la validez se hizo comparando las res-
puestas dadas por los docentes al cuestiona-
Un trabajo sobre los resultados de las rio con los resultados de observaciones de su
pruebas PISA señala que se ha identificado trabajo en el aula.
desde hace tiempo la presencia de ciertos
patrones característicos que suelen mostrar La consistencia de la medida compuesta
basada en los 13 ítems tipo Likert fue ade-

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 4


Martínez-Rizo, Felipe (2012). Procedimientos para el estudio sobre las prácticas docentes. Revisión de la literatura.
RELIEVE, v. 18, n. 1, art. 1. http://www.uv.es/RELIEVE/v18n1/RELIEVEv18n1_1.htm

cuada (α = 0.85). El coeficiente de confiabi- Auto-reportes


lidad de la medida compuesta que se obtuvo Son una variante de los cuestionarios y,
comparando los resultados de la primera como el término mismo indica, consisten
aplicación con una segunda hecha cuatro también en informes proporcionados por los
meses más tarde fue de 0.69; y la correlación maestros mismos. También pueden ser no
entre esa medida y otra basada en observa- estructurados (en los que los maestros des-
ción en aula de los mismos maestros, fue de criben con sus propias palabras lo que han
0.85. hecho durante cierto lapso) o estructurados
(con formatos predefinidos para informar
Las cifras anteriores son indicativas de que
sobre la frecuencia con que llevaron a cabo
la calidad de la información obtenida con el
ciertas prácticas).
instrumento respondido por los maestros fue
bastante aceptable, aunque otras limitaciones La limitación que se suele atribuir a los au-
del instrumento siguen presentes, en particu- to-reportes tiene que ver con el riesgo de que
lar el que solamente permite saber si ciertas los maestros no informen sobre lo que real-
prácticas se utilizan con más o menos fre- mente hicieron, sobre sus prácticas efectivas,
cuencia, pero no informa sobre qué tanto sino sobre lo que consideran que debieron
tiempo se usa cada una, y menos aún sobre la haber hecho, o sea sobre las prácticas consi-
calidad con que se hace (Mayer, 1999). deradas deseables en la profesión.
Los maestros no son los únicos informan- Un estudio relativamente antiguo exploró
tes calificados sobre las prácticas docentes. el punto, analizando la calidad de la informa-
Los directores y los supervisores son fuentes ción reportada por nueve profesores de in-
importantes en relación con aspectos como la glés, comparándola con la que dieron sus
planeación de las clases, ya que normalmente alumnos y con la que se obtuvo mediante
su función incluye el apoyar el trabajo de los observación de sus clases. El instrumento
maestros al respecto y revisarlo. En algunos utilizado para los auto-reportes de los maes-
sistemas es usual que estos actores también tros estaba altamente estructurado, con 77
observen periódicamente el trabajo en aula, ítems que describían otras tantas prácticas,
en cuyo caso también pueden informar al de las cuales 37 se referían a la enseñanza de
respecto. vocabulario y deletreo, y 40 a gramática y
sintaxis.
Los alumnos, por su parte, no son adecua-
dos para opinar sobre la planeación de las Los maestros hicieron auto-reportes sema-
clases o el conocimiento que tengan los nales en seis ocasiones, y uno de resumen al
maestros sobre las materias que enseñan, final del período. Un instrumento similar al
pero sí lo son, incluso al menos desde los de resumen de los maestros se aplicó a los
últimos grados de la primaria, para informar alumnos al final del período del estudio;
sobre los temas cubiertos, las estrategias do- además se hicieron observaciones semanales
centes utilizadas o la retroalimentación que no estructuradas de una clase impartida por
brindan los maestros, entre otros temas. los maestros estudiados, que luego se codifi-
caron.
En la medida en que el papel del maestro
incluye cierta relación con los padres de fa- La información sobre las prácticas de los
milia para informarles sobre el avance de sus maestros que se obtuvo gracias a los auto-
hijos, saber de los problemas que se enfren- reportes basados en el instrumento descrito
ten en el hogar o pedir colaboración, los pa- mostró razonable consistencia interna y tam-
dres pueden ser también informantes valio- bién fue congruente con la información que
sos sobre esos asuntos. dieron los alumnos y la que se obtuvo me-

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 5


Martínez-Rizo, Felipe (2012). Procedimientos para el estudio sobre las prácticas docentes. Revisión de la literatura.
RELIEVE, v. 18, n. 1, art. 1. http://www.uv.es/RELIEVE/v18n1/RELIEVEv18n1_1.htm

diante observaciones en aula. (Koziol y distintos niveles de demanda cognitiva en


Burns, 1986) un solo día, trabajando con distintos
arreglos conductuales y utilizando una
Bitácoras y diarios variedad de técnicas de enseñanza pro-
Variante de auto-reportes: textos en que el pias de cada tema… algunos rasgos se re-
maestro describe sus actividades durante petirán a lo largo del año, pero otros no,
cierto tiempo. La diferencia es la periodici- por lo que las prácticas son multidimen-
dad con que se pide información para au- sionales, pero además altamente variables
mentar la confiabilidad, ya que es menos a lo largo del año (Según Rogosa, Floden
probable que se distorsione la realidad si las y Willet, 1984, citados por Rowan y Co-
actividades se reportan varias veces a lo lar- rrenti, 2009: 121).
go del tiempo. Se puede dejar que cada in-
formante reporte en forma libre sus activida- La variabilidad de prácticas de los maes-
des o usar una guía estructurada para que lo tros en varios momentos y la que distingue
haga. Los pros y contras de estas alternativas unos maestros y otros harían necesario, en
son los mismos que en cualquier otro caso, general, un número elevado de observaciones
pero la carga de trabajo que supone para un (15-30) para asegurar una razonable consis-
maestro llevar un diario abierto durante mu- tencia de la información; el costo de este tipo
chos días es pesada, mientras que llenar un de estudios se eleva en consecuencia, lo que
formato muy estructurado durante el mismo hace atractiva la opción de los diarios (Ro-
lapso es mucho más sencillo. wan, Camburn y Correnti, 2004: 14-17).

Se ha utilizado esta herramienta para estu- Al pedir a los maestros que reporten de
diar el currículo implementado y la oportu- inmediato lo que hicieron en el aula cierto
nidad de aprendizaje: el grado en que la en- día, los diarios ganan en confiabilidad res-
señanza cubre o no los temas que el currícu- pecto a encuestas aplicadas una vez al año,
lo planeado establece, lo que incidirá en el pues los problemas de recordar el pasado y
currículo alcanzado o logrado (Rowan, basarse más en interpretaciones de lo desea-
Camburn y Correnti, 2004; Rowan y Corren- ble se reducen sustancialmente; y al pedir
ti, 2009). que los reportes se hagan durante muchos
días la muestra de prácticas reportadas es
El currículo implementado se suele explo- más representativa del universo que la in-
rar con cuestionarios aplicado al final del formación que dan pocas observaciones al
curso en que los maestros informan retros- año. Pero si el número de días a reportar au-
pectivamente sobre los temas cubiertos, o menta, la carga para los maestros se hace
mediante la observación de algunas clases. mayor.
En ambos casos la información puede ser de
baja calidad: Para estimular las respuestas se puede
ofrecer algún pago a los maestros, como hi-
Considérese, por ejemplo, que a lo largo cieron Rowan y colaboradores, quienes tam-
de un año académico de nueve meses, el bién pusieron un número de teléfono gratuito
maestro de primaria típico dará 140 o a disposición de los maestros para resolver
más días de clase… a los 20 o 30 alumnos sus dudas. Como resultado se obtuvieron
de su grupo, a veces con actividades dife- tasas de respuesta del orden de 90% y, según
renciadas para alumnos individuales o reportan los investigadores, datos de calidad
subgrupos. Aún más: durante un día cual- ligeramente inferior a la de los derivados de
quiera, las actividades de enseñanza de un observaciones en el aula (Rowan y Correnti,
maestro típicamente se desarrollarán se- 2009: 122).
gún varias dimensiones; un maestro nor-
malmente cubrirá varios objetivos con

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 6


Martínez-Rizo, Felipe (2012). Procedimientos para el estudio sobre las prácticas docentes. Revisión de la literatura.
RELIEVE, v. 18, n. 1, art. 1. http://www.uv.es/RELIEVE/v18n1/RELIEVEv18n1_1.htm

Se construyeron escalas que combinaron Se tuvo acceso a un solo trabajo que anali-
las respuestas a varios ítems, y el análisis za este tipo de diarios de maestros, que se
mostró que un 72% de la variación del tiem- llevó a cabo en relación con el mismo pro-
po de enseñanza se dio entre unos días y yecto del que se derivó la información del
otros; 23% entre maestros de una misma apartado anterior. El trabajo se llevó a cabo
escuela; y sólo 5% entre diferentes escuelas. hacia 1990, cuando el desarrollo de herra-
La σ de la distribución del tiempo de ense- mientas digitales estaba menos avanzado; su
ñanza entre días fue de 45 minutos, o sea que uso con un gran número de maestros, en es-
en 15 de cada 100 días el tiempo dedicado a cuelas con diferentes condiciones de acceso a
la lectura fue realmente de cero minutos, las tecnologías llevó a decidir no manejar la
aunque en el sistema americano suele supo- herramienta en línea, pero pese a ello los
nerse se dedican diariamente 90 minutos a la autores consideraron que los resultados fue-
lectura y la lengua, y aunque en promedio los ron alentadores. (Ball et al., 1999)
maestros estudiados dedicaban 80 minutos
diarios a esa área. Viñetas
Las preguntas de un cuestionario pueden
Estos datos implican que, para tener infor- ser entendidas en forma distinta. Es frecuen-
mación suficiente sobre las prácticas de un te, además, que se utilicen términos propios
maestro son necesarios reportes de unos 20 de ciertas teorías, con las que los investiga-
días al año (Rowan y Correnti, 2009: 123); dores están familiarizados, pero no necesa-
un número similar de observaciones, mucho riamente los maestros, alumnos u otros suje-
más costosas, sería igualmente necesario tos; con ello aumenta la probabilidad de que
para tener una muestra suficiente de lo que la comprensión de los respondientes no coin-
pasa en el aula. cida con la de los investigadores. Abundan
ejemplos en el campo educativo. Si se pre-
Diarios en red (blogs) gunta a unos maestros, por ejemplo, si utili-
El manejo de diarios en línea para recabar zan trabajo colaborativo o evaluación for-
información sobre prácticas docentes puede mativa, y responden afirmativamente, es
reducir de manera importante el peso del difícil saber qué entendían exactamente por
trabajo que cada maestro, así como el de los esos términos, y es probable que haya una
investigadores. Si se cuenta con una plata- diversidad de comprensiones al respecto, lo
forma adecuada, esta forma de recabar la que invalida seriamente las conclusiones que
información permite enviarla rápidamente y se saquen con base en tales respuestas.
hace innecesario que los investigadores de-
ban capturarla posteriormente para su análi- Por ello se ha desarrollado las viñetas que,
sis, ya que se almacena en el sistema al mis- en lugar de pedir información sobre prácticas
mo tiempo que es registrada por los infor- en términos teóricos y abstractos lo hacen
mantes. con descripciones precisas de conductas con-
cretas, contextualizadas, pidiendo a los res-
Los principios metodológicos utilizados pondientes que indiquen si sus propias for-
para diseñar un instrumento de tipo diario mas de trabajar se aproximan más o menos a
para recabar información en línea sobre prác- las descritas en la viñeta. Este tipo de pre-
ticas docentes no son distintos de los que se guntas se utiliza desde hace tiempo en estu-
deben manejar para diarios de tipo tradicio- dios de otros temas, como sobre actitudes
nal, con lápiz y papel. Siempre será necesa- discriminatorias o laborales (Cfr. Martin et
rio basarse en un marco conceptual que pre- al., 1991; Martin, 2006), pero en educación
cise los aspectos a estudiar, identifique sus su uso es más reciente y no hay mucha inves-
dimensiones y defina la manera en que se tigación sobre la calidad de la información
medirán. que permiten obtener.

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 7


Martínez-Rizo, Felipe (2012). Procedimientos para el estudio sobre las prácticas docentes. Revisión de la literatura.
RELIEVE, v. 18, n. 1, art. 1. http://www.uv.es/RELIEVE/v18n1/RELIEVEv18n1_1.htm

Un trabajo de Stecher et al. (2006) estudió ticas tradicionales. A partir de lo anterior se


las prácticas de enseñanza de algunos maes- definieron dos métodos para asignar una cali-
tros, indagando si eran consistentes con ficación global a cada respondiente, situán-
orientaciones innovadoras definidas en es- dolo en un continuo innovador-tradicional.
tándares para la enseñanza de matemáticas y Se hicieron varios análisis para estimar tanto
ciencias (reform oriented), en contraste con la confiabilidad de la medición obtenida co-
la enseñanza tradicional. Para validar la in- mo su validez, contrastándola con la infor-
formación obtenida se usó una combinación mación obtenida mediante los cuestionarios
de cuestionarios simples, cuestionarios basa- simples, los diarios y, en especial, las obser-
dos en viñetas, diarios de los maestros y ob- vaciones del trabajo en aula.
servaciones en el aula. Se hicieron también
entrevistas cognitivas a una submuestra de Los resultados apoyan la idea de que la in-
maestros, en relación con las viñetas. formación obtenida mediante viñetas es de
buena calidad en algunos aspectos, pero no
La preparación de viñetas comenzó con la en todos; las entrevistas cognitivas con maes-
operacionalización de los conceptos de currí- tros participantes mostraron que no siempre
culo y práctica de enseñanza innovadora (re- su interpretación de las descripciones de las
form oriented), en una taxonomía de 23 ele- viñetas coincidía con la de los investigado-
mentos agrupados en tres categorías: natura- res. Se pidió a los maestros que leyeran cada
leza de las matemáticas, pensamiento mate- posible acción descrita en una viñeta y ex-
mático de los alumnos y enseñanza de ma- presaran su forma de entenderla y sus razo-
temáticas. nes para escoger una opción, pensando en
voz alta al hacerlo. Se vio que en algunos
Se identificaron elementos susceptibles de casos los maestros no entendían de inmediato
medirse con viñetas, se escogieron dos temas lo que quería decir la posible acción, y que
de matemáticas (área-perímetro y multiplica- antes de escoger una respuesta debían refor-
ción con números de dos dígitos) y cuatro mular la idea en sus propias palabras. Los
situaciones en que se pueden manifestar maestros necesitaban saber el nivel de ren-
prácticas innovadoras (introducción de una dimiento de los alumnos con los que se su-
lección, reacción ante errores de los alumnos, ponía trabajaban, ya que las acciones a em-
conciliación de enfoques distintos y selec- prender dependerían en buena parte de ello.
ción de objetivos de aprendizaje). Los ele-
mentos se integraron en escenarios más am- Una conclusión es que preparar buenas vi-
plios, que ofrecieron el contexto para el con- ñetas implica un trabajo mucho mayor al que
junto. supone hacer un cuestionario simple (Stecher
et al., 2006: 120).
La sección de viñetas comenzaba descri-
biendo los escenarios y las instrucciones para Observación de situaciones pedagógi-
responder. Cada escenario incluía una con- cas (classroom observation)
textualización y presentaba las situaciones,
El segundo grupo de acercamientos al es-
seguidas por posibles formas de actuar en
tudio de la práctica docente no se basa en lo
forma innovadora o tradicional, pidiendo al
que digan los maestros mismos u otros in-
maestro indicar qué tan probable sería que
formantes, sino en la observación por terce-
actuara en la forma descrita en cada opción.
ras personas de dichas prácticas.
Las posibles acciones que eran las opcio-
Hace medio siglo Medley y Mitzel decían
nes de respuesta en las viñetas fueron 51; 27
ya que la investigación sobre las conductas
de ellas, a juicio de expertos y maestros, des-
que tienen lugar en el aula no es un pasa-
cribían prácticas innovadoras (reform orien-
tiempo para aficionados, sino una ocupación
ted), en tanto que otras 24 se referían a prác-

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 8


Martínez-Rizo, Felipe (2012). Procedimientos para el estudio sobre las prácticas docentes. Revisión de la literatura.
RELIEVE, v. 18, n. 1, art. 1. http://www.uv.es/RELIEVE/v18n1/RELIEVEv18n1_1.htm

de tiempo completo para profesionales téc- signos) y de calificación (rating); según es-
nicamente competentes (1963: 253) y, en pecificidad de los ítems: sobre conductas
forma congruente, definían la observación específicas (de baja inferencia) o más gene-
como una técnica rigurosa en los términos rales (de alta inferencia); y según el tipo de
siguientes: codificación, de una o más dimensiones.
Una técnica observacional… es una en Los instrumentos desarrollados reciente-
la que un observador registra aspectos re- mente suelen basarse en teorías actuales so-
levantes de una conducta que tiene lugar bre los aspectos a observar y cuidan las pro-
en el aula a medida que ocurre o muy po- piedades psicométricas. La descripción si-
co después (or within a negligible time li- guiente se reduce a algunos de los instrumen-
mit after) con un mínimo de cuantificación tos más estudiados, seleccionados para el
entre la observación de la conducta y su Proyecto sobre Medición de la Efectividad
registro… por consiguiente no se incluyen de la Enseñanza (MET Project, 2010a y
en esta definición esquemas en los que se 2010c).
pide al observador que califique al maes-
tro, a los alumnos o a la clase en una o Classroom Assessment Scoring System
más dimensiones, aún si las calificaciones (CLASS)
se basan en la observación directa de Posiblemente la herramienta sobre la que
conductas específicas. (Medley y Mitzel, hay más estudios. Es un instrumento para
1963: 253) estudiar las actividades del docente y las
interacciones que tiene con sus alumnos.
Con una concepción más amplia la defini- Fruto de un trabajo de más de una década, a
ción de observación puede incluir procedi- cargo de Robert Pianta y sus colegas, una
mientos con escalas de calificación, técnicas versión previa se difundió con el nombre de
de registro y postcodificación (por ejemplo Classroom Observation System, COS (Pianta
con grabaciones en video) y también técnicas y Hamre, 2009; MET Project, 2010d).
cualitativas. Medley y Mitzel (1963) distin-
guían los sistemas de observación basados en La conceptualización de las actividades e
tiempos (de categorías) y los basados en interacciones distingue tres dominios: uno
eventos (de signos). Una década más tarde relativo a la organización del aula; otro al
Rosenshine y Furst (1973) distinguían técni- apoyo instruccional que se ofrece a los
cas de observación según el procedimiento alumnos; y uno más al apoyo emocional. La
de registro: sistemas de conteo (categorías o Tabla N° 1 las sintetiza.

Tabla N° 1. Dimensiones de la enseñanza efectiva evaluadas por el CLASS


Apoyo Emocional Organización del aula Apoyo Instruccional
Clima positivo Gestión de conducta Desarrollo conceptual
Preescolar y Clima negativo Productividad instruccional Calidad retroalimentación
primeros grados Sensibilidad maestro Formatos aprendizaje Modelamiento lenguaje
de primaria Atención a punto de vista
del niño
Clima positivo Gestión de conducta Comprensión contenidos
Últimos grados de Clima Negativo Productividad instruccional Análisis-solución problemas
primaria y nivel Sensibilidad maestro Formatos aprendizaje Calidad retroalimentación
secundaria Atención a punto de vista Diálogo instruccional
adolescente
Fuente: MET Project, 2010d: 3

La observación se lleva a cabo en períodos minutos a observar y tomar notas, y el tiem-


de media hora; en cada período se dedican 20 po restante a la calificación. Según los auto-

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 9


Martínez-Rizo, Felipe (2012). Procedimientos para el estudio sobre las prácticas docentes. Revisión de la literatura.
RELIEVE, v. 18, n. 1, art. 1. http://www.uv.es/RELIEVE/v18n1/RELIEVEv18n1_1.htm

res bastan cuatro ciclos de observación para - Creación de un ambiente de respeto y


contar con una muestra representativa de lo buena relación
que ocurre en un salón de clases. • Interacciones del maestro con los
alumnos
El sistema se desarrolló para observar gru-
pos de preescolar o de los primeros grados de • Interacciones de los alumnos entre sí
primaria; están en desarrollo versiones para - Establecimiento de una cultura de apren-
grados superiores. El organismo que tiene los dizaje
derechos del sistema capacita observadores.
• Importancia de los contenidos
La calidad de la información derivada del
uso del sistema CLASS ha sido explorada • Expectativas de aprendizaje y logro
empíricamente en forma extensa para la ver- • Orgullo de los alumnos por su trabajo
sión enfocada a preescolar y los primeros - Procedimientos de gestión del aula
grados de primaria, con resultados satisfacto-
rios. El trabajo respecto a las otras versiones • Manejo de grupos para la instrucción
está menos avanzado (Goe, Bell y Little, • Manejo de las transiciones entre etapas
2008: 24). de los procesos
• Manejo de materiales
El gran número de escuelas y distritos es-
colares que usan la herramienta refleja su - Gestión de la conducta de los alumnos
atractivo para usos formativos, pero al mis- • Expectativas
mo tiempo hace previsible que aumente la • Monitoreo de la conducta de los alum-
heterogeneidad de los cuidados que se tomen nos
para asegurar la competencia de los observa-
dores y la confiabilidad de su trabajo. • Respuesta ante las conductas inapro-
piadas (MET Project, 2010b)
Marco de Referencia para la Enseñanza El FFT incluye rúbricas detalladas con ba-
(Framework for Teaching). se en las cuales se puede evaluar a un maes-
A partir de su trabajo en el ETS para la tro en cuanto a cada uno de los 76 elementos
Versión III del Praxis, Charlotte Danielson y en cuatro niveles de desempeño, que se defi-
sus colaboradores, autores de esta herramien- nen como insatisfactorio, básico, avanzado
ta, la describen como (proficient) y sobresaliente (distinguished)
(MET Project, 2010d).
…estructurada según componentes de la
instrucción derivados de la investigación, Sistema MQI (Mathematical Quality of
alineada a los estándares del consorcio Instruction)
interestatal (INTASC), y basada en una Como indica su nombre, la herramienta se
perspectiva constructivista del aprendiza- orienta precisamente a la observación de
je y la enseñanza… (MET Poject, 2010d; prácticas de enseñanza en el campo de las
Goe, Bell y Little, 2008: 21-22) matemáticas, a partir de lo que la investiga-
El Marco tiene cuatro dominios: Planea- ción al respecto ha encontrado (Hill et al.
ción y preparación de la clase; ambiente del 2010a y 2010b). Se identificaron así cinco
aula; instrucción; y responsabilidades profe- puntos, como los más relevantes al respecto:
sionales. Estos dominios se dividen en 22 • Uso preciso y rico del lenguaje matemá-
componentes y 76 indicadores. A guisa de tico;
ejemplo, los componentes y los indicadores
• Ausencia de errores e imprecisiones;
del dominio de ambiente del aula son los
siguientes: • Presencia de explicaciones matemáticas
correctas y participación de los alumnos

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 10


Martínez-Rizo, Felipe (2012). Procedimientos para el estudio sobre las prácticas docentes. Revisión de la literatura.
RELIEVE, v. 18, n. 1, art. 1. http://www.uv.es/RELIEVE/v18n1/RELIEVEv18n1_1.htm

en la construcción de significado y en el contenidos de lengua; las representaciones de


razonamiento matemático; los contenidos y el uso que se hace de ellos;
• Conexión del trabajo del aula con ideas y el ambiente del aula (MET Project, 2010f).
importantes en el campo; y
El sistema identifica 13 elementos que
• Esfuerzos para garantizar que todos los constituyen dimensiones independientes, y
alumnos del grupo, y no sólo algunos, permite evaluarlos con una rúbrica, en una
tengan acceso al conocimiento matemático escala de uno a cuatro:
(MET Project, 2010e).
Propósito Práctica guiada
El MQI explora tres tipos de relaciones: de Desafío intelectual Discurso que se tiene en
los maestros con los contenidos; de los Representación del conte- el aula
alumnos con los contenidos; y de los maes- nido Instrucción basada en
tros con los alumnos. Al valorar esas dimen- Conexiones con el conoci- textos
siones, el MQI sobresale entre los instrumen- miento previo Lenguaje académico
tos del área de matemáticas, porque ofrece Conexiones con la expe- Manejo de las conductas
una visión completa y equilibrada de los riencia personal Manejo del tiempo
elementos que, en conjunto, conforman la Modelamiento
enseñanza de calidad en el área (MET Pro- Estrategias explícitas de
ject, 2010e). enseñanza

Durante el desarrollo del sistema MQI se El sistema prevé observaciones indepen-


encontró que, además de un buen manejo dientes de 15 minutos cada una, durante una
general de las matemáticas, el maestro deben clase: dos en clases de 45 minutos y tres en
dominar un tipo particular de conocimiento las de 90. La investigación sobre la herra-
matemático, precisamente el que hace falta mienta es más reducida que en los casos an-
para la enseñanza de esta área, que tiene teriores, y se ha desarrollado principalmente
que ver con una comprensión precisa de los en escuelas de Nueva York. (MET Project,
obstáculos que dificultan a los alumnos el 2010d y 2010f)
aprendizaje de este campo. Por ello en para-
lelo se ha desarrollado otro tipo de herra- Sistema QST (Quality of Science Teach-
mienta para medir ese tipo de conocimiento: ing)
el MKT (Mathematical Knowledge for Tea- Se trata de un nuevo protocolo de observa-
ching) (MET Project, 2010e; Hill et al., ción que está en desarrollo, en el marco del
2008). Proyecto sobre Medición de la Efectividad
de la Enseñanza (MET Project).
Sistema PLATO
Otro ejemplo de herramienta especializada El punto de partida para el desarrollo del
en un área curricular particular es la denomi- QST es un sistema (The Teaching Event)
nada “Protocolo para la Observación de la para evaluar aspirantes a ocupar plazas de
Enseñanza de las Artes del Lenguaje” (Pro- maestro en el sistema educativo de Califor-
tocol for Language Arts Teaching Observa- nia, que comprende 13 áreas de enseñanza,
tion, PLATO). mediante un portafolios con evidencias de la
práctica docente que incluyen planes de cla-
Con base en investigaciones previas, el sis- se, un video, muestras del trabajo de los
tema PLATO se estructura a partir de cuatro alumnos y una reflexión del aspirante mis-
factores que se considera subyacen la ense- mo. El sistema maneja cinco dimensiones –
ñanza: la demanda que el área plantea a las planeación, enseñanza, evaluación, reflexión
prácticas del aula y el discurso relativo; el y uso de lenguaje académico— a partir de las
andamiaje para apoyar la enseñanza de los cuales se espera derivar constructos para

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 11


Martínez-Rizo, Felipe (2012). Procedimientos para el estudio sobre las prácticas docentes. Revisión de la literatura.
RELIEVE, v. 18, n. 1, art. 1. http://www.uv.es/RELIEVE/v18n1/RELIEVEv18n1_1.htm

preparar protocolos y guías de codificación muchas cosas que pasan en el aula no quedan
para observar sesiones de clase en aula registradas, fuera de las que ocurren en ese
(MET Project, 2010d). reducido campo de visión. La forma de sub-
sanar esta limitación es usar simultáneamen-
Observaciones con grabación en video te varias cámaras. Además de aumentar los
Un tipo especial de observación es el que costos, esta solución hace también que la
se hace no directamente en el aula, sino en interferencia producida por la observación
forma diferida, sobre registros de las mismas misma sea muy grande, lo que pone en ries-
que tengan la fidelidad suficiente para permi- go la validez.
tirlo, por ejemplo con grabaciones de video.
Recientemente se explora el uso de video-
La ventaja de este tipo de trabajos –en par- grabaciones mediante un sistema digital
ticular en gran escala, involucrando a dece- avanzado que, a diferencia de las cámaras
nas o centenas de escuelas en regiones o in- convencionales, permite registrar lo que ocu-
cluso en países diversos— es que es más rre en el aula con una visión panorámica de
factible contar en esos lugares con técnicos 360°, y luego al reproducir la grabación ha-
que operen una cámara de video de manera cer los acercamientos que se quiera. Sin mi-
eficiente, que con observadores con la califi- nimizar las ventajas que ofrecen las podero-
cación necesaria para obtener información sas tecnologías digitales a las que hoy se
válida y confiable. Es el caso de los trabajos tiene acceso, debe reiterarse también que su
que usan grabaciones en video de clases uso no evita la necesidad de contar con ob-
conducidas por maestros, y un ejemplo des- servadores calificados, así como con esque-
tacado de ellos es el “estudio de clases gra- mas de categorías que permitan estructurar lo
badas en video” que formó parte del Tercer observado según las dimensiones pertinentes.
Estudio Internacional sobre Matemáticas y
Ciencias (TIMSS) en 1995, y de su repeti- Para valorar adecuadamente el potencial de
ción en 1999 (TIMSS-R) (Stigler, Gallimore los acercamientos a la práctica docente basa-
y Hiebert, 2000). dos en distintos tipos de grabación de video
sería necesario analizar en detalle los pros y
Otras ventajas son que se puede detener la contras, el costo y los beneficios de las dis-
reproducción de la grabación o repetirla tintas opciones, desde los videos con cáma-
mientras se califica, y que se puede volver a ras y micrófonos múltiples, y uno o incluso
calificar con otros jueces y utilizando otros dos camarógrafos, hasta la grabación en
protocolos o escalas. 360°, cuya efectividad debe aún demostrarse,
para ver si puede dar efectivamente informa-
En el caso del TIMSS y el TIMSS-R sólo ción de mejor calidad que las otras opciones
se grabó una clase por profesor, lo que ob- a menor costo o no.
viamente no basta para tener una muestra
suficiente de su forma de trabajar a lo largo Acercamientos basados en el análisis
de un curso. Por otra parte, las grabaciones de productos de las prácticas
en video, como la observación directa en
vivo, no pueden captar lo que están pensando Los acercamientos al estudio de las prácti-
el maestro o los alumnos, sin lo cual no pue- cas docentes que se revisan en este apartado
de entenderse cabalmente el sentido de sus se basan en el análisis de los productos de las
acciones. Esos aspectos “subjetivos” deberán prácticas, como planes de clase, cuadernos
atenderse con otros acercamientos. de alumnos, exámenes aplicados o tareas
encomendadas. Se trata, pues, de una tercera
Una desventaja de la grabación en video se categoría, distinta tanto de los trabajos basa-
deriva de que el ángulo que puede captar una dos en lo que los docentes mismos reportan,
cámara convencional es reducido, por lo que como de los que utilizan observación.

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 12


Martínez-Rizo, Felipe (2012). Procedimientos para el estudio sobre las prácticas docentes. Revisión de la literatura.
RELIEVE, v. 18, n. 1, art. 1. http://www.uv.es/RELIEVE/v18n1/RELIEVEv18n1_1.htm

Análisis de tareas misma, y también con la calidad del trabajo


Un primer acercamiento de este grupo con- de los alumnos; aquellos estudiantes cuyo
siste en el análisis de las tareas que los alum- maestro dejaba tareas cognitivamente más
nos llevan a cabo por indicación del docente. exigentes y manejaban criterios de califica-
Es claro que la revisión de esos trabajos po- ción más claros, mostraron también mayor
drá revelar muchas cosas sobre la práctica avance en evaluaciones externas. Sin embar-
del maestro, como la forma en que entiende go, en general la calidad de las tareas asigna-
su papel, el manejo que tiene de los conteni- das por los maestros no fue muy alta (Mat-
dos, su concepción de la evaluación, el grado sumura y Pascal, 2003).
en que ofrece retroalimentación más o menos
rica a los alumnos, entre otras. Por ello se El portafolio y sus variantes
entiende que un ejemplo temprano de este El portafolio es una herramienta para eva-
tipo de acercamiento lleve como subtítulo luar alumnos, maestros, escuelas, etc. En el
“Abriendo una ventana sobre las prácticas caso de los maestros los portafolios consisten
del aula” (Matsumura y Pascal, 2003). en conjuntos de evidencias como planes de
clase, cuadernos de alumnos, registros de
Los trabajos en que se basa este aparatado clases, entre otros.
definen la calidad de las tareas según tres
dimensiones: el nivel de demanda cognitiva Los portafolios contienen materiales selec-
que representaban; la claridad de los objeti- cionados por el sujeto que va a ser evaluado,
vos de aprendizaje a los que una tarea debe- de quien se espera una autoevaluación, a
ría contribuir; y la claridad con que se espe- partir de los materiales incluidos en el porta-
cificaban los criterios de calificación. Las folios, que luego serán valorados por otras
puntuaciones asignadas en una escala de cua- personas, que podrán ser autoridades, pares u
tro puntos en cada una de estas dimensiones otros evaluadores externos.
se combinan para formar una puntuación de
Al usar portafolios con el propósito de ob-
calidad global (Matsumura y Pascal, 2003).
servar/medir/evaluar la práctica docente se
De cada maestro participante (181 de 35 aplica, como en los demás instrumentos, la
escuelas, de los grados 4°, 7° y 10°) se reco- necesidad de precisar el foco de atención al
gieron materiales de tres tareas (dos sobre que se refieren, en el caso que nos ocupa el
comprensión lectora y una sobre expresión aspecto(s) de la práctica que se quiere obser-
escrita), incluyendo información sobre la var. Deben también explicitarse las categorí-
planeación, las instrucciones dadas a los as que se usarán para sistematizar lo obser-
alumnos, las tareas entregadas por cuatro vado y la forma de pasar a la medición y al
alumnos (dos de alto y dos de medio rendi- juicio.
miento) y se observó a los maestros en clase
Hay ejemplos destacados de sistemas de
dos veces. Se analizaron las tareas recolecta-
evaluación de maestros basados en la prepa-
das y los resultados se sintetizaron para for-
ración de portafolios y en el análisis de su
mar indicadores de la práctica docente. Se
contenido. El sistema Praxis del Educational
encontró un nivel aceptable de consistencia
Testing Service, además de pruebas de lectu-
entre los analistas, siendo necesarias tareas
ra, escritura y matemáticas, así como de co-
de tres o cuatro alumnos de cada maestro
nocimientos pedagógicos y de las áreas de
para tener estimaciones estables, y sólo si las
contenido en que trabaja un maestro, incluye
tareas habían sido diseñadas por el maestro,
un portafolios.
y no tomadas de otra fuente.
El grado en que los maestros cumplen los
La calidad de las tareas se asoció con la de
estándares de práctica profesional para los
la enseñanza, según las observaciones de la
maestros desarrollador por el Interstate New

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 13


Martínez-Rizo, Felipe (2012). Procedimientos para el estudio sobre las prácticas docentes. Revisión de la literatura.
RELIEVE, v. 18, n. 1, art. 1. http://www.uv.es/RELIEVE/v18n1/RELIEVEv18n1_1.htm

Teacher Assessment and Support Consor- compara favorablemente con los sistemas
tium (INTASC) se evalúa con un portafolios, análogos de los sistemas educativos más des-
y lo mismo ocurre con los estándares del arrollados. Una obra colectiva reciente pre-
National Board for Professional Teaching senta amplia información sobre el desarrollo
Standards (NBPTS) (Porter, Youngs y Od- del sistema y sus resultados, tras varios años
den, 2001: 263-265). de aplicación. (Manzi, González y Sun,
2011)
En Latinoamérica destaca el sistema de
evaluación de docentes desarrollado por el Otros dos ejemplos de herramienta tipo
Ministerio de Educación de Chile, que forma portafolio son los siguientes.
parte de un conjunto mayor de políticas en
pro de la mejora de la calidad educativa, de- El sistema IQA (Instructional Quality As-
ntro de las cuales tienen un peso específico sessment)
las que se refieren a la superación profesio- Es un desarrollo del trabajo de Matsumura
nal de los maestros. sobre el análisis de las tareas hechas por los
alumnos como forma de aproximarse al tra-
El Sistema de Evaluación del Desempeño bajo del maestro. Este nuevo sistema está en
Profesional Docente (SEDPD) comenzó a proceso, y centra la atención en comprensión
desarrollarse en 2003, con base en un con- lectora y matemáticas, en el nivel medio del
junto preciso de estándares que constituyen sistema educativo.
el Marco para la Buena Enseñanza, prepara-
do durante los dos años anteriores. El trabajo El sistema comprende protocolos para eva-
técnico se encomendó a una agencia inde- luar la enseñanza con observaciones en aula,
pendiente muy reconocida, el Centro de Me- así como la calidad de las tareas asignadas
dición de la Universidad Católica de Chile por el maestro. Se reportan trabajos sobre la
(MIDE), que trabajó en estrecha relación con confiabilidad y potencial validez de la infor-
el Centro de Perfeccionamiento, Experimen- mación obtenida.
tación e Investigaciones Pedagógicas
(CPEIP) del Ministerio de Educación de ese Esos trabajos coinciden con otros en en-
país. contrar una amplia variación de la calidad de
la enseñanza en las áreas estudiadas, con un
Los documentos del SEDPD definen con nivel promedio no muy alto. La calidad de la
precisión sus elementos centrales: para qué información fue mejor en matemáticas que
se evalúa; qué se evalúa; qué consecuencias en lectura. Los resultados de la aplicación del
tiene la evaluación para los docentes; quiénes IQA predicen los obtenidos por los alumnos
deben evaluarse; y que instrumentos y fuen- en algunas evaluaciones externas, después de
tes de información deben utilizarse. En cuan- controlar otros factores posiblemente asocia-
to a esto último, los instrumentos de la eva- dos. La solidez de los resultados es limitada
luación son cuatro: una autoevaluación; una porque se derivan de un número reducido de
entrevista por un evaluador par; un informe casos. (Matsumura et al., 2006)
de referencia de terceros (el Director y el
Jefe de la Unidad Técnico Profesional de la Paquetes de materiales (Artifacts Packa-
escuela); y un portafolio de desempeño pe- ges)
dagógico. Para cada uno existen pautas per- Este tipo de instrumentos es una variante
fectamente definidas y son aplicadas por de portafolios y no se limita a la revisión de
personal entrenado para ello. tareas, sino que incluye cualquier otro tipo de
material (artifact) que informe sobre las
El cuidadoso trabajo de diseño y validación prácticas que tienen lugar en el aula: planes
de los instrumentos de dicho Sistema hace de de clase; notas que el maestro entregue a los
él un caso ejemplar en la región, y que se alumnos; fotografías de la forma en que se

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 14


Martínez-Rizo, Felipe (2012). Procedimientos para el estudio sobre las prácticas docentes. Revisión de la literatura.
RELIEVE, v. 18, n. 1, art. 1. http://www.uv.es/RELIEVE/v18n1/RELIEVEv18n1_1.htm

organiza a los alumnos para trabajar o de lo En el caso de matemáticas las dimensiones


que escribe en el pizarrón; trabajos de los son:
alumnos, sean o no tareas; grabaciones de
• Tipos de agrupamiento utilizados para el
sesiones, etcétera.
trabajo de los alumnos.
Los promotores del acercamiento usan la • Estructura de la clase.
expresión scoop notebook para designar la • Uso de formas diversas de representar
libreta o carpeta en que se integran los mate- las ideas y conceptos.
riales recogidos para su análisis posterior, a
la manera de los biólogos que primero dedi- • Uso de herramientas matemáticas.
can cierto tiempo al trabajo de campo, duran- • Demanda cognitiva que se maneja.
te el cual se dedican a recopilar el mayor • Presencia de un discurso matemático
número posible de especímenes con una red común.
(scoop), para luego analizarlos con todo cui-
• Manejo de explicaciones y justificacio-
dado en el laboratorio. Así los investigadores
nes.
de la práctica docente pueden primero dedi-
car tiempo a recolectar todas las evidencias • Manejo de solución de problemas.
que puedan (materiales, artifacts) del trabajo • Formas de evaluación utilizadas.
de docentes y alumnos, para luego estudiar- • Uso de conexiones con la vida real o
las en detalle. aplicación de conocimientos.
El propósito del proyecto Scoop fue des- Las dimensiones del área de ciencias son
arrollar un acercamiento alternativo al estu- similares y, para cada una, se ofrece una rú-
dio de la práctica docente, empleando arte- brica que define con precisión lo que se en-
factos y materiales para alcanzar a hacer una tenderá por una práctica de calidad alta, me-
representación de dicha práctica suficiente dia o baja. Las guías elaboradas a partir de
para que una persona, sin observar directa- esas dimensiones se pueden usar tanto para
mente al maestro ni al aula pudiera hacer hacer observaciones en aula, como para ana-
juicios válidos sobre algunos aspectos parti- lizar los materiales recogidos en la “carpeta-
culares, únicamente con base en esos mate- red”, que los maestros reúnen mediante un
riales. trabajo intensivo durante una semana, si-
guiendo las directrices que se les dan.
Además de incluir instrucciones para los
maestros sobre cómo reunir los materiales, No es una elección libre de cada maestro,
un componente clave es el que constituyen sino una que busca representatividad, en una
las guías de calificación que los jueces utili- materia y una semana. Sí se pide al maestro
zan para analizarlos. El trabajo desarrollado que incluya su punto de vista y consideracio-
se refiere en particular a las áreas de mate- nes sobre los materiales, el propósito de ma-
máticas y ciencias (Borko, Stecher y Kuff- nejarlos, uso que les da, etc. Los materiales
ner, 2007). incluyen los que se usan antes de la clase
(planes, notas, rúbricas para evaluar), en la
Con base en estudios previos, se definieron
clase (fotos del pizarrón, materiales proyec-
diez dimensiones de las prácticas de ense-
tados, trabajos de alumnos) y después de ella
ñanza en las dos áreas en las que se pudiera
(tareas, exámenes, ítems de portafolios).
apreciar su consistencia con las orientaciones
para una enseñanza innovadora, según los Aunque se trata de un trabajo en desarrollo,
estándares nacionales de matemáticas y cien- los resultados muestran que los juicios sobre
cias. la práctica docente basados en el sistema
tienen niveles aceptables de confiabilidad y

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 15


Martínez-Rizo, Felipe (2012). Procedimientos para el estudio sobre las prácticas docentes. Revisión de la literatura.
RELIEVE, v. 18, n. 1, art. 1. http://www.uv.es/RELIEVE/v18n1/RELIEVEv18n1_1.htm

validez (Borko, Stecher y Kuffner, 2007; plica el interés por buscar mejores maneras
Borko et al. 2005). de observar y/o medir la instrucción efectiva,
sobre todo con propósitos de evaluación su-
Para cerrar el apartado mativa y rendición de cuentas, en concreto
Las herramientas revisadas en este punto, sustentando sistemas de remuneración.
como las de los anteriores, tiene puntos fuer-
tes y débiles, por lo que conviene verlas co- Es importante destacar la dimensión forma-
mo complementarias, más que como alterna- tiva que puede tener la evaluación de maes-
tivas. tros, al identificar las deficiencias particula-
res de las prácticas para poder diseñar activi-
La utilización de productos de las prácticas dades de actualización y otras formas de in-
como fuentes de información comparte con tervención, que lleven a mejorar las de los
la observación la ventaja de que no se ve maestros menos experimentados y/o menos
afectada por el riesgo de captar lo deseable eficaces. Para contar con evaluaciones suma-
más que lo real; como la observación de gra- tivas válidas y confiables de la eficacia de los
baciones de observaciones, los productos de maestros, o para tener buenas evaluaciones
las prácticas pueden ser revisados una y otra formativas que permitan ayudarles a mejorar,
vez, por distintos analistas y utilizando pro- se necesitan observaciones/mediciones de
tocolos diferentes. Estos acercamientos tam- buena calidad.
bién comparten con la observación su inca-
pacidad de captar lo que pasaba por la mente La aplicación de cuestionarios y herra-
de los maestros al realizar las actividades de mientas similares puede ser barata, pero la
las que se derivaron los productos, lo que información que ofrecen puede ser superfi-
sólo se podrá explorar a través de la versión cial y de baja confiabilidad, al depender de
que den los actores estudiados, con acerca- los informantes, pero sólo con esos acerca-
mientos del primer grupo. mientos es posible captar lo que los actores
estudiados saben, creen o piensan. La obser-
Además de las herramientas revisadas, hay vación puede dar información rica, pero im-
información sobre otras en la “Guía de pro- plica mucho tiempo de observadores califi-
ductos para la evaluación de maestros” cados y no puede captar lo que piensan los
(NCCTQ, 2011, www.tqsource.org) ya men- sujetos. Los análisis de productos de las
cionada, que incluye instrumentos de obser- prácticas comparten algunos de los pros y
vación y otras herramientas: contras de los otros dos tipos de acercamien-
De observación en aula: Artefactos de enseñanza: 8 to.
41 Autorreportes de maestros: Ningún acercamiento es en sí mismo supe-
Portafolios: 6 4
rior o inferior a otros; la calidad de la infor-
Encuestas de alumnos: 3 Modelos de valor agrega-
mación que dará cada uno depende del obje-
Medidas de desempeño do: 6
to y el propósito del estudio, de la calidad del
de alumnos: 4 Modelos combinado: 21
instrumento y la forma en que se aplique y se
analicen sus resultados.
Conclusión La oposición cuanti-cuali
La insatisfacción con los sistemas de eva- Retomemos las nociones de observación y
luación de maestros –tanto los basados en medición y la supuesta oposición que habría
indicadores como antigüedad y escolaridad, entre ambos conceptos, análoga a la que dis-
como los recientes que utilizan medidas del tinguiría los acercamientos cuantitativos y
valor que se supone agregan el maestro y la los cualitativos. En estas páginas se comparte
escuela al aprendizaje de los alumnos— ex- la idea de que no hay una oposición tajante
entre ambos enfoques, sino una de grado.

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 16


Martínez-Rizo, Felipe (2012). Procedimientos para el estudio sobre las prácticas docentes. Revisión de la literatura.
RELIEVE, v. 18, n. 1, art. 1. http://www.uv.es/RELIEVE/v18n1/RELIEVEv18n1_1.htm

La distinción de técnicas cuantitativas y posible cualquier análisis riguroso posterior.


cualitativas se entiende muchas veces como Codificar a posteriori registros previos, in-
si fueran dos tipos totalmente distintos de cluso muy completos, enfrenta exactamente
acercamiento a la realidad, el primero que los mismos problemas.
implicaría codificación y el segundo que la
descartaría. La calidad de la información que se obtiene
con un acercamiento estructurado depende
En realidad toda técnica implica codificar de la conceptualización subyacente en los
o estructurar información; lo que cambia es instrumentos; y la que se deriva de un acer-
el momento en que se hace: en las técnicas camiento no estructurado, de la calidad de
llamadas cualitativas (observación partici- los observadores. Pero la calidad de éstos,
pante, etc.) se codifica después de recoger la finalmente, al hacer juicios de alta inferencia
información; en cuestionarios con preguntas sobre la marcha, o al codificar a posteriori
simples se hace desde que se comienza a con base en los registros, depende a su vez
elaborar el instrumento. del manejo de categorías comunes para ase-
gurar su aplicación uniforme.
Siempre se codifica; los humanos no po-
demos aprehender la realidad de manera ho- Las rúbricas como herramientas de ob-
lística; conocemos analíticamente, con cate- servación-medición-evaluación
gorías. Al aplicar técnicas de pensar en voz Unas herramientas muy conocidas son las
alta para detectar la forma en que procede un rúbricas, que se analizan en este punto por-
observador que pretenda ser totalmente cua- que los principios que implica su construc-
litativo se encontrará que de hecho utiliza ción son generalizables a cualquier instru-
categorías que, al no explicitarse, tienen el mento de observación-medición-evaluación.
riesgo de inconsistencia incluso si las aplica
un mismo observador, además de la imposi- El término rúbrica es una traducción del
bilidad de comparar lo registrado por varios. inglés que resulta poco clara, ya que en es-
pañol denota la firma que alguien estampa al
Es imposible observar algo sin categorías. final de un escrito para. En el sentido que nos
La diferencia real es si las categorías utiliza- ocupa, en cambio, una rúbrica es un esque-
das lo son explícita o implícitamente; si la ma que los maestros usan, por ejemplo, para
explicitación se hace antes de observar o calificar trabajos de tipo ensayo o tareas que
después; si las categorías están bien o mal implican la realización o ejecución de algu-
definidas; si son excluyentes o no; si preten- nas actividades. Para calificar un ensayo una
den conformar una escala coherente y consis- rúbrica podrá indicar que se tome en cuenta
tente, etc. el esquema que organiza el trabajo, la co-
rrección gramatical, la ortografía, la claridad
La ventaja de trabajar con categorías pre-
de las ideas expuestas, etc.
viamente definidas es clara, pero siempre
está presente la desventaja correlativa: lo que Más adecuada es la traducción del término
no encaje en las categorías pasará desaperci- como matriz de valoración, expresión que
bido. Por ello es crucial la forma en que se explicita una característica básica de tales
construyan. No definir las categorías previa- herramientas, la que se refleja en su estructu-
mente tienen la ventaja de no excluir a priori ra matricial, de tabla de doble entrada, con
lo que no se ajuste a lo predefinido (lo que renglones y columnas:
puede ser adecuado en una etapa explorato-
ria), pero el costo que se paga es alto: como • Un eje contiene los aspectos o dimensio-
cada observador aplica sus categorías implí- nes del objeto de estudio. Por lo general
citas, la información resultante es heterogé- estos aspectos se incluyen en los renglones
nea en grados desconocidos, lo que hace im- de la tabla, cada uno de los cuales presenta

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 17


Martínez-Rizo, Felipe (2012). Procedimientos para el estudio sobre las prácticas docentes. Revisión de la literatura.
RELIEVE, v. 18, n. 1, art. 1. http://www.uv.es/RELIEVE/v18n1/RELIEVEv18n1_1.htm

una dimensión de la realidad a evaluar, por re para cuidar la validez y confiabilidad de


ejemplo la corrección gramatical de una las observaciones.
redacción, su ortografía, etc. • El trabajo empírico que, aplicando los
• El otro eje tiene los niveles de desempe- marcos conceptuales, y utilizando las he-
ño o ejecución de cada dimensión, con rramientas psicométricas, permitirá cali-
cierto orden de mejor a peor. Las colum- brar los instrumentos y valorar la calidad
nas presentan una gradación de desempe- de la información obtenida mediante su
ños de distinta calidad, que se identifican uso.
con etiquetas como insatisfactorio, míni-
No parece razonable pedir a todos los in-
mo, suficiente, avanzado y sobresaliente, o
vestigadores que dominen las técnicas psi-
similares.
cométricas más avanzadas, pero de todos se
Una matriz de valoración o rúbrica busca deberá esperar un trabajo conceptual y empí-
ser, pues, una herramienta de medición, lo rico cuidadoso. Los pros y contras de las
que es prerrequisito para que sea también técnicas que suponen codificación previa y
herramienta de evaluación. Como se ha di- las que codifican a posteriori, por otra parte,
cho, los principios de su construcción son aconsejan utilizar preferentemente una com-
aplicables a cualquier instrumento. binación de ambas; es la idea que subyace el
atractivo de los llamados métodos mixtos.
La realidad es siempre multidimensional, Esta recomendación tiene sentido, pero tam-
pero una buena medición debe referirse a una bién encierra un riesgo ya mencionado, que
dimensión bien definida de la realidad: sólo no se debe perder de vista.
así cumplirá el requisito básico de unidimen-
sionalidad. Por ello preparar una rúbrica o Una conclusión de un trabajo sobre viñetas
cualquier instrumento supone un proceso de es aplicable de manera más amplia a los ins-
clarificación conceptual, de identificación y trumentos de observación y medición en ge-
distinción de las dimensiones de la realidad a neral: una combinación de acercamientos
medir y evaluar (operacionalización). Y co- suele dar información más rica que cualquie-
mo para evaluar necesitamos medir al menor ra por separado, pero al mismo tiempo hace
ordinalmente, para preparar una rúbrica o aumentar el riesgo de que los resultados no
cualquier otro instrumento de evaluación es sean consistentes. En palabras de Stecher:
necesario definir niveles graduados de des-
empeño o ejecución, mediciones ordinales Si bien se anima frecuentemente a los
basadas en la observación de rasgos que se educadores a utilizar mediciones múltiples
asocian a cada nivel. para obtener información más confiable,
los investigadores deben tener conciencia
Consideraciones finales de que el manejar formatos múltiples y di-
Para tener información de buena calidad versos respondientes puede disminuir la
con procesos de observación/medición debe- consistencia de las respuestas, al incluir
rán cuidarse tres elementos: fuentes adicionales de variación (Stecher
et al., 2006: 120).
• El trabajo conceptual necesario para es-
tablecer las categorías en que se clasifica- Referencias
rán las realidades captadas, así como los Ball, D. L., Capurn, E., Correnti, R., Phelps,
niveles de desempeño que se considerarán G. & Wallace, R. (1999). New Tools for
para su medición. Research on Instruction and Instructional
• El trabajo técnico –con las herramientas Policy: A Web-based Teacher Log. Seattle:
psicométricas apropiadas— que se requie- Center for the Study of Teaching and Pol-
icy, University of Washington.

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 18


Martínez-Rizo, Felipe (2012). Procedimientos para el estudio sobre las prácticas docentes. Revisión de la literatura.
RELIEVE, v. 18, n. 1, art. 1. http://www.uv.es/RELIEVE/v18n1/RELIEVEv18n1_1.htm

Borko, Hilda, Stecher, B. y Kuffner, K. tional practices using a focused self-report


(2007). Using Artifacts to Characterize Re- inventory. Journal of Educational Re-
form Oriented Instruction: The Scoop search, 79(4): 205-209.
Notebook and Rating Guide. (CSE Techni- Manzi, Jorge, R. González & Sin Y.(2011).
cal Report 707). Los Angeles: UCLA. La evaluación docente en Chile. Santiago:
Borko, H., Stecher, B. M., Alonzo, A., Mon- MIDE-Universidad Católica.
cure, S., & McClam, S. (2005). Artifact Martin, Elizabeth (2006). Vignettes and Re-
Packages for Characterizing Classroom spondents Debriefing. for Questionnaire
Practice: A pilot Study. Educational As- Design and Evaluation. Washington. U. S.
sessment, Vol. 10 (2): 73-104. Bureau of Census. Research Report Series,
Buckley, Jack (2009). Cross-national Re- Survey Methodology N° 2006/8.
sponse Styles in International Educational Martin, Elizabeth A., Campanelli, P. C. &
Assessments: Evidence from PISA 2006. Fay, R. E. (1991). An application of Rasch
Original no publicado. analysis to questionnaire design: using vi-
Converse, J. M. & S. Presse. (1986). Survey gnettes to study the meaning of “work” in
questions. Handcrafting the standardized the Current Population survey. Journal of
questionnaire. Series Quantitative Applica- the Royal Statistical Society. Series D. Spe-
tions in the Social Sciences N° 63. Beverly cial Issue. Vol. 40 (3): 265-276.
Hills. Sage. Matsumura, L. C., Slater, S. C., Junker, B.,
Fowler, Floyd J. (1995). Improving survey Peterson, M., Boston, M., Steele, M.
questions. Design and evaluation. Applied (2006). Measuring Reading Comprehen-
Social Research Methods Series N° 38. sion and Mathematics Instruction in Urban
Newbury Park: Sage. Middle Schools: A Pilot Study of the In-
Goe, Laura, C. Bell & O. Little (2008). Ap- structional Quality Assessment (CSE T.
proaches to Evaluating Teacher Effective- Report 681). Los Angeles: UCLA.
ness: A Research Synthesis. Washington: Matsumura, Lindsay C. y J. Pascal (2003).
NCCTQ. Teacher’s Assignments and Student Work:
Hill, H. (2010a). Mathematical Quality of Opening a Window on Classroom Practice.
Instruction (MQI). Coding Tool. University (CSE Technical Report 602). Los Angeles:
of Michigan, Learning Mathematics for UCLA.
Teaching. Mayer, D. (1999). Measuring Instructional
Hill, Heather C. Ball, D. L., Bass, H., Blunk, Practice: Can Policy Makers Trust Survey
M., Brach, K. et al. (2010b). Measuring the Data? Educational Evaluation and Policy
mathematical quality of instruction. Jour- Analysis, 21(1): 29-45.
nal of Mathematics Teacher Education. Medley, Donald M. & Harold Mitzel (1963).
Springer. Measuring classroom behavior by system-
Hill, H. C., Blunk, M., Charalambous, C., atic observation. Gage, N.L. Ed. Handbook
Lewis, J., Phelps, G., Sleep, L., et al. of Research on Teaching. Chicago. Rand
(2008). Mathematical Knowledge for McNally, pp. 247-328.
Teaching and the Mathematical Quality of MET Project (2010a). A Composite Measure
Instruction: An Exploratory Study. Cogni- of Teacher Effectiveness. MET Project Re-
tion and Instruction, Vol. 26 (4): 430-511. search Paper. Bill & Melinda Gates Foun-
Hill, Heather C., Stephen G. Schilling y dation.
Deborah L. Ball (2004). Developing meas- MET Project (2010b). Danielson’s Frame-
ures of teachers’ mathematics knowledge work for Teaching for Classroom Observa-
for teaching. Elementary School Journal, tions. Bill & Melinda Gates Foundation.
Vol. 105: 11-30. MET Project (2010c). Learning about
Koziol, S. M. & Burns, P. (1986). Teachers' Teaching: Initial Findings from the Meas-
accuracy in self-reporting about instruc- ures of Effective Teaching Project. MET

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 19


Martínez-Rizo, Felipe (2012). Procedimientos para el estudio sobre las prácticas docentes. Revisión de la literatura.
RELIEVE, v. 18, n. 1, art. 1. http://www.uv.es/RELIEVE/v18n1/RELIEVEv18n1_1.htm

Project Research Paper. Bill & Melinda teaching. En Travers, Robert M. W. Ed.
Gates Foundation. Second Handbook of Research on Teach-
MET Project (2010d). Overview: Teacher ing, pp. 122-183. Chicago: Rand McNally
Observation Rubrics. Measures of Effec- College Publ. Co.
tive Teaching. Teachscape. Rowan, Brian & Correnti, R. (2009). Study-
MET Project (2010e). The MQI Protocol for ing Reading Instruction With Teacher
Classroom Observations. Bill & Melinda Logs: Lessons From the Study of Instruc-
Gates Foundation. tional Improvement. Educational Re-
MET Project (2010f). The PLATO Protocol searcher, Vol. 38 (2): 120-131.
for Classroom Observations. Bill & Rowan, Brian, Camburn, E. & Correnti, R.
Melinda Gates Foundation. (2004). Using teacher logs to measure the
MET Project (2010g). Validation Engine for enacted curriculum: a study of literacy
Observational Protocols. Bill & Melinda teaching in third-grade classrooms. The El-
Gates Foundation. ementary School Journal, 105, 75-102.
Morgenstern, C. & J. P. Keeves (1997). De- Stecher, B., Le, V., Hamilton, L., Ryan, G.,
scriptive scales. En J. P. Keeves, Educa- Robyn, A., & Lockwood, J.R. (2006). Us-
tional research, methodology & measure- ing Structured Classroom Vignettes to
ment, 900-908. Oxford: Elsevier Measure Instructional Practices in Mathe-
NCCTQ (2011). Guide to teacher evaluation matics. Educational Evaluation and Policy
products. National Comprehensive Center Analysis, Vol. 28 (2): 101-130.
for Teacher Quality. Recuperado el 18 de Stigler, James W., Gallimore, R. y Hiebert, J.
enero de 2011, de www.tqsource.org. (2000). Using Video Surveys to Compare
Pianta, Robert C. & Hamre, Bridget K. Classrooms and Teaching Across Cultures:
(2009). Conceptualization, Measurement Examples and Lessons from the TIMSS
and Improvement of Classroom Processes: Video Studies. Educational Psychologist,
Standardized Observation Can Leverage Vol. 35 (2): 87-100.
Capacity. Educational Researcher, Vol. 38 Sudman, S. & N. M. Bradburn (1987). Ask-
(2): 109–119 ing questions. A practical guide to ques-
Porter, Andrew C., Youngs, P. & Odden, A. tionnaire design. San Francisco: Jossey-
(2001). Advances in teacher assessments Bass.
and their uses. En Virginia Richardson De Vellis, Robert F. (1991). Scale develop-
(ed.), Handbook of Research on Teaching, ment. Theory and applications. Applied
pp. 259-297. Washington: AERA. Social Research Methods Series, Vol. 26.
Rogosa, D., R. Floden & J. B. Willet (1984). Newbury Park: Sage.
Assessing the stability of teacher behavior. Wolf, R. M. (1991). Cuestionarios. En T.
Journal of Educational Psychology, 76, Husén y T. N. Postlethwaithe (Eds.), Enci-
1000–1027. clopedia Internacional de la Educacion,
Rosenshine, Barak & Norma Furst (1973). Vol. 2: 1002-1006. Barcelona: Vicens Vi-
The use of direct observation to study ves.

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 20


Martínez-Rizo, Felipe (2012). Procedimientos para el estudio sobre las prácticas docentes. Revisión de la literatura.
RELIEVE, v. 18, n. 1, art. 1. http://www.uv.es/RELIEVE/v18n1/RELIEVEv18n1_1.htm

ARTICLE RECORD / FICHA DEL ARTÍCULO

Reference / Martínez-Rizo, Felipe (2012). Procedimientos para el estudio sobre las prácticas docentes. Revisión de la litera-
Referencia tura. RELIEVE, v. 18, n. 1, art. 1. http://www.uv.es/RELIEVE/v18n1/RELIEVEv18n1_1.htm
Title / Procedimientos para el estudio sobre las prácticas docentes. . Revisión de la literatura. [Procedures for study of
Título teaching practices. Literature Review].
Authors /
Martínez-Rizo, Felipe
Autores
Review /
RELIEVE (Revista ELectrónica de Investigación y EValuación Educativa), v. 18, n. 1
Revista
ISSN 1134-4032
Publication
date /
2012 (Reception Date: 2011 November 11 ; Approval Date: 2012 May 23. Publication Date: 2012 May 23).
Fecha de
publicación
Interest in studying teaching practices has increased, because of the need to evaluate teachers and dissatisfac-
tion with the usual ways of doing it. Recent approaches with Value-Added Models, based on students’ results on
achievement tests do not seem satisfactory. The article is based on a review of literature and classifies the ap-
proaches to practices in three groups: instruments based on information given by teachers; observation proto-
cols; and approaches based on the analysis of products of the practices. Specific tools are described and advan-
Abstract / tages and disadvantages of the three approaches are discussed.
Resumen El interés por las prácticas docentes ha aumentado, en parte por la necesidad de evaluar a los maestros y la insa-
tisfacción con las formas usuales de hacerlo. Los enfoques basados en Modelos de Valor Agregado según resul-
tados de los alumnos en pruebas estandarizadas tampoco satisfacen. Con base en la literatura analizada se clasi-
fican los acercamientos a las prácticas en tres grupos: instrumentos basados en información dada por los maes-
tros mismos, protocolos de observación y acercamientos basados en análisis de productos de las prácticas. Se
describen herramientas particulares y se discuten ventajas y desventajas de los tres tipos de acercamiento.

Teacher Effectiveness; Instructional Effectiveness; Teacher Evaluation; Teacher Surveys; Vignettes; Class-
room Observation Techniques; Portfolios (Background Materials); Classroom Research; Data Collection;
Keywords / Research Tools; Alternative Assessment.
Descriptores Efectividad docente; efectividad instruccional; evaluación de maestros; encuestas de maestros; viñetas; técnicas
de observación en aula; portafolios; investigación en aula; recolección de datos; instrumentos de investiga-
ción; evaluación alternativa..
Institution /
Universidad Autónoma de Aguascalientes (México).
Institución
Publication site
http://www.uv.es/RELIEVE
/ Dirección
Language /
Español & English version (Title, abstract and keywords in English & Spanish)
Idioma

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 21


Martínez-Rizo, Felipe (2012). Procedimientos para el estudio sobre las prácticas docentes. Revisión de la literatura.
RELIEVE, v. 18, n. 1, art. 1. http://www.uv.es/RELIEVE/v18n1/RELIEVEv18n1_1.htm

ABOUT THE AUTHORS / SOBRE LOS AUTORES

Martinez-Rizo, Felipe (felipemartinez.rizo@gmail.com). Licenciado en Ciencias Políticas y Sociales


por Universidad De Lovaina (Bélgica) y profesor en la Universidad Autónoma de Aguascalientes
(México), de la que llegó a ser Rector. Ha sido el fundador (y director desde 2002 hasta 2008) del Ins-
tituto Nacional para la Evaluación de la Educación (INEE) de México . Miembro de la Academia
Mexicana de Ciencias, del Consejo Mexicano de Investigación Educativa (México) y del National
Council for Educational Measurement (USA). Recibió en 2011 un doctorado honoris causa por la
Universidad de Valencia (España). Su dirección postal es Depto. de Educación, Edif. 13. Av. Univer-
sidad N° 940. C. P. 20100 Aguascalientes, Ags. (México). Buscar otros artículos de este autor en

Google Académico / Find other articles by this author in Scholar Google

RELIEVE
Revista ELectrónica de Investigación y EValuación Educativa
E-Journal of Educational Research, Assessment and Evaluation
[ISSN: 1134-4032]
© Copyright, RELIEVE. Reproduction and distribution of this articles it is authorized if the content is no modified
and their origin is indicated (RELIEVE Journal, volume, number and electronic address of the document).
© Copyright, RELIEVE. Se autoriza la reproducción y distribución de este artículo siempre que no se modifique el
contenido y se indique su origen (RELIEVE, volumen, número y dirección electrónica del documento).

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 22


Copyright of RELIEVE - Revista Electrónica de Investigación y Evaluación Educativa is the property of
RELIEVE - Revista Electonica de Investigacion y Evaluacion Educativa and its content may not be copied or
emailed to multiple sites or posted to a listserv without the copyright holder's express written permission.
However, users may print, download, or email articles for individual use.

También podría gustarte