1 DOCUMENTAR LA REALIDAD:

Un diagnstico ajustado de la intervencin educativa1

Antonio Bolvar (Universidad de Granada)

Introduccin
En el ttulo asignado, amablemente, por el coordinador del Seminario, se dice un diagnstico ajustado de la intervencin educativa. La cuestin es ajustado a qu?. Porque ajustar es poner en concordancia dos cosas: accin y norma que deca Aranguren de la moral, o -en nuestro caso- la imagen o informe realizado con lo que sucede en la realidad. Ahora bien, como veremos, lo que sucede en la realidad se puede considerar que es una realidad dada, fija o natural, que puede ser fotografiada; o -por el contrario- que es una construccin social, en cualquier caso, en desarrollo o proceso dinmico, no dada, sino algo a consensuar o construir. En este sentido, un mismo instrumento (por ejemplo, un cuestionario) puede as adquirir distintos significados y usos: reflejar la realidad, o ser un dispositivo o excusa ( surveyfeedback) para que los implicados construyan su propia imagen de la realidad. En cualquier caso, en uno y otro enfoque, se defiende que es preciso, en efecto, un diagnstico vlido (con una adecuada recogida de datos y anlisis posterior), si es que queremos que sea la base de unos planes e intervenciones educativas apropiadas. Esta validez puede ser juzgada por su efectividad a posteriori, viendo si el diagnstico ha servido para mejorar la realidad organizativa y situar debidamente los problemas y caminos de su resolucin. En segundo lugar, en casi todos los centros hay procesos de autoevaluacin informales, de manera espontnea, ligados a acontecimientos particulares. Como tales son poco sistemticos, basados en opiniones, sin suponer un proceso de recogida de informacin (cuantitativa o cualitativa), como base fundamentada para formular juicios acertados. Aqu queremos, por el contrario, hablar del diagnstico como un proceso entroncado con procesos de mejora, tomndolo como un dispositivo de innovacin planificada (Gather Thurler, 2001), que requiere analizar los logros y problemas, apoyados en informaciones que puedan proporcionar juicios pertinentes. No se documenta la realidad por entretenimiento, sino inmersa dentro de un costoso proceso, que reconvierta la escuela en una institucin capaz de resolver sus problemas, lo que requiere su deteccin. Dentro de la orientacin general del Curso (la calidad entendida como confluencia de la eficacia y la mejora interna 2), se situar la necesidad de documentar la realidad mediante el diagnstico como evaluacin institucional, que -para nosotros- incluye tanto la evaluacin externa de resultados (eficacia) como la autorrevisin basada en el centro (mejora). Ambas perspectivas, como explicaremos, responden a dos concepciones de los centros escolares: organizaciones formales, o comunidades construidas socialmente. Aunque se primar una concepcin y prctica del diagnstico dentro de la autoevaluacin para mejora interna (Bolvar,
1

Texto preparado para Ponencia impartida en Curso de Verano de la Universidad del Pas Vasco ( San Sebastin, 5-7 de julio, 2001): Calidad y mejora continua en los centros escolares.
2

La oposicin que existi en otros tiempos entre eficacia vs. mejora, como es sabido, ha confluido ltimamente en una nueva sntesis. La revista School Effectiveness and School Improvement es una muestra significativa; y, en Espaa, la Red Iberoamericana de investigacin sobre Eficacia escolar y Mejora de la Escuela (Ver http:/www.mec.es/cide/rieme/, tambin el monogrfico de Cuadernos de Pedagoga, nm. 300, marzo, 2001). Otro asunto es la Gestin de la Calidad Total, donde la calidad es la satisfaccin en los servicios prestados a los clientes, que hemos criticado (Bolvar, 1999, 2001).

2 1994); se apoyar la conjuncin de sta con el diagnstico ms objetivo de indicadores de eficacia (Nevo, 1997).

El diagnstico organizativo en los procesos de mejora

Se ha considerado que cualquier proceso de mejora debe tener, como punto de partida, un diagnstico de la organizacin (en trminos anglosajones diagnstico organizacional), hasta el punto que un buen tratado sobre el tema (Harrison y Shiron, 1999) comienza afirmando que gran parte de los fracasos en los esfuerzos de cambio se debe a que los gestores y asesores han fracasado en diagnosticar las necesidades y en examinar los caminos realizables de cambio. En su origen, aplicado a las organizaciones, fue el Desarrollo Organizativo el que situ como dispositivo clave de mejora el diagnstico. Desde entonces, todos los movimientos posteriores (el propio movimiento de mejora de la escuela, aprendizaje organizativo o la gestin de calidad por planes de mejora) lo sitan como primer paso. Incluso los Planes Anuales de Mejora del MEC, herederos de esta tradicin, lo recogan como punto clave de partida del plan de mejora. Y es que una escuela que aprende, en efecto, ha llegado a tener integrado en su funcionamiento procesos de diagnstico (Bolvar, 2000). No obstante, el Desarrollo Organizativo, como es sabido, ha tenido en el tiempo varias reformulaciones. Desde aplicar modelos y mtodos de las ciencias de la conducta para examinar el estado actual de una organizacin y ayudar a los clientes a resolver su efectividad, a su aplicacin a los centros escolares, abandonando el conductismo inicial. As, por tomar a uno de los clsicos del DO, Richard Beckhard (1973) define al Desarrollo Organizativo como un esfuerzo de cambio planificado que implica un diagnstico y el desarrollo de un plan para la mejora progresiva de la Organizacin. Este esfuerzo abarca toda la organizacin, ya que la idea es trabajar como un ente completo y relativamente autnomo que pueda determinar sus planes y su futuro. El diagnstico, como primera fase en el DO, segn Beckhard, supone examinar y observar dos reas generales: (a) Diagnstico de los subsistemas que componen el sistema organizacional total (diferentes departamentos o grupos); y (b) Diagnstico de los procesos organizativos que estn efectundose (comunicaciones, estilos, manejo de conflictos, mtodos de planificacin) Como, en su momento, hacindose eco del DO aplicado al desarrollo y mejora de la escuela, sealaba Mara Teresa Gonzlez (1992), representa un momento en el que la escuela y sus miembros, se implican en un proceso de explorar reflexiva y colaborativamente donde se est, por qu, valorar la situacin y determinar hacia dnde ir de cara a mejorar la vida organizativa y pedaggica del centro. En efecto, se trata de chequear, con un cierto grado de sistematicidad, la propia situacin (el estado de salud de la organizacin, se deca en el DO), como base de partida inicial de un proceso de mejora. Desde un punto de vista por el que nos vamos a mover preferentemente, Saxl, Miles y Lieberman (1989: 2-4) dicen: El diagnstico organizativo se refiere al proceso de analizar un determinado contexto organizativo y a formarse una imagen vlida de sus necesidades y problemas como base para la accin. Al igual que la evaluacin de centros en general, el diagnstico -como seala Joan Mateo (2000: 162)- ha de atender dos perspectivas bsicas: (a) Una descripcin evaluadora de la situacin y de los resultados actuales, dentro de la tensin entre los objetivos y las condiciones y circunstancias locales; y (b) Una apreciacin de los procesos y de la dinmica del desarrollo en la cual se inscribe el centro.

Dos marcos de entender (y hacer) el diagnstico

El asunto es qu entendemos por conocer la realidad diagnosticada. Los marcos tericos de partida condicionan los modos, instrumentos y estrategias de diagnstico (Harrison y Shirom, 1999). Si se parte de que la realidad escolar no es una organizacin formal, externamente constituida, esto requiere que sea socialmente construida por procesos de interaccin entre sus miembros en el contexto de trabajo, como defiende Gonzlez en el trabajo citado. En este caso, lo que importa, es -primariamente- cmo la realidad escolar es vivida, percibida, interpretada o valorada por los propios actores, como clave del inicio de un proceso de mejora. En este sentido el diagnstico se ha asimilado a autorevisin de la escuela ( school based review), que busca -como meta ltima- institucionalizar la capacidad de accin coordinada y mejora. En este caso, cuenta tanto el clima creado entre los actores (en el sentido de apropiacin del proceso) como el propio resultado del diagnstico. Pero, tambin, cabe entender que el centro escolar da lugar a unos resultados determinados, que pueden ser externamente regulados, y -en este caso- el diagnstico ser sensiblemente distinto: tcnico versus participativo. El primero parte de instrumentos elaborados por expertos, con sus correspondientes variables o indicadores, que permitan situar a unos centros en comparacin con otros, o en cualquier caso diagnosticar la mejora producida. De este modo, se pretende evitar los prejuicios propios de la subjetividad de los actores. Ms que la especificidad de la escuela, importa la comparabilidad, lo que supone una cierta estandarizacin de indicadores. Desde esta perspectiva, se reprocha al modelo participativo justo su virtualidad: falta de rigor al reposar enteramente en las representaciones de los actores, que pueden ser errneas o interesadas. Desde un enfoque tcnico la mejora ha de asentarse sobre la medida objetiva de variables (de entrada, proceso y salida). Adems, aaden, la mejora de las relaciones entre los profesores por medio de la autoevaluacin no tiene por qu repercutir en el incremento de eficacia en el funcionamiento de la escuela. Aunque el conocimiento del evaluador interno puede ser mayor que el externo, sin embargo -se ha dicho- puede que no sea objetivo, como un agente evaluador externo. As, Pedro Municio (2000) an reconociendo ms valor que la evaluacin externa practicada por la administracin, seala que este tipo de evaluacin tiende a difuminar los problemas, a resaltar los aspectos positivos y a poner el nfasis en los datos en los que estn interesados los miembros de los equipos de evaluacin y los directivos de la institucin. Por su parte, desde el modelo participativo, se pondr en cuestin que la metodologa cuantitativa pueda aprehender la dinmica de lo que realmente importa. Se criticar, igualmente, que la regulacin y el control pueda ser la va adecuada para la mejora; al preocuparle principalmente rendir cuentas a instancias superiores. En lugar de interesar aqu las caractersticas tcnicas del diagnstico, importarn los factores estratgicos (como la capacidad para ponerse de acuerdo sobre lo que importa en un asunto) y organizativos (como buen clima o relaciones). El diagnstico no versa primariamente sobre la mejora producida, aunque no la excluye, sino que se concibe l mismo como un proceso de mejora. Como observan Jean-Louis Derouet e Ives Dutercq (1996: 169), no se trata slo de un enfoque cuantitativo vs. cualitativo, sino de una divergencia epistemolgica ms fundamental. La evaluacin de la eficacia de un centro escolar presupone que el centro existe como realidad social, y que es una realidad social lo suficientemente importante como para influir en los resultados de los alumnos. Pero esto es presuponer demasiado. Un voluntarismo poltico no puede convertir los centros educativos, viejas unidades administrativas, en proyectos conjuntos de accin. Por eso no es seguro que las diferencias constatadas entre centros se correspondan con unas diferencias de identidad profundas entre ellos. Pueden, ms bien, ser el efecto de

4 aglomeraciones aleatorias de comportamientos individuales que no tienen que ver con el centro como unidad. Hay un riesgo natural de convertirlo en artefacto, atribuyendo regresivamente lo que sucede al centro como unidad. Slo cuando se vaya logrando una coordinacin de la accin podremos hablar, con conocimiento, de "efecto centro". Pero esta coordinacin progresiva no puede ser "medida" como en una foto fija, ms bien cabe narrarla por los implicados. Frente a este enfoque, la autorrevisin supone que el centro como unidad social debe ser construido, antes de concluir en su efecto. El propio proceso de autoevaluacin es, al tiempo, un proceso de construccin social de lo que sea el centro, puesto que no es una realidad ya dada. Es cierto, comentan Derouet y Dutercq (pg. 170), que necesita ms tiempo, pero nos parece cientficamente ms seguro. Desde esta perspectiva, como un tanto enfticamente ha dicho Gather Thurler (1994), la eficacia de un centro no se mide: se construye, se negocia, se practica y se vive. Resulta, entonces, de un proceso de construccin por los actores concernidos. En este caso, podemos afirmar que el sentido del diagnstico se construye, no es un dato de partida; en segundo lugar, se construye a partir de una cultura o conjunto de valores y de representaciones; y -en tercero- se construye en situacin, en una interaccin y relacin de los actores del centro.En ltimo extremo, la eficacia que cuenta (es decir, que cuenta de cara a la mejora posterior), es resultado de un proceso de construccin, por los actores concernidos, de una representacin de los objetivos y de los efectos de su accin comn. La eficacia no se define desde el exterior: son los miembros de un centro quienes, por etapas sucesivas, definen y afinan su contrato, sus finalidades, sus exigencias, sus criterios de eficacia y, al fin y al cabo, organizan su propio control continuo del progreso, negociando y poniendo en obra las regulaciones necesarias (Gather Thuler, 1994). En definitiva, la doble perspectiva del diagnstico responde, en ltimo extremo, a la doble perspectiva de la evaluacin del centro: control administrativo y mejora interna, como denominamos en su momento (Bolvar, 1994). Si bien, un tanto ingenuamente, cabe oponerse a todo tipo de evaluacin que pretenda el control; es preciso reconocer la necesidad de que los centros pblicos respondan del servicio educativo que ofrecen y de los resultados alcanzados. Como seala Mateo (2000: 43), el control es responsabilidad exclusiva del poder legtimamente constituido, y su misin consiste en posibilitar el mantenimiento de la organizacin a travs del equilibrio entre norma (expectativa social) y su realizacin individual. (...) La accin conjunta de ambos factores (evaluacin y control) debe gestionarse desde el marco de un modelo evaluativo. La dificultad de generar, formalizar y operativizar un modelo evaluativo reside sobre todo en la capacidad de lograr un sistema justo y eficiente que relacione adecuadamente evaluacin y control. La orientacin a la evaluacin de los resultados, y el enfoque orientado a la mejora. Mientras el primero exige informacin clara y fiable de la consecucin de determinados objetivos, el segundo supone la implicacin del profesorado en orden a su desarrollo profesional y organizativo. Los modelos participativos se caracterizan por posibilitar e incentivar la intervencin y la implicacin de las personas y los grupos que conforman la organizacin en la toma de decisiones que conforman la organizacin en la toma de decisiones que afectan a la tarea evaluativa a realizar: delimitacin de objetivos, establecimiento de planes de accin, distribucin de funciones, anlisis de la informacin, establecimientos de juicios de valor, generacin de decisiones de mejora, seguimiento, etc. La participacin del profesorado en los procesos de evaluacin no se ha de entender nicamente como una estrategia de gestin, sino que presenta un valor formativo intrnseco (Mateo, 2000: 95). Y es que, como dice el mismo autor (p. 44), en nuestra actual coyuntura postmoderna, ms que pretender un conocimiento evaluativo universalmente objetivo, se persiguen interpretaciones valorativas de la realidad elaboradas por la gente que tendr que compartir las decisiones y sobre todo las consecuencias

5 derivadas de las mismas La tesis que voy a defender, en primer lugar, al hilo de la convergencia entre estos dos movimientos (eficacia y mejora de la escuela), ser que un diagnstico de los centros debe conjuntar: (a) Dar cuenta de la eficiencia en los recursos como de la eficacia en el logro de resultados; y (b) servir como un proceso de mejora de la propia organizacin. En este sentido pueden ser complementarias una evaluacin externa y una autoevaluacin institucional, an cuando para que este dilogo (Nevo, 1997) pueda tener lugar, es preciso generar antes procesos de autorrevisin. De lo contrario ser imposible que la evaluacin externa pueda incidir significativamente en la mejora interna, siendo percibida como un control.

Un marco amplio del diagnstico de la escuela

El diagnstico o autorrevisin forma parte, como ya hemos indicado, de un proceso de mejora de la escuela, no de las necesidades especficas de los profesores individuales. Como tal es parte de dicho ciclo que supone, entre otros, recogida de datos, anlisis, disear los planes del cambio, planificar las intervenciones, llevarlas a cabo y evaluarlas. En su momento, Saxl, Miles y Lieberman (1989) sealaban que la recoleccin de datos, no se hace en el vaco, est condicionada por la comprensin de las escuelas como organizaciones (estructuras burocrticas o en colaboracin), as como -muy especialmente- por el marco conceptual de actores y asesores, que conlleva las dimensiones y mbitos que componen la organizacin, que determinarn lo que haya de ser objeto de diagnstico. La metodologa (formal o informal) en la recogida de datos (entrevistas, cuestionarios, observaciones, anlisis de documentos, etc.), conduce a las estrategias para su recogida, que debern ser planificadas. (quin se va a responsabilizar?, cmo se va a proceder?, cuntos datos se van a recoger?, etc.). Acumulada la informacin, los dos procesos paralelos son: (a) Hacer el diagnstico propiamente dicho: identificar las dimensiones y problemas, lo que precisa ser cambiado, por qu ocurren ciertas cosas, etc.; y (b) Compartir el diagnstico: en primer lugar llegando a una percepcin y comprensin comn entre los actores, as como con otros (directivos, inspectores, asesores o administracin), precisamente como base para la accin, si es que no estamos en un ejercicio acadmico. Planificar la accin: conjunto de actividades o intervenciones dirigidas a corregir los problemas, responder a las demandas, mejorar lo que se muestra que no coincide con lo deseado. Este diagnstico, como proceso de mejora, forma parte de una cierta cultura de evaluacin del centro escolar. Dentro del Proyecto Europeo de evaluacin de la calidad 3, desarrollado de 1997-99, se expone la necesidad de que el diagnstico sea compartido por todos los afectados. Los distintos pasos en la recogida de datos han de ser negociados e interpretados, tendiendo a una percepcin compartida y validada por los interesados. De ah que la participacin en el proceso de toma de decisiones debe ser lo ms amplia posible, prestando atencin a los diversos puntos de vista implicados.

El diagnstico en un proceso de mejora

La autoevaluacin institucional es un proceso iniciado en el centro escolar, llevado a cabo por el profesorado del centro, con el propsito de encontrar respuestas a sus problemas. Por eso, el primer momento es el diagnstico de la situacin del centro e identificacin de
3

MacBEATH, J., MEURET, D. y SCHRATZ, M. (1997): Gua practica de autoevaluacin. En: [Consultado 5-05-01)

6 necesidades, para generar desde dentro las propuestas de accin dirigidas a la mejora. La autoevaluacin institucional est inscrita en un proceso ms amplio de reconstruccin cultural de la escuela y de los modos de trabajar y hacer escuela del profesorado. Para no reducirla a una cuestin administrativa, requiere planificar conjuntamente acciones de desarrollo de la escuela, en las que hay que legitimar, justificar, y consensuar las opciones de mejora que se van a tomar. Justo en la movilizacin de ideas y acciones se conjuntan la evaluacin y desarrollo del currculum y la formacin del profesorado. Si no es posible reducir el proceso de cambio a procedimientos racionales, tampoco este suceder si los actores no comparten desde el comienzo un mnimo de representaciones comunes en cuanto a prioridades y estrategias. Fullan y Miles (1992) hablan de mapas estratgicos, que debern ser lo suficientemente precisos como para permitir visualizar los diferentes caminos y lo suficientemente abiertos para poder ser alcanzados con distintos procedimientos. No son, pues, estables, ni inmutables; debern irse construyendo en un proceso de negociacin de los agentes. El sentido del cambio y de la visin del fin se reconstruye en el tiempo, en las interacciones y experiencias, que debern ser identificadas y articuladas colegiadamente. El diagnstico, como revisin interna basada en la escuela, no queda como un momento especfico o fase especfica terminal (aunque no se excluye, e incluso sea necesario tras determinados perodos hacer un balance de lo conseguido o por hacer, como evaluacin de la mejora), est inmersa en todo el proceso de desarrollo, para potenciar el propio cambio, como actitud permanente del grupo o institucin por supervisar y valorar lo que se est haciendo. Una primera fase de autorrevisin es el diagnstico organizativo inicial (evaluacin para la mejora). Este diagnstico previo (detectar necesidades y problemas), una vez sea compartido por el grupo, debe inducir a establecer planes futuros para la accin (mejora escolar). Pero, sobre todo, la evaluacin va inmersa en "espiral" en el propio proceso de desarrollo (evaluacin como mejora), se van revisando y recogiendo informacin colegiadamente sobre la puesta en marcha de los planes de accin, qu va pasando, de qu forma y por qu, identificando problemas y necesidades, revisando y planificando sucesivamente lo que se ha hecho o se debiera/acuerda hacer. En las experiencias de diagnstico orientado a la mejora se pone de manifiesto que es preciso crear un Grupo coordinador interno, adems del necesario asesoramiento o apoyo externo (al menos en sus primeros pasos), que vaya dinamizando el proceso as como sirviendo de puente entre el profesorado y el asesor externo. En cualquier caso, tampoco es cuestin de hacer del diagnstico un proceso interminable, que puede abocar, como sealaba Karen Louis (1992), a morir por el diagnstico; es decir, en gastar tal cantidad de energas, que por su carcter introductorio, sin traduccin prctica, pueda llevar a frustrar a los participantes. Cuando inmediatas acciones son requeridas, dilatar en exceso el proceso, aduciendo que hasta que no se haga un buen diagnstico, no se pueden tomar decisiones, puede ser frustrante. Por eso, en estos casos, es preciso moverse entre dar respuesta a los problemas que no pueden esperar, e iniciar un plan de analizar y diagnosticar ms ampliamente la situacin del centro, como base de acciones de ms largo alcance.

El proceso de diagnstico orientado a la mejora

1. Iniciacin: Clarificar la naturaleza y el propsito del diagnstico . Crear condiciones para iniciar el proceso de revisin: colaboracin, implicacin y compromiso inicial, mbitos y dimensiones del diagnstico (general y especfico). 2. Planificar la fases de diagnstico. Tiempos y espacios para su realizacin, personas que van a participar, papel y responsabilidades en la recogida de datos, modos y formas de anlisis. 3. Recogida de datos. Procedimientos para recoger (cuestionarios) e informales (dilogo, grupos de trabajo, etc). datos: formales

4. Anlisis de los datos del diagnstico . Anlisis como paso para la planificacin de las correspondientes acciones de mejora. Tener y compartir una buena descripcin del estado actual de la escuela. Dispositivo para que centro reflexione sobre su realidad, explicitando y sistematizando una comprensin comn de la situacin. 5. Autorrevisin institucional: Formara la ltima etapa del diagnstico propiamente dicho, pero -al formar parte de un proceso- enlazara con toda la autorrevisin, que comprendera: (A) Identificacin de reas y mbitos en que se han alcanzado logros, y aquellos otros necesitados de mejora. Determinar el banco de problemas de la organizacin, as como clasificarlos y categorizarlos (por ejemplo, con tcnicas como diamante). (B) Focalizarse, con un anlisis ms detenido o profundo, en aquella rea priorizada de mejora. No todos los problemas, por lo general, pueden solucionarse al tiempo. Es mejor concentrarse en uno, consensuado, sobre el que focalizar un diagnstico especfico. (C) Determinar las posibilidades de solucin, as como las barreras/resistencias (por ejemplo, con anlisis de fuerzas). Exige entrar en condiciones que han originado los problemas detectados, as como los medios/recursos con que contamos, y acciones a desarrollar para posibilitar su solucin (D) Propuesta de un plan inicial de accin.

Importa destacar aqu, como haca Mara Teresa Gonzlez (1992), que todo instrumento o procedimiento para el diagnstico ha de llevar detrs una concepcin de la escuela como organizacin educativa, por lo que cualquier procedimiento que se utilice para realizar un diagnstico escolar, ha de explorar las diversas dimensiones y componentes del centro. Un cuadro de los elementos o dimensiones escolares suele estar presente -a modo de gua- en toda realizacin de actividades del diagnstico As, si distinguimos: entorno, cultura, procesos, estructura, relaciones, enseanza-aprendizaje, cada una generar apartados en los instrumentos de diagnstico. Sirva tambin como ejemplo, difundido entre nosotros (aunque de corta vida), el Modelo Europeo de Gestin de Calidad da lugar en la Gua y Cuestionario de Autoevaluacin a dedicar dimensiones dirigidas a cada uno de los criterios: Liderazgo, Planificacin y estrategia, Gestin de personal, Recursos, Procesos, Satisfaccin del cliente, Impacto en la Sociedad, y Resultados del centro educativo.

Diagnstico externo e interno: Su conjuncin en la

evaluacin institucional
Se pueden distinguir dos grandes tipos de diagnstico-evaluacin, dependientes quienes y desde qu perspectiva la realizan: (1) Evaluacin externa: Realizada por agentes externos, normalmente con metodologa cuantitativa, para ver el grado de implementacin y facilitar el desarrollo; y (2) Autoevaluacin institucional: Realizada por los que estn trabajando en la innovacin, con estrategias basadas en la realidad institucional de los centros escolares, como la Revisin Basada en la Escuela. A su vez, se puede entender la evaluacin institucional como un proceso que integra la evaluacin externa y la interna o autoevaluacin, considerando que es una tarea absolutamente prioritaria dicha conjuncin. Laevaluacin institucional, como define el Consejo Superior de Educacin de Canada (1999), supone un proceso de revisin continuo y concertado por parte de los actores concernidos, para analizar y valorar, en todo o en parte, cmo est siendo realizada la misin educativa del centro o de una parte del mismo, con el fin de ir reajustando al contexto, fundamentar la toma de decisiones y rendir cuentas a la sociedad. Es clarificadora tambin la formulacin que hace Joan Mateo, recogida en el Cuadro adjunto.. La evaluacin institucional como integracin de perspectivas
La evaluacin interna constituye un estrategia de autorregulacin absolutamente necesaria para la generacin de compromiso entre el centro y su propia bsqueda de calidad y es un elemento clave de desarrollo institucional; sin embargo, precisa del enfoque externo, no tan slo porque le confiere credibilidad al someter a constrate el interno, sino tambin porque lo retroalimenta con nueva informacin evaluativa obtenida por otros medios, le somete a un anlisis ms diverso y plural y evita en definitiva la prdida de referentes que lo conduzcan a una exagerada subjetividad. Por su parte, la evaluacin externa necesita ser substanciada desde la interna, sta le aporta significado a sus procesos y evita su desarraigo. La evaluacin institucional trata de conjugar ambas perspectivas y aunarlas en un objetivo comn: la gestin eficaz y eficiciente de la calidad educativa en el marco globalizador e integrador de la institucin. La evaluacin institucional constituye en definitiva un espacio interrelacional nuevo, donde se produce la fusin de ambas percepciones, hecho que se traduce en una importante aportacin de valor aadido en trminos de comprensin de la realidad educativa evaluada y es favorecedora de los procesos de desarrollo institucional y de mejora de la gestin de la calidad (Mateo, 2000: 176).

As la necesidad para un centro pblico de dar cuenta de sus propios resultados se combina con rendirse cuenta de sus propios avances, para tomar medidas a nivel local. El diagnstico externo (unido, a menudo, con procesos de evaluacin externa, ligados a eficacia) se combina con el diagnstico interno (ligado a autoevaluacin y mejora de la escuela). Como dicen Meuret y Morlaix-Aubriet (2001): los dos modelos no se excluyen forzosamente. Uno puede pensar que un anlisis global de los resultados acadmicos de la escuela pueda ser acompaado por grupos de discusin sobre las relaciones entre profesores y alumnos. Se puede imaginar que los resultados de un cuestionario tcnicamente irreprochable alimenten discusiones profundas entre los concernidos. Se puede pensar que la cualidad de una encuesta influir sobre la cualidad de las discusiones. Pero el verdadero asunto es cmo (en qu condiciones) pueden de modo realista llegar a

9 ser compatibles, e incluso potenciarse mutuamente; porque , en el estado actual de la evaluacin de centros en Europa, es menos la complementariedad de estos modelos cuanto su concurrencia, lo que suele importar (Meuret y Morlaix-Aubriet, 2001). Lo que suele conllevar ms a un enfrentamiento que a una complementariedad. El evaluador externo puede adoptar la posicin de mediador, amigo crtico, agente de cambio y dinamizador, etc. es decir se gua por un conjunto de valores que pretenden ser educativos, en lugar de instrumentales, para los implicados, contribuyendo a hacer explcito un dibujo ms claro de la institucin y de lo que significa su trabajo en el conjunto ms amplio de las prcticas sociales (MacBeath, 1999), como primer paso para la reflexin conjunta sobre lo que se hace, se debera hacer o sera legtimo lograr.

Conjuntar diagnstico externo e interno

Si bien cabe justificar la legitimidad, e incluso necesidad, de una evaluacin externa de los centros escolares y del sistema educativo, como obligacin de dar cuenta de en qu grado funciona como servicio pblico; hay razonables dudas sobre cmo estos informes de evaluacin puedan contribuir a una mejora interna de los centros y del propio proceso de Reforma, a menos que vayan acompaados de un conjunto de condiciones y procesos. Se plantea la necesidad de conjugar una evaluacin externa con una autoevalucin . El problema sigue siendo, como matrimonio mal avenido, cul (evaluacin externa/interna) deba tener prioridad, cmo compatibilizar ambas, y de qu modo una no ahogue o anule a la otra. Un buen ejemplo espaol lo proporciona El Plan EVA de evaluacin de centros, que pretenda impulsar como evaluacin externa y formativa, al tiempo los procesos de autoevaluacin y mejora interna de los propios centros, no puede conseguir lo segundo, cuando no logra el compromiso e implicacin de los propios centros. Una evaluacin externa con carcter general para todos los centros, que no quiere ser evaluacin de resultados, sino impulsar la autoevaluacin de los centros con el fin de mejorar la calidad de enseanza que en ellos se imparte, y que no contempla explcitamente promover previamente una cultura de autoevaluacin, est condenada a fracasar. Por esta razn, y por las nuevas orientaciones (gestin por la calidad) en el Ministerio de Educacin, despus de cinco cursos se decidi suprimirlo en el curso 1996-97, para poner en marcha en su lugar los planes anuales de mejora y la gestin por la calidad. De esta manera, en lugar de aprender de la experiencia, despus de una gran inversin de esfuerzos (Lujn y Puente, 1996), como viene a ser tradicional en la poltica educativa, se paraliza sin plantear nada a cambio. En una reciente revisin David Nevo (1997) defiende que "evaluacin basada en la escuela" puede ser concebida como sinnima de "evaluacin interna", pero no como antnimo de "evaluacin externa", pues puede de hecho darse una combinacin de ambas. La tesis principal defendida por Nevo, a partir de sus experiencias, es que la evaluacin basada en el centro, no tiene por qu oponerse a evaluacin externa, es ms para mutuo enriquecimiento deben ser complementarias. Cada una puede tener ventajas para ciertos propsitos: evaluacin interna para una evaluacin formativa y para proveer feedback para la mejora, y la externa para una evaluacin sumativa, proporcionando informacin sobre rendimiento de cuentas o resultados de unos centros comparados con otros. La propia evaluacin externa puede verse favorecida en su realizacin cuando se apoya en los informes previos realizados en el seno de un proceso de autoevaluacin. Todo ello a condicin de dejar de usar la evaluacin como una fuente de coaccin e intimidacin, y empezar a utilizarla como la base del dilogo entre centros, profesores y directores, y el resto del sistema educativo y de la sociedad en general.

10 Un centro escolar que no cuenta con ningn mecanismo interno para su autorrevisin, tendr dificultades para sacar partido, en un dilogo constructivo, a cualquier informe de evaluacin externa. En estos casos la evaluacin externa engendrar actitudes defensivas y ser percibida como un intento de controlar el funcionamiento del centro y un atentado contra la autonoma profesional, lo que en nada contribuye a la mejora. Por eso, seala Nevo (1997), los que estn interesados en la evaluacin sumativa externa deberan animar a los centros a desarrollar mecanismos de evaluacin interna, no para sustituirla sino para hacerla ms eficaz. Normalmente la evaluacin institucional es una condicin prioritaria para que una evaluacin externa contribuya a la mejora interna, al contar con procesos para sacar partido a los informes de evaluacin, en "un proceso recursivo de autoreflexin, autocrtica, autocorrecin y autorenovacin" (Darling-Hammond, 1994).

11

Qu ha dado de s la autoevaluacin?
Meuret y Morlat-Aubriet (2001), en una evaluacin de lo que ha dado de s los procesos de autoevaluacin en 100 centros escolares europeos, dentro de un Proyecto piloto sobre mejora de la calidad de la enseanza escolar, sealan que si bien todos los centros y profesorado prefieren la autoevaluacin a la evaluacin externa, a la hora de valorar los efectos, slo la mitad reconoce que -de hecho- ha mejorado la enseanza. Estamos en un momento de reconceptualizacin crtica de lo que ha dado de s el movimiento de mejora (donde se inscribe el diagnstico de los propios interesados). Esto ha motivado por una parte el acercamiento, cuando no conjuncin, con la orientacin de eficacia escolar, eso s debidamente reformulada por la propia mejora; por otra, a poner en primer plano el incremento de los niveles de aprendizaje de los alumnos o el valor aadido proporcionado por el centro. As de la RBE, como estrategia identificadora de la mejora de la escuela, deca ahora Hopkins (Hopkins y Lagerweij, 1997: 88-89) que, si bien ha servido para que la escuela identificase prioridades para un desarrollo futuro, su repercusin en la eficacia escolar ha sido muy limitada, al no entrar en cmo implementar el desarrollo de cambios selectivos en un perodo dado de tiempo. A mitad de los noventa comienzan crecientes sntomas de que dicha labor conjunta no est incidiendo como se esperaba suficientemente en el aprendizaje de los alumnos. Las iniciativas desde el propio centro no son, en cualquier caso, una panacea. Si ya no se puede, definitivamente, confiar en iniciativas centrales, tampoco las bottom-up, por s mismas, nos llevan lejos. Es mejor, se dice ahora, dentro de lo que ha dado en llamarse tercera ola, centrarse en aquellas variables prximas al aula, que son las que pueden conducir a la implementacin efectiva, pues en ltimo extremo es lo que los profesores hacen en clase lo que marca la diferencia en los resultados de aprendizaje de los alumnos (Harris y Hopkins, 1999: 258). As, un tanto radicalmente, Hopkins (Hopkins y Lagerweij, 1997: 89) seala que todas las estrategias a nivel de centro empleadas deben ser sometidas a la pregunta crucial: qu relacin existe entre estas estrategias y los resultados de los alumnos?; para responder que si bien pueden ser condiciones necesarias o crear un contexto para mejorar el currculum o la enseanza, no son suficientes, pues por s solas tienen poco impacto directo en el progreso de los alumnos. Para que esto ltimo suceda, deben integrarse o generar modificaciones especficas del currculum o de la enseanza, seala. En esta direccin concluye (pg. 100), de cara al futuro, la segunda sugerencia es volver a centrar la discusin sobre la innovacin y la reforma en los resultados de los alumnos. Si no se hace esto, todo el debate sobre el cambio educativo, la mejora de la escuela y la igualdad social seguir siendo ideolgico, semntico e intil. Es un tanto grave y discutible, pudiendo pensar si est cediendo a lo que es la poltica neoliberal en su pas, y retomando aires gerencialistas antes abandonados. Numerosas evidencias sugieren que el control por el centro del proceso de cambio, no necesariamente afecta o mejora por s mismo los resultados del aprendizaje ni la calidad educativa ofrecida. Muchas veces quedan empantanados, eluden cambios sustantivos en el plano didctico, o slo modifican las estructuras de gobierno y modos de trabajo. Maximizar la mezcla productiva entre responsabilidad y rendimiento de cuentas con el desarrollo e iniciativas de abajo parece ser clave. Como seala David Nevo (1997: 167): Si la evaluacin de un centro es interna y externa a la vez, se convierte en un dilogo para la mejora en vez de en acusaciones externas y defensiva interna.

12

Concluyendo: Del diagnstico al desarrollo de planes de mejora

La recogida sistemtica de datos y su anlisis no tiene otro sentido que emplearla para la mejora del centro. Por eso, una de las condiciones, para que as pueda suceder, es que (Kozlow, 1997) todos los datos recogidos y procedentes de diversas fuentes sean examinados y analizados por la propia escuela. En otro lugar (Bolvar, 1999b) hemos expuesto un modelo de proceso, en que de la revisin y diagnstico del estado actual del funcionamiento del centro escolar, se emprenden acciones de mejora en aquellos aspectos que se consideren prioritarios. En este marco de trabajo, como forma habitual de trabajo, se parte consensuando un "mapa" de logros y necesidades, fruto del autodiagnstico/evaluacin de la situacin del centro, en un compromiso por revisar, concretar y sistematizar nuestras ideas educativas, de modo continuo y en espiral, en un plan de accin, como se aprecia en la Figura 1. En la Figura 1, aparecen cuatro aspectos contextuales precisos, en mayor o menor medida, para que el proyecto pueda funcionar: colaboracin y trabajo en equipo, un proceso evolutivo, un cierto grado de autonoma, y sin duda tambin un compromiso tico por mejorar lo que se hace. El diagnstico escolar se puede constituir as en proceso y plataforma para el desarrollo y mejora interna de la escuela, mediante el desarrollo de proyectos integrados de innovacin y formacin. Determinado y consensuado un mbito de mejora (contenido) se pasara a movilizar recursos (internos y/o externos) que contribuyan a su resolucin, en una bsqueda de soluciones (ideas, mtodos o recursos materiales).Normalmente para que un centro o un grupo de profesores sea capaz de hacer frente a sus mbitos de mejora, y sobre todo para que su fundamentacin sea relevante y legtima, deben verse potenciados por nuevos marcos o ideas pedaggicas, formas de trabajo, etc. Contextualizadas con las demandas y necesidades del centro pueden/deben tener lugar acciones formativas "especficas", a veces coordinadas por agentes externos, que contribuyan a la reconstruccin por los profesores de sus concepciones, mtodos pedaggicos, relaciones escolares, o compromisos con valores educativos.

13

Figura 1: Un modelo de proceso como metodologa de trabajo La elaboracin de planes pedaggicos para la accin supone planificar conjuntamente tanto (a) los procesos de trabajo conjunto que se van a hacer durante la puesta en prctica, como (b) los aspectos de enseanza-aprendizaje con el alumnado en los que se van a focalizar. Esta planificacin se entiende como un proceso que se sita en la reconstruccin de la accin desde su pasado (qu se ha hecho hasta ahora), presente (qu se hace actualmente) y futuro (qu se va a hacer) por parte de los profesores; y que, a su vez, debe quedar abierto a otros desarrollos subsiguientes: puesta en prctica, seguimiento y evaluacin, toma de decisiones encaminadas a su progresiva institucionalizacin Referencias
BECKHARD, R. (1973): Desarrollo organizacional: estrategias y modelos. Bogot: Fondo Educativo Iberoamericano. Tambin en Mxico: Addison-Wesley, 1988 BOLVAR, A. (1994). Autoevaluacin institucional para la mejora interna. En M.A. Zabalza, Reforma educativa y organizacin escolar. Santiago de Compostela: Trculo, pp. 915-944. En BOLVAR, A. (1999): La educacin no es un mercado. Crtica de la "Gestin de Calidad Total, Aula

14
de innovacin educativa, nm. 83-84 (julio-agosto), 77-82. En BOLVAR, A. (1999b): Cmo mejorar los centros educativos. Madrid: Sntesis. BOLVAR, A. (2000): Los centros educativos como organizaciones que aprenden. Promesa y realidades. Madrid: La Muralla. BOLVAR, A. (2001): La calidad en educacin: Qu alternativa tiene la "izquierda", Escuela Pblica, nm. 2 (junio). Revista electrnica ( ) de la Asociacin para la Mejora y Defensa de la Escuela Pblica (AMYDEP) de la Regin de Murcia. CONSEJO SUPERIOR DE LA EDUCACIN (Canada) (1999): Lvaluation institutionnelle en ducation: une dynamique propice au dvelopment. Rapport annuel 1998-99. Qubec. 137 pp. En DARLING-HAMMOND, L. (1994): Performance-based assesment and testing policy, Harvard Educational Review, 64 (1), 5-29. DEROUET, J.-L. y DUTERCQ, Y. (1996): Les tablissements scolaires et leurs efficacits. Elments pour une valuation. Paris: Institut National de Recherche Pdagogique. Centre Paul Lapie. FULLAN, M. y MILES, M.B. (1992): Getting reform right: What works and what doesnt, Phi Delta Kappan, 73, 745-56. GATHER THURLER, M. (1994): L efficacit des tablissements ne se mesure pas: elle se construit, se ngocie, se pratique et se vit, in M. Crahay (d.) Problmatique et mthodologie de lvaluation des tablissements de formation, Bruxelles : De Boeck, pp. 203-224. http://www.unige.ch/fapse/SSE/teachers/perrenoud/mgt_main/pub.html GATHER THURLER, M. (2002): L'autovaluation de l'tablissement scolaire comme moteur du changement, en A. Bouvier : Actes du colloque Rguler, valuer, dcider dans les systmes scolaires (IUFM, Lyon, 6-8 avril 2000). En http://www.unige.ch/fapse/SSE/teachers/perrenoud/mgt_main/pub.html GONZLEZ, M.T. (1992): La autoevaluacin del centro. Documento presentado en el IV Seminario sobre Desarrollo Curricular Basado en el Centro. Sevilla (febrero). HARRIS, A. y HOPKINS, D. (1999): Teaching and learning and the challenge or educational reform. Review, International Journal of School Effectiveness and Scholl Improvement, 10 (2),257-267. HARRISON, M.I. y SHIRON, A. (1999): Organizational diagnosis and assessment. Bridging theory and practice. Thousand Oaks, CA: Sage Publ. HOPKINS, D. y LAGERWEIJ, N. (1997): La base de conocimientos de mejora de la escuela, en D. Reynolds, R. Bollen y otros: Las escuelas eficaces. Claves para mejorar la enseanza. Madrid: Santillana, 71-101. KOZLOW, M. (1997): Using data for school improvement, Orbit (OISE-Toronto), 28 (3), en http:/www.oise.utoronto.ca/orbit/vol28no3/kozlow.html LOUIS, K.S. (1992): Mejora escolar: Estrategias y agentes de apoyo. Seminario de Trabajo (Granada, mayo 1992). Grupo de Investigacin FORCE. LUJN, J. y PUENTE, J. (1996): Evaluacin de centros docentes. El Plan EVA. Madrid: Secretara de Estado de Educacin del Ministerio de Educacin y Ciencia. MacBEATH, J.(1999): Schools must speak for themselves: the case for school self-evaluation . Londres: Routledge.

15
MATEO, J. (2000): La evaluacin educativa, su prctica y otras metforas. Barcelona: ICE/Horsori. MEURET, D. y MORLAIX, S. (2001): Quelques conditions du sucss de lauto-evaluation dun tablissement scolaire: Leons dune exprience lchelle europenne. Journes d tudes La rgulation des systmes educatifs (Paris, 26-27 mars 2001), 10 pp. NEVO, D. (1997): Evaluacin basada en el centro. Un dilogo para la mejora educativa. Bilbao: Mensajero. SAXL, E.R., MILES, M.B. y LIEBERMAN, A. (1998): Assisting Change in Education. A Training Program for School Improvement Facilitators. Trainers Manual. Alexandria: ASCD. (Module 2: Organizational Diagnosis).