LA EVALUACIN EN LA EDUCACIN SUPERIOR MEXICANA ANTONIO GAGO HUGUET* RICARDO MERCADO DEL COLLADO**

* Director General del Centro Nacional de Evaluacin para la Educacin Superior (CENEVAL). ** Secretara de Educacin Pblica. Subsecretara de Educacin Superior e Investigacin Cientfica (SEP-SESIC). Contenido del artculo: INTRODUCCIN PRIMERA PARTE: LOS CRITERIOS DE CALIDAD Los cinco ejes esenciales El criterio de eficacia El criterio de la eficiencia Criterios operativos y criterios esenciales El eje de la pertinencia La trascendencia de un programa educativo La equidad de un programa SEGUNDA PARTE: PRINCIPALES PROGRAMAS DE EVALUACIN EN MXICO La CONAEVA (Comisin Nacional de Evaluacin para la Educacin Superior) Sistema Nacional de Investigadores (SIN) Padrn de Programas de Posgrado de Excelencia para Ciencia y Tecnologa Programa de estmulos al desempeo docente Fondo para Modernizar la Educacin Superior (FOMES) Comits Interinstitucionales para la Evaluacin de la Educacin Superior (CIEES) Evaluacin nacional de los estudiantes Acreditacin de programas Los efectos inmediatos Una precisin necesaria Expectativas ms inmediatas ANEXO 1 NOTAS

INTRODUCCIN Contenido

El catlogo de principios acciones y lneas de poltica en relacin al desarrollo

social y econmico de nuestras comunidades incluye invariablemente, desde fecha inmemorial, un conjunto de afirmaciones que tienen como propsito comn el vincular a la educacin con dicho desarrollo. Los efectos de la educacin en la calidad de vida de una comunidad son tan evidentes que forman parte de esa sabidura "natural" que los grupos humanos pasan de generacin en generacin. Slo en los grupos marcadamente primitivos y rezagados se subestima o ignora la importancia y trascendencia que tiene educar a los integrantes del grupo social. No obstante la evidencia de tales vnculos entre la educacin y el desarrollo social, nuestras naciones an presentan casos y viven lapsos en los cuales es clara la incongruencia entre un discurso vigoroso en favor

de la educacin y una accin dbil o ineficaz. Unas veces por imposibilidad econmica y otras por una incapacidad tcnica que puede tener orgenes muy remotos. Desde el colonialismo primitivo hasta el telemtico y satelital, y desde el presupuesto de una "economa de guerra" hasta la corruptela ms rudimentaria de un intendente escolar le han llegado a la educacin los atentados y tambin las explicaciones y "justificaciones" de su rezago. Los retos para la educacin siguen siendo enormes, quiz no para todos los pases, pero ciertamente para las naciones latinoamericanas. Este documento trata acerca de uno de esos retos: lograr que la educacin sea de buena calidad. El tratamiento se hace, casi exclusivamente, en cuanto a lo que sucede en Mxico en el momento presente, digamos los ltimos diez aos, y con particular nfasis en la educacin superior. Por qu destacar este propsito tan poco novedoso? Si la educacin ha ser un factor del desarrollo econmico y social en una nacin; si la educacin -o la sola instruccin- ha de ser un determinante en la calidad de vida de una persona, entonces la educacin ha de ser no slo un servicio pblico de fcil alcance para el universo de la poblacin, sino una funcin social permanente de buena calidad. Slo as es efectivo ese servicio. Educacin para todos s, no hay duda; pero, la misma clase o modalidad de educacin para todos? No, pues la poblacin es diversa; pero en cada caso la educacin ha de ser de buena calidad, cualquiera que sea el nivel, modalidad o tipo de educacin que se ofrezca. La oportunidad de educarse que una sociedad ofrezca a sus integrantes solamente ser autntica cuando sea de buena calidad. La educacin defectuosa podra concluir en una falsa oportunidad. Los indicadores y las estadsticas de carcter demogrfico y econmico que suelen emplearse han de complementarse con indicadores cualitativos. La evaluacin de los sistemas educativos; la evaluacin de los quehaceres y servicios que entraa educar a un ciudadano o adiestrar a un profesional va ms all del porcentaje del PIB, de la relacin con la cohorte de poblacin, de la proporcin de graduados o de la tasa de retorno, indicadores ya muy importantes por s mismos. En Mxico, y con toda seguridad en los dems pases, se tiene conciencia de los asuntos antes mencionados, pero el grado de compromiso de los protagonistas de la educacin es diverso y el entusiasmo y la voluntad de unos se enfrenta al escepticismo de otros. Lo mismo sucede respecto a la idoneidad y capacidad para realizar las tareas de la educacin, en lo general, y las de su evaluacin, en lo particular. No hay sorpresas: durante el proceso para evaluar sistemticamente al sistema de educacin ocurren los mismos fenmenos -individuales y grupalesque caracterizan todo intento de cambio o transformacin. Las reacciones son explicables, ya que es trivial pasar, por ejemplo, de una situacin en la que el

"bien hacer" de una universidad era un acto de fe generalizado a una circunstancia en la que se debe verificar y dar evidencias de ese desempeo a la luz de criterios externos, adems de los de la propia institucin educativa. Y as por el estilo en cuanto a las diversas lneas de accin seguidas desde la creacin del Sistema Nacional de Planeacin Permanente de la Educacin Superior (SNAPPES) en 1978 y de la Comisin Nacional de Evaluacin de la Educacin Superior (CONAEVA) en 1990. En la primera parte de este texto se explican, a grandes trazos, la concepcin y los cinco criterios esenciales que orientan o caracterizan la calidad de un programa1 educativo. Asimismo, se explica la relacin entre estos cinco ejes con los componentes, los procesos y los resultados de cada una de las funciones que realiza una Institucin de Educacin Superior (docencia, investigacin, difusin, administracin y gobierno). La segunda parte contiene la informacin inherente a las estrategias y acciones concretas ms relevantes e ilustrativas que describen lo que actualmente se hace en Mxico en materia de evaluacin para la educacin superior. Por ltimo, se presenta un bosquejo de los escenarios futuros en el campo de la evaluacin, los cuales tienden hacia la constitucin de sistemas para certificar peridicamente a los profesionales y para acreditar a los programas e Instituciones de Educacin Superior de manera formal y sistemtica. Como podr colegirse al final de esta exposicin: en todas partes se cuecen habas y nada nuevo hay bajo el sol. PRIMERA PARTE: LOS CRITERIOS DE CALIDAD Contenido Si la finalidad ltima de un acto de evaluacin es aportar elementos para mejorar la calidad de aquello que es evaluado, un sistema para evaluar la educacin superior ha de comenzar estableciendo lo que asume como criterios, indicadores y parmetros de buena calidad para esa tarea. Ciertamente se trata de un compromiso difcil y complejo, pero no es admisible soslayarlo ni escamotear, al menos, la toma de una posicin. Aun con la certeza de que al abordar estos asuntos uno se mueve en terreno resbaladizo, es necesario moverse. De lo contrario, se puede terminar en la parlisis, en la cancelacin o el ejercicio simulado de la funcin evaluativa. Este es un paso trascendente si se desea poner en prctica dicha funcin, especialmente cuando el propsito es hacerlo de manera formal, sistemtica y con alcance nacional. Quien pretende evaluar un sistema educativo ha de fijar los puntos de vista, los criterios, los enfoques, etctera que orientarn su quehacer, seguramente no convencer a todos, pero ello no es su obligacin. Lo que no puede omitir es expresar su modo de ver lo que hace.

En documentos especficos y detallados2 la CONPES, la CONAEVA, la SEP, la ANUIES, el CONACyT, los CIEES, el CENEVAL, algunas academias nacionales, algunos colegios de profesionistas y algunos consejos de acreditacin han publicado los marcos conceptuales y los criterios que orientan las actividades de evaluacin que realizan. La manera de abordar el asunto obviamente diversa y congruente con su particular objetivo; sin embargo, es factible hacer una sntesis de los aspectos esenciales que caracterizan a todos los enfoques particulares. Los cinco ejes esenciales Contenido En Mxico, la mayora de los responsables de evaluar en la educacin superior han construido esquemas y marcos de referencia. De diversas formas se adopta la idea de que la calidad de un programa3 educativo se establece en la medida que sea eficaz, eficiente, pertinente, trascendente y equitativo. Por supuesto que no se trata de una mera seleccin de adjetivos. Cada uno de estos ejes tiene implcitos mltiples atributos, pero cada uno de ellos es conceptualmente distinto; no se trata de sinnimos. Cada eje implica un criterio de calidad distinto, as, un programa puede ser eficiente, pero intrascendente. Por lo tanto, una premisa necesaria es asumir que ninguno de los criterios por s solo basta para identificar cabalmente la calidad de un programa educativo. Con distinto peso e importancia (que puede ponderarse segn la naturaleza de cada programa o institucin) los cinco criterios han de tenerse en cuenta como aspectos complementarios entre s. El criterio de eficacia Contenido En su esencia, la nocin de eficacia se refiere a la medida en que se logran los propsitos. Un programa ser eficaz segn la proporcin de metas que alcance o cubra satisfactoriamente (lo cual no basta para calificarlo como bueno o malo). En el caso de un programa inherente a la educacin superior, la eficacia suele expresarse con indicadores como: - Proporcin de objetivos de aprendizaje que logra un alumno. - Proporcin de alumnos participantes que logran el estndar o parmetro establecido como meta del programa. - Proporcin de las veces en que un programa logra cumplir los estndares establecidos. A partir de lo anterior surgen las habituales expresiones mediante ndices y coeficientes como "tasa de graduacin o titulacin", "tasa de reprobacin", "eficacia terminal", etctera.

Es claro que la puesta en prctica de los indicadores relativos al criterio de eficacia depende necesariamente de la existencia de objetivos, metas, propsitos, etctera, clara y cabalmente expresados. Esto suena como una obviedad que ofende, pero la inexistencia o vaguedad o imposibilidad de constatacin en lo que se refiere a las metas, objetivos, estndares, etctera, en los programas educativos de nuestro pas es un problema frecuentsimo. De esta circunstancia se desprendi uno de los propsitos iniciales de la CONAEVA: lograr que cada institucin de educacin comunicara sus propsitos, objetivos y metas en trminos que permitieran la constatacin y verificacin de su eventual logro. En cierta forma, se viene tratando de explicitar el compromiso de cada quien. Cumplir lo prometido es otra forma de llamar a la eficacia. El criterio de la eficiencia Contenido Ya se ha descrito la nocin general del concepto y se ha destacado la importancia que tiene la eficacia de un programa; tambin debe decirse que cubrir ese aspecto de la calidad en un nivel alto de desempeo es todava un arduo desafo para la mayora de los programas educativos mexicanos. El asunto se complica cuando se pasa a evaluar a la luz del siguiente criterio: el de eficiencia. El ncleo del concepto "eficiencia" estriba en la forma de usar los recursos. Se es eficiente en la medida que se aprovechan al mximo los elementos disponibles (personas, talentos, capacidades, tiempo, tecnologas, circunstancias, oportunidades, etctera); hay quienes simplifican quiz demasiado y condensan todos estos elementos en el rubro "dinero". Con el ajuste de cada caso, puede decirse que un programa educativo ser eficiente segn el provecho que obtenga ~e los recursos disponibles. Pero hay tamices y aspectos que deben tenerse en cuenta. Un aspecto crucial es diferenciar entre "eficiencia con recursos suficientes" y "eficiencia sin recursos suficientes". Hacer lo anterior implica un ejercicio para determinar lo que podra llamarse "recursos indispensables para lograr los objetivos y metas" (cosa que se hace en cualquier planificacin medianamente, sensata) y con estos elementos identificados -las metas alcanzadas y los recursos- puede procederse a establecer la eficiencia. En la prctica, la evaluacin de la eficiencia conduce a situaciones tpicas como las siguientes: - Eficiencia agregada a la eficacia, en la cual se logran los objetivos y metas (conforme a estndares) aprovechando al mximo los recursos. - Eficiencia sin eficacia, circunstancia engaosa en la cual los indicadores de eficiencia son adecuados, pero no se alcanzan las metas en una medida satisfactoria.

- Eficacia sin eficiencia, caso no negativo necesariamente en el cual se logran las metas, aunque con altos costos, largos plazos, repercusiones indeseables, etctera (victorias prricas). - Por ltimo queda el tipo de casos en los cuales no hay eficiencia ni eficacia, es decir, cuando el programa no logra sus metas pese a disponer de los recursos suficientes. Los enfoques y polticas de evaluacin que hacen nfasis en los indicadores de eficiencia entran en juego cuando se utilizan los resultados de la evaluacin con propsitos de financiamiento. El procedimiento de evaluacin que se conoce como "rendimiento de cuentas" (accountability) es el ejemplo ms socorrido. La historia de las relaciones del gobierno y las agencias financiadoras con las universidades podra analizar miles de batallas por el financiamiento que van desde la polmica entre trascendentes concepciones y valores hasta una que otra guerra sucia. En este contexto debe afirmarse que la eficiencia por s sola es un criterio pobre o, al menos, insuficiente. Para empezar, la eficiencia necesariamente ha de supeditarse al logro de los propsitos. En la prctica, la medida en que se obtiene un provecho ptimo de los recursos debe entenderse como un atributo adicional de la eficacia. Por ello, en las polticas de financiamiento tienen especial relevancia los antecedentes de las instituciones educativas en el logro de sus metas y en el uso de los recursos. Cuando hay ciertas restricciones en el logro de las metas, pero se acompaan de altos ndices de eficiencia, puede asumirse una buena "potencialidad" en dicho programa. Lo anterior, como poltica de financiamiento, contrarresta la tendencia que hara cada vez ms grande la brecha entre los programas eficaces y los no eficaces. As, una poltica de apoyar no slo lo demostradamente bueno, sino lo potencialmente bueno se aplica a menudo en Mxico. En sntesis, eficacia y eficiencia son criterios inseparables. En un ejercicio de evaluacin, los indicadores de eficacia y eficiencia se podran combinar estableciendo estndares como los siguientes: 1) Se calificar como "desempeo excelente" en el rubro de eficacia a aquel programa de formacin de profesionales (nivel de licenciatura) que alcance los siguientes estndares: - Los alumnos que concluyen el programa logran el 90% de los objetivos esenciales del currculo y al menos el 80% de los objetivos complementarios. (Aqu sera necesario hacer diversas precisiones segn la naturaleza de cada programa). 2)La eficiencia en el logro del anterior estndar de eficacia podra calificarse as:

- Excelente: a) cuando el estndar es logrado por el 90% de los alumnos que iniciaron el programa en un lapso no mayor de 8 semestres. b) cuando el estndar anterior se alcanza a un costo no mayor a X pesos constantes. c) cuando la poblacin cubierta no es inferior a X alumnos. Este tipo de ejercicios han de realizarse cuidadosa y sistemticamente en cada programa de la educacin superior. Las caractersticas de los propios procedimientos y los niveles de los estndares que cada institucin fija para evaluar sus programas constituyen, a su vez, un valioso indicador de la calidad del modelo de administracin y gobierno en dicha institucin. Por su parte, la CONAEVA public en 19904 un documento que incluye una amplia relacin de indicadores y parmetros inherentes a los ms diversos propsitos del sistema educativo nacional. Criterios operativos y criterios esenciales Contenido Dejar el juicio de la calidad de un programa de educacin superior solamente a merced de los resultados conforme a los criterios de eficacia y eficiencia sera una decisin muy pobre, al menos desde el punto de vista estrictamente cualitativo. El argumento ms evidente es el muy cuestionable valor de una eficacia y una eficiencia en el logro de objetivos educativos que fueran irrelevantes, intrascendentes, discriminadores, etctera. Ciertamente la eficacia y la eficiencia son criterios supeditados a otros de mayor jerarqua en la escala de valores de una comunidad genuinamente comprometida con la justicia social, el bienestar de la mayora, el conocimiento cientfico, el desarrollo tecnolgico que libera del trabajo bestial, el disfrute de las expresiones artsticas y muchas otras aspiraciones y postulados como los que la Constitucin Federal establece en Mxico en su ideal educativo. As, los distintos organismos e instancias de evaluacin para la educacin superior que operan en Mxico, sobre todo a partir del establecimiento de la CONAEVA, incorporan indicadores que corresponden no slo a los ejes de la eficacia y la eficiencia (los cuales son imprescindibles por sus posibilidades operativas y su facilidad de comunicacin), sino a muchos otros aspectos en verdad sustantivos y esenciales dada la naturaleza -un bien social- de la educacin. Estos aspectos pueden organizarse conforme a tres criterios o ejes de juicio: la pertinencia, la trascendencia y la equidad social. El eje de la pertinencia Contenido Un programa de educacin superior es pertinente en la medida que sus resultados (sea la destreza de un tcnico o un descubrimiento que enriquece el conocimiento) corresponden y son congruentes con las expectativas,

necesidades, postulados, preceptos, etctera, que provienen de dos mbitos (que podran considerarse uno solo, pero que conviene distinguir): - El desarrollo social, en su concepcin amplia que cubre aspectos culturales, econmicos, polticos, etc. - El conocimiento, independientemente de las disciplinas, los mtodos y los usos que se hagan de l. Organizar la vida de los individuos en una sociedad parece la mejor opcin y se dice, adems, que esto es inevitable; sin embargo, el funcionamiento de los tejidos y las instituciones sociales siempre ha sido complejo y problemtico. En la bsqueda de soluciones para la intrincada vida social, todas las comunidades humanas han generado alguna forma de educacin. En el lenguaje de hoy la educacin es designada como palanca del desarrollo, como factor de innovacin, como ventaja estratgica en el proceso productivo, como medio insustituible para promover la identidad nacional, etctera. En sntesis, la educacin tiene razn de ser en funcin de las expectativas de la sociedad en que ocurre. Todava ms: las sociedades esperan que sus educadores cumplan el papel de visionarios o, al menos, de vanguardistas y anticipen o intuyan eventuales necesidades y problemas en el futuro. En el caso de la educacin superior, especialmente la universitaria, la responsabilidad en estos asuntos es suprema. A nadie escapa que la dinmica relacin entre las distintas instituciones sociales es a menudo conflictiva y que la interaccin entre las IES y las otras instituciones de la comunidad no son la excepcin. La educacin superior, las universidades, viven en un proceso cclico de amor y odio con otros actores sociales (gobiernos, empresarios, lderes de opinin, partidos polticos, gremios de profesionistas, incluso cada familia y cada ciudadano). Entre ellos se da el reconocimiento mutuo y el mximo crdito, hasta la esperanza mgica, lo mismo que el recproco reclamo y la decepcin total. Para propsitos prcticos en los quehaceres de la evaluacin, la estrategia obligada es incorporar a la pertinencia (social, econmica, poltica y cultural) como criterio para identificar la calidad de un programa educativo. La construccin de indicadores y parmetros en esta lnea requiere inevitablemente de una ponderacin, clasificacin y jerarquizacin de las expectativas, necesidades y problemas en cada sociedad y en cada uno de sus sectores. Esto se hace de manera peculiar, ejerciendo su soberana, en cada nacin y en cada entidad poltica. Los educadores y los evaluadores de la educacin han de ser plenamente conscientes de esta circunstancia. La planeacin y la evaluacin de los programas educativos, por ende, no deben ser tarea exclusiva de los educadores. Otros sectores de la sociedad tienen algo que decidir al respecto; sin

embargo, el derecho para decidir tiene mucho que ver con la capacidad para hacerlo. Por lo general deciden los mejor calificados; de ah la conciencia de distinguir un segundo mbito en el que debe darse la pertinencia de un programa educativo. Por ello, tanto los resultados como los procesos y elementos de un programa de educacin superior han de ser congruentes y corresponder tambin a lo que las ciencias, las tecnologas, las disciplinas humanistas, los cdigos ticos, etctera, establezcan o acepten como algo permitido, verdadero, vigente, benfico, til. Ciertamente sera muy difcil responder a las necesidades del desarrollo y el bienestar social con un conocimiento obsoleto, con supersticiones o con prcticas ilcitas. De ah, pues, que deba hablarse tambin de "pertinencia acadmica" (la vigencia tecnolgica es parte de ella) en lo que hace a un programa educativo. Esta modalidad del anlisis se refiere a la vigencia de las teoras, a la veracidad de los conocimientos, la certidumbre de los principios, la legitimidad de los valores, la factibilidad de las estrategias. Cada institucin expone y pondera estos atributos al definir sus programas; cada instancia evaluadora hace lo propio al establecer los respectivos indicadores y estndares. La trascendencia de un programa educativo Contenido Hasta ahora se tiene anotado que la calidad de un programa de educacin superior puede establecerse en relacin al grado en que sea eficaz, eficiente y pertinente. Hay otro conjunto de atributos que tambin es deseable tengan los programas universitarios, los cuales se refieren a la potencialidad que estos tienen para "trascender", para ir ms all en el tiempo, en la cobertura de campos del conocimiento, en la relevancia que logra al formar personas. Un programa universitario ser bueno, adems, en la medida que sus resultados y beneficios permanezcan ms tiempo, cubran ms reas de la cultura, impliquen mayor profundidad en lo que constituye la "formacin de personas". Un programa educativo cuyos efectos positivos trascienden la etapa escolar y son benficos a lo largo de la vida es mejor que uno que no lo logra. Un programa que consigue los resultados previstos (eficacia) en varios dominios y perfiles de la formacin humana es mejor que uno que tambin logra los resultados, pero en un campo reducido. El aprendizaje de las ideas y las teoras o el uso de las tcnicas y los mtodos se enriquecen cuando, adems, el programa logra despertar o pulir la sensibilidad ante las emociones, y cuando logra dotar a los educandos para las relaciones interpersonales. Un programa educativo es "trascendente" cuando sirve hoy y sirve maana; cuando es til en distintos mbitos: cuando el logro de sus objetivos hace factible no slo la comprensin de ideas, sino la operacin de instrumentos y la relacin con las dems personas, donde destacan la inherente a la formacin ciudadana y la relativa a la creacin de una nueva rama familiar.

En la prctica de los organismos evaluadores suele omitirse la consideracin de los elementos de este criterio de calidad educativa, tanto por ser asuntos que rara vez aparecen explcitos en un currculo, como por ser cuestiones ms factibles de interpretacin que de medicin. Sin embargo, ello no impide que sean considerados como un eje de anlisis para juzgar la calidad de un programa de educacin superior. La interpretacin y el juicio personal, incluso subjetivo, no deben satanizarse ni descartarse a ultranza; en muchas circunstancias constituyen la nica opcin viable. Varios modelos de evaluacin a juicio de expertos, por ejemplo) se sustentan en interpretaciones y ejercicios de intersubjetividad. La equidad de un programa Contenido El esquema o marco de referencia que se ha venido explicando, para caracterizar lo que se entiende por "buena calidad" de un programa de educacin superior, se cierra con un quinto criterio, el de la equidad. Un concepto con tantas implicaciones requiere ser acotado, a fin de entender en qu sentido se habla aqu de la "equidad de un programa educativo". En este esquema se entiende como el conjunto de caractersticas que hacen de un programa algo asequible y viable a mas personas. Un programa educativo est al alcance de ms personas en la medida que ofrece opciones distintas ante circunstancias diferentes, en la medida que no trata igual a los desiguales. De ah la seleccin del vocablo. La equidad de un programa puede referirse (para efectos de la evaluacin correspondiente) a diferentes aspectos, de los cuales hay que destacar el econmico-social y el pedaggico. As, las preguntas que debe hacerse en este sentido un evaluador de programas son como las siguientes: En qu medida este programa tiene restricciones? (de edad, de costo, de distancia, de raza, de gnero, de religin, de filiacin ideolgica, de capacidad fsica, etctera). Una vez identificadas esas restricciones, y antes de hacer juicios, el evaluador podr preguntar Qu elementos compensatorios posee el programa? En el mbito socio-econmico los tratos diferenciados y compensatorios de un programa suelen expresarse en cuotas especiales, exenciones de pago, otorgamiento de crditos, becas y empleos a los estudiantes. El otro aspecto de la equidad o trato diferenciado se tiene en la pedagoga, en la posibilidad de optar entre distintas estrategias para lograr los objetivos de aprendizaje del programa. Los indicadores ms evidentes de este aspecto se refieren a la multiplicidad de profesores y horarios, a la disponibilidad de tutores, a la accesibilidad de las fuentes de consulta e informacin, a la racionalidad de los reglamentos escolares, a la multiplicidad de oportunidades. En fin, todo aquello que atiende a la diversidad personal, cultural, de nivel econmico, etctera.

Antes de cerrar este apartado es necesario hacer una advertencia; la bsqueda de equidad en un programa de educacin superior no debe confundirse con la adopcin de polticas paternalistas. No se trata de disminuir los estndares de logro y desempeo del programa como una compensacin para una persona o un grupo cuyas circunstancias sean peculiares y se consideran desventajosas. Se trata de crear condiciones para que dichas peculiaridades no sean un impedimento en el propsito de alcanzar los objetivos conforme a los estndares. Muchas experiencias demuestran que la equidad mal entendida ha sido la causa de graves descensos en la calidad de la educacin. Fijar una eficacia para unos y una eficacia para otros puede ser una prctica discriminatoria. Ciertamente la bsqueda de este tipo de soluciones tiene lmites y nadie espera que un programa de educacin superior sea viable para todo ciudadano. En nada se afecta el criterio de la equidad si se asume que, por su naturaleza, la educacin universitaria es de cierta manera elitista, ya que son minora los que tienen el inters, el talento, la disciplina y la motivacin para desempearse satisfactoriamente en los niveles de exigencia implcitos en ella. Lo inequitativo de un programa estar en la marginacin, por otras razones, de quienes s tienen los atributos pertinentes. Para quienes no los tengan, la sociedad en aras del criterio de equidad debe proveer distintas y suficientes opciones en su sistema educativo. Conclusin. El concepto de la calidad, aplicado a un programa educativo, es sumamente complejo y necesariamente diverso en sus criterios y enfoques. En Mxico, los distintos organismos e instancias de evaluacin han adoptado (en diferente grado y distinta relevancia) cinco ejes o lneas de criterio generales para caracterizar la calidad de un programa educativo. - La eficacia. - La eficiencia. - La pertinencia (social y acadmica). - La trascendencia (relevancia, vigencia, amplitud). - La equidad (socio-econmica y pedaggica). En la segunda parte de este documento se expone sintticamente lo que se ha hecho en el sistema educativo mexicano, en particular la educacin universitaria, para poner en prctica estos criterios de calidad mediante varias estrategias de evaluacin. SEGUNDA PARTE: PRINCIPALES PROGRAMAS DE EVALUACIN EN MXICO
Contenido

La ltima dcada registra un incremento evidente en las actividades de evaluacin en los diversos mbitos de la educacin superior en Mxico. Para bien o para mal las opciones son contrarias a la buena calidad de la educacin dej de ser algo invariablemente credo, a la manera de un acto de fe. Ciertamente, en diversos sectores de la sociedad y mediante variados canales de expresin, la opinin pblica- y la opinin de los expertos- hizo evidente que la calidad atribuida a cada programa y cada institucin ya no debera seguir siendo un asunto de creencias, sino de evidencias. Conocer los atributos de cada programa y cada institucin por vas ms objetivas y racionales que las campaas promocionales, o las estrategias mercadolgicas, se asumi como un compromiso del gobierno federal y de las universidades de manera conjunta. Se trataba -y sigue tratndose- de obtener elementos para orientar la inversin pblica y los subsidios a las universidades, pero el propsito esencial y verdaderamente trascendente al sistematizar los procesos de evaluacin han sido la bsqueda de elementos de juicio para mejorar la calidad de la educacin. La idea rectora sigue siendo mantener a la educacin como un bien social -que tiene una evidente expresin de beneficio para cada individuo- lo cual deja de ser legtimo y autntico cuando la capacitacin, la instruccin o la educacin toda no son de buena o excelente calidad. En sntesis, el hilo conductor ha sido evaluar para mejorar, lo cual implica realizar, para poner en prctica la decisin, una multitud de tareas, estrategias e inversiones. A continuacin una rpida revisin de estos asuntos, los cuales, en su conjunto, estn conformando el sistema para evaluar la educacin superior en el pas. La CONAEVA (Comisin Nacional de Evaluacin para la Educacin Superior)
Contenido

En Mxico es virtualmente imposible prosperar en una accin que ataa a universidades sin una concertacin previa entre el gobierno federal y las casas de estudios. La unilateralidad resta eficacia y genera desconfianza en el trato global entre las partes. De ah la abundancia de organismos e instancias en las cuales gobierno y universidades dialogan, negocian y conciertan. Desde 1978 la instancia (no es un rgano burocrtico) de concertacin por excelencia ha sido la COMPES (Coordinacin Nacional para la Planeacin de la Educacin Superior). A la luz de los problemas y circunstancias que vivir n las universidades durante las dcadas de los 70 y 80 puede afirmarse que la CONPES ha sido un mecanismo eficaz y conveniente. La racionalizacin del crecimiento, la descentralizacin de los servicios educativos y la construccin de un cuerpo de leyes y normas que han

regulado las relaciones laborales en las universidades son algunos ejemplos de lo realizado. En 1990 la CONPES acuerda la creacin de la CONAEVA como instancia dedicada a promover y respaldar la creacin de un sistema de evaluacin de la educacin superior con cobertura nacional. En la CONAEVA participan representantes del gobierno federal (Secretara de Educacin Pblica) y de las universidades (Secretara General de la ANUIES y algunos rectores). Las realizaciones y los acuerdos de la CONAEVA con miras a ese sistema nacional de evaluacin pueden resumirse as: * Se han definido y promovido los criterios generales inherentes a la calidad de la educacin superior (ver primera parte de este documento). * Se acord evaluar no slo desde la tradicional perspectiva de la evaluacin interna, sino, adems, desde una visin externa. * Se adopt una concepcin sistmica de la educacin superior que permite evaluar tanto a los componentes (inputs) del sistema educativo como a los procesos y a los resultados (outputs). En este contexto se ha considerado conveniente hacer nfasis en la evaluacin de resultados y sus repercusiones. * Se mantiene el deslinde tradicional de las funciones universitarias, lo cual lleva a crear estrategias distintas para la evaluacin de programas de docencia, de investigacin, de difusin de la cultura y de administracin. * Se decidi "especializar" las responsabilidades (diagnosticar, certificar, acreditar) al efectuar tareas de evaluacin y, as, crear varios programas y organismos con tareas y propsitos claramente acotados. * Se han puesto en prctica programas con importantes recursos econmicos para asociar los resultados de la evaluacin y la calidad identificada con lneas especficas de financiamiento. * Se han creado condiciones propicias para desarrollar en los protagonistas de la educacin superior una "actitud evaluadora", con lo cual se intenta eliminar la actitud de indiferencia (en Mxico se dice "valemadrismo") hacia la eficacia, la eficiencia, la pertinencia y dems atributos de la buena calidad. * Se han establecido formalmente distintos rganos que realizan evaluaciones externas con el fin de ACREDITAR PROGRAMAS Y CERTIFICAR PERSONAS. Un paso posterior ser la ACREDITACIN DE INSTITUCIQNES EDUCATIVAS (prctica usual en varios pases).

* Se ha optado por definir y poner al alcance del pblico los resultados de la evaluacin. Otras polticas igualmente importantes son hacer usos educativos de la evaluacin y dejar para casos extremos las prcticas punitivas y desahuciatorias ante resultados negativos. A la inversa, ha de estimularse todo rendimiento sobresaliente. Algunas acciones concretas En el vasto y complejo universo de la educacin superior mexicana destacan algunos programas de carcter esencialmente evaluatorio. Sistema Nacional de Investigadores (SIN) Contenido A cargo del CONACYT (Consejo Nacional de Ciencia y Tecnologa). Evala a las personas que realizan investigacin y desarrollan tecnologas en universidades, institutos nacionales, centros de produccin, etctera. Opera con base en el anlisis de jurados o grupos dictaminadores y adopta estrategias de evaluacin que corresponden, segn la clasificacin de Madaus et. al.5, a los modelos de "evaluacin de resultados" (estudios por objetivos), "rendimiento de cuentas" (accountability) y "opinin o juicio de expertos". Con base en estas evaluaciones se conceden distinciones (investigador nacional) y recompensas econmicas substanciales. Padrn de Programas de Posgrado de Excelencia para Ciencia y Tecnologa
Contenido

Tambin a cargo del CONACyT. Evala programas de especialidad, maestra y doctorado (se cursan despus de una licenciatura). Opera con grupos de investigadores distinguidos que establecen paradigmas, criterios y estndares en cada caso. Sus estrategias corresponden a los modelos "Sistemas de informacin" (mediciones peridicas sobre indicadores previamente establecidos) y "Opinin de expertos". Sus resultados conducen a la acreditacin peridica de programas especficos. Estas acreditaciones influyen o determinan el otorgamiento de becas para estudiar posgrados, as como el eventual financiamiento a las instituciones educativas respectivas. Programa de estmulos al desempeo docente Contenido A cargo de cada Institucin de Educacin Superior pblica. Cada una lo designa con una o varias denominaciones peculiares. El propsito esencial, y por tanto comn denominador, es identificar los distintos niveles de calidad en el

desempeo de los profesores (se excluye al personal que no realiza docencia). Por lo general es operado por "comisiones dictaminadoras" que verifican el cumplimiento y logro de estndares previamente establecidos y difundidos. Los modelos de evaluacin ms frecuentes son: "evaluacin de resultados" (en particular el aprendizaje por parte de los alumnos);"pruebas y exmenes"; "opinin de usuarios"; "opinin de pares" y "juicio de expertos". Los resultados de estas evaluaciones influyen y determinan el otorgamiento de estmulos econmicos, independientes de las condiciones pactadas en los contratos laborales. Fondo para Modernizar la Educacin Superior (FOMES) Contenido A cargo de la SEP (Subsecretara de Educacin Superior e Investigacin Cientfica). Evala propuestas que hacen las IES para obtener financiamientos extraordinarios y adicionales al subsidio bsico. En dichas evaluaciones prevalecen los criterios de pertinencia y eficiencia, ya que se intenta, sobre todo, solucionar rezagos en la infraestructura tecnolgica (equipos, mtodos, sistemas administrativos, estrategias didcticas) as como la deficiente vinculacin con los sectores sociales y econmicos. El programa opera con base en especificaciones previamente difundidas que establece el secretariado tcnico de la CONAEVA. La evaluacin es realizada por comits mixtos (representantes de la SEP, de las universidades y expertos independientes). Los modelos de evaluacin habituales son: "Rendimiento de cuentas" (especialmente en el caso de proyectos de continuidad), "Estudios para ponderar ventajas y desventajas", "Sistema de Informacin Administrativa" (anlisis de factibilidad) y "Opinin de expertos". Esta estrategia de financiamiento tiene importancia cada vez ms relevante. Comits Interinstitucionales para la Evaluacin de la Educacin Superior (CIEES)
Contenido

Este programa est a cargo de la ANUIES y se cre por acuerdo de la CONPES (presidida por el secretario de Educacin Pblica). Su propsito principal es evaluar la calidad de los programas, especialmente los de formacin de profesionales en el nivel de licenciatura. Adems, tambin se evalan las funciones de "Administracin Institucional" y "Difusin de la Cultura". El programa opera con base en 9 comits (integrados por "pares" acadmicos de distintas universidades) que evalan los componentes (inputs) y los procesos de cada programa de una institucin educativa (por ejemplo, currculo, profesores, laboratorios). Cada comit se ocupa de un rea de profesiones (salud, agropecuarias, ingeniaras, socioeconmicas, etctera.) o de alguna funcin general

(administracin) de la institucin. Los comits revisan y analizan la informacin y los elementos proporcionados por cada responsable de programa y luego realizan visitas, reciben informacin in situ, constatan y verifican. Como resultante, el comit redacta un amplio documento con observaciones, juicios y sugerencias, el cual es revisado con los propios responsables del programa evaluado antes de su entrega formal y circulacin en las instancias pertinentes. De estas evaluaciones se derivan -o deben derivarse- las correspondientes acciones a cargo de cada centro educativo, as como elementos de juicio para decisiones pertinentes en instancias externas (gobierno, asociaciones de escuelas y facultades, colegios de profesionistas). Evaluacin nacional de los estudiantes Contenido Se trata de un conjunto de programas a cargo del CENEVAL (Centro Nacional de Evaluacin para la Educacin Superior), organismo de carcter privado creado por recomendacin de la ANUIES y por acuerdo de la CONPES en 1994. El Centro evala la medida en que logran los objetivos de aprendizaje los alumnos que concluyen la educacin secundaria, el bachillerato o la formacin universitaria (nivel licenciatura) en las profesiones que regula la ley correspondiente. Opera con base en "perfiles de referencia" y "tablas de especificaciones" (conocimientos y habilidades) acordados por consejos tcnicos (acadmicos, colegios de profesionistas, usuarios de servicios). El modelo relevante es "evaluacin de resultados" con base en exmenes de validez nacional. Los exmenes del CENEVAL aportan elementos complementarios (CIEES) para establecer la calidad de los programas con base en el criterio de eficacia. Los resultados de estas evaluaciones pueden incidir en la admisin de alumnos en las instituciones y en la titulacin de profesionistas. El CENEVAL reporta anualmente los resultados de los exmenes y realiza anlisis y estudios diversos. Dichos resultados se tienen en cuenta en la acreditacin de programas. El Centro otorga el premio CENEVAL y el Certificado de Calidad Profesional a los sustentantes que satisfacen el estndar correspondiente. Acreditacin de programas Contenido La experiencia y los resultados de los programas de evaluacin antes mencionados han creado condiciones para integrar los primeros "consejos de acreditacin". Se trata de organismos independientes del gobierno y de las instituciones educativas cuyo propsito es generar y recoger evidencias de la calidad de los programas de formacin de recursos humanos (principalmente en una licenciatura). Su forma de operar y los modelos que adoptan son muy semejantes a los de las CIEES. Sus resultados pueden determinar el otorgamiento de una "acreditacin" cuya vigencia es variable. La acreditacin de un programa

constituye un aval extemo y debe significar una distincin reconocida socialmente. Como puede colegirse, las funciones y los resultados de los tres ltimos programas (CIEES, CENEVAL y Consejos de Acreditacin) son complementarios y su sntesis ha de ser la evaluacin de la calidad de cada programa, primero, y de ah pasar a la agregacin de los concernientes a una institucin o los del subsistema de educacin superior en su conjunto. Los efectos inmediatos Contenido La operacin de los programas antes mencionados ha dado a la evaluacin una gran prioridad entre las lneas de trabajo del sistema educativo nacional. Los beneficios son evidentes: hay ms informacin en las propias universidades; se estn formando especialistas en evaluacin; la reflexin y el anlisis para elaborar constructos de criterio, indicadores y parmetros de calidad tienden a ser prcticas generalizadas; la sociedad est ms alerta y demanda informacin sobre las evaluaciones, etc. Otros efectos notables es la expansin de la "cultura de la evaluacin" y la adopcin cada vez ms frecuente de la "actitud evaluadora". Para los profesores ya no es indiferente cumplir o evadir los objetivos de su curso; los investigadores no pueden "etemizar" sus proyectos improductivamente; los subsidios ya no se negocian mediante presiones extra acadmicas; hay elementos para formar prestigios y reputaciones con base en hechos; las instancias externas a cada programa y universidad participan en la evaluacin educativa (el cocinero dej de ser el nico juez de sus platillos); se estn construyendo bases ms objetivas para la comparacin entre programas, instituciones, entidades federativas, subsistemas, etctera; los investigadores del proceso educativo tienen muchos ms elementos para explicar y corregir problemas como la reprobacin, la desercin el aprendizaje irrelevante, la ineficacia, la improductividad, etc. Una precisin necesaria Contenido Antes de concluir es indispensable advertir algunas circunstancias y, as prevenir al lector de una interpretacin demasiado optimista de la situacin mexicana. Ciertamente el balance general es positivo y lo avanzado en los ltimos aos es sustancial. De eso no hay duda. Pero este impulso y esta preocupacin por el mejoramiento cualitativo ha sido tardo; Antes se acumularon enormes rezagos y se propiciaron actitudes negligentes durante largos lapsos, cuya inercia todava tiene efectos hoy.

La propia realizacin de evaluaciones ms sistemticas y objetivas ha permitido afinar los diagnsticos y varios maquillajes se han diluido. Evidentemente se han producido reacciones contrarias a la evaluacin, aunque cada vez ms dbiles y espordicas. Sin embargo, an hay gatopardismo y simulacin. El uso de tcnicas adecuadas y la construccin de sistemas de evaluacin, y sobre todo la capacidad e idoneidad para aprovechar los resultados de las evaluaciones de nueva cuenta reflejan la proverbial coexistencia de la mediana y la excelencia; de los innovadores y los conservadores; de los impulsores y los escpticos; de los que velan por el avance de la sociedad y los que ven por s mismos en fin... el mundo de la educacin superior tambin es ancho y ajeno! Expectativas ms inmediatas Contenido A pesar de las evidentes muestras de mejora y la indiscutible buena calidad de ciertos programas e instituciones educativas, nuestro pas est lejos de alcanzar niveles satisfactorios de calidad en la mayora de los programas. Dado que los programas ofrecen acceso virtualmente irrestricto y teniendo en cuenta que los certificados y ttulos que expiden las instituciones tienen la misma validez legal en todo el pas, se hace indispensable asegurar y garantizar a la sociedad que todo programa, certificado, titulo y grado que reconoce la autoridad gubernamental cumple con los requisitos y niveles de calidad esenciales en cada caso. Ese aseguramiento y garanta a la sociedad implica consolidar lo ya hecho, pero obliga a ganar mucho ms terreno en la prctica de la planeacin estratgica y la evaluacin. Implica depurar tcnicamente los modelos y estrategias para medir, evaluar y juzgar e implica apuntalar jurdica y polticamente las resultantes de los procesos de evaluacin. Las certificaciones y acreditaciones otorgadas por organismos independientes han de tener un peso moral incuestionable y un gran valor simblico, pero tambin debe drseles una mayor relevancia formal y prctica mediante su incorporacin a la normatividad jurdica. Al interior de las universidades y dems instituciones de educacin superior, la expectativa es de mayor congruencia y articulacin entre los resultados de h evaluacin y la reorientacin del rumbo. La evaluacin deviene ejercicio estril ante la indiferencia de quienes dirigen, marcan pautas y toman decisiones. Encontrar las causas y orgenes de los problemas e insuficiencias es bueno, pero mejor es ponerles remedio. El gobierno y la sociedad habrn de apoyar a las instituciones ms activas en estos propsitos. Por todo lo antes expuesto, la sntesis de las expectativas en materia de evaluacin para la educacin superior es crear condiciones tcnicas, jurdicas y econmicas para propiciar y asegurar reacciones y decisiones congruentes con lo

que reflejan las evaluaciones. A los esfuerzos realizados para construir un conjunto de estrategias y organismos de evaluacin, o para concebir esquemas y modelos, as como criterios, indicadores, parmetros e instrumentos de evaluacin, a todos esos esfuerzos deben agregarse decisiones polticas que impidan la continuidad de programas y la permanencia impune de personas cuya deficiencia es evidente. Se trata de mejorar, de substituir o de reorientar recursos. Se trata de resolver un aejo problema cultural: hacer lo que se concibe y ser congruente con lo que se hace. Un problema de los mexicanos y de los latinoamericanos no es la falta de ideas o iniciativas, es la dificultad para ponerlas en prctica y actuar en consecuencia de manera sostenida. Viejas canciones que ya no deberamos cantar en el siglo XXI. ANEXO 1 Contenido En este texto se han presentado los puntos de vista de los autores en su intento por hacer una sntesis que englobe las principales caractersticas y los distintos enfoques con que se realizan actividades para evaluar algn aspecto o funcin de la educacin superior. Sin embargo, cada uno de los organismos e instancias que tienen a su cargo un programa especfico de evaluacin puede proporcionar informacin mucho ms detallada y relevante segn su propia concepcin; incluso, cada uno de ellos puede avalar o desmentir lo que aqu se dice. La siguiente informacin puede ser til al lector que desee dar continuidad o ganar en profundidad a partir de lo que aqu expuesto. SINAPPES (Sistema Nacional de Planeacin Permanente de la Educacin Superior).- Se trata de una estructura formal (casi un ideal) que prev el funcionamiento coordinado y articulado de organismos de planeacin en tres mbitos: el de una institucin universitaria, el de una entidad de la Repblica y el de cada regin del pas. Se puso en marcha en 1978. CONPES (Coordinacin Nacional para la Planeacin de la Educacin Superior).-Es la instancia (no una estructura o dependencia, sino un grupo de trabajo) que establece lineamientos y polticas generales para planear el desarrollo del sistema de educacin superior (SINAPPES). La preside el secretario de Educacin Pblica y la integran ms de 20 personas que representan al gobierno federal a las instituciones educativas (pblicas y privadas) y al sector empresarial. Cuenta con un secretariado tcnico que instrumenta y ejecuta acuerdos. Inici sus funciones en 1978 y aprob los lineamientos para crear el SINAPPES. A imagen y semejanza, en cada entidad federativa existe una "coordinacin estatal" (COEPES). El intento de una organizacin regional ha fracasado, pero existe como una asignatura pendiente.

CONAEVA (Comisin Nacional de Evaluacin para la Educacin Superior).- Es una instancia creada por resolucin de h CONPES. La integran representantes del gobierno federal (SEP) y rectores de universidades. Su propsito es establecer un sistema para evaluar la educacin superior con cobertura nacional. En lo que hace a los programas de la CONPES y la CONAEVA lo recomendable es acudir a: * Subsecretara de Educacin Superior e Investigacin Cientfica (SESIC). Subsecretario: Dr. Luis Llorns Bez Domicilio: Brasil No. 31, Col. Centro 06029 Mxico, D.F. Tel.: 328-10-30 *Direccin General de Educacin Superior (DGES). Director general: Dr. Vctor Arredondo Alvarez Domicilio: San Fernando No. 1, Col. Toriello Guerra 01450 Mxico, D.F. Tel.: 626-03-27 *Secretara General Ejecutiva de la ANUIES (Asociacin Nacional de Universidades e Instituciones de Educacin Superior). Secretario General: Mtro. Carlos Palln Figueroa Dornicilio: Tenayuca No. 200, Col. Sta. Cruz Atoyac 03310 Mxico, D.F. Tels.: 605-95-18 y 604-36-03 * COSNET (Consejo del Sistema Nacional de Educacin Tecnolgica). Secretario Ejecutivo: Ing. Jos Luis Rodrguez Garca Domicilio: Nicols San Juan No. 1319-Bis, Col. del Valle 03100 Mxico, D.F. Tel.: 605-62-84 Para informacin respecto a programas ms concretos y vinculados a los anteriores se puede acudir a: * CIEES (Comits Interinstitucionales para la Evaluacin de la Educacin Superior). Evaluacin de Programas. Coordinador General: Ing. Manuel Prez Rocha Domicilio: Perifrico Sur No. 5478, Col. Olmpica Mxico, D.F. Tels.: 666-94-lOy665-47-91

* CENEVAL (Centro Nacional de Evaluacin para la Educacin Superior). Exmenes Nacionales. Director General: Mtro. Antonio Gago Huguet Domicilio: Vito Alessio Robles No.114-P.B., Col. Florida 01030 Mxico, D.F. Tel.: 661-10-90, Fax: 661-37-94 * CONACyT (Consejo Nacional de Ciencia y Tecnologa). Padrn de Programas de Posgrado de Excelencia. Director General: Lic. Carlos Baszdrech Parada Domicilio: Av. Constituyentes No. 1046, Col. Lomas Altas 11950 Mxico, D.F. Tel.: 327-75-75 * CACEI (Consejo para la Acreditacin de la Erlseanza de Ingeniera). Presidente: Ing. Fernando Ocampo Domicilio: Playa Caleta No. 510 Mxico, D.F. Tel.: 579-82-57 * Academia Mexicana de Medicina. Acreditacin de especialidades mdicas. Secretario General: Dr. Enrique Pia Garza Domicilio: Facultad de Medicina de la UNAM Edificio B-ler. Piso, C.U. Tel.: 623-24-03, Fax: 623-21-55 * Direccin General de Enseanza para la Salud. Exmenes para las residencias mdicas. Director General: Dr. Joaqun Lpez Brcenas Domicilio: Insurgentes Sur No. 235-ler. Piso, Col. Roma 06700 Mxico, D.F. Tel.: 207-95-14, Fax: 525-29-78 * Consejo Nacional de Educacin de la Medicina Veterinaria y Zootecnia. Acreditacin de programas. Presidente: MVZ Francisco Trigo Tavera Domicilio: Manzanillo No. 83-8O.Piso, Col. Roma Sur 06760 Mxico, D.F. Tel.: 264-76-95, Fax: 264-78-90 NOTAS Contenido

1 De manera convencional, en Mxico se intenta juzgar la calidad de una institucin educativa (una universidad o una escuela) con base en la calidad de sus diversos programas (El currculo de cada carrera, cada proyecto de investigacin, etctera.) 2 Al final del texto se incluye un anexo con los datos para establecer comunicacin con los responsables de estos organismos e instancias. 3 La de "programa" es una categora arbitraria. Ejemplos de "programa" son una licenciatura y un doctorado; tambin un proyecto de un centro de investigacin o una campaa para difundir el conocimiento cientfico o la literatura nacional. Se ha preferido referir los criterios de calidad hacia cada "programa" por ser una entidad intermedia cuya desagregacin permite evaluar a individuos, componentes, procesos y resultados con suficiente especialidad y particularidad para decidir acciones posteriores. De igual forma, la agregacin de las evaluaciones de "programa" permiten caracterizar, e incluso evaluar, a instituciones educativas y subsistemas. 4 CONPES-CONAEVA, Lineamientos generales y estrategias para evaluar la educacin superior, SEP, Mxico, 1991. 5 Madaus, George, et. al., Evaluation Models, Kluwer-Nijhofr, Boston, 1986.