n

.S

S EVALUACIÓN BASADA EN CRITERIOS

a
a
Catalina Martínez Mediano
J Profesora del Depanamento de Métoclosde Investigación y
i-
Diagnóstico en la Educación
Universidad Nacional de Educación a Distancia
f-
Esoaña
v
n
l,

)- La importanciade la evaluaciónse justifica por ser, no una tarea o

:a actividad aislada,sino una función deñtro de un programa educativo.
Tanto el profesor como el directivo y el asesor,cuánto el político de la
S, educación,ejercensu condición direótiva a travésde su iniencionalidad
i- y de la evaluación.Intencionalidady evaluación-valoración- consti-
tuyen las dos carasde la función directivaque todoslos profesionalesde
la e_ducación ejercirancotidianamente.(váiqu ez Gómei, r9g3: r2.)
La evaluacióncomo actividad intelectuai,es el resuitadoder pensa-
mienlo crítico, de esa modalidaddel pensamientoque llamamossaber
de.discernimiento por el que, una vei que se han idlentificadoy formu-
lado los criteriosadecuadospara enjuiciár una determinadasituáción,se
reconocensus componentesy estructuray se la distinguey apreciaade-
cuadamenteen relación con aquelloscritórios.La cueítióí ,"rid" en los
criteriosa adoptar.(Yázqtez Gómez, 19g3: 13.)
Para scriven la evaluación implica determinar los criterios de su
mérito (desdelas necesidades de méjora),las normasde criterio o <<stán-
dares> exigidos (como resultado dé buscar comparacionesadecuadas
9n1r9la relación y el criterio) para despuéstesumi, los resultadosen un
juicio evaluativo(1980: 18).

87
 La presentecomunicación se ha realizadobasándonos,fundamental-
mente,in la obra de W. JamesPopham:Evaluación basada en criterios.
Madrid, Ed. MagisterioEspañol,1983.

1. ORIGEN DEL CONCEPTO DE EVALUACIÓN BASADA EN

CRITERIOS

Thorndike, en 1913,observóel uso que los profesoreshacíande los

test de aptitud elaborados parula selección de los oficiales del ejército
norteaméricano durante la Primera Guerra Mundial, baremados con
amplias muestras que permitían situar al individuo en relación con la
población. Decía que lbs aprendizajeslogrados por u.1 alumno podían
io-pu.*r" con los obtenidospor los demás,pero también-podríanrepre-
sentarel conocimiento real de un sujeto en términos absolutosy no sólo
relativos en relación con un gruPo.
pero fue Glaser, en I96j, quien utilizó las expresionesevaluación
basada en pautas de normalidad y evaluación basada en criterios.
Empleó el óoncepto de evaluación basada en normas estadísticaspara
desóribir los tests tradicionales de rendimiento en los que se enfatiza la
posición relativa de un sujeto dentro de un grupo.
El conceptode evaluaciónbasadaen criterioslo referíaGlasera los tests
que identificabanel dominio (o su ausencia)de <<conductas específicas>>por
purte Oetsujetoexaminado.Consideraba el evaluadoreducativo más como
un mediadór en el aprendizajeque como un medidor del aprendizaje.
otra novedad que incidió en la necesidadde la evaluación basadaen
criterios fue el interés prestadoen la décadade los 60 a los objetivos con-
ductualescon propósiios instructivos. Un objetivo de conducta se defi-
ne como un p.opórito instructivo que describe lo que los .educandos
podrán hacer,b deberíanser capacesde hacer,despuésde la instrucción
y que antesno podíanhacer.(Popham,1983: 36.)
La claridad de los objetivos educativos era algo auténticamente
novedoso.La obra de Mager (1962) suscitó una gran atención por la
enseñanzapor objetivos.
S.enecesitabañtests educativosmás compatibles con las_e_xpectativas
tan ciaramenteformuladas por los objetivos conductuales'Una vez for-
mulado el objetivo a alcanz.ary tealizadala instrucción para lograrlo' no
quedaotra cosaque comprobar el rendimiento conseguidoen coherencia
con 1opretendidó. Si el examenno es congruentecon el objetivo la eva-
luación no sirve. Y fue Popham,principalmente, con su obra Evaluación
basada en criterios (1978),quien desarrollaesteconceptoevaluativo.

88
2. LAS PRUEBAS DE EXAMEN EN LA EVALUACIÓN
NORMATIVA

, Los diferentestipos de exámenesutilizadospuedenincluirse en sólo

dos categorías:exámenesde selección de respuéstasy exámenesde ela-
boración de respuestas.
un testcuyoselementosproponenla selecciónde respuestas ponenal
examinando en situación de elegir entre las opciones que figuian en el
mi¡mo,los tipos más comunesson los de verdadero/faiso y áe elección
múltiple.
Un examen de respuestaelaboradarequiere del examinando la crea-
ción de una respuesta,generalmenteescrita,de un modo breve o extenso
según se trate de una prueba de preguntasde respuesta breve o de una
prueba de ensayo.
cada una de estaspruebas,y susdiferentesmodalidades,estáindica-
da para evaluar un tipo diferente de aprendizaje.
vamos a analiza¡ brevemente, las principales característicasde las
pruebasde seleccióny elaboraciónde respuesta.

2.1. Pruebas de eleccióntlinaria

Se catacterizanporque sólo proporcionan dos respuestasde las cuá-

les el examinadordebeelegir una. El más común es ei del tipo verdade-
Ig/fuli.o. se utiliza para comprobar la habilidad del examinando para
identificar la correciónde enunciadossobrehechos,definiciones,etc.
- Entre sus ventajas están las de poder abarcaruna gama muy amplia
de contenidos.Entre sus desventajas la posibilidad de aceptarla ies-
puestapor pura casualidadel 50 por 100 de las veces.El uso frecuente
de estetipo de exámenesalienta el aprendizajememorístico de enuncia-
dos de un texto o de las observacionesdel orofesor.

2.2. Preguntas de confrontación

una preguntade confrontaciónconsisteen la presentaciónde dos lis-

tas paralelasde palabras,siendola columnade la izquierda,ra de las pre-
misas,y la de la derechala de las respuestas.
Las columnasvan precédi-
das de las indicacioneso instruccionespararealizarel test.
Entre sus ventajas se señalanla obtención de información en un
breveespacio.Entre susdesventajasdestacamosque un uso excesivode

89
este tipo de pruebas favorecería un aprendizajememorístico a costa de
aprendizajesde mayor profundidad.

2.3. Preguntas de elección múltiple

Es el tipo de prueba de elección más utilizada. Puede aplicarsea

numerosas situacionesde evaluación ya seapara detectarla capacidadde
reconocerconocimientosde hechos,como paradetectarhabilidadesinte-
lectualescomplejaso actitudeso intereses.
Un ítem de elección múltiple está formado por una pregunta o un
enunciado incompleto, al que se le denomina tronco y es el estímulo al
que el sujetodeberespondermediantela selecciónde la respuestaentre
las alternativas posibles que se le presentan.Entre las alternativashay
varias respuestasincorrectas y al menos una correcta. A las alternativas
incorrectas se las denomina factores de distracción. Se puedenpresen-
tar varias alternativas correctasy el examinando debe escogerla mejor.
A veces pueden presentarsealternativascon distincionesmuy sutiles,
difíciles de discernir sin un conocimiento completo de la cuestión que se
evalúa.
Entre susventajasse destacasu versatilidadpara utilizarseen la eva-
luación de aprendizajesmuy diferentes.Puedecalificarsecon objetivi-
dad. Al ofrecer más alternativasde respuestaque el de elecciónbinaria
aumenta la dificultad de ser contestadopor casualidad, aumentandola
fiabilidad de cada ítem. También permite incluir entre las alternativasde
respuestaserores posiblescon fines diagnósticos.
Entre sus limitaciones está la posibilidad que ofrece al estudiantede
reconoceruna respuestacorrecta que por sí mismo no hubiera sido capaz
de emitir o de elaborar.El examinando tampoco cuenta con la posibili-
dad de realizar sus propias síntesiso de responderde un modo creativo,
crítico o con matricespersonales.

2.5. La prueba de ensayo

Es la modalidad más común de las pruebasde elaboraciónde res-

puesta.Están dedicadaspara evaluar aprendizajescomplejosque exijan
larealizaciónde síntesis,comparaciones.
contrastes,explicaciones,valo-
raciones,etc.
Los ítems pueden estar formulados de modo que demandenuna res-
puestabreve,o por el contrariocomplejay extensa.

90
 Entre sus ventajas ya hemos señalado su posibilidad de evaluar
aprendizajes complejos que permiten al estudiánte expresarse de un
modo original exponiendo, explicando, caracterizando,diferenciando,
relacionando,contrastando,sintetizandoy/o valorando todos los elemen-
tos relevantesa la cuestión formulada. Es un tipo de preguntamás autén-
ticamente evaluadoraque el tipo de preguntasde eleicién de respuesta.
Las desventajas que tienen son el excesivotiempo que lleva su corre-
._
ción y la dificultad de calificar con objetividad lo que reduce su fiabili-
dad y su validez si no se cuidan estosinconvenientes.si debido al exce-
sivo tiempo que exige su correción ésta se hace de un modo rápido y
superficial, reduce aún más la validez de la evaluación.
Apoyarse sólo en pruebasde ensayopara evaluar los aprendizajesde
un alumno en una matena, debido al poco tiempo qr" i" cuentapara
las.evaluaciones,dejaría fuera de la evaluaciórla "on
mayór parte del conte-
nido de examen.(Popham,1983:60-108.)

3. CONSIDERACIONES DE LA BVALUACIÓN BASADA BN

CRITERIOS PARA LA BLABORACIÓN DE PRUEBAS
t
I
I La distinción más importanteque puede hacersea las evaluaciones
basadasen pautasde normalidady las basadasen criteriosdescansaen la
calidad de la descripción que ofrecen ambos tipos de tests. (popham,
1983:129.)
un test basadoen criterios se propone ofrecer una imagen más clara
de lo que significa larealización de uñ sujeto independient"ementede su
comparaciónrelativa con los demás.El cometidoáe la evaluaciónbasa-
da en criterios es incrementar la capacidadde los tests para ofrecer des-
cripciones claras del rendimiento dél examinado.
un test basado en criterios se emplea para determinar la posición
de un individuo con respecto a un ¿bminio de la conduch plerfecta_
mente definido.

lidades.ode disposicionesque los examinandosponen en una

situación de examen. El rendimiento vinculado ál dominió "nlu"go
se"refiere a
una forma de competenciapara una determinadatarea. pero el atributo
más importante de un test basadoen criterios consisteen brindar una des-
cripción clara de lo que realmente significa el rendimiento medido.
La definición del dominio tiene que ver con lo que se denomina uni-
verso de medida. El dominio puededefinirse desdeuna concepcióngené-
rica -los elementosque componen un determinadoprograma de apren-

91
dizaje- o desdeuna concepciónmétrica -el conjunto de todas las uni-
dadesque lo componen,que puedenser objetivos o ítems. (PérezJuste,
1992:173.)

3.1. Plan descriptivo de un test basado en criterios

Un test basadoen criterios está destinadoa describir; pero las des-

cripcionesdel rendimientode un examinandorequierende un plan para
crearlas.
El plan descriptivo de un test basado en criterios cumple dos fun-
cionesprincipalesrelacionadascon la comunicación:la primera i'rafade
comunicara los usuariosdel test qué mide dicho test y la segundafun-
ción es facilitar la redacciónde las preguntas.Un plan descriptivoclaro
dará como resultado ítems congruentes por quienesdeben redactarlose
interpretaciones precisas por quienes debenresponderlos.
Estosplanesdescriptivosse refieren a las especificacionesque debe
realizar el test.

3.2. La creación de ítems

Cuantomejor delimitadaesténlas especificaciones del test más fácil

serála elaboraciónde los ítems.Cuandodelimitamoslos tipos de ítems
que puedenemplearsepara evaluar la posición de un sujeto con respecto
a esas conductas definidas operativamente-referidas a competencias
intelectuales,habilidadeso actitudes- estamosdefiniendo operativa-
mente el propio dominio de conducta.
En la creación de ítems hay que cuidar tanto su redacción como su
fidelidad al dominio.

Su relación con las alternativasdebe guardar coherenciagramati-

cal, sin sugerirla respuestamedianteuna asociaciónverbal.
La respuestacorrectadebe situarseen todas las posicionesposi-
bles, y presentaruna extensiónsimilar, de modo que no oftezca
más posibilidadesde elección.
Las alternativasdistractorasdeben serlo realmente,debiendo ser
creíbles.
Los contenidosdeben centrarseen aspectosrelevantes,no en
cuestionesde detalle o triviales; tampoco en cuestionesde opi-
nión o discutibles,a no ser que seaésteel objetivo perseguido.

92
 - Para salvaguardarla coherencia entre ítems e instrucción, debe
evitarse el vocabulario rebuscado,dar pistas involuntarias, incluir
elementosabsolutistascomo siempre o nunca.
- Cada ítem debe centrarseen sólo un aspecto,de un modo claro,
preciso, no ambiguo, no excesivamentelargo.
Pero ademásinteresandos cuestionesa constataren la generaciónde
ítems y en el análisis de los mismos: la representatividadcon relación
al universo de medida (congruencia ítem-objetivo) y st eficacia para
apreciar eI cambio producido por la intervención pedagógica.
Basándonosen Berk (1984),el análisisde ítemspresentados momen-
tos: Ia revisión lógica y la revisión empírica. popham (1979) habla de
análisis a priori y análisis a posteriori.

a) La revisión lógica buscalograr la validez de contenido del ítem,

y se centra en tres aspectos:Ia congruencia ítem-objetivo,la calidad téc-
nica y los sesgos.
En relación con la congruencia ítem-objetivo, :unavezque se ha espe-
c.ifigadoel dominio, se ha estructurado,se ha jerarquizado-y se ha opera-
tiviz¿do se generan ítems buscando la congruencia con el obj^etivo
siguiendo un patrón de generaciónespecífico paracadaobjetivo. su aná-
lisis a posteriori se rcalizalríarecurriendo a juéces.
En cuanto ala calidad técnica los ítems deben apreciar con fidelidad
los aprendizajeslogrados tras los procesosde enseñánza.
I
Y en relación con los sesgoshay que decir que conviene evitarlo por
; perjudicar a minorías de diferentesétnias y culturas y ello puede hacelse
\
recurriendo al análisis de jueces de expertos.
J
9) La revisién empírica suele centrarseen análisis de:
Indicesde dfficultad comparandosusresultadosentregrupospre y pos-
test, o que superano no el criterio seleccionadopara apreciarla capacidad
de cgdaítems para detectarlos cambiosproducidospor la instrucción.
Indices de discriminación, tarnbiénestudiadascon grupos pre y postests.
de.homogeneidad,basadosen la congruén"iu ii"1¡-sbjetivo;
.Índic-gs-
enlavalidez de los ítems, refeida a la validez delontenido. calidád téc-
nica y sesgos-o validez de decisión-.

3.3. La fiabilidad de los tests basados en criterios

una forma de determinar la fiabilidad en este tipo de tests hace refe-

rencia ala consistenciaen la asignación de los sujetos a las categorías
d3 gnto/.noapto, ya sea mediantelautllización de dos formas paralelas
de la.misma prueba a un mismo grupo de sujetos o por la aplicación de
un mismo test en dos ocasionesconsecutivas.

93
3.4. La validez de los test basados en criterios

El problema de la validez suele referirse al de la validez de conteni-

do en clara referencia a la congruenciaentre el ítem y el objetivo.
Popham prefiere utllizar el término de validez descriptiva. Para lograr
estavalidez se requiere:

- Definir, con la mayor riqueza y precisión, el dominio que será

objeto de valoración.
- Especificarel tipo de información que debeofrecer el test.
- Realizar un adecuadonúmero de ítems representativos.
- Comprobarla bondadde talesespecificaciones e ítems.
De esemodo, quienesconstruyanítemsdeberánelaborarlosde mane-
ra que sean reconocidoscomo correctospor ellos mismos y por otros
expertosen evaluación.
En conclusión, la tareade elaborarpruebasbasadasen criterios no es
fácil mientras no se cuente con suficientesexpertosy con programas
informáticos para la generaciónde ítems una vez definido el dominio y
especificadala información que deberecogerel test.
Queda en manos del profesor el definir, con la mayor precisión,el
dominio, determinar el número de ítems a partir del cual obtendremos
una información fiable sobre el rendimiento alcanzadopor el alumno en
esedominio, decidir con la mayor correciónla puntuaciónde corte para
determinar si es suficiente el dominio alcanzadopor un alumno en la
resoluciónde la tarea, en función de la naturalezay relevanciade sus
objetivos,parapromocionaro no, que aprovecharla informaciónrecogi-
da para la toma de decisionesde mejora de la enseñanzay del programa'

REFERENCIAS BIBLIOGRÁFICAS

Gr-eSEn,ROeEnr: <lnstructional technology and the measulement of learnig outcomes:

Some questions>,en American Psychologist, l8 (519-21), 1963.
Macen, Rossnr F.: Preparing instructional objectives. Belmont, CA: Fearon' 1962'
PÉREZJusrE. R¡rvlóN: <La evaluación referida a criterios> en El modelo evaluativo de la
Reforma Educativa. Madrid: UNED, Programa de Formación del Profesorado,
1992.
Popsev, W. Jeu¡,s:Evaluación basada en criterios. Madrid: MagisterioEspañol,1983'
ScntvpN,Mtcue¡,1: The logic of evaluation. Invernes,CA: Edgepress,1980.
TnoRNoIrB,E.L.: Educational Psychology,vol. I, 1913.
Y Ázevsz Gót¡pz, GoNzaI-o: Prólogo a la obra de W' Jerr¡psPopu¡N: O'c.' 1983

94