ISiéirom ur/ZiTiu

15

P r o y e c t o e d it o r ia l
S ÍN T E S IS P S IC O L O G ÍA

D irecto r:
Ju an M ayor

EVALUACIÓN DE PROGRAMAS.
Á re a s d e publicación:

UNA GUÍA PRÁCTICA

EN ÁMBITOS SOCIALES, EDUCATIVOS
P S IC O L O G ÍA B Á S IC A
C oo rd in a d o r: J u a n M a yo r .
Y DE SALUD

. P S IC O B IO L O G ÍA
C oo rd in a d o r: C arlos F ernández Frías ROCÍO FERNÁNDEZ-BALLESTEROS (EDITORA)

M E T O D O L O G ÍA D E L A S C IE N C IA S D E L C O M P O R T A M IE N T O
C oordinadora: R osario M artínez .

P E R S O N A L I D A D , E V A L U A C IÓ N Y T R A T A M IE N T O P S IC O L Ó G IC O
C oordinador: J o sé A n to n io Carrobles

P S IC O L O G ÍA E V O L U T IV A Y D E L A E D U C A C IÓ N
C o o rd in a d o r: Jesús Beítrán

P S IC O L O G ÍA S O C IA L
C oo rd in a d o r: Jo sé M ," Peir'ó '

P S IC O L O G ÍA Y M U N D O A C T U A L
' C o o r d in a d o r Ju a n M ayor
 RELACIÓN DE AUTORES

A nguera Argilaga, M aría Teresa

Catedrática de M etodología de las Ciencias del Com portam iento de la U niversidad

rio

Botella Auslna, Juan

P rim era reim presión: m ayo 1996 Profesar Titular de M etodología de las Ciencias del C om portam iento de la U ni­
versidad A utónom a de M adrid.
Diserto d e cubierta: JV D iserto gráfico
Barriopedro, M aría Isabel
Reservados lodos los derechos. E stá prohibido, bajo
las sanciones penales y el resarcim ien to civil p rev is­
tos en las leyes, reproducir, reg istra r o tran sm itir e sta
U niversidad P ontificia de Com illas.
publicación, íntegra o parcialm en te, p o r c u alq u ier
sistem a d e recuperación y p o r cu a lq u ie r m edio, sea Fernández-Ballesteros G arda, Roclo
m ecánico, electrónico, m agnético, e lectro ó p tlco , p o r
fotocopia o p o r cualquier o tro , sin la au to rizació n Catedrática de E valuación y T ratam ientos Psicológicos d e la U niversidad A u tó n o ­
previa p o r escrito de E ditorial S ín tesis, S. A.
ma de M adrid.
© Rocío Fernández-B allesteros (E ditora)
F ernández del Valle, Jorge
© E D IT O R IA L SÍN T E SIS , S. A .
Valleherm oso, 34 * 28015 M adrid Profesor T itular de E valuación y Tratam ientos Psicológicos de la U n iv ersid ad de
Teléf.: (91) 593 20 9? Oviedo.
D epósito Legal: M. 15.530-1996
ISBN : 84-7738-311-1 F o m s Satitacana, M aría

Im presión: L avel, S. A. Catedrática de E valuación y T ratam ientos Psicológicos de la U niversidad A u tó n o ­

Im preso en España - Printed In Spain m a de Barcelona.
 ■ CAPÍTU LO 4

PROCEDIMIENTOS DE RECOGIDA DE INFORMACIÓN

EN EVALUACIÓN DE PROGRAMAS

José M anuel Hernández. López

4.1,. Introducción
Un program a de acción social representa un trabajo organizado para d ar solucio­
nes a problem as detectados a través de las necesidades de unos determ inados colecti­
vos de población. En tal esfuerzo organizado intervienen multitud de actores (impli­
cados) que juegan un papel diferenciado en el program a y se requiere la realización
do acciones puntuales y específicas supuestam ente especificadas " a p rio ri" en el mis­
mo. Todo ello se traduce en una inversión económ ica, temporal y personal, que obli­
ga a preguntarse, con posterioridad, acerca de si tal esfuerzo ha m erecido la pena. La
respuesta a esa pregunta constituye el objeto de la evaluación de program as (véase,
entre otros m uchos, Rossi y Freem an, 1989; Shadish, Coolc y L evitón, 1991; Fem án-
dez-Ballesteros, 1992).
En este sentido, desde un punto de vista investigador, podríamos considerar al pro­
grama como un objeto de investigación sobre el cuál efectuar una serie de com proba­
ciones que nos lleven a discrim inar cuáles son las verdaderas consecuencias que gene­
ra’ program a pu’ede.se r investigado de Igual forma que un experto en Química
IL?árfftJitndÍarJa^aluxalezft^.c.<OTp.o.5jcjón,.y_"compoftamréñtofrl l e un'Beferm íriadó
'rg B m esto qnfyplcn. A si, partiendo di; una de^gm inaiK reantfeS' (la im plantación del
programa, la existencia del com puesto) $e pretende l'leg y a si) conocifniento, exhaus-
ll^?..Ií9í|;;SSD¿§ffiíít£ÍS^eF‘r con m ínim o error posible cuál será su com portam iento
&T futuro decir, cuál se r! la utilidad B é ñ ü esfro 'co m ^ ’ésíórcuárés"l5~cáp"á£í'dttd
dpi programa para elim inar esos problem as que le dieron origen y cuál será su actua­
ción futura con otros usuarios), Sin em barro, para no faltar a la verdad, el programa
no "p u ed e",ser,in v estig ad o “ de igual form a" que el com puesto químico. No es m entos de evaluación, procedentes de d iscip lin as com o la p sico lo g ía, la m ed icin a o
momento éste pora discutir acerca de las diferencias que m arcan las investigaciones la sociología, ya validados y estan d arizad o s e im plica, por re g la g en eral, la co n s­
sobre problem as “naturales” y sobre problem as "sociales” . Tampoco es m om ento para trucción a d hoc de una instrum entación que se aju ste a la realid ad p u n tu al de! p ro ­
discutir la m ayor o m enor cientificidad de unas sobre otras. Sim plemente, lim itém o­ grama.
nos a señalar que lq evaluación de un program a representa un tipp especial de trabajo f~ A lo largo de esle Capítulo vam os a hacer un recorrido sobre u n a gran m ayoría de
las posibilidades tecnológicas que un ev aluador p uede utilizar, é s te reco rrid o será d iv i­
En p rim e rju g ar, evaluar un program a implica utilizar una serie de instrum entos, dido en función del tipo de inform ación que produzca. Así, hablarem os d e p ro ced i­
herramientas y procedim ientos de recogida de información que, previamente, han sido m ientos que otorgan dalos con significado estad.ístico1 los propios de los llam ados'
definidos y caracterizados desde el m arco de la investigación básica. Dicho de otra for­ métodos cuantitativos y de Técnicas que propician palabras organizadas en discursos
ma, e y ^ u ^ 4JilB ro£!!m p representa plantearse u n problema de investigación desde un \ con contenido sem ántico, las pertenecientes a los m étodos cualitativos,"............................
punto de vista "aplica3offlTO_reeT cuál em plear los avancesderjyádos ^ e ^ d e la ciencia
j>ásfcjL.
En segundo lugar, en la evaluación de u n program a se hallan inmersas una gran 4-2. L§.ÜÍgja,.RflJÍmiC-a-CU9n(Jtatlvo vs c u a lita tiv o : las dos c a ra s d e u n a m ism a
diversidad de disciplinas científicas (psicología, sociología, economía, m edicina, físi- m o n ed a * ................... " "
_ca,_ec5>ÍQgís..,) cada una de ellas aportando tanto sus contenidos teóricos com o sus
avances metodológicos. D esde el m arco de las Ciencias S o ciales se ha m antenido y se m antiene una po lé­
En tercer lugar, en e l diseño e im plantación del pro^rama_se encuentran involucra­ mica entre los defensores de los llam ados m étodos cuantitativos y lo s d e los d en o ­
das muchas personas que, com o hem os dicho anteriormente, tienen funciones díferefi- minados m étodos cualitativos. Una polém ica que contem pla la d efen sa de procesos
.glgS¡gS.,.Es decir, que, sin perder de vista el referente del individuo, no podem os olvidar de investigación regidos por la teoría, la técnica y la com binación d e am bas que están
ios diferentes "grupos” que tienen que ver con tal programa. pre-determ inados en su inicio y que no van a su frir variaciones en función d e la natu ­
P o fJ líim o , com o requiere la naturaleza de la investigación aplicada, no podemos raleza de la inform ación obtenida frente a la defensa d e procesos cuya un id ad funda­
oividar que ips resultados de tai investigación pueden tener erectos sociales inm edia­ mental es e¡ investig ad o r y que pueden ir variando en función de cóm o éste va o tor­
tos y q~yje fian de ser com unicados a responsables que han<te tomar decisiones acerca gando significado a la inform ación conform é la va consiguiendo. En definitiva, un
de la continuidad de tales programasTEÍTo quiere decir queTos resüítá3os lian de ser viejo debate acerca de la conveniencia de la obtención de datos co n seg u id o s m ed ian ­
comunicados de la form a m ás clara y m enos tecnocrática posible. te la utilización de recursos tecnológicos y por investigadores no im p licad o s perso­
Todo ello nos lleva a una opción m etodológica que conlleva una posibilidad “roaxl- nalmente en el proceso de recolección de los m ism os que perm itan la m anipulación
malista" en la evaluación del program a. Nos referimos a'la evaluación, si ello eTposi- y el análisis m atem ático o de la n ecesidad del estudio de discursos o b tenidos a través
ble, de todas (o al m enos una m uestra representativa de ellas) las personas pertene­ de una im plicación personal del in v estig ad o r en el contexto p ro d u cto r de tales d is ­
cientes a un grupo de im plicados, de todos los grupos con una am plia gam a de cursos. ’
instrumentos y herramientas de evaluación procedentes de diversas disciplinas científi­ r- A pesar de la esperanza dem ostrada por R eichardt y Cook (1982) acerca del fin de
cas y con la presencia de un grupo de evaluadores que sean capaces de contrastar lo tal polém ica en su conocido Capítulo no creem os que ésta haya sido h asta el m o m en ­
infirm ación que se va obteniendo. E n definitiva, nos referimos a una opción que des­ to superada. Y no lo ha sido porque es la traducción actual del enfrentam iento entre dos
cansa e n el m ullipllsmo p ropuesto por Cook (1985) y en la triangulación originalrnen- maneras de entender la Ciencia que sitóan a la cantidad y a la calidad en dos planos de
.•o*-™**- ~ com pletam ente distintos (Beltrán, 1986). Este enfrentam iento se arrastra d e s­
El objetivo, pues, es obtener el m áxim o de información “coincidente" desde diver­ de el principio de la Filosofía O ccid en tal1 pasando por el nacim iento de la F ísica
sos inform antes, procedim ientos de recogida de información y evaluadores que n °s m o d em a-el debate acerca de la plenitud o el vacío del Universo entre L éib n iz y N ew -
perm ita considerar esa inform ación con la suficiente “calidad” como para poder garan­ to n - (Conde, 1994) y desem bocando en u n recrudecim iento en el cam po de las C ien­
tizar “científicam ente” las conclusiones a las cuales lleguemos a través de ella (Her­ cias Sociales donde el recurso a lo subjetivo (tan caro a los m étodos cualitativos) es tan
nández, 1994a), i-cilm ente asum ible. ,
U na últim a consideración m etodológica introductoria que caracteriza al proce­ -uebido a las características anteriorm ente m encionadas (singularidad del progra­
so de la evaluación de ún pro g ram a nos lleva a resaltar su carácter singular. En efec­ ma. tanto en lo tem poral como en lo contextual y m ultiplicidad de im plicados, funda-
to, a pesar de la m ultiplicidad de actores inm ersos en el program a, el objeto del m is­ m=ntalmente), e y 5i3 je x e J m -m a ilte t¿ te j!d m m £íaI)ias,ón.í!.6,.lirogram as._C reem os)
m o (las necesidades a cubrir), los propios im plicados y los m ecanism os u tiliz a d o s .L °^^w qae_ 45L?jLei.sjs.unaílsadp.;__
(las acciones a im plantar) son singulares y específicos para cada uno de ellos. Esio —ÍL aiua4ro-4J.^e^eflej^alg u o as.d eJasjÍil^.® S ÍS ^fu Q d ¿m _ en tales_ en _ tre, am bos
afecta sobrem anera al p ro ceso de tom a de decisiones sobre la utilización de instru­ J!:S 5Í5S «L lS L aafeJsn g .q u e ver con la ev aluació n jJe program as:
 CUADRO 4 .1 . C u a n tita tiv is m o v s c u a lita tiv is m o : D if e r e n c ia s e n e v a lu a c ió n d e p r o g ra m a s . su opinión acerca de la eficacia y efectividad del mismo). E n el Cuadro 4.2 podem os
MÉTODOS CUANTITATIVOS MÉTODOS CUALITATIVOS observar un resum en de las principales técnicas cuantitativas y cualitativas utilizadas
en evaluación de programas agrupadas en pares por su sem ejanza:
• Búsqueda de objeiividad o de intersubjeti- • Búsqueda de subjetividad de implicados
representativos. CUADRO 4 .2 . T é c n ic a s c u a n tita tiv a s y c u a lita tiv a s en e v a lu a c ió n d e p r o g ra m a s .
vidad.
* Establecimiento de generalidades. • Conocimiento exhaustivo de particularidades. MÉTODOS CUANTITATIVOS MÉTODOS CUALITATIVOS

• Obtención de datos. • Obtención de discursos. • Entrevista estructurada. • Entrevista abierta.

* Sujelo de evaluación: individuo en pobla­ • Sujelo de evaluación: individuo en grupos. ■Encuesta. • Metodología participante.
ciones. • Medidas de autoinforme. • Grupos de discusión.
• Diseño planificado. • Diseño emergente. • Observación estructurada. • Observación participante.
• Dirigidos a evaluaciones de programas de • Dirigidos a evaluaciones de programas lo­ • Indicadores social&s. • Analizadores sociales.
gran alcance. cales.
1 Evaluación del resultado. • Evaluación del proceso.
Además de esto, los resultados pueden ser Iratados de form a indistinta. D e hecho, hay
experiencias de evaluaciones que'han hecho un csftoerzo p o r integrar los datos obtenidos
desde ambas perspectivas (véase a este respecto la muy reciente revisión de M asón, 1994).
Adm itiendo, com o hem os hecho, que la evaluación de programas pasa ineludible­ f No hay que olvidar que cualquier tipo de información puede ser cuantificada (Mayntz,
' menle por la recogida de información lo más amplia posible, el problem a radica en la \ Holm y H übner, 1975). "Así, discursos obtenidos, por ejemplo, a través de una entrevista
dirección que demos a tal exhaustividad. Podemos optar por llegar al m áximo número -abierta se pueden reducir a un análisis de frecuencias en base a categorías previa o'poste-
posible de im plicados en la búsqueda da la intersubjelividad2 y la posibilidad de signi­ riormente establecidas. Esta ha sido, incluso, una de las principales críticas de los cuan-
ficación estadística de nuestros resultados (p. ej.: m ediante la utilización de una encues­ titatiyistas extremos hacia la posición cualitativa en el sentido de que sólo m ediante la ape­
ta de opinión, técnica em inentem ente cuantitativa) o podem os optar por profundizar en lación a esa distribución categorial puede extraerse información útil; sólo cuantificando se
la opinión d e unos pocos representantes de esos grupos de im plicados escogidos en fun­ puede manejar tal volumen de información. O lo que es lo mismo que los contenidos
ción de su significación dentrb del grupo al que pertenecen y buscando precisamente la extraídos m ediante técnicas cualitativas de evaluación no producen ningún tipo de infor­
, subjetividad d e sus opiniones (p. ej.: llevando a cabo u n grupo de discusión, quizá la m ación aprovechable para la evaluación (Chen, 1990; Sechrest y Figueredo, 1993). Por
¡["Joya de la Corona" dentro de las técnicas cualitativas). En definitiva, y dicho en otras otro lado, incluso en una entrevista altamente estructurada puede ser conveniente anotar
i palabras, preguntar a m uchos implicados acerca de lo esencial o preguntar a los esen- respuestas o apreciaciones personales del entrevistador que pudieran tener su utilidad pos­
¡ ciales sobre m uchos aspectos del programa. Quizá la solución al debate sería la de pre­ tenor quizá no para ser tratadas estadísticamente aunque sí para guiar futuros pasos en la
guntar a m uchas más cuestiones pero eso, aparte de ser técnicam ente Inabordable, no evaluación del programa. He aquí uno de los principales argumentos defensivos d e los
dejaría contentos a los partidarios de ninguno de los dos m étodos ya que violaría algu­ cualitativistas" que apelan a la “cualidad” como criterio organizador de las cantidades
nos de los supuestos fundam entales de sus técnicas. obtenidas (Lourau, 1979) y a la imposibilidad de sustráeH a subjetividád del evaluador y
,_ Dado que, en evaluación de program as, la referencia al individuo im plicado en el de los evaluadíorsiendo. por tanto, imposible eliminar"su influencia^ lo que puede hacer
I program a es inevitable, tanto desde lo cuantitativo com o desde lo cualitativo, se pos­
l_vanar eT"n 'ás estructurado d élos planes y diseños de evaluación (Patton, 1983).
tulan técnicas cuyo único objetivo es el de la obtención de inform ación de ese indivi­ . ^ clu so se supone, Dávila (1994), que ambos enfoques com parteneTm lsm o reduc-
duo. Ello hace que, con algunas excepciones, las técnicas sean prácticam ente las n y C|onismo en su intento por describir una determinada realidad. En este sentido, algún autor
mas, diferenciándose, com o verem os c o n ‘posterioridad, no_ tanto "e n ló s co ntenido* «irno Beitrán (1986), defiende que éstas son sólo dos de las posibilidades de acceder a la
com o en las’ T o ’m ias'^d éliev arlás V cab o y de tratar la in fó rm ácló ñ '^ tem d á. Así,
f n n b soc*a' (s'endo las otras tres, el método histórico, el comparativo y el crítico-racio-
cada una de l a s ' técnicas'cuantitativas podríamos enunciar una cualitaKvaTjue reprc-
] i-, ; ° tro sentido, si la discusión se planteara no en términos de lo cuantitativo y lo cua-
Isentarfa la cruz de esa m ism a moneda; entrevista estructurada v i'en trev ista abierta
' r» k ' ° S!n° en e * ^ ^ í t o de Investigación confirmatoria y exploratoria, la integración de
Xpero entrevista al fin y al cabo: interacción entre un individuo que responde y otro q«1' n os métodos sería más factible"dado que la exploración y la confirmación se pueden
pregunta), observación en base a códigos vs observación participante (con el punto f"
resi i ? Como c*os Pasos complementarios y secuenciales en el proceso científico (Sech- ..
com ún de registrar los com portam ientos de los individuos en su contexto natural). tfL‘
' ¡le y r '1?'Jeredo. 1993) considerándolos ambos elementos fundamentales del contexto de
nicas de autoinform e vs grupos de discusión (im plicados en el program a que expresan
\ — ÍSlLsiüllenío y del contexto de justificación (Popperj 1959j_Brown, 1977).
- . . . . . . , . i_oi
 122 Parte 11: Metodología Capítulo 4: Procedimientos de recogida de Infonuaclón en evaluación de programas 123

Por dltihio, desde el punto de vista multiplista que estamos defendiendo, un requisi- r Nos ocuparem os de este Ultimo elemento. No debem os olvidar que ios instrum en-
I to necesario para proceder a una evaluación más rica sería el de la utilización de ambos i tos y técnicas a utilizar se aplican, salvo algunas excepciones (observación, datos de
tipos de métodos y técnicas (Reíchardt y Cook, 1982). Independientemente de cuál sea la 1 archivo...) sobre individuos que, evidentemente, no pueden sustraerse a su propia sub-
posición de partida desde la que se aborde el problema (y la nuestra es claramente de ori­ , jetividad. Si adem ás consideram os su grado de involucración con el program a, bien por­
gen cuantitativisla), la evolución de la evaluación de programas en cuanto a disciplina que lo hayan recibido, bien porque lo hayan diseñado o bien porque lo hayan aplicado,
aplicada de las Ciencias Sociales exige una formación metodológica plural del evaluador esa posibilidad de sesgo se ve claramente aumentada. Por ello, la tarea de utilización de
que le permita resolver sin dudas los problemas que el devenir cotidiano de la evaluación ¡¡instrumentos lo más objetivos posible se convierte en un requisito fundam ental.
[ J e pueda plantear. D e hecho en Estados Unidos, tal y com o plantea Sechrest (1992), son Uha dificultad añadida es, com o hemos apuntado anteriorm ente, el carácter singu­
numerosos los evaluadores asociados en la A.E.A. (Am erican Evaluation Association) lar del program a (y, p o r tanto, de su evaluación) que no suele p erm itir la utilización de
que pertenecen tanto al grupo de estudios cuantitativos (Quantltatlve Topical interest instrumentos de evaluación con garantías científicas y a probadas. A pesar de lo dicho,
G m up) como al grupo de estudios cualitativos (Qualitative Topical Interest Group), lo no podemos sacrificar la “utilidad” de la inform ación p o r la “com odidad" en la eva­
que da idea de la necesidad e interés por el conocimiento de ambos tipos de técnicas. luación. Dicho de otra m anera, datos con garantías p e ro sin un referente claro a la rea­
Seguidam ente vamos a describir cuáles son las cáracterfslicas de las principales lidad del program a, son .datos difícilm ente aprovechables.
técnicas de origen cuantitativo y cualitativo en evaluación d e program as. CUADRO 4.3. Técnicas c u a n tita tiv a s : s u je to s d o e v a lu a c ió n y f o rm a s d e a p li c a c i ó n .

TÉCNICA DB SUJETO DE FORMAS DE

4.3. T écnicas d e recogid a de in fo rm ació n d e índole c u a n tita tiv a _ EVALUACIÓN EVALUACIÓN APLICACIÓN
• Entrevista estruciurada. - Responsables. Entrevistador experto (preferente­
En las primeras evaluaciones de las que tenem os constancia escrita, los prim ige­ - Gestores. mente un miembro dei equipo de
nios trabajos de Tyier (1942) sobre program as educativos, las técnicas utilizadas fue­ evaluación que haya participado en
ron técnicas cuantitativas D p. hpr-hn de '-T.- c lísic a tv - !u ;c ;ír . p e r objetivo; ai diseño do ia entrevista).
en donde se pretendía constatar estadísticam ente si el program a, tras su implantación, • Encuesta. - Gestores. Encuesladorcs entrenados (unifor­
había logrado sus objetivos y hasta qué punto los había conseguido. Estas_técnicas l)an_ - Usuarios. midad en instrucciones y formas de
sidojuitizadas p.rioritaiianienta para efectuar una evaluación de resultados. bien sea ¡sn" - Población general. formular las preguntas).
lu_evaluaclón de la eficacia o de la efectividad del program a, Es decir, bien sea para - P. Objetivo.
e stimar el grado de cum plim iento de Ios-objetivos com o para~éstím arlos efectos que~~ • Técnicas - Usuarios. Amoaplicacián evaluadores entre­
se han producido en los beneficiarios del program a tras su Implantación, de autoinforme. nados: si no es posible la autoapll-
Así, al.hablar de técnicas de recogida de inform ación de índole cuantitativo hace­ cnción (uniformidad en instrucciones
mos referencia a técnicas de. m edida de un a determ inada realidad social. En el caso que y formas de formular Ins.preguntas).
nos ocupa, se pretende m edir el estado de los beneficiarios del program a para ver si, • Observación. - Contextos de aplicación Obsenadores expertos, ajenos y no
después de la Im plantación del m ism o, se han cum plido los objetivos del program a y/o de los programas. participantes (preferentemente miem­
se han mitigado o han desaparecido ¡as necesidades que le dieron origen. En definiti­ bros del equipo de evaluación que
va, « .tr a te ÚP. m edir la_gíj5tgflqiflj.no..d6 carencias en unos, individuos, concretos, hoyan participado en el diseño del
TW y com o hemos indicado anteriorm ente, esas técnicas de evaluación van a pro­ código de observación).
ducir una "m edida" (un referente num érico) sobre la cual establecer todos los análisis • Indicadores sociales, - Población general. Personal contratado (becarios de
estadísticos pertinentes y, por tanto, llegar a conclusiones form alizadas. económicos y de salud. - Población objelivo. investigación, personal en forma­
<- Dentro de esta perspectiva, hay un objetivo claram ente perseguido: la oblención de ción) que recoja la información en
' un dalo de calidad, es decir, un dato lo suficientemente preciso, válido y fiable que no dé plantillas estructuradas.
lugar a posibles sesgos a la hora de procesarlo formalmente. Ahora bien, para c u m p l i r esta ■Dalos de archivo sobre - Usuarios. Personal contratado (becarios de
f aspiración (que a veces se convierte en obsesión) se han de poner en juego muchos ele- usuarios. investigación, personai on forma­
Ulientos metodológicos. Se' encuentran implicadas cuestiones de diseño (diseño planifica­ ción), que recoja la información en
do en el sentido de especificación previa de individuos, asignación de grupos y momen­ plantillas estructuradas.
to de mediciones en la búsqueda del mayor control posible que garantice la no existencia ' Datos de archivo sobre —Documentación escrita Evaluadores expertos (preferente­
de fuentes de variabilidad), de elección de muestra, de com petencias del evaluador o eva­ el programa. sobre el programa. mente miembros del equipo de eva­
luadores y, por supuesto, de "calidad metodológica” del Instrumento de evaluación. luación).
 No obstante, no podem os olvidar que cuando sea necesaria la construcción de ins­ . D esde el punto de vista m ultiplista que venimos adoptando, esta técnica es gasto­
trum entos de recogida de inform ación específicam ente destinados a la evaluación del sa en cuanto requiere la utilización de m ucho tiempo y la exclusividad del entrevistá-
program a habría que determ inar, previam ente a su utilización, sus “garantías científi­ Hór en ese tiem po para obtener inform ación de una sola persona. L a contrapartida es la
cas” . Dicho en otras palabras, habría que com probar con una peg ú e te m uestra (m edian­ posibilidad deexhaustivización de la información. Tal grado de p ro fu n d iz a ro n n o sue­
te la realización de un estudio pilotó), que tales instrumentos realmente van ¿ ser útiles le ser posible utilizando otro tipo de técnicas (encuesta o medidas de autoinform e en
a los objetivos de evaluación. general). P o r otro lado, también requiere un nivel de preparación y experiencia p o r par­
Sin profundizar en todas las técnicas cuantitativas, nos vam os a .detener en aqué­ te del entrevistador que asegure la no aparición de posibles sesgos en la recogida de
llas que podríam os considerar clásicas en evaluación conductual junto con otras que se información.
utilizan de form a más específica en evaluación de programas. Así, dedicarem os nues­ Estas razones m arcan que su utilización, en evaluación de program as, sea limitada
tra atención a la entrevista estructurada, la encuesta, las medidas de autoinform e, la y se restrinja a sólo algunos de los grupos de implicados en el mismo. En concreto, y
observación estructurada, la utilización de indicadores sociales, económ icos y de salud dependiendo de la naturaleza del program a, su utilización se suele centrar en respon­
y los datos de archivo. sables (encargados de tom ar las decisiones acerca de la implantación, continuidad,
Bn el Cuadro 4.3 se relacionan las diversas técnicas cuantitativas de recogida de ! mejora o fin del program a) y gestores (los propios implantadores del program a pero en
inform ación en evaluación de program as con el grupo de implicados sobre el que reco-- : sus puestos más directivos). Es decir, aquellos grupos que pueden ser abarcados en su
ger inform ación y las form as de aplicación correspondientes. totalidad sin excesivo coste. P lantearse efectuar entrevistas a todos los usuarios o una
A cnntinuación,Iremos.desarrollando,,V-,dfctallanda.to^p.Qnxt6nQias..Ae-e.ste.(;uftdro. gran parte de ellos o incluso a una m uestra representativa, supone un a tarea que podría
llegar a ocasionar el bloqueo del trabajo evaluativo.
- A efectos prácticos, el recurso a la entrevista estructurada resulta especialm ente
4.3.1. La entrevista estructurada ¡ recomendable cuando se pretende conocer sí existe coincidencia entre los im plicados
' en cuanto a la determ inación de las necesidades (y las formas en que éstas han sido
A un estando de acuerdo con S ilva (1992) cuando afirm a que no se puede plantear detectadas) a las que supuestam ente se pretende dar respuesta, la naturaleza de los
la cuestión de la estructuración de la entrevista en términos dicotómicos sino que cabe objetivos que se pretenden cum plir tras la implantación del program a y la pertinencia
hablar de grados de estructuración dentro.de un continuo, a efectos de consideración y adecuación de los m edios puestos a disposición para el cumplimiento d e tales obje-
de la entrevista com o una técnica cuantitativa de recogida de inform ación, haremos jlvós. El conocim iento dé posibles discrepancias en tales tópicos puede dar inform a­
r t í e r ^ c Í 3 . o i l i i P ^ d B m t r m 5 t M l L ^ a t ^ y r u c t B r a á a JJ IM _ e s tr ^ u r ^ ó n _ n o afecta ción relevante cora, fundam entalm ente, a la determinación de la evaluabilidad del pro­
sólo a ljip o d e preguntas a realizar sino tam bién, y como sostienen H aynes (1978) y grama o lo que es lo m ism o la facilidad y/o factibilidad para proceder a su evaluación
Fisseni'(1990)3 entre o tro 's,"¿ lip ó 'd é ,re S E U ^ ta ^ ,a Jia jM ^ n a a fija _ d ^s.p reg u n ta s, al (Wholey, 1987; H ernández y Rubio, 1991). Asimismo, el conocim iento de esa posible
registro y a la interpretación de ia inform ación. A sí, a partir de este momento, estare- discrepancia puede ayudar en la interpretación de ios resultados obtenidos tras la eva­
c ° n respuestas ajustablesj_ luación.
cáicpñrías d cffm da| “a p r io r F y cóñ“r e p 7 tr y ‘^ ^ § n .ie p _ l de la in.foTOaciónJa ser posi- f Por último, la entrevista, sobre todo aquella dirigida a los encargados de tom ar las
“ [ílHTsiéfñpré’y cuand*o el entrev istad o d é su perm iso; mediante’lá utilización de graba­ decisiones, se presum e como la única técnica capaz de detectar la existencia de posí-
ción d e la entrevista) quft nos arettg.infom adén..T SJeyante. fiable y válida. bles objetivos encubiertos (y, po r tanto, no declarados explícitamente) que pudieran
L a entrevista estructurada no difiere, en cuanto a sus características definí lorias, ^csiar a la base de la organización que diseña e implanta el programa.
cuando es utilizada en evaluación de program as en relación al uso que de ella se hoce En esencia, el entrevistador en evaluación de programas ha de m anejar las v aria­
en otras aplicaciones (entrevista clínica, de selección,.,). Ej_q]yet¡yo o s que, desde un punto de vista form al, contribuyen al máximo cum plim iento del
esta céqnica_es_el_de recoger el. ro jb q p o d t infam a c ió n útil t e la que pueda aportar In objetivo de obtención de inform ación útil. Son aquellas que M atarazzo (1965, 1978)
persona entrevistada (M árquez, Rubio y H ernández, i 987; M árquez y Muñoz, 1994). nS™Pó bajo el nom bre de anatom ía de la entrevista', duración de las verbsjizecit. ncs
... L a diferencia fundam ental con, por ejem plo, la entrevista clínica radica en que £ntrevistador y el entrevistado, refuerzos (verbales con y sin contenido sem ántico
m ientras ésta es utilizada com o u n a técnica de 1er nivel (Silva, 1992; Llavona, 199-1 y no verbales), m anejo del contacto ocular, latencias (tiempo transcurrido entre ei fin
para explorar de form a general cuál es la naturaleza del problem a de la persona que ini Una v? | k a*‘zac>ón ¿el entrevistado y el inicio de la siguiente del entrevistador) e
u ju d e a consulta, en evaluación de program as ese primer rastreo tiene que haber sido ''t i r TU^C'0neS ^ scurso ^el entrevistado (Márquez, Rubio y H ernández, 1987;
realizado precisam ente m ediante, la consulta a datos de archivo y el subsiguiente esiif ble 1:11162 ^ ^ ufioz' 1994). A sim ism o, desde este punto de vista form al, hay una varia-
‘dio de toda la docum entación escrita que haya sobre el programa. E sa tom a de conloe ler d ,I naraar desde el principio el curso de toda la entrevista dado su caxác-
vro inicial "así como el giupo de pertenencia del entrevistado m arcará las directrict. 6 ,nleracción directa entre dos individuos. Tal variable puede ser defin id a com o
sobre las que enfocar la estructura de la entrevista. o conexión positiva-entrevistador-entrevistado que garantice la reducción de
 126 Parle 11: Metodología
Capítulo 4: Procedimientos de recogida de U\formación en evaluación de pmgramas 127

incertidum bre del entrevistado (Pope, 1979) y cree u n a atm ósfera confortable y faci­
Todo lo dicho hasta el momento confiere un papel activo al entrevistador en cuan­
litadora del desarrollo de la entrevista (Nay, 1979). A un cuando es difícil afirm ar que
to a “ tom ador de decisiones” inmediatas acerca del planteam iento d e cuestiones poste­
la experiencia en realización de entrevistas dé garantías de-una buena conexión inicial
riores. A sim ism o, el entrevistador deberá decidir con rapidez qué inform ación reforzar
con el entrevistado, los entrevistadores expertos (con m uchas entrevistas realizadas)
y cuándo y cómo hacerlo, cuándo Interrumpir, cuándo retirar el contacto ocular, cuán­
gozan de un m ayor repertorio de estrategias encam inadas a la consecución de ese buen
do alargar o dism inuir !a duración de sus verbatizaciones, etc.
com ienzo. . '
Todo ello sin ovidar la observación de las garantías científicas que maximlcen la
fiabilidad y la validez de la información obtenida y que tienen que ver, prioritariam en­ 4,3.2.' L a encuesta '
te, con la estabilidad (obtención de la m ism a inform ación en distintas situaciones), el
valor predictivo o criterial de tal inform ación y la validez de contenido en cuanto a la
- La encuesta es el procedim iento d e reco g id a d e inform ación m ás u tilizad o por

r
recogida de datos ajustados a las exigencias de la estructura planteada originalmente en
la entrevista (Silva, 1992). .
D esde el punto de vista del contenido, hay que contar con una serie de caracterís­
ticas peculiares de la evaluación del program a a tener en cuenta a la hora de diseñar
tanto las preguntas como el formato de respuesta a tales cuestiones.
r parte de la sociología em pírica y aplicada (G arcía F erran d o , 1986). E x p resad o d e for­
m a sencilla, u n a encuesta-consiste en la form ulación de p reg u n tas a u n núm ero
determ inado de in d iv id uos que representan a'u~n c o lectivo m ás am plio en la b úsque­
da de inform aciones que sean generalizáETes p ara ese colectivo (G h ig lio n e y M ata-
lon, 1989). En esencia, com o puede apreciarse, al h abiar de en cu esta se e s tá aludien­
E n prim er lugar, como en toda entrevista, form atos altam ente estructurados mar­
do a un procedim iento m ás que a un instrum ento de recogida de in fo rm ació n . Serían
can, por un lado, la especificidad en las respuestas (evitando que el entrevistado "se
cuestionarios, m ás o m enos estructurados, sobre los cuales llev ar a cabo tal procedi­
vaya por las nubes”) y, por otro, la facilidad de codificación y posterior análisis de la miento.
inform ación, obtenida. En este sentido, un form ato de respuesta abierta (aun en una
A plicada a la evaluación de program as, la en cuesta perm ite recab ar la opinión,
entrevista m áxim am ente estructurada en cuanto a la secuencialización de las preguntas
■ sobre aspectos relacionados con ei program a, de u n a jn u e slra representativa d e indivi-
y la planificación de los temas) obliga a un trabajo posterior de.calegorización de las
» i^rtcriecióiiicaa alguno de los grupos de im plicados. En esle sentido, den tro de la
^respuestas obtenidas que puede ralentizar tal proceso de codificación y análisis.
' ''clásica distinción, originalm ente form ulada p o r Hyrrian (1955) y recogida p o r G óm ez
•En segundo lugar, parece conveniente diseñar un form ato de entrevista adecuado
Benito (1990), entre encuestas de tipo descriptivo y d e tipo analítico, las utilizadas en
a las peculiaridades del program a (por supuesto) y a la posición con respecto al mis­
evaluación de program as pertenecen al segundo tipo. E s decir, aquellas que pretenden
m o del im plicado a entrevistar. Elio hace difícil que puedan encontrarse dos forma­
obtener inform ación de grandes grupos que m uestren la distribución e intensidad de,
tos de entrevista iguales, aun cuando am bos se estén refiriendo a un mismo progra­
en este caso, los efectos provocados por la im plantación de las acciones contem pladas
ma. N o obstante, cabe señalar algún intento para form alizar estructuras estándar de en el program a. .
entrevistas dentro de la evaluación de program as com o el que llevaron a cabo Her­
A tendiendo a los diversos grupos do im plicados, especialm ente interesante resulta
nández y F em ández-B allesteros (1990) que el Instituto N acional de Servicios Socia­
su utllización en referencia al grupo dejusuarios de! pro g ram a. E n este sentido, se b u s­
les (IN SE R SO ) dispensaba a las personas m ayores de 60 años.
caría la generalización de las opiniones 3 e los usuarios encuestados al grupo al cual
f- Una últim a consideración a realizar tiene que ver con la duración de la entrevista­
pertenecen. Es m ás, cabe la posibilidad, si el núm ero no es m uy elevado, d e encuesíar
’ Pudiera existir la creencia sobre qué entrevistas quo em plean un m ayor periodo de
? lotios integrantes de ese grupo y, p o r tanto, despreocuparse de los p roblem as dé
tiem po obtendrán una m ayor cantidad de inform ación relevante. Bsta no es una rela-
generalización d e los resultados,
jció n lineal. Es más, cabe señalar que aquellas entrevistas, supuestam ente más breves,
f El recurso a la encuesta, no obstante, resulta im prescindible cuando tratam os de
"en las que el grado de estructuración es m áxim o e, incluso, el entrevistado dispone de
* recnbar inform ación sobre la población objetivo (aquella que presen ta las m ism as
un listado con las categorías de respuesta a cada pregunta, revelan un m ayor monto de
características que los usuarios pero que, por alguna razón, no está recibiendo el pro­
inform ación aprovechable que esas otras en las que se perm ite la divagación no dirigi­
grama) y, especialm ente, sobre la población general a la que sería p o co pro b ab le acce-
da. La econom ía de tiempo, además, suele ser un aspecto que el entrevistado agradece. L r de °tra m anera. ’
Para conseguir nuestro objetivo de máximo de inform ación en mínimo de tiempo,
” *ros grupos d e im plicados, tales com o los responsables y g estores (salvo en el
necesario el conocim iento preciso del contenido global de la entrevista de tal forma que
o de que sean m uy num erosos), pueden ser cuestionados a través de otros m edios
el entrevistador pueda detectar si en la respuesta a una pregunta, el entrevistado da res­
puesta a una pregunta posterior. Este reconocim iento perm itirá, bien no incidir en rei­ ncce°’ ^ ° r eJem P '0’ Ia entrevista. N o obstante, en los casos en los que no s e estim e
teraciones, b ien utilizar la posterior cuestión com o m edio de contrastación de la infor­ encf501"10 recakar u n a inform ación m uy am plia de Jos integrantes d e estos grupos, la
procej í a Puede ayudar a resolver determ inados problem as de accesibilidad al ser un
m ación. E'íjo justifica, una vez más, la participación directa del diseñador de W
im iento de recogida de inform ación que requiere m enos tiem po que la entrevis-
entrevista en la realización de la misma. 13 a la que aludíam os anteriorm ente.
v- El ahorro de tiempo es una de las principales ventajas que cabe m encionar de la
po que puede inform ar acerca de los posibles cambios acaecidos en su vida gracias a
• encuesta. Así, se accede a un 'mayor núm ero de personas con una m enor inversión de
|te . im plantación del program a. En efecto, es de interés para la evaluación del program a
tiempo y. esfuerzo. Una ventaja añadida es que, para la realización de una encuesta,
«constatar cuáles son los efectos, considerados de manera am plia, que se producen en
tam poco es necesario un alto grado de conocim iento del program a y de implicación
este grupo, conform e se va procediendo a su implantación y cuáles han sido los efec­
con la evaluación de! m ism o, siendo factibieutilizar encuestadores ajenos al equipo de tos que tal im plantación ha producido en los usuarios al final de la:misma.
< evaluación contratados especialm ente para tal efecto. Pero ésta que es una de las prin­
D ifícilm ente, podrem os establecer la evaluación de un program a si ignoram os
c i p a l e s ventajas puede llegar a constituir uno de los m ayores peligros. El encuestador
cuales son las repercusiones que el mismo tiene sobre su población de usuarios y difí­
^ajeno puede introducir una fuente de sesgos en la inform ación recogida en función de
cilmente podrem os, tal y como defiende Lieberm an'(1979), enteram os de tales reper-
cómo presente la encuesta y de cómo registre e interprete la información. U na forma
cusiones.si no procedem os a preguntárselo a los implicados. A hora bien» en últim o
de intento.de control de estos posibles sesgos sería m ediante la utilización de una doble
término, estam os indagando sobre aspectos claramente subjetivos, buscam os la per­
estrategia. '
cepción del usuario y pretendemos traducir en términos cuantitativos tal subjetividad.
En p rim er lugar, el entrenam iento previo de los encuestadores para lograr la coinci­
Esto, en principio, podría parecer una contradicción pero profundizando en ello obser­
dencia en su m anera de presentar la encuesta y en su manera de registrar la informa­ vamos cóm o no se produce tal,
ción. Para ello, sería necesario establecer sesiones de “rol-playing” y llegar a determi­
r , ^ diferencia de las técnicas cualitativas, com o veremos posteriorm ente, con los
nar índices de acuerdo (fiabilidad inter-jueces) en el registro de una serie de encuestas
i autoinformes no se busca la información subjetiva "libre" del individuo. P or el contra­
de prueba. L a no utilización de m uchos encuestadores facilitará extraordinariam ente el
no, sg_pretende conocer indicadores “subjetivos,’ sqbre una serie de tópicos m arcados
logro d e estos acuerdos. '
— ^¡nUemano ppr e[ evaíüaaor. Es mas; una garantía sobre la “calidad'’ de la c o n s tr u í
En segundo lugar, un form ato de cuestionario altam ente estructurado reducirá la
cion del autoinform e tiene que ver con la posibilidad d e contrastación de la inform a-
probabilidad de interpretación de la inform ación y facilitará la tarea de la codificación
f ion obtenida m ediante otro tipo de técnicas (Fem ández-Ballesteros, 1983a, 1991). En
posterior. Si tenem os en cuenta que el núm ero de individuos encuestados suele ser ele­
es e sentido, el autoinform e referido a comportamientos m otores o respuestas fisioló­
vado (si no lo fuera probablem ente utilizaríam os otra técnica de recogida de informa­
gicas serf m ás fácilm ente contrastable que el autoinforme relativo a eventos internos
ción), esta facilidad en la codificación de las respuestas registradas, cobra especial-
Mucho se ha escrito acerca de los sesgos de la inform ación obtenida a través de
relevancia. •
cífien [°™ es Pr°P lcm dos tanto por el propio informante com o por el autoinform e espe-
n entfe ,aS ftlerUeS de distorsil5n de respuesta m ás frecuentes citadas
4.3.3. Medidas de autoinforihe nuco, , eStCr0S (1983a); simulación, deseabilidad social y tendencia de res-
hav qU6’ en cvaIuacl6n de programas, son estas dos últim as sobre las que
nay que prestar una mayor atención. 4
f En esencia, tanto la enttevista com o la_encuesta pueden ser_consideradas com o
m edidas de autoinform e .sjejhpre que se refieran á' cuestiones relativas a sí mismo. S> necesidadouT^cn»1V'da! i qUe US'í? ri'? eS una persona que riene una determ inada
' efecto, u n ’inálvíduo, ya Sea entrevistado o encuestado, expresa opiniones, sensaciones, usuario j P? BUPerar- Teniendo en cuenta esto, no es de extrañar que el
juicios acerca del im pacto que sobre él está causando la im plantación del programa. UdacJes d i e n t e 6r a rofo,r nwr oon un sesB° Positivo hacia el program a con dos fina-
E s t o concuerda con la definición de autoinform e que afirm a que éstfi supone la emi­ "evitar n o s ih w C0,IPpí,e !T’en‘.arias: "no dei ar en mal lugar” a ¡^plan tad o res y/o
s i ó n d e una verbalización donde un individuo refleja algo que está haciendo - n iv e l resulta más fárN P ,!!?• ÍP' eJ" exPulsl<ín del Programa), Dicho en otras palabras,
. co n d u ctu al- o que está experim entando -n iv e l fisiotógico- o que está p e n s a n d o - n iv e l corno un siano 1 ^ C^ C° “ V Í ? a 9ue esto. ad™ á s , puede entenderse
: co g n itiv o - (Bellack y H ersen, 1977; Fem ández-B allesteros, 1983a). puede hacer fldaPtación s0011*1 d<=la persona (Bardbum y Sudmnn, 1979). Poco se
L os autoinformes presentan, en relación al grupo de im plicados y en c o m p aració n «n las ventaia* m fSí^ a . Pnrasra da ta >“ finalidades salvo, quizá, hacer hincapié
con la entrevista, la ventaja de la accesibilidad a un m ayor núm ero de elementos cea r« p cci0 a la sam ^ l Ien8iíyerCer c,rft!,c as P°s¡ílvas P*™ m ejorar las actuaciones. Con
im m enor esfuerzo debido a que no es precisa la interacción individuo a individuo pro­ Pür ejemnlo ..A . J? | 6S la Sapinlía de confidencialidad y anonim ato su salvaguarda.
pia de la entrevista. El autoinform e presenta un grado de especificación que, en prin­ de los ’a l u r n ™ i “ r la actuaci6n docente del profesorado universitario por
c ip io , no tiene la encuesta. D icho de otra m anera, si el objetivo de u n a encuesta es o f« o r implicadn n „ J ’ aifo™ eE no SÓIa s°n anónimos sino que se entregan al pro-
:de llegar a un amplío núm ero de-personas para obtener inform ación sobre aspecto1 ‘ lumnos (al m , , " Vf Z i Ue haya firmado las actas con las calificaciones d e los
generales, el autoinform e ayuda a recabar inform ación m ás profunda sobre determiné" La tendenc rf SB ^ HCe 60 la Univers*dad Autónom a de M adrid).
¡ios aspectos del program a a costa, quizá, de no abarcar a tantas personas. ^ t i o n a r i o e S i r in respuesta- P01' su Parte' aPela a la calidad de ía construcción del
í<- En el Cuadro 4.3 hem os señalado que el grupo de im plicados con el que se emp'1’3' ü^pucsia se a iu L ° C° m ° S° ? 0r<e d s la ¡nformación a recoger. Cuando el form ato de
-, Iría esta técnica sería, únicam ente, el de usuarios al ser éste, en principio, el único grv- 7 'lem entos suelen ^ " i escalacon ™ número impar de categorías (norm alm ente 5 o
i ser tas opciones más utilizadas) puede producirse, en opinión de
 Saal, Downey y Lahey (1980), un doble fenómeno. P or un lado, dar respuestas siste­ tanto, trabajar con listas d e control y escalas de estimación cuando no se p ueda d isp o ­
m áticas en el centro de la escala y, por otro, darlas en ¡os extrem os de ia m isma, todo ner de un nivel elevado de sistem atización en cuyo caso optaríam os p o r el trabajo con
ello con independencia dp las cuestiones planteadas en los cuestionarios. L a utilización sistemas de categorías-o form atos de cam po (Anguera, 1994).
de formatos de respuesta con opciones pares obliga a decantarse po r alguno de los . En el Cuadro 4.3 especificam os que este esfuerzo corresponde a los m iem bros del
polos y controla la tendencia a dar respuestas sistem áticas centrales pero, no evita las equipp evaluador en cuanto a conocedores de los porm enores del program a y del d ise­
respuestas sistem áticas hacia los extremos, Teniendo en cuenta que el empleo de ño de la evaluación. P o r tanto, se requieren observadores expertos. Con respecto a las
auloinform es referido a la evaluación de program as siem pre im plica la consideración características d e los observadores, todavía cabría m encionar dos más. P o r un lado, la
de] grupo y no de casos individuales se pueden utilizar procedim ientos estadísticos observación estructurada y precisa de observadores ajenos a la realidad del program a
para controlar este tipos de sesgos sistemáticos (Fem ández-Ballesteros, 1983a). (es decir, salvo que se quiera introducir un procedim iento d e nuto-observación,. no
En conclusión, parece necesario apelar a medidas de autoinform e p ara obtener una cabría que el observador perteneciera a ninguno de los grupos de im plicados). P o r otro,
información, principalm ente proviniente de los usuarios, difícil de conseguir con otro es fundam ental que el observador sea no participante en el sentido de que perm anez-
tipo de técnicas. Ahora bien, una vez más, el rigor con el que se construya el cuestio­ l í a:a alejado del objeto de estudio y no se produzca interacción entre ellos (A nguera,
nario específico, el form ato de respuesta y el sistem a de codificación y análisis de tales 1991), Ello se presen ta com o u n a m ecanism o de control frente a las posibles fuentes
respuestas así com o la garantía continua de anonim ato y confidencialidad, ayudará a de error que pudieran proceder del citado observador (Fem ández-B allesteros, 1983b).
obtener una inform ación m ás contrastable y, por tanto,.m ás segura y útil. r Un problem a especialm ente relevante a la hora de hablar d e observación referida a
¡ la evaluación de program as, tiene que ver con el contexto o lugar donde se llev a a cabo
la m isma. TYadicionalmente, se han distinguido ¿¡TFiiñciSñ de esta variable d os tipos de
4.3.4. La observación estructurada y/o sistemática observación; la n a tural y la artificial. L aprim era sería aquella que perm ite reco g er datos
en el contexto natural doriclefeñ'éste caso, se esté im plantando el program a, L a segun-
P B1 primer paso para la obtención de conocim iento científico es el de la observación i da, se lleva a cabo en un contexto alejado del natural donde se pretenden replicar las
j de los fenómenos de la naturaleza. Así, observar implica conocer. [condiciones del m ism o. Bsta dicotom ía, no obstante, introduce un elem ento de confu­
Á h n r a hif»n HpcHp* u n ru
------- ---------------r m f n r l* --------
------------ \ / ¡ c t a mo>/>/4r»lAr»;~« r . ' . ■ ‘r’.T.'T
----------------O*--- >_•«* wwMwt i w x i . u.i.L./.mnuwt sión ya que no p arece adecuado, tal y como sostiene Fem ández-B allesteros (1983b),
! senta el registro objetivo y. específico, la c odificación y eh in a lisis d e ja forma, duración, dividir en dos los tipos de observación atendiendo a esta variable m áxim e atendiendo
frecuencia, antecedentes y cqnsecuenciíjcle com portam ientos y7o acciorieTsbciales pre- al 'continuo de naturalidad” form ulado por Caim s (1979) según el cual cualquier tipo
'vm m enté fdéñtiTicadás. (Anguera, 1981, [990; Fem ández-Ballesteros, 1ÍTS3&; 'García de observación podría situarse en algún punió del continuo y no necesariam ente en uno
Ferrando y Sanm artín, 1986). Mos encontramos ante una observación dirigida que per­ de sus extremos. C onform e nos aproximemos al polo “natural” o al polo “artificial" se
sigue unos objetivos prefijados de antemano. introducen una serie de ventajas y de limitaciones.
Pues bien, aplicada a la evaluación de program as, la observación ha de ser enten­ ¡” La aproxim ación al polo natural im plica una m axim ización de la validez externa,
dida como una técnica* q ue pretende recoger inform ación_com pjem entaria a la obteni­ es decir, la posibilidad de generalización de los datos obtenidos y la validez ecológica
da m ediante la utilización d e o tro s procedim ientos, Ésta técnica requiere, tal y como pero, a su Vez, supone una m erm a en la validez interna por cuanto no se p u ed e esta­
'p6sfula."Angúera (1990), la precilTófi'dél’obietivo de la observación (tanto personas blecer control sobre los com portam ientos que van a efectuar los individuos. E sto, ad e ­
com o situaciones), la disposición de m edios técnicos adecuados que garanticen la pre­ más, puede hacer que el coste de la observación sea mucho m ayor. P o r el contrario, ia
cisión de la informaciSiCTa'otitefición de datos cuantificables y, por últim o, la plausi- aproximación al po lo artificia] conlleva una reacción de signo contrario; u n a m erm a en
1 bilidad en la form ulación de hipótesis. Bn.defiñíSva’ lá observación sobre implicados, la validez externa y en la ecológica y una maximización de la interna. U n a últim a co n ­
'"‘tontextos o eíernentos del program a ha de contar con el suficiente soporte epistemoló­ sideración tiene que v e r con el tipo de comportamientos a realizar p o r porte d e los
gico, tecnológico y m etodológico que perm ita alcanzar respectivam ente el m ayor nivel observados. E n este sentido, cuanto m ás alejemos a la persona d e su contexto natural
de objetividad, el conocim iento de las características y circunstancias que afectan a los mas se corre el riesgo de obtener com portam ientos menos espontáneos y m ás m edinli-
hechos observados y las mejores condiciones para la recogida de la inform ación, el ! “ dos por las propias condiciones m arcadas por el proceso de observación y por el
análisis de los datos y la futura transm isión de la inform ación de tales datos recogidos que la p erso n a conozca que está siendo observada. N os estam os refiriendo al
(Tcrroba, 1992). problema de la reactividad en la respuesta de los observados (H aynes y H orn, 1982;
Una de las tareas fundam entales a realizar po r el evaluador es el del diseño del for­ Enguera, 1994). En líneas generales, este problem a estará m ediatizado p o r el m odo en
mato de observación y del código que sirva de traducción de la realidad percibida a los el cual se “artificialice" la situación d e observación (Fem ández-B allesteros, 1983b).
datos a analizan E stando de acuerdo con Blanco y A nguera (1993) en la idea de qoe el Aplicada a la evaluación de program as, toda esta problem ática req u iere u n a re-
nivel de sistem atización se extiende a lo largo de un continuo, dentro de este tipo de
IQtírfn Par!' cu*ar' H em os com entado con anterioridad y en otros trabajos (H ernández,
observación sería necesario tener, al menos, un nivel parcial de sistem atización y, P^r 0; 1995) que un program a y, por tanto, su evaluación representan un caso singular.
 E s decir, el program a se aplica en un m om ento puntual sobre una población específica serían u n a m era recolección de datos sin buscar relaciones, entre los elem entos de la
y con unas acciones concretas, Si adm itim os esto, la posibilidad de generalización de realidad que pretende medir. P or el contrario, los segundos, también llam ados indica­
los resultados tío sería una condición dem asiado importante ya que cabe hipotetizar que dores norm ativos, analíticos o diagnósticos, sí reflejan las relaciones que en el pasado
los resultados del program a sólo tienen interés pará la población sobre la que se ha se han éstablecido entre los elem entos que lo componen e intentan predecir si éstas se
im plantado el m ismo. A hora bien, desde otro punto de vista, la propia singularidad producirán en el futuro. En evaluación de programas, los indicadores norm alm ente uti-
m arca que las acciones del program a se estén implantando en contextos específicos lo I lizados son los d e éste último tipo.
que aconseja que los datos recogidos m ediante observación se refieran a ese propio f- Eslos. indic^¿ores_eysJii3tiyPs>en líneas generales, son empleados para tres grandes
contexto. Pongam os un ejem plo, quizá extrem o pero, sin duda, aclaratorio. Imagine­ i propósitos. E n n rim e r lugar, inserto, dentro del proceso de planificación y program ación
m o s.q u e estam os im plantando un program a para m ejorar el clim a social de una insti­ social, com o u n a herram ienta básica en el análisis de necesidades de la población obje­
tución penitenciaria y que uno de los elem entos a observar es la-interacción entre reclu­ tivo y, por consiguiente, de los potenciales usuarios dsl program a, En segundo, corao
sos. Podríam os observar tal interacción en una habitación donde los dejáram os solos y medio para contrastar el logro del cum plimienjo d ejM objetiyos dgl ptograjpa. P or últi­
efectu ar el registro a través de un espejo unidireccional. Esto perm itiría obtener un mo, como instrum ento de estim ación de los efectos ño deseadas que h a generado su
registro m uy porm enorizado de tal interacción. A pesar de que los resultados de la eva­ ^im plantación.
luación se referirán sólo a eso program a, cabe hipotetizar qua si pudiéramos observar Para cualquiera de los tres propósitos, se abren dos posibilidades técnicas que el
tal interacción en su contexto natural (por ejemplo, en el patio), los resultados serían evaluador ha de considerar, Por un lado, la construcción, al diseñar la evaluación, de un
m en o s precisos pero quizá más significativos. . . sistema de indicadores específico asociado a los objetivos definidos en el program a, P o r
E n últim o térm ino, no podem os olvidar que la observación en situaciones natura­ otro, la selección de indicadores que hayan sido recogidos por organismos externos (o
les suele entrañar num erosos problem as desde el punto de vista técnico y eso, en oca­ incluso internos) a la propia realidad del programa. Esto supone una ventaja adicional,
siones, m arca la opción por la observación artificial que siempre buscará la creación de desde el punto de vista de la no contam inación de los resultados. Ahora bien, tal y com o
situaciones y contextos que tengan los mayores puntos en com ún con las naturales. acertadamente sugieren Bertrand, M ock y Franklin (1981), esta selección ha de tener,en
cuenta las siguientes características: 1) L a accesibilidad al indicador. 2) L a relación
directa del m ism o con alguno de los objetivos del :programa. 3) El conocim iento de la
4.3,5, La utilización de indicadores sociales, económicos y de salud “calidad” con la cual se l a obtenido. A) El bajo coste en su consecución. 5) L a posibili­
dad de ser contrastado periódicam ente.
/ L os indicadores sociales, económ icos y de salud se pueden entender como la for-
E nlazando con el ejemplo anterior, el equipo evaluador puede construir, a partir de
i nía m ás “ objetiva” de recolectar datos sobre los grupos de implicados en la evaluación
los datos existentes en el m unicipio, el índice de mortalidad de los ciudadanos del m is­
Vde un program a. En efecto, el evaluador puede acudir a estos indicadores para obtener
mo (siem pre y cuando éste no sea muy grande si, por ejemplo, el m unicipio fuera
inform ación acerca de la situación social, económica, de salud tanto del grupo de usua­ Madrid o Barcelona la tarea desbordaría al equipo evaluador), pero se verá obligado a
rios com o del de población objetivo e incluso de la población general. Su utilización
acudir a algún organismo para obtener el índice de mortalidad general de los m ayores
es tan generalizada que lleva a algunos autores, AJvira (Í991), a afirm ar que sin recu- de 65 años ya que la tarea de su construcción sobrepasaría claramente sus posibilidades.
iT ir a ellos la tarea de seguim iento, control y evaluación operativa de un programa no
L a construcción de un sistem a de indicadores debe ser realizada por el equipo ev a­
se puede llevar a cabo. ■ luador aunque sea personal contratado el que se encargue de la recolección de los
/ M uchos han sido los trabajos que han pretendido profundizar en la definición y datos. D e igual form a, la selección de los indicadores que pueden ser útiles h a de ser
i natu raleza de los indicadores. B e todos ellos se desprende que un indicador-es-uoa
llevada a cabo por el equipo de evaluación mientras que, en este caso con m enor ries-
| m ed ida estad ística que perm ite dar cuenta de una realidad so c iaf desde un punto de^
, J>°. Ia recogida de ios datos puede rem itirse a personal ajeno a tal equipo contratado
\ vista diacrónico para reflejar su evolución y desarrollo —véase a este respecto, la revi-
específicamente pora la realización de ese trabajo, Una tarea especialm ente relevante
1 i'6frHé"G'asas ( 19 £ 9 5 y'i&míjién, entre otros muchos, L ázaro (1992) y Pérez-Campa-
• consiste en el establecim iento de sistem as de ponderación o “pesos" asignados a cada
neco (1 9 9 1 )-, Cuanto más extensa sea esa realidad más am plio será el indicador, Así,
uno de los indicadores obtenidos. E ste sistem a de ponderación puede provocar que la
por ejem plo, si estuviéram os evaluando un program a de salud para m ayores de 65
interpretación de la realidad que nos aporta el indicador varíe en función de su natu ra­
años en u n determ inado m unicipio, podríam os obtener el índice de m ortalidad de éstos
leza. Dicho de otro modo, el significado de un indicador será distinto en fanción d e la
en el país y conocer ese m ism o índice de m ortalidad para los habitantes de ese deter­
*: P°í’,^eración que de él hagam os y de la ponderación efectuada sobre aquellos otros
m inado m unicipio. E sto perm itiría utilizar la com paración entre am bos in d ic a d o re s
-- ndicadores que se encuentran interrelacionados (Lázaro, 1992). Así, si nuestro objeti-
com o elem ento en la evaluación de la efectividad de dicho program a.
' ° ?s evf>luar un program a educativo podríam os seleccionar un sistem a de indicadores
E n investigación social se han distinguido, clásicamente, dos tipos de indicadores:
sociales, económ icos, educativos y/o de salud relacionados entre sí. En este caso p are­
1los descriptivos y los evaluativos (Clark, 1973; Blanco y Chacón, 1985). Los primeros
cería lógico poner más peso en los indicadores educativos. Si, por el contrario, quisié­
 ramos evaluar un program a de salud, probablem ente el sistem a de indicadores y las relacionadas con el progTama. Pero el recurso a este procedim iento de recogida de
relaciones entre ellos sufrirían alguna variación y, adem ás, ahora serían los indicado­ inform ación presenta alguna peculiaridad que m erece la pena resaltar.
res de salud los que tendrían una mayor ponderación. . En el Cuadro 4.3 señalábam os que son dos las posibilidades que se abren a la hora
" E specíficam ente referido a la evaluación de program as, y en relación con la cons­ de consultar el archivo de un program a. Por un lado, se pueden ex traer datos acerca de
trucción de un sistem a de indicadores, Aguilar y A nder-Egg (1992). éxplicitan cuatro cuál era la posición de los im plicados en el program a antes de iniciar éste en alguna de
requisitos que debería cum plir un sistem a de indicadores para ser útil en la estimación las variables consideradas como relevantes, P or otro, la consulta a la docum entación
de la eficacia. E stos son: I) independencia —la utilización de cada indicador para sólo escrita del program a que aporte al evaluador una inform ación inicial im prescindible
un objetivo-; 2) verificabiiidad -posibilidad de la constatación em pírica de los cam ­ , para el conocim iento del mismo.
bios que e! program a vaya generando—; 3) validez -c a d a objetivo debe llevar asociado ¡ ^ a prim era de las posibilidades es una condición ideal que no en todos los casos
un ind icad o r- y 4) accesibilidad -facilidad en su obtención-, está, a disposición de. la evaluación, No obstante, todo aquel dato que n os p ueda ap o r­
’ Bn este sentido, no hay que olvidar, como apuntan Cohén y F ranco (1988), que la tar la organización dispensadora del program a en relación con la situación inicial de los
relación entre indicadores y objetivos o entre indicadores y necesidad es una relación usuarios o con los criterios barajados para la selección de tales usuarios es un dato
de tipo probabilfstico con lo que la diversidad de indicadores aum entará las probabili­ potencialm ente útil de cara a la determ inación de su eficacia y efectiv id ad . D esde un
dades de obtener una correcta medición de los objetivos y un adecuado establecim ien­ punto de vista técnico, una vez exam inado el conjunto de datos de los que se dispone
to de las necesidades. y seleccionados aquellos que pueden ser de interés (tarea a realizar p o r el evaluador),
A pesar de todo lo dicho, la utilidad de los indicadores ha de ser entendida de for­ el registro y codificación de los mism os puede ser realizado por cu alq u ier tipo de per­
m a m atizada. Parecerá, a prim era vista, que la garantía de “objetividad" que nos ofrer ic o n a ! contratado a tal efecto, •
ce el indicador es suficiente para Ja recomendación de su uso indiscrim inado, pero tal ■j* D e m ás relevancia parece ser el otro tipo de datos a recolectar. Todo program a de
objetividad h a sido puesta en tela de juicio. Así, algunos defensores a ultranza de esta 1 acción social debe estar porm enorizado en docum entos que, al m enos, contengan los
form a de m edición pueden llegar a confundir la aproxim ación a la realidad que supo­ antecedentes del problem a que lo ha originado, los objetivos que se persiguen con su
ne un indicador con la m ism a realidad que pretende m edir (A guilar Y Ander-Ees, im plantarían y loe accicr.:;, persona!, w,L,u^.uia y plazos a realizar para desarrollarlo.
1992) o incluso podem os argdir que el proceso de construcción y/o selección de indi­ Esta inform ación es vital para la estim ación de la evaluabilidad del -program a y tam ­
cadores es realizado por parte de un evaluador que hace esa selección o construcción bién para el establecim iento de la eficacia o grado de cum plim iento de objetivos del
basándose en su juicio “subjetivo” o, en últim o térm ino, el proceso de elaboración de ■ mismo. En este sentido, es especialm ente relevante el conocim iento del grado de for-
sistem as de ponderación también puede estar bañado por esa subjetividad. Teniendo en [m a liz a c ió n de Ids objetivos estipulados. Esta tarea requiere el m áxim o d e com petencia
cuenta esto, si retom am os el ejemplo anterior, otorgar en un caso m ayor peso a los indi­ lecmca ya que m arcará en gran m edida el diseño de la evaluación del p rogram a, A so ­
cadores educativos y en otro a los indicadores de salud, no deja de ser una decisión ciados a esos objetivos habrá que determ inar indicadores, a ser p o sib le cuantitativos,
tom ada por el evaluador con base en algo que trasciende a esa “objetividad” del indi­ que nos inform en acerca de los logros obtenidos tras su im plantación.
cador. N o debem os olvidar que ponderar en exceso un indicador lleva aparejado el Desde el punto de yista de la evaluabilidad, la disposición de este tipo d e datos así
defecto en la ponderación de otro. Dicho de otro m odo, pudiera ser que en la evalua­ f DIT|M , cal'^ a^ " d e ' os mism os es uno de los elem entos que m arcan la factibilidad y
ción del p rogram a de salud, los aspectos educativos estén jugando un papel al menos ncilidad de la futura evaluación del program a. En este sentido, F em án d ez-B allestero s
tan relevante com o propiam ente los de salud. y em ández (1989) lo consideran u n a dim ensión relevante p ara la evaluación de p ro ­
C om o conclusión de todo lo dicho, los indicadores representan una forma de resu­ gramas y com o tal la incluyeron en el instrum ento de análisis d e la ev aluabilidad que
m ir grandes porciones de la realidad en unos pocos datos “objetivos" en cuanto a que. nsh-uyeron para la evaluación de los program as que el Instituto N acional de Servi-
en principio, están libres de sesgos. N o obstante, ha de com prenderse que represen­ s Sociales (IN SER SO ) dispensaba a los m ayores de 65 años.
tan lim itaciones por su propia naturaleza y, por tanto, son insuficientes como únicu
herram ienta de recogida de inform ación en la evaluación de un program a de acción
social. ' ^•4. T écnicas de reco g id a de In fo rm ació n d e ín d o le cu alitativ o

tilativSle tipQ de técrí icas fue introducido con bastante posterioridad a las técnicas cu an ­
4.3,6. C onsulta de datos de archivo '' "'c'’aluac'rtn ^ ValUaC’Ón de ProEram as- Aeí- ,os prim eros inform es que presentaban la
1 sendo f Un Pro Sram a con metodología, cualitativa datan de 1969. En concreto,
M uy directam ente relacionado con los indicadores se encuentra la consulta de
datos de archivo. En térm inos reduccionistas, se podría argum entar que de los d ato s di
V en aleu de G ,aser y 'Mech que evaluaron program as de regulación del em pleo
^—19821 n ° S i~ sta^ os norteam ericanos m ediante observación p articip an te (Filstead,
archivo, al fin y al cabo, se obtienen indicadores sobre u n a serie de particularidades • o obstante, las prim eras m onografías que aparecen publicadas con respecto a
 la utilización de la m etodología cualitativa en evaluación de program as no llegaron © CUADRO 4,4. Técnicas cualitativas: sujetos de evaluación y formas do aplicación.
I hasta finales de los años 70 y prim eros de los 80, Nos referim os a los textos publica­
d o s por G uba (1978) y Patton (1978, 1980). . TÉCNICA DB SUJETO DB FORMAS DE-..
r Ello da lu gar al surgim iento de un tipo de evaluación llam ado narurallstsi (G aba y EVALUACIÓN EVALUACIÓN APLICACIÓN
f Lincoln, 1981) que resta im portancia a la obtención de datos com pa rativos de curopli- • Entrevista abierta. -Usuarios. Necesario entrevistador experto (co­
m iento de objetivos y la otorgaJJa.descriE.ci0n d é'lo s'co ntextos en los que se im plah- nocimiento previo del programa).
^tá~ef prógmmarBíTijTtimo término, surge una pléyad'iTHéevaluadores naturalistas que
* Grupos de discusión, - Responsables. Modemdor con dominio de técnicas
: constituye, lo que en térm inos de G aba y Lincoln (19B9), se conoce com o la 4" gene-
- Gestores. de animación (puede ser ajeno al
i ración de evaluadores. * _ - Usuarios. equipo de evaluación aunque en ese
^ — X dem ás, la irrupción de estos métodos recoge la critica que algunos im portantes
caso debería conocer las caracterís­
evaluadores (Scriven, 1974; Stalce, 1976) hablan realizado a la evaluación de resulta­ ticas del programa).
n d o s por se r ésta excesivam ente sim plista. Consecuencia de estas críticas fue la postu-
1 lación de u n a evaluación del proceso, de los pasos que se dan en la im plantación del • Observación - Contexto de Agente de campo (observadorparti­
program a. E sta evaluación, además,’puede ir modificando alguna de las acciones a rea­ participante. aplicación de los cipante que se introduce en el con­
programas. texto de aplicación del programa.
lizar en función de las anteriores im plantadas. As( pues, interesaba no tanto_el resulta­
como un miembro más del mismo).
do final com o las opiniones, vivencias y experiencias de los participantes en el pro-
,'Írám aT E IIó~ocásioñ'ó que tuvieran cabida otrcTtipo de técnicas que tienen como • Analizadores - Población objetivo. Obtención de analizadores en cuan­
fi objetivo in d agar en la subjetividad de los i ndividuos. E sto no quiere decir que se pro- sociales. to claves explicativas del funciona­
' ’dújera una elim inación total de la evaluación de resultados (incluso uno de los cualita- miento de los gi'upos.
tivistas m ás im portantes en evaluación de program as, Scriven, no desprecia por com­ • Método Delphi. - Expertos (desde un Grupos de expertos a los que el eva­
pleto la evaluación sum a/iva - d e resultados- aunque ponga el énfasis principal en la punto de vista técnico), luador ha enviado los cuestionarios
evaluación fo rm atlva - d e proceso-). D e hecho, la práctica profesional de la evaluación - Gestores. y los resultados de los mismos.
de program as ha revelado cóm o las evaluaciones cualitativas suelen restringirse a pro: - Responsables,
gram as locales, es decir, muy contextúa]izados m ientras qü¿ las cuantitativas son las
‘em pleadaT éíTiquellos que superan ese ámbito local y son más am biciosos en sus obje­
tivos de alcan ce -p ro g ra m a s de ámbito estatal y nacional en los E stados U n id o s-(v é a ­
se a este respecto la m onografía editada por Fetterman, 1991). En el Cuadro 4.4 se señalan una serie de técnicas cualitativas así com o las unida­
, - En cuanto al diseño, Guba y Lincoln (1989) sostienen que la evaluación es un p.ra.-- des dB evaluación sobre cómo habría que utilizarlas y la forma de aplicarlas de la for­
( ceso em ergente y gue^gor ta n tc ^ ^ m p o ^ b ie .d is e ñ a rjn a A Y riu a c ió n exceptp_de_uiw. ma más provechosa. A continuación las veremos con más detalle.
’Í Toriñg"general.”61 'proceso es"sitstancFál'metüe im predecible porque no se puede cono-
■^cSr^üé construcciones serán introducidas por los diversos im plicados o qué encontra­
rán estos im plicados interesante para dirigir las reconstrucciones. U f t evaluador n o pue­ 4.4.1, ¿ a entrevista abierta y el attálisis de contenido
de predecir nada. C ada paso es contingente ni paso que se h aya dado con a n t e r io r i d a d .
U na consecuencia lógica del diseño emergente es que el conjunto total de las caracte- r To.d as las características que hemos mencionado con anterioridad en relación a la
rísllcas del diseño, decisiones metodológicas y procesos de identificación puede ser ] dnlrev>sta estructurada pueden ser aplicadas a la entrevista abierta. L a diferencia fun­
sólo especificado cuando la evaluación ha sido declarada com o term inada. damental radica tanto en los objetivos como, sobre todo, en la estructura y en al aspec­
D e entre la enorm e variedad de técnicas que se han construido desde esta perspec­ to orinal, Así, en la entrevista abierta el objetivo fundamental es la captación del dis-
tiva (adem ás de las que vamos a tratar, podríam os m encionar las siguientes: el grupo • ^ y j p o t j v a c i o n a l del entrevistado sin niiígSíTtipo de cortapisa infclaf7D :t(,T 986)!
central o entrevista de grupo, el sondeo de problem as, la técnica del grupo nominal, el const ¡?’ f * sistem ^ * ¿raplear consiste en dejar hablar con libertad ai entrevistado sin
sistem a I.C . de Ideas Clave, el campo de fuerza, la m atriz de decisiones, los guiones, dor d h ■ 1 *aS pr68yiltas de un cuestionario. Esta libertad im plica que el entrevista-
los árboles d e decisión..:) vamos a centram os en aquellas que, por un lado, son las mas Yde la M e n tar "captar" toda aquella información de utilidad y reconducir e! sentido
utilizadas y, por otro, tienen su', referente en las técnicas cuantitativas anteriormenie l;en^ VÍSta en ^unoll5n áo las respuestas escuchadas (Ibáñez, 1986).
m encionadas. En concreto, vamos a esbozar las líneas m aestras de ia entrevista abier­ fWón d T d' feretlcia fundamental entre ambos tipos de entrevista, en relación a la evalua-
ta y el análisis de contenido, de losgrupos de discusión, de la observación participa15
te y la etnografía, del socioanálisis y de la técnica Delphi.
f tido a | ProgTamM' se refiere el gtupo sobre el cual efectuar tales entrevistas. En este sen-
I i, onso ( 1994) señala cómo las dos reglas de oro de la entrevista abierta son, p o r un
 ’ lado, la ausencia de reglas fyas para su realización y la conducta del entrevistador y, por vistador y entrevistado, hora de! d ía en la que se desarrolla la entrevista y, p o r supues­
Lptro, la imposibilidad de generalización de los resultados obtenidos. to, la situación del entrevistador frente al problem a (o prqgrania) sobre el cual se le
' Tal y como sostiene Ortf (1986), la entrevista abierta es especialm ente útil para el está preguntando. Todo ello, lo "textual" y lo “extratextual", form a las u nidades de
estudio de casos extrem os o típicos con la intención de reproducir ciertas situaciones registro que pueden ser definidas, siguiendo a L ópez-A ranguren (1986) com o lodo
"sociales a partir del discurs’ó individual.de personas con peso específico dentro de esos aquel elemento que puede ser analizable de form a separada del conjunto p o r contener
grupos (Alonso, 1994). Asf, se puede em plear esta estrategia para m iem bros destaca­ f referencias que el evaluador (en función de su marco teórico de partida) considera
dos del grupo de usuarios cuya opinión sea relevante (p. ej.: presidentes de Ju n ta de í relevantes. , •
Gobierno en R esidencias de ancianos si queremos evaluar program as a im plantar en Una vez aisladas tales unidades de registro, el siguiente paso a realizar consiste en
mayores de 65 años en contextos residenciales, representantes de estudiantes- en el la codificación o categorización d e las mismas, Este proceso guarda m uchas sim ilitu­
Claustro de una institución universitaria, cuando el objetivo sea la evaluación de la des con la categorización a realizar cuando se aplica una observación estructurada. La
calidad del sistem a universitario, etc.). .única diferencia es que en relación con el análisis de contenido, éste es un proceso a 1le­
El objetivo de la expresión libre da ¡dea de la importancia concedida al discurso del var a cabo después de tener los d atos m ientras,.q\ie en la observación, estructurada se.
entrevistado. Esto m arca la necesidad de registrar de la forma más fidedigna posible tal produciría antes de~la producciSn de estos. López-A ranguren (1986) señala cinco requi:
/""discurso norm alm ente m ediante medios mecánicos. Así, tras la realización de la entre­ sitos básicos enTa form ulación del sistem a de categorías:
s vista se dispondrá de un m aterial amplio al que habría que dar una estructura que ayu-
\ d e a digerirlo. 1) C ontem plar los objetivos de la evaluación.
f Él procedim iento norm alm ente utilizado es el análisis de conteniclp que pretende 2) S er exhaustivo. .
, tanto describir los resultados de una interacción comüñlcatTvacorno la form ulación de 3) D efinir categorías m utuam ente excluyentes.
l inferencias que posibiliten llegar a conclusiones de orden superior a partir de los ele- 4) D efinir categorías independientes.
H nentos de tal com unicación (Krippendorff, 1980; López-A ranguren, 1986). Este nivel i 5) A tender a u n único principio de clasificación.
de inferencia trata de m ostrar cóm o el contenido del discurso está po r encim a del pro­
pio discurso siendo csíó uiíüTiO £i ü¿ ¡uun-iua puta ucscuut 11 ei prim ero y, po r L a u ­
to, trascender su m ero contenido sintáctico en una búsqueda de las relaciones entre tal At igual que ocurría cuando hablábam os d e lautillzación de m edidas d é autoinfor-
„ nivel y el sem ántico y el pragm ático (Navarro y Díaz, 1994). Los objetivos del análi- me, la singularidad que representa la evaluación de un program a suele im posibilitar la
i sis de contenido son principalm ente dos! Por un lado, la descripción “textual” del dis- utilización de sistem as de categorías estándar (incluso contenidas en paquetes infor­
1 curso y, por otro, la indagación sobre las relaciones entre el discurso y realidades de máticos muy desarrollados a tal efecto) y, p o r tanto, obliga a la'confección de tales sis­
\ j orden superior no incluidas explícitam ente en él. temas de form a que se puedan aplicar al program a que se está evaluando,
" D e manera- general, cabe afirm arse que el análisis de contenido es un a técnica de p El siguiente paso consistiría en lq clasificación de cada una de las un id ad es de
análisis de inform ación previam ente recogida, que debe utilizarse no sólo en relación I registro en un a de las categorías del sistem a, T?ánTelto, el evaluador ha de tener muy
a la entrevista abierta sino tam bién con los grupos de discusión, inform aciones de ana­ claro cuál es-el criterio de clasificación o lo que es lo mismo cuáleS'Son las reglas de
. lizadores-sociales, observación participante y, en general, todos aquellos procedim ien­ adscripción a cada una de las categorías. P or últim o se ha de proceder al a n á lisis de la
tos de recogida de inform ación que utilicen como “dato” de investigación o evaluación li-jrcfo^ación. Tal análisis puede tom ar un cariz cuantitativo o cualitativo. G eorge
. el discurso de un individuo o grupo de individuos y el contexto en el cual se produce. x m y r s n i n trabajo clásico atribuye com o elemenTolié'"'án5[fsis'én el p rim er caso, la
D tsde un punto de vista técnico, las inferencias a realizar, están m arcadas por el mar- ecuencia de apariciones m ientras que en el segundo serla la p resencia o au sen cia de
l co teórico del que parta, en este caso, el entrevistador.' P or poner un ejem plo obvio, en la características del contenido a p artir de las cuales hacer las inferencias. M ientras que,
práctica terapéutica á e la P sicología no serían las mismas inferencias las que realizaría en un principio, la tendencia era la de efectuar análisis de contenido de tipo cuantitati-
un ortodoxo freudiano que un rogeriano frente al mismo .discurso (partiendo de la base ^986) actua^ ac* ca^ e a-firTnar ta' tendencia se ha invertido (López-A ranguren,
de que ambos utilizarían la entrevista en profundidad como herram ienta de trabajo de
primera mano). P or otra parte, tal marco teórico también limita los contenidos (por tan­ f. Se han postulado num erosas técnicas para proceder a las inferencias a p artir d e los
to, las preguntas a realizar) y el desarrollo (es decir, el aspecto formal) de la entrevista, I categoriales cu y a descripción superaría los objetivos d e este trabajo5. N o obs-
f Pero no sólo es relevante para el análisis de contenido, el discurso del individuo, I, ^ hay que señalar que todos tienen en com ún la puesta de relieve d e la im por-
j sino todos los elem entos que fuera de él están influyendo en su em isión (Navarro V c,a de la captación de los niveles sem ánticos y pragm_átic_qs_ de la com unicación
Díaz, 1994). Nos referim os a inform ación adicional sobre el entrevistado, contexto en '^ ^ iS ^ e la d o ^ ^ é j ^ j - e a l i d a d e s 'B Ú b y a é e h t e s &_iós^discursos_ em ftlcíb fp ’o F él éntre-
el cual se produce la com unicación, características form ales de la interacción tales ~ no tanto el centrarse en el nivel sintáctico' que estaría más acorde con una
como distribución del m obiliario donde se produce la entrevista, vestim enta del entre- .— J^egta de tipo cuantitativo. ” ..........
 4.4.2. Los grupos de discusión / preceptor) para cada objetivo de investigación. A este respecto, tam bién se restringe la
^•posibilidad de utilizar uri'núm ero muy elevado de grupos debido a razones de disper­
I" E sta es u n a técnica em inentem ente cualitativa. Para algunos, incluso, la más im por­ sión y posible redundancia'de la inform ación y de elevado coste (Canales y Peinado,
tante (C anales y Peinado, 1994). En pocas palabras, m ediante esta técnica se pretende 1994). Un núm ero de entre tres y cinco puede ser, en principio, aconsejable,
|legac.al..estah[ecim ¡ento de cdnsensos entre los m iembros del grupo acerca de temas f- En relación al desarrollo del grupo, los autores distinguen fundam entalm ente tres
j diversos. En esencia, y com o informa P'érez-Campanero (1991) se pretende llegar a la 1 grandes m omentos (Ibáñez, 1986b; Pérez-Cam paneró, 1991). Uno anterior al inicio de
■"■"conciliación de opiniones divergentes” (p. 141). _ ¡Tá discusión; la preparación donde se seleccionan a los participantes, se procede a la
En relación a la evaluación de program as, esta lécnica puede ser útil para llegar a convocatoria y éTm odérador prepara el tem a de discusión. Un segundo m om ento coin­
acuerdos en tre los im plicados en un program a (especialm ente en el grupo de usuarios) cide con él desarrollo del grupo en ei que el m oderador introduce el tema, busca la con­
sobre los efectos provocados por la im plantación del m ism o, lo cual convierte a la téc­ frontación de'opiñíóñes, establece un plan de trabajo p ara llegar a posibles consensos
nica en interventiva adem ás dé m eram ente evaluativa. y, en definitiva, m odera la discusión que se produzca. Por últim o, se procede a la Ínter-
f B1 grupo de discusión es una m uestra de la perspectiva estructural en investigación pretación y análisis del discurso del g rupo. Es precisam ente esta.últím a ia que confie­
* social frente a otra perspectiva distributiva, de la que la principal representante serfa la re, en nuestra opiruím, el carácter cualitativo a esta técnica. La regla de oro p ara p ro ­
! en cu esta (Ibáñez, 1986a). D icho, en otras palabras, el grupo de discusión tiene por cederá esta interpretación es que no hay reglas en la interpretación (Ibáñez, 1986b). El
objetivo pro v o car debates internos entre m iem bros sig n ificativ o sjT ^n tras^q ü eT s. moderador no busca, sim plem ente encuentra tanto lo que se haya dicho de form a m ani-
en cu esta-p«té5¡3érfa"15 o b t e n c i ó n de m uchas opiniones dive'fsas sin preocuparse, al , fiesta, en él propio desarrollo del grupo como lo que haya quedado de form a latente, El
m enos "a priori", por é í jjra d g de acuerdo entre e]jas (éste en caso'He que se produzca nivel de inferencia es, pues, muy elevado y otorga una im portancia capital a la propia
'q u ed a rá refléj¡rjólriédrante"¿l uso de los análisis estadísticos correspondientes).
En principio, esta es una técnica “libre” en el sentido de que no responde a yn plan L subjetividad del moderador.
En el Proyecto Experim ental de Evaluación de la Calidad del Sistem a U niversita­
de trabajo especificado con anterioridad y queTio coarta ninguna de las expresiotíHSTjüS" rio que se ha desarrollado durante el curso académico 1992/93 se incluían (en las tres
T pU aiSñ em itir (os individuos pertenecientes al grupo. Pero, a pesar de esto, presenta universidades participantes: Universidad Autónom a de M adrid, U niversidad de Cór­
i una serie de lim itacionesjnetodológicaí que pasam os a comentar. doba y Universidad del País Vasco) ju n to a otras técnicas cuantitativas, tres grupos de
‘5- L a prim era tiene que ver co ñ 'la'p ro p ia com posición del grupo. Éste está siempre discusión; uno para alumnos, otro p ara profesores y un tercero para persona] de adm i­
com puesto p o r una persona que convoca al grupo y provoca el tema de discusión y los nistración y servicios cuyas conclusiones sirvieron de apoyo a los datos recabados
p ropios integrantes del grupo. El convocante recibe el nom bre de preceptor (en térmi­ mediante el análisis de datos de archivo, encuestas y entrevistas estructuradas realiza­
nos de Ibáñez 1986b aunque nosotros preferim os llam arlo m oderador o m onitor) y en das con m uestras de personas de esos tres grupos (Consejo de U niversidades, 1994).
• evaluación d e program as bien podrfa ser el propio evaluador. Ei m oderador, por las
' tareas a desarrollar, debe dom inar técnicas de anim ación tales com o la invitación fl la
participación, utilización de la escucha activa, potenciación de las interacciones, bús­ 4,4.3. La observación participante y la etnografía
queda de consensos grupaies, etc. (Pérez-Cam panero, 1991) procurando que sean los
p articipantes en el grupo los realmente protagonistas del m ism o y, por tanto, alejando r" Los procedim ientos etnográficos están considerados como la principal herram ien-
la atención d e su figura (Á vila y G arcía de la H oz, 1994). El número de participantes ¡ la metodológica d é la Antropología (Britan, 1981; Campbell, 1982;R oper, 1983...)6.B1
ideal para el desarrollo del grupo de discusión está situado entre_ 5 y 10 personas. ! elemento principal puesto en juego en una investigación etnográfica es la descripción
. incluido el m oderador (Ibáñez, 1979). • y análisis, norm alm ente extensos, del entorno social que está siendo estudiado con el
L a segunda m arca u n a duración m áxim a del grupo de 90 m inutos (Ibáñez, 1979).
un de detallar el funcionam iento de u n sistem a social o de un determ inado aspecto de
T iem po en el cual se han de pJañfeafTos” iem as, exponer las opiniones y alcanzar los .
este (Knapp, 1982), En relación a la evaluación de programas, el objetivo de la eva­
■..acuerdos. . , “ación etnográfica sería la observación detallada de la im plantación del program a en
- 3 ' U na tercera restricción apela a los criterios de selección de los participantes en el
1Uno de los diferentes contextos en los que se aplica,
g ru p D . P or la propia lim itación m arcada por e f núm ero de participantes no se puedo
ra ra llevar a cabo dicha descripción y análisis del entorno social es necesario pro-
apelar a criterios estadísticas de reclutam iento de la muestra. Lo que se busca es tener
c er a una observación, registro y análisis de] comportam iento en tal contexto que
7 e ^ £ sé ñ t5 a a s“"deterni¡nadas estructuras y relaciones sociales (Canales y P e in a d o .
permitan llegar a descripciones de los sistem as sociales considerando las interrelacio-
, 1994). El núm ero y tipo de características a incluir en tal proceso de selección depende­
emr® conductas particulares, costum bres, ritos, creencias y valores en térm inos de
rá de los objetivos del trabajo que se hayan'm arcado con anterioridad.
' r° ns5 amplios de conocim iento cultural, estructura social y am biente (Britan, 1981).
O tra regla escrita es la que alude a la necesidad de desarrollar m ás de un grupo de
! discusión (por supuesto con com posiciones distintas aunque se pueda coincidir en el sido 1 ,m Portanc¡a del trabajo de cam po en el marco de la evaluación etnográfica ha
cabaIlo de batalla, con rriás argum entaciones tanto por los defensores com o por
: los detractores de este tipo de evaluación. Dicho trabajo requiere la intervención de un guntarse si la presencia de un agente extraño a! grupo no va a ser lo suficientem ente
observador participante en e! contexto en el que se desarrolla el program a. Dicho distorsionador de las interacciones y com portam ientos d e sus m iem bros. D esde un
observador, originalm ente llam ado agente de campo (W olcott, 1975), se convierte en punto de vista teórico, cuanto mayor sea la integración del observador m enos sesgo
el agente prim ario de la evaluación con el cometido de describir la dinám ica del pro­ potencial habrá, pero ello redundará una vez m ás en problem as de tiem po. U na alter­
! gram a desde el punto de vista de un im plicado CBritan, 1981). L a integración del agen- nativa que pudiera ser válida, sería la utilización d e m edios técnicos de registro (tanto
!~te d ecam po en el contexto estudiado puede resultar problem ática desde el punto de vis­ de audio com o de vídeo) que se insertaran en los contextos naturales sin el conoci­
ta de las relaciones entre él y los diversos gestores de los program as en cada uno de los miento de los im plicados. Pero ello, aparte de p resen tar num erosos p roblem as de índo­
contextos. Ello obliga a un a adecuada definición de sus funciones y com petencias para le técnico, puede ocasionar dificultades d e carácter ético.
evitar tensiones (Pelto y Pello, 1978) o com o señala H errlot (1977) para no caer en la No obstante, todo lo dicho, el recurso a la observación participante sustenta en gran
consideración d e “espfa". A dem ás, el objetivo de amplia descripción marca una nece­ medida, desde el punto de vista m etodológico, ¡a evaluación naturalista que tan en boga
sidad de un Japso tem poral m ucho m ayor que mediante la utilización de otra técnica de se encuentra en este m om ento en E stados U nidos aunque, así hay que reconocerlo, su
recogida de inform ación. E sto supone un incumplim iento de la urgencia que, por regla uso no se halle tan extendido en las evaluaciones desarrolladas en nuestro país.
general, suele dictar el cliente que encarga la evaluación. A sí pues, el evaluador (obser­
vador o agente de cam po) realizará su trabajo sobre el grupo de usuarios donde debe
introducirse para llevar a cabo su observación. • 4.4.4. El socioanálisis: el uso de analizadores so cia les
En cualquier caso, la E tnografía sirve de ayuda para el descubrim iento e integra­
ción de consecuencias para el cam bio de los program as y puede sugerir posibilidades f Partiendo de una definición consensuada d e socioanálisis com o de la que parten
de mejora para los m ism os7. | Gutiérrez y D elgado (1994b) que considera que su o b jelivo es el conocim iento o aná-
■••• Com o y a hem os dejado entrever, la obseivación participante es la principal técni­ •1 lisis sociológico d e grandes grupos sociales o incluso dé la sociedad en general, pudie-
ca etnográfica dé recogida de datos (G oetz y Lecom pte, 1988) llegando á ser califica­ ' ra plantearse qué como alternativa al trabajo con el grupo de población objetivo o con
da com o indispensable para la obtención de descripciones etnográficas (G utiérrez y el de población general, bien podríam os b eneficiam os de las técnicas q u e sustenlnn
D elgado. 19Q4nV Rcfp. nrn r'aH!mi?nt?, y com o ¡r.ícrm a A ngucm (1950), óüpor<5 I« esta disciplina. Si analizam os con detalle tal posibilidad podrem os d am o s cu en ta que
observación sistem atizada de grupos reales en su contexto natural utilizando técnicas | el tipo de inform ación a obtener sería del m ism o rango (aunque de diferente índole)
3i7 eg istro cualitativas". L a utilización dé esa técnica reqüiére que el evalüa3orsé"¡ñlrb- i que la conseguida a través de la utilización d e indicadores sociales.
duzca en el contexto de aplicación del program a y vaya tom ando "notas de cam po" en A La herram ienta fundam ental de! socioanálisis es el a nalizador social que no es más
función de las interpretaciones que haga de sus percepciones. El objetivo últim o sería i que un fenóm eno cuya presencia y actuación sirve dé indicio p ara conocer e) funcio-
\ la obtención de las definiciones del program a de los im plicados en el mismo y las des- \ namienlo de larreráci5ñés]socialés existentes en un grupo o, incluso, cultura. Ejem plos
J crlpciones acerca de cóm o lo están experim entando. Para ello, el evaluador habrá de US analizadores sociales] taj y cómo inform a D áv ila (1994), se ría n " é fe s c la v o " com o
"¡Uescodificar el código cultural del grupo en el cual se integre m ediante la experiencia analizador de la sociedad griega o la “p eriferia" com o analizador del "cen tro ” en una
"dir¿cta“y"dúraderá eñ él tiem po "y éla n á lisis de la infraestructura sim bólica del mismo gran ciudad. Desde esta perspectiva la búsqueda radicaría en la obtención d e esos ana­
(G utiérrez y D elgado, 1994a). E ste proceso de descodificación im plica que el evalua­ lizadores én cuanto elem entos claves y centrales sobre los que m ontar el análisis del
dor no sólo contem ple la actividad de los miem bros del grupo sino que interactáe con funcionamiento de los grupos y, por tanto, en relación con la evaluación de program as,
ellos con el objetivo de ir socializándose poco a poco (G oetz y L e Com pte, 1988). en cuanto a claves que ayuden a discrim inar sobre todo las necesidades reales d e los
f" U na vez que h aya conseguido tales descripciones y definiciones (que no son más. grupos y lo? objetivos a cum plir por parte de u n a intervención program ada sobre tales
por otra parte, que la constatación de la interprétacfórTHF l a realidad y, por tanro, de necesidades.
los cam bios que se hayan ]5~ó~dido'produciralmrtTf‘d éla"im plantación del programe). f La novedad fundam ental, desde esta perspecliva, es que el anáiisis es realizado por.
él~eVá]üaíf6r "Habrá de proceder a un proceso de codificación y análisis parejo ál que ■. £ l-in alizador y no tanto gor el anaUsta (valga el ju eg o de palabra.s)!'La'labor del ana-
veíam os en el apartado correspondiente. Nuevam ente, cobran especial relevancia ¡os '-.ls,a (evaluador)'constitíría eñ'ün proceso de retroalim enloción continua al grupo d e la
\ inferencias a realizar a p artir de la inform ación recogida. ¡.n °.r7n.a cí®n obtenida a través del analizador (Ibáñez, 1990). La generación d e este
Ya hem os com entado la dificultad que representa el tiem po que sueie ser necesar.o “«cíe de información se m uestra especialm ente interesante a la hora d e d efin ir de for-
en contem plar una observación de estas características. A dem ás, existe una duda fun­ _ w interactiva cuáles son las necesidades “ reales” de un grupo de población.
dam ental con respecto a la utilización de esta técnica. E sta lim itación, por otro lado, ?- C fV li e' socioanálisis ha sido muy poco utilizado en la investigación sociológica
relaciona cpn una de sus principales ventajas. Si adm itim os el beneficio indudable r asanle> 1994), su utilización en evaluación de program as ha sido nula. Lo m en-
supone la observación de grupos reajes en contextos naturales (sin la intromisión ■■ amos aquí comó"úna más de ías posibilidades qué, desde la perspectiva m ultiplis-
aparatos técnicos y sin necesidad de desplazar an ad ie de su hábitat natural), cab ria' tlue estamos defendiendo, puede ser Util p ara recabar inform ación sobre los p ro ce­
 sos que se están produciendo en los numerosos grupos de im plicados en u n a evalua­ mo de inform ación posible de los expertos. Se compone d e preguntas abiertas en la que
ción de un program a de acción social en un determinado contexto. se busca la am plitud-de perspectivas en el enfoque del problema, Este cuestionario se
remite al grupo de expertos para que, de forma individual y confidencial, lo cum pli­
menten. Tras recibir las respuestas es labor del evaluador la codificación y categoriza-
4.4.5. La.técnica D elphi ción de las m ism as. Con los códigos y categorías obtenidas se confecciona el segundo
cuestionario en ei que se señalan en formato de preguntas abiertas todas y c a d a u n a íé
¡T“ E sta.técnica de recogida de información es relativamente m oderna en evaluación las cuestiones señaladas por los expertos en el prim er cuestionario y se presentan, cate-
! program as al m enos en com paración con algunas de las que y a hem os visto. Origi­ gorizadas, las alternativas de respuesta surgidas. La tarea del experto en este segundo
nalm ente form ulada hace menos de 30 años por Dalkey (1967) y H slm er (i? 6 7 ) ha cuestionario es la de iiidigar su grado de acuerdo o desacuerdo (norm alm ente a través
sido empíSádaTnn'u'méVbs'ós estudios sobre todo para"detérmmar de forma consensua­ de una escala tipo Likert) con cada u n tPde estas alterñalTvas’c'átegorizadas en cuanto a
da la asignación d e j e s q s a los diferentes elementos que definen un problem a de cara su posibilidad de influir en la resolucíSrTSél problemá^lanTeádo! L a inform ación remi-
j a establecer prioridades (Clark y Friedman, 1982). tid ap o r parte de los expertos en relación al segundo cuestionario sirve para redactar el
f ' ^ Is T c a fñ é n 'té , ésta técnica busca respuestas consensuadas de un grupo de expertos tercer cuestionario. En él se contiene la información sobre el grado de consenso obte­
j a preguntas específicas. El Delphi suele ser utilizado por un grupo de expertos para la nido e n c a d a una de las alternativas de respuesta así como la situación del experto con
¡ determ inación del alcance y pertinencia del problema que da origen al program a que respecto a la m edia. Cuando existe mucha distancia entre la opinión del experto y la
se quiere evaluar. D icho de otra forma, esta técnica se m uestra especialm ente intere­ del resto de expertos, se pide al prim ero que argumente las razones de tal discrepancia
sante en la determ inación de las necesidades poblaoionales que pueden dar origen a ¡y se oferta la posibilidad de alterar su respuesta pnr^ ajustarse, en alguna m edida, a la
program as riñTnlervención así com o en la especificación de los objetjvos a perseguir pendencia del grupo. E sta remisión de cuestionarios Informativos finalizaría cuando se
¡ por tales program as (W itkin, 1984) y en la seleccTgñ~ae~determína’ao s elem entos de obtuviera ún consenso alto para todas las cuestiones planteadas o cuando se llegara a
i intervención. Pero ello no descarta que pueda ser utilizado en la estim ación d é la en7 un efecto “techo" que indicara que por muchas más “vueltas" que diéram os no se iba
caciayTsolTre todo, en la de su efectividad. a alcanzar un m ayor nivel de acuerdo. Tampoco está especificado cuál es el porcenta­
- s e considera el D elphi como una técnica cualitativa por su búsqueda del consenso je indicado p ara considerar que se h a producido tal alto grado de consenso8,
; entre diversas "subjetividades".? través desconocimiento de las opiniones de los otros P Ahora bien, esta técnica, aun gozando de Indudables ventajas, presenta tam bién
\ “ cohiDOñéntes 'del grupo. Por ello es tari relevante, para poder utilizar este procedimieritó' ! osunos aspectos que debilitan su utilidad. D e entre ellos cabe destacar el reseñado por
'^ e T e c o ^ d a d s l ñ f o n r i a c i ó n con el máximo rigor, una adecuada selección de los partici­ Witkin (1984) en relación a la información sobre la situación del experto con respecto
pantes en el trabajo. E n este sentido, la condición fundamental es la del conocimiento y a la media en el tercer cuestionario. Según esta autora, la media no es apropiada, des­
experiencia en el tem a del cual se esté tratando. Aunque, algún autor com o Fazlo (1985), de un punto de vista estadístico, com o índice del consenso en funciári d e í nivel de
considera im prescindible que los miembros posean dos características esenciales; habili­ medida de la variable “grado de acuerdo” con la alternativa de respuesta. E lla propone
dades para la com unicación escrita y motivación para que lleven a cabo su tarea. A ellas, , la utilización exclusiva de la-moda v porcentajes en el Delphi. Además de esto, desde
Pérez-Cam panero (1991) añade la necesidad de asegurar la confidencialidad y el anoni­ \ olr‘> Perspectiva, L instone y Turoff ( 1975) señalan un posible "efecto halo” contam i­
mato de las respuestas obtenidas. Estas restricciones marcan que no sea usual la utiliza­ nador de las respuestas que se puede producir al conocerse los fésültT dos'iel grupo, La
ción d e D elphi con el grupo do usuarios del programa restringiéndose f u n d a m e n ta lm e n ­ I queda del consenso, por tanto, puede inhibir (y esto es im portante desdB el punto de
te a grupos de gestores, sobre todo técnicos, o incluso de responsables. El grupo ■ lsta cualitativo que dio lugar a esta técnica) la creatividad e innovación en las res-
seleccionado, con independencia d e su composición, recibe el nom bre de gm po_dej¿'eíí^ l ° s expertos. Pero no es éste el ónico problem a que puede generar la b ús­
tos. En cuanto al tam año del mismo h a de ser lo suficientemente am plio y h e te ro g é n e o queda del consenso forzado. En líneas generales, la construcción de los cuestionarios
como p ara poder perm itir la discrepancia y la diversidad de opiniones. Tal como señ alan L vc ° ‘ectada por las respuestas consensuadas en cuanto a la inclusión o exclusión de
Ruiz O labuénaga e Isplzua (1989), el número adecuado oscila entre 10 y 30 personas- ^ ~ en los cuestionarios (Fazio, 1985). Ahora bien, quizá el más im portante sea
aunque en la literatura se pueden encontrar “Delphis” de hasta 50 expertos. . c¡ó !a ‘a l t a d e j ^ t i ^ L p o r parte delevaluádor, en cuanto a la form a de cum plim enta­
— L a m ecánica de utilización del método Delphi se pone en m archa con la deterrm- se Drod cuestionarios que propicia qüe ni siquiera se tenga constancia acerca de si
nación del problem a a analizar que, como en la mayoría de las técnicas de recogida dí
var a l •COmi!n!cacil5n entre ios c°n;,Ponentes del B ^ P 0 de expertos que pudiera lie-
inform ación, ha de ser form ulado de forma clara y específica p ara que no se produz­ m i™ ,* .f ‘stenoia de c°nsensos previos y, por tanto, abortara la posibilidad de conocí­
can am bigüedades en la interpretación del mismo por parte de ¡os distintos miembro-'
- A l0d“ ^°S recovecos del problema.
del grupo. • . - / des té c ^ ^ r dB t0C*° *° cilc^ cl’ el métot*° Delphi se m uestra com o una de las posibilida-
U na vez determ inados tanto el problem a como los,expertos se procede al Q'S'p
\ cuoni¡tatiCaS máS i íT1Portantes en la. conciliación y complem entajiedad de m étpdos
yf del p rim e r cu estionario. El objetivo de este primer cuestionario es conseguir el maxl \ — ------ w o s y cualitativos en evaluación de programas al utilizar estrategias' de am bos
 146 Porte II: Metodología Capítulo 4: Procedimientos de recogida de información en evaluación de programas 147

métodos. N o obstante, presenta aún algunas lagunas técnicas que con el paso del tiem ­ ¡isa que tenga la posibilidad de elegir enlre un am plio menú de técnicas de recogida de
po y la abundancia de trabajos a buen seguro quedarán resueltos. información aquellas que le perm itan obtener el m áxim o de inform ación rigurosa y
contrastada (m ediante el uso de m últiples técnicas por parte d e m últiples evaluadores
sobre múltiples fuentes de inform ación) para llegar a conclusiones que le posibiliten la
4.5. C onclusión . em isión de informes con las suficientes garantías de utilización p ara los encargados de
tom ar las decisiones acerca del futuro del program a.
' La principal conclusión a la que podem os llegar tras haber pasado revista a las
principales técnjqp¿de recogida de inform ación utilizadas en evaluación de program as
tiene que ver con los conceptos de ‘'utilidad” y de no limitación . . NOTAS AL C A PÍTU LO 4
"U tilidad” en cuatro deberían ponerse en juego aquellas técnicas que perm itan
extraer in f o r m a c i ó n 'útil .acerca de las posibles cambios generados tanto en la situa­ 1 En este sentido, se considera a Platón como el primer cuantitativista y n Aristóteles como
ción (resolución de las necesidades que dieron origen al programa) com o en los indi­ al primer cualltatjvista (véase, Conde, 1994). .
viduos (cambios que se hayan producido en las personas que hayanparticipado en el 3 Nos referimos a un concepto de intersubjelividad que busca la comunalidad en las opinio­
nes subjetivas de los individuos. Dicho en términos estadísticos estaríamos buscando corre­
laciones. No confundir con la hermeneútiea (claramente cualitativa) como forma de expli­
P "No lim itación” en lo que tiene que ver con la utilización de todas aquellas técni-
cación de la realidad social en base a significados compartidos intersubjetivamcnle por los
, cas que sirvan a tal propósito con independencia del tipo y procedencia m etodológica componentes de tal realidad y expresados mediante el lenguaje.
; de las mismas. . , ‘ 3 Citado en Silva (1992), p. 260 .
— N o obstante,' hay que considerar algunas restricciones que delimitarán las técnicas 4 Según la diferenciación propuesta por Anguera ( 1990), que distinguía entre la observación
y procedim ientos a utilizar. En prim er lugar, el criterio de aplicabilidad. Nuestro deseo como método con entidad suficiente paraba obtención de conocimiento científico y la
de ser exhaustivos en la utilización de los procedimientos no debe hacem os caer en la observación como técnica o suministro de información a utilizar en un conloxto metodoló­
i tentación de diseñar evaluaciones en las cuales se contemplen técnicas que, po r las gico más « m n ]|n
' ¿m acicm iiuos dci program a o de ios implicados, no pueoan ser puestas en practica 5 A este respecto, Pcrez-Campanero ( 199 ) ) señala que un porcentaje de acuerdo superior al
l"E iem plos obvios serían, plantear m edidas deautoinform e en personas que no tienen la. 75% sería alto (siendo muy alto por encima del 85 %), entre el 70 y el 75 % medio y por
suficientes capacidades verbales o de introspección (sujetos que presentan déficits sen­ • debajo del 70% sería bajo.
soriales o cognitivos) o procedim ientos de observación en programas que se implantan 6 Véase a este respecto la excelente revisión de Navarro y Díaz ( 1994).
7 En puridad, la Etnografía no hace referencia a los procedimientos utilizados paro obtener
en muchos contextos dispersos (por ejem plo, en programas de ayudas a dom icilio con los datos sino al resultado de la investigación, os decir, al informe escrito.
población discapacitada) ya que ello puede ocasionar un elevado coste temporal para Como ejemplo pueden mencionarse las evaluaciones de proyectos de irrigación do socie­
los beneficios técnicos que se obtendrían. , . - dades agrarias que detectaron un empeoramiento de las condiciones de salud en lugar rie un
En segundo lugar, el criterio de rigor, es necesario conocer las restricciones, cara aumento en la producción de comida, (Roper, 1983).
> terísticas y condiciones de aplicabilidad de las técnicas a utilizar para n o h a c e r un mal
' uso de las m ismas. U na técnica mal em pleada provocará la obtención de un a infom -
ción susceptible de sesgos y, por tanto, con insuficiente "calidad com o para poof
. extraer de ella conclusiones útiles cara a la posible continutdad, mejora o elimmacioi

^d d p ^ M i í n o , hp debem os perder d e vista que la competencia técnica del evaluador

es un criterio que “baña” a los dos anteriores. Si el evaluador (el equipo de evaluacto
no domina, desde un punto de vista técnico (y esto incluye el conocim iento de¡las p •
bilidades de análisis estadístico de los datos recogidos), una determ inada tto u c a
recogida de información, en principio, no debería utlizarja aunque ello viole e p
pío de m ultiplicidad al que tanto hem os hecho referencia. Dicho en otras palacra •
i se pucds cam biar exhaustivldad en-los procedimientos de . cogida de información l
irigor en el uso de los m ism os. ; i ínu«i¡c3-
De todo lo dicho se puede deducir que la tarea pric • - a de todo aquel tnv i t
dor que decida proceder a evaluar un programa, es la • n p liar su competenci
nica (o el núm ero de personas que form en parte del eq de evaluación) de 1