Evaluación y Seguimiento
Evaluación y Seguimiento
Evaluación y Seguimiento
7.
7.1.1
7.2
7.2.1
7.2.2
POR QU ES NECESARIA UNA HERRAMIENTA DE SEGUIMIENTO Y
EVALUACIN? .................................................................................................................................... 5
7.2.3
7.3
7.3.1
QU ES EVALUACIN? .................................................................................................. 5
7.3.2
7.3.3
7.3.4
TRMINOS SIMILARES A EVALUACIN CON LOS CUALES NO DEBE
CONFUNDIRSE ................................................................................................................................... 6
7.3.4.1
Medicin: .................................................................................................................. 7
7.3.4.2
Estimacin:............................................................................................................... 7
7.3.4.3
Seguimiento: ............................................................................................................ 7
7.3.4.4
Control: ..................................................................................................................... 7
7.3.4.5
Monitorio: ................................................................................................................. 7
7.3.5
7.3.5.1
7.3.5.2
La evaluacin no se limita a la valoracin de lo acontecido en proyectos
cuyas acciones ya concluyeron (estudio ex post facto). ........................................................... 8
7.3.6
7.3.6.1
Importancia............................................................................................................... 9
7.3.6.2
Utilidad ...................................................................................................................... 9
7.3.7
7.3.7.1
Funcin optimizadora............................................................................................ 10
7.3.7.2
7.3.7.3
Funcin retroalimentadora.................................................................................... 10
7.3.7.4
7.3.7.5
Funcin motivadora............................................................................................... 10
7.3.8
7.3.8.1
7.3.8.2
7.3.8.3
7.3.9
7.3.9.1
7.3.9.2
7.3.9.3
7.3.10
7.3.10.1
Cuantitativo ............................................................................................................ 20
7.3.10.2
Cualitativos............................................................................................................. 21
7.3.11
7.3.12
7.3.12.1
7.3.12.2
7.3.12.3
7.3.12.4
7.4
SEGUIMIENTO ......................................................................................................................... 29
7.4.1
QU ES SEGUIMIENTO? .............................................................................................. 29
7.4.2
7.4.3
7.4.3.1
7.4.3.2
7.4.3.3
7.4.3.4
7.4.3.5
7.4.3.6
7.4.3.7
7.4.4
7.4.5
7.5
GLOSARIO................................................................................................................................ 37
7.6
BIBLIOGRAFA ......................................................................................................................... 39
7. EVALUACIN Y SEGUIMIENTO
Un mal comienzo provoca un mal final
Eurpides
7.1 LA EVALUACIN EN LA GESTIN DEL DESARROLLO
La evaluacin es un proceso sistemtico, objetivo y crtico que permite analizar la
eficacia, eficiencia, sostenibilidad e impacto de las decisiones tomadas, con la finalidad
de ajustar estrategias, metodologas y/o acciones para mayores xitos.
Evaluar es comparar en un instante determinado lo que se ha alcanzado mediante una
accin con lo que se debera haber alcanzado de acuerdo a una programacin previa.
Grficamente podemos decir que se trata de: (3)
Figura 7.1.
PROCESO COMPARATIVO
SITUACION
PREVISTA
EVALUACION
SITUACION
REAL
concepciones del cambio social estn detrs del proyecto a evaluar?, cmo se
manifiesta la realidad que se quiere cambiar?, en qu aspectos o dimensiones?,
en cules ha intervenido el proyecto y cmo?, qu cambios se espera producir?,
con qu criterios los vamos a observar?
En pocas palabras, se trata de establecer qu se quiere cambiar, en
qu sentidos y con qu herramientas, para luego poder definir qu se
va a evaluar, saber responder estas interrogantes no siempre es
sencillo.
Objeto de evaluacin (dimensiones del cambio) en un proyecto o
conjuntos integrados de proyectos
Es importante tener presente que los objetos de evaluacin definidos
para un determinado momento de la evaluacin, no pueden ni deben
permanecer invariables a lo largo de la gestin de los proyectos. (1)
7.3.3 ASPECTOS A CONSIDERAR EN LA EVALUACIN DE PROYECTOS
En la ejecucin de proyectos:
Detectar los problemas o limitaciones para corregir y cumplir con los
objetivos esperados en relacin a los cambios de la poblacin
beneficiaria.
Cules grupos se han beneficiado o perjudicado?
Cmo se han beneficiado o perjudicado?
En cunto se han beneficiado o perjudicado?
Se cumpli con los fines?
Se cumplieron con las actividades planificadas?
Est dando el mejor uso a los recursos humanos y financieros?
Se cumplen con los compromisos y mantienen buenas relaciones?
Qu condiciones (internas y externas) contribuyen a los xitos y
dificultades?
Quines estn participando y como es su participacin? (2)
7.3.4 TRMINOS SIMILARES A EVALUACIN CON LOS CUALES NO DEBE
CONFUNDIRSE
En el mbito de los servicios, programas y proyectos, existen una serie de trminos
que se emplean con frecuencia y que en ocasiones se utilizan de forma similar al
de evaluacin, siendo necesario precisar y diferenciar su alcance.
7.3.4.1 Medicin:
Se refiere a la cuantificacin de algo, pero sin determinar su valor en el logro
alcanzado.
7.3.4.2 Estimacin:
Tiene un carcter aproximado y una carga subjetiva, ya que no implica
exigencia metdica y formal como la evaluacin sistemtica.
7.3.4.3 Seguimiento:
Es el proceso analtico para registrar, recopilar, medir y procesar una serie
de informaciones que revelan la marcha o desarrollo de un programa y que
asegura una retroalimentacin constante para una mejor ejecucin del
mismo.
7.3.4.4 Control:
Consiste en una verificacin de resultados, no de su valoracin (lo que
constituira una evaluacin).
7.3.4.5 Monitorio:
Significa que sirve para avisar, es decir, que sirve de aviso o advertencia.
Que significa amonestar en un corto plazo que va corrigiendo en cada
proceso, puede estar dentro del seguimiento. (2)
11
13
Figura N 7.3
EVALUACION
PARA
QUE?
EVALUACION
EVALUACION
INTERNA
Realizados
por los
ejecutores o
evaluacin
institucional
EVALUACION
EXTERNA
EVALUACION
MIXTA
Realizados
por personas
ajenas
misin
evaluadora
Realizados por
un equipo de
evaluacin
institucional y
extremo
AUTO
EVALUACION
AUTO
PARTICIPATIVA
Realizados por
el equipo
responsable
directo de las
actividades
Realizado con
la
participacin
de la
poblacin
14
15
La gerencia de la organizacin
El equipo ejecutor
La poblacin
La financiera
16
17
EFICIENCIA
QUE ASPECTOS SE
EVALUAN
EFICACIA
a. E
EFICTIVIDAD
v
a
l
Fuente: Elaboracin Propia u
a
c
Evaluacin ex post
i
proceso exige pasar de los fines generales de las acciones a los indicadores de
la evaluacin, la seleccin de indicadores es, por lo tanto, esencial, dado que a
partir de ellos fue o no exitoso y la medida de este xito. (3)
Figura N 7.5:
ETAPAS DE LA EVALUACION
EVALUACION EX ANTE: diagnostico antes del proyecto,
sirve para determinar la variabilidad de su ejecucin
SEGN EL
MOMENTO QUE
SE REALIZAN
19
Figura N 7.6:
EVALUACION EN CICLO DEL PROYECTO
Fuente: MEF
7.3.10 MTODOS DE LA EVALUACIN
7.3.10.1
Cuantitativo
El mtodo cuantitativo parte del supuesto que, en potencia, todos los
hechos sociales son reductibles a datos que se expresan como cantidades,
es decir, los hechos son cuantificables. Privilegia la medicin (frecuencias,
dimensiones, tasas, etc.) y la comparacin, apoyndose en los
fundamentos y procedimientos de la estadstica. (2)
Caractersticas del mtodo cuantitativo
Sita su inters principal en la explicacin (anlisis como
proceso de establecimiento de causas y efectos), la prediccin
y el control de los cambios.
Se limita a fenmenos directamente observables y susceptibles
de medicin (incrementos en la produccin, en los ingresos, en
las capacidades tcnico productivas, etc.).
Utiliza tcnicas estadsticas para la definicin de muestras,
anlisis de datos y generalizacin de resultados.
Utiliza instrumentos estructurados y estandarizados como
encuestas, escalas o pruebas.
Utiliza diseos de comparacin con grupos de control, definidos
en detalle y rgidos en el proceso, como los diseos
experimentales.
20
Cualitativos
Se orienta a la comprensin del sentido que los actores le dan a sus propias
acciones, es decir, trabaja con percepciones. Sus procedimientos tpicos
suponen que los actores describan e interpreten experiencias vividas,
informacin sobre la cual los evaluadores proponen una interpretacin
holstica (reconstruccin de la experiencia) que le da sentido a las diversas
miradas particulares.
Caractersticas del mtodo cualitativo
Sita su inters en la descripcin, comprensin e interpretacin
de los significados que los sujetos le dan a sus propias acciones.
Evita la fragmentacin. Estudia los hechos dentro de una
totalidad (visin holstica) y desde mltiples perspectivas.
No busca la generalizacin de resultados, en la medida que
considera que estos estn limitados a un tiempo y un espacio.
Desarrolla un conocimiento ideogrfico.
Utiliza tcnicas de observacin participante y anlisis en
profundidad, desde una perspectiva subjetiva y particular.
Utiliza instrumento poco o no estructurado y de definicin libre
como guas de observacin, entrevistas o grupos de discusin.
Privilegia la observacin de procesos (cambios en patrones de
interaccin, en actitudes, en percepciones) y de resultados de
naturaleza intangible.
El siguiente es un cuadro comparativo de ambos mtodos, a
partir de tres dimensiones de comparacin. (2)
21
Cuadro N 7.1:
MTODO DE EVALUACION
DIMENSIONES
Indicadores
del cambio
Tcnicas
Instrumentos
METODOS
CUANTITATIVO
CUALITATIVO
Aspectos del cambio que son Aspectos del cambio que se
observables, susceptibles de hacen visibles solo desde las
medicin
y de anlisis percepciones o valoraciones
estadstico
de los actores
Tcnicas estadsticas para la Tcnicas de observacin
definicin de muestras, el participante y anlisis en
anlisis de datos y la profundidad desde mltiples
generacin de resultados
perspectivas
Instrumentos estructurados y Instrumento poco
o no
de aplicacin estandarizada estructurados como guas de
como encuesta, escalas o observacin, entrevistas o
pruebas.
grupos de discusin
22
Figura N 7.7
LOGICA VERTICAL
LOGICA VERTICAL
Entonces
IMPACTO
SI
M
EFECTO
SI
LOGRO
Y otros factores
externos
Entonces
PREGUNTAS
ORIENTADORAS
INDICADORE
S
INFORMANTE
S / FUENTES
TECNICAS
/ PATICIPANTE
INSTRUMENTO S
EN
EL
S
ANALISIS
DIMENSION/
CAMBIO 1
DIMENSION/
CAMBIO 2
DIMENSION/
CAMBIO 3
23
La construccin de indicadores
La construccin de indicadores de seguimiento y evaluacin de las polticas
y programas de desarrollo social se hace a partir de la recogida de datos
primarios relativos a los programas en las diversas esferas donde acta la
poltica: rganos municipales, estatales y federales proveedores de
servicios gubernamentales y no gubernamentales, instancias de control
social, etc. El hecho de que los datos primarios sean alimentados por
fuentes tan diversas y sobre las que a menudo ni la SAGI ni el MDS tienen
control alguno, supone uno de los puntos crticos de la produccin de
indicadores fiables, una condicin necesaria para que el seguimiento y la
evaluacin se hagan de forma efectiva.
La definicin de indicadores requiere una gran claridad sobre los objetivos
y la lgica de cada programa. Siempre se puede calcular un nmero
excesivamente grande de indicadores, aunque no siempre conseguirn
expresar los fenmenos o las condiciones ms significativas para el
programa. Los datos tambin deben producirse con periodicidad y
agregacin definidas, para que los indicadores puedan compararse. Los
indicadores se definieron atendiendo a los atributos siguientes:
validez: capacidad del indicador para medir el fenmeno que se
pretende medir;
fiabilidad: calidad de los datos que sirven de base para el clculo del
indicador;
sensibilidad: debe ser lo suficientemente sensible para captar el
atributo que se pretende captar respecto a las personas o
fenmenos;
desagregacin: nivel territorial al que se refiere el indicador;
24
Indicador de impacto
Incremento de los ingresos de los productores agrcolas
Definicin: Mide el impacto del proyecto en el incremento de los ingresos
de los productores agrcolas, como resultado de una mayor disponibilidad
de agua de riego, la incorporacin de nuevas reas de terrenos cultivadas
y/o el desarrollo de campaas agrcolas adicionales, y el incremento de la
produccin y productividad agrcola.
Metodologa de medicin: Este indicador se calcula por la variacin de los
ingresos de los productores beneficiarios del proyecto, a partir de los
volmenes producidos en su cdula de cultivo. Para el clculo de
este indicador se asume que una mejora en la produccin y productividad,
trae consigo una mejora en los ingresos, siempre y cuando la estructura de
costos no haya tenido mayores variaciones, ni los precios hayan tenido
cambios significativos. (2)
7.3.12.3
Indicador de efecto
Incremento del Valor Bruto de la Produccin
Definicin: Mide el impacto del proyecto en el incremento de la produccin
agrcola, en trminos monetarios, como resultado de una mayor
disponibilidad de agua de riego que permite mayores rendimientos en los
cultivos, la incorporacin de nuevas reas de terrenos cultivadas y/o el
desarrollo de campaas agrcolas adicionales.
Metodologa de medicin: Este indicador se calcula como una variacin en
los Valores Bruto de la Produccin en Miles de Nuevos Soles, comparando
los promedios de la situacin con proyecto, con los promedios de la
situacin sin proyecto.
Incremento de la productividad
Definicin: Mide el impacto del proyecto en el incremento de la
productividad agrcola, como resultado, entre otros factores, de un uso
adecuado, oportuno y/o en la cantidad necesaria, de agua de riego.
Metodologa de medicin: Este indicador se calcula como una variacin del
rendimiento de un cultivo con el proyecto respecto del rendimiento del
25
Indicador de producto
Incremento e intensidad de uso de las tierras agrcolas
Definicin: Mide el impacto del proyecto en la incorporacin de nuevas
reas cultivadas y/o el desarrollo de campaas agrcolas adicionales, como
resultado de una mayor disponibilidad de agua de riego.
Metodologa de medicin: Este indicador se calcula como una
variacin en el rea total cultivada en un ao con proyecto, con
relacin al rea cultivada en un ao sin proyecto; es decir, la
superficie incorporada a partir de una mayor disponibilidad de agua
de riego (uso por extensin), como por la intensidad del uso de la
tierra por mayor disponibilidad de agua de riego (ms de una
campaa agrcola).
Grado de operacin y mantenimiento del sistema de riego
tecnificado instalado
Definicin: Mide el grado de eficiencia y eficacia de operacin y
mantenimiento del sistema de riego tecnificado instalado a la fecha
de evaluacin. Es una calificacin cualitativa de alto, medio o bajo
(muy eficiente, eficiente, regular, deficiente, muy deficiente).
Metodologa de medicin: Se considerar el grado de conocimiento
y uso de los manuales de operacin y mantenimiento de los
26
27
ESTUDIO
EJECUCIN
OPERACIN
EVALUACIN
IDEA
Figura N 7.9:
LA EVALUACIN PARA UN PROYECTO DE RIEGO
-Evaluacin ex-ante
-Recurso agua y suelo de
calidad.
-Recurso humano capacitado.
Elaboracin de
expediente tcnico
de irrigacin (+)
Actividades
previstas en la
programacin
del Proyecto
Fase operativa de la
irrigacin
funcionamiento de
infraestructura.
Verificacin de los
resultados obtenidos
Vs lo planificado
Evaluacin ex post
Resultados en produccin
cantidad y calidad con
eficiencia y efectividadutilidad e impactos por el
efecto final del proyecto para
MCVPR
28
Impactos
positivos
del
proceso
7.4 SEGUIMIENTO
7.4.1 QU ES SEGUIMIENTO?
El seguimiento consiste en la recopilacin y el anlisis de informacin que se
recopila a medida que se avanza en la implementacin de un proyecto. Su objetivo
es mejorar la eficacia y efectividad del proyecto. Se basa en las metas establecidas
y actividades planificadas para las distintas fases del trabajo de planificacin. (1)
De acuerdo a ciertas definiciones formales, el seguimiento del proyecto consiste
en:
Proveer una adecuada visibilidad a la administracin sobre la situacin del proyecto
para identificar oportunamente cualquier desviacin contra lo planeado con el
objetivo de tomar decisiones oportunas para corregirlas. (1)
T, como lder o administrador del proyecto eres responsable de conocer en todo
momento qu pasa con el proyecto; a eso se refiere la visibilidad. Para lograr esto
debes de mantenerte muy atento a todo lo que sucede en el proyecto, debes
realizar las preguntas adecuadas a los participantes y buscar y analizar los datos
importantes del mismo. (1)
Preguntas a resolver
Algunas preguntas fundamentales que debes poder contestar:
Cul es el avance en las tareas de los recursos contra lo planeado?
(cunto deberan de haber logrado hasta ahora y cunto han logrado)
Cul es la desviacin en tiempo de las tareas? (y del proyecto)
Cul es la desviacin en costo de las tareas? (y del proyecto)
Cunto ms se va a desviar el proyecto considerando el nivel de
retraso que se est teniendo en las tareas? (te recomiendo que leas
acerca de tcnicas como valor devengado o earned value)
Cul es la desviacin en rentabilidad del proyecto?
Cules y cuntos han sido los cambios al alcance original del
proyecto?
Se estn logrando los objetivos del proyecto?. (2)
7.4.2 TCNICAS DE SEGUIMIENTO
Y cmo deberas de realizar el seguimiento? A continuacin las tcnicas
bsicas que normalmente utilizamos para este fin:
Reuniones.
29
31
32
Paso 1:
En un taller con un personal apropiado y/o voluntarios que t o un asesor dirige:
Introduce los conceptos de eficacia, efectividad e impacto.
Explica que un sistema de seguimiento necesita cubrir estos tres
conceptos.
Crea una lista de indicadores para cada uno de los tres aspectos.
Aclara las variables que necesitan conectarse.
Paso 2:
Convierte las aportaciones ofrecidas por el taller en instrucciones para las
preguntas que tu sistema de seguimiento debe responder. Dependiendo dela
complejidad de tus requisitos y de tu capacidad, te decidirs por una base de datos
informatizada o manual. Si deseas conectar muchas variables a travs de muchos
casos necesitars la opcin informatizada. Si tan slo tienes unas pocas variables,
probablemente lo podrs hacer de manera manual. Lo importante desde un
principio es saber qu variables te interesan y guardar informacin sobre stas.
Estas son las variables que podran afectar a este indicador:
Edad
Gnero
Religin
Aspecto rural/urbano
Categora econmica
Entorno familiar
Tiempo de exposicin a la iniciativa de tu proyecto
Nmero de talleres a los que ha asistido.
33
35
Cuadro N 7.3
COMPARACIN ENTRE LAS CARACTERSTICAS PRINCIPALES DEL SEGUIMIENTO,
LAS REVISIONES, LAS EVALUACIONES Y LAS AUDITORIAS.
PARA QUE
SIRVEN?
Cundo?
SEGUIMIENTO Y
REVISIN
Evaluacin los
avances,
fundamentan las
decisiones y las
medidas correctivas,
actualizan los planes
del proyecto,
apoyando la
rendicin de
cuentas.
EVALUACIN
Evaluacin los
avances y su valor,
identificacin las
enseanzas y las
recomendaciones
para una
planificacin a
mayor plazo y el
aprendizaje
institucional,
permiten rendir
cuentas
Permanentemente
De forma peridica y
durante el proyecto o despus del
programa.
proyecto o
programa.
De forma interna y
Alguien que puede
asociacin a los
pertenecer o no a la
responsables de la
organizacin.
ejecucin del
proyecto o
programa.
AUDITORIA
Brindan garantizar y
aseguran el
cumplimiento y la
rendicin de
cuentos.
Depende de los
requisitos (de los
donantes)
Habitualmente
QUIEN?
alguien ajeno al
proyecto o
programa, que
puede no
pertenecer a la
organizacin.
Se concentran en los Se concentran en
Se concentracin
VINCULO CON LA insumos, las
los efectos directos y en los insumos, las
JERARQUIA
actividades, el
la meta general.
actividades y el
LOGICA
producto y los
producto.
efectos directos a
corto plazo.
Fuente: Ginebra, 2011:24
36
7.5 GLOSARIO
Anlisis.- En sentido amplio es la descomposicin de un todo en partes
para poder estudiar su estructura, sistemas operativos o funciones.
Consenso.-Es un acuerdo entre dos o ms personas en torno a un tema.
La expresin de la falta de consenso es el disenso. Una decisin por
consenso, no obstante, no implica un consentimiento activo de cada uno,
sino ms bien una aceptacin en el sentido de no-negacin. En este tipo de
modalidades de decisin encontr su fundamento la democracia griega.
Control.-Comprobacin, inspeccin, fiscalizacin, intervencin. Dominio,
mando, preponderancia.
Cualitativa.- Se refiere a cmo las personas se sienten en relacin con
opiniones, experiencias. Se encuentra en oposicin a cuantitativa
(informacin), relacionada con los nmeros.
Coherencia.- Conexin, relacin o unin de unas cosas con otras.
Estimacin.- Determinacin del valor que se da y en que se tasa o
considera algo.
Efectos.- Es todo comportamiento o acontecimiento del que puede
razonablemente decirse que ha sido influido por algn aspecto del
programa o proyecto Por definicin, dados sus objetivos de resultado, un
proyecto debe tener efectos buscados, previstos, positivos y relevantes. Sin
embargo, puede haber efectos no buscados que sean, al mismo tiempo,
previstos, positivos y sumamente relevantes desde el punto de vista de la
organizacin que tiene a cargo el proyecto.
Eficiencia.- Virtud y facultad para lograr un efecto determinado. Accin con
que se logra este efecto.
Eficacia.- Virtud, actividad, fuerza y poder para obrar.
Efectividad.-Son los resultados de los impactos positivos esperados,
dando resultados en la productividad y beneficios de todo un proceso, es
por ejemplo el mejorar la calidad de vida del poblador rural, para obtener de
una negociacin y una mayor produccin y productividad.
Impacto.- Se define como un resultado de los efectos de un proyecto (ONU,
1984 en cohen y franco, 1992). La determinacin del impacto exige el
establecimiento de objetivos operacionales y de un modelo causal que
permita vincular el proyecto con los efectos resultantes de su
implementacin.
Lnea de base.- Es recopilacin y anlisis de los datos con respecto a una
audiencia seleccionada o situacin previa a la intervencin. Es la
recoleccin de informacin antes de que se haya iniciado un proyecto. La
informacin de lnea de base hace posible seleccionar una comunidad con
la que se podr trabajar, examinar y descubrir cules secciones necesita
37
38
7.6 BIBLIOGRAFA
LIBROS
1) COHEN, E., R. MARTNEZ Y A. FERNNDEZ, 2003. Anlisis de Resultados del
Programa Puente 2002. CEPAL, Santiago
2) ERNESTO COHEN; RODRIGO MARTNEZ/divisin de desarrollo social
/formulacin, evaluacin y monitoreo de proyectos sociales. /CEPAL.
3) RODRIGUEZ SOSA, Jorge y ZEBALLOS, Molvina/ 2007.Evaluacin de proyectos
de desarrollo local. Enfoques, mtodos y procedimientos DESCO, Lima:
4) Ginebra, 2011 Federacin Internacional de Sociedades de la Cruz Roja y de la
Media Luna Roja Evaluacin y seguimiento de proyectos. Lima.
BIBLIOGRAFIA DE INTERNET
5) http://www.indexnet.santillana.es/rcs/_archivos/Recursos/geografiahistoria/evalua
mbiental.pdf
6) http://es.wikipedia.org/wiki/Evaluaci%C3%B3n_social
7) http://www.fao.org/DOCREP/006/Y4470S/y4470s0d.htm
8) http://www.liderdeproyecto.com/articulos/el_seguimiento_del_proyecto.html
9) https://civicus.org/view/media/Seguimiento%20y%20evaluacion.pdf
10) https://www.mef.gob.pe/index.php?option=com_content&view=article&id=4276&It
emid=102211&lang=es
39