Definición
del propósito de la evaluación
La determinación de los propósitos de la evaluación servirá para
determinar la mejor forma de llevarla a
cabo. La evaluación puede tener uno o más propósitos.
El propósito primario es verificar si
el resultado del programa fue el esperado. No obstante, los propósitos
secundarios pueden incluir determinar si hubo cambio de comportamiento (mayor
uso de servicios de salud, educación, cumplimiento de normas de tránsito) o si
es eficaz la capacitación de los beneficiarios y si el programa es aceptable
para los participantes. En este caso, la evaluación deberá ser multifacética. De acuerdo al propósito las evaluaciones
pueden ser:
- Evaluación de procesos
- Evaluación de resultados
- Evaluación de impacto
Para la definición del propósito de la evaluación, es esencial
involucrar a todos los actores en el proceso de evaluación desde la etapa de
identificación de necesidades hasta la definición de los objetivos.
Por otro lado, la evaluación persigue, emitir juicios de valor sobre un programa, pero estas
atribuciones de valor no se orientan a enjuiciar la actuación de los diferentes
actores del programa, sino que persiguen identificar y analizar las razones que
hacen que el programa se desarrolle más o menos satisfactoriamente, incluyendo
las dificultades previstas o imprevistas que entorpecen el cumplimiento de los
objetivos del programa: contribuir a la toma de decisiones acerca de la puesta
en marcha, la continuidad, la expansión, las modificaciones y la acreditación
del programa; obtener apoyos externos para el programa y, por fin, comprender
los procesos psicológicos y sociales básicos que explican los logros y los
fracasos del programa, contribuyendo así a la puesta a punto de estrategias
viales de intervención psicológica y social.[1]
El uso de una
metodología u otra para la evaluación de un programa dependerá de los propósitos de la evaluación, del estado de
madurez del programa, de los recursos disponibles, de los intereses y
necesidades de los patrocinadores y evaluadores y del medio político y
organizativo del programa. De modo que, cuando un programa está
desarrollándose, el estudiar su eficacia mediante un diseño experimental carece
de sentido puesto que pasaría de por alto detalles sobre los procesos y los
contextos; y utilizar los métodos cualitativos, en exclusividad, puede no ser
lo más adecuado para valorar la eficacia de un programa de amplio alcance,
elaborado para aplicarlo a toda la población de un país.
En ese sentido, el diseño de la evaluación es una estrategia o
secuencia de decisiones acerca de cómo recoger, ordenar y analizar los datos, indistintamente
de la metodología que se use.
Amplitud
de la evaluación
La amplitud de la evaluación siempre se verá limitada por la
disponibilidad de recursos. Una evaluación sencilla bien planificada puede ser
tan útil como otra más compleja.
Hay una variedad de métodos cuantitativos para realizar las
evaluaciones del impacto y los resultados. El método experimental, o casi
experimental, para demostrar si hubo un cambio o no, constituye la forma más
sólida de evaluación de un programa y sirve para detectar modificaciones en los
resultados. El tipo de método a utilizar dependerá del propósito y el
presupuesto de la evaluación.
Por otro lado, la
evaluación de programas no es una evaluación económica (circunscrita a la
comparación de intervenciones). En la
evaluación de programas, para la medición de la eficiencia pueden aplicarse
estimaciones del costo beneficio, aunque normalmente, en los programas sociales
pueden presentarse dificultades importantes al adjudicar un valor monetario a los logros del
programa.
Ante esto puede
utilizarse módulos de costo –eficacia u desarrollar ratios como el costo de
persona atendida o el costo por día/persona de hospitalización evitado. Obviamente, y en tanto que el objetivo que
persiguen las evaluaciones de eficiencia, es normalmente contribuir a la toma
de decisiones acerca de las más adecuada asignación de recursos, es de gran
utilidad establecer comparaciones con los módulos de costo-eficacia de otros
programas que, con estrategias diferentes, persigan resultados similares.
La determinación de
cuales son todos los efectos, buscados y no buscados, positivos y negativos,
que el programa tiene, no solo sobre la población objetivo sino sobre la
sociedad o comunidad en su conjunto, recibe el nombre de evaluación del
impacto.
La evaluación del
impacto supone, la formulación del
juicio de valor global sobre la efectividad del programa, que puede reforzar o
desautorizar las conclusiones obtenidas al evaluar la eficacia. La evaluación del impacto utiliza las mismas
técnicas de recolección y análisis de datos que la evaluación de la efectividad
y de la eficacia, pero busca sus criterios de juicio en un sistema global de
valores, dentro del cual el valor “objetivos del programa” ha de contrastarse
con el resto de valores ligados a los procesos y necesidades y comportamientos
sociales que han podido verse afectados por el programa.
-
En proyectos
de inversión de infraestructura física los sistemas de seguimiento se basan en
un grupo de indicadores físicos y financieros fácilmente cuantificables, muchos
de los cuales no son apropiados para proyectos de desarrollo social debido a
que los resultados de estos últimos no son fáciles de identificar o medir.
-
En tal sentido, resulta inapropiado monitorear programas
sociales exclusivamente a través de indicadores cuantitativos (como se hace con
frecuencia) tales como el número de pacientes o clientes atendidos o el número
de personas que asisten a las reuniones de la comunidad. El desempeño de los proyectos
de salud o educación debe ser en parte evaluado con base en indicadores cualitativos tales como la calidad de los maestros o personal de salud;
la calidad y utilidad de la curricula o
protocolos; la efectividad y representatividad de las organizaciones comunales,
o la calidad y utilidad de la asistencia técnica provista.
-
Los programas sociales de desarrollo
generalmente, usan un enfoque flexible y participativo, en el cual los objetivos
del proyecto se definen en consulta con los presuntos beneficiarios y durante
la evolución del proyecto. Lo anterior hace difícil que los objetivos sean
establecidos al inicio del proyecto y que se defina un marco para la evaluación
de objetivos. Para complicar las cosas aún más, es posible que los diferentes
actores tengan también distintos
objetivos. En estos casos se debe introducir una mayor flexibilidad en el
proceso de evaluación reconociendo el hecho que los objetivos del programa
evolucionarán conforme el programa se desarrolle. Lo anterior significa que la
evaluación debe describir y evaluar tanto el proceso de implementación como los
resultados.
-
Es difícil evaluar y establecer los vínculos
entre los resultados de los proyectos y
los impactos deseados. Por ejemplo, la mortalidad infantil, el desempeño
escolar o el ingreso familiar se ven afectados por factores tan diversos que se hace difícil
aislar la contribución de un determinado proyecto. Esta contribución se hace aún más difícil de
evaluar cuando los programas tienen objetivos muy generales como aliviar la
pobreza o mejorar la participación social y económica de la mujer.
Recomendaciones
-
Siempre será útil desarrollar un modelo del
proceso de implementación del programa (en la mayoría de los casos el marco
lógico). Tal modelo identifica la premisa sobre la que se basa el proyecto,
describe los supuestos en los que subyace el proyecto, describe las estrategias
de implementación e identifica los vínculos entre insumos, implementación,
resultados e impactos. El modelo
previsto es luego comparado con la experiencia real de implementación, y establece las razones de los desvíos y
explica y examina los resultados no previsto.
-
Se debe pedir a los principales actores y a las
organizaciones no gubernamentales que participen en todas las etapas de la
evaluación.
-
Es importante establecer un número de
indicadores independientes de resultados
clave e impactos para obtener formas más confiables de evaluación y explicación
de los resultados y desempeño del proyecto.
Lo anterior normalmente involucra el diseño de indicadores tanto cuantitativos como cualitativos. La metodología
para reconciliar los distintos indicadores se conoce como triangulación.
-
Los proyectos de desarrollo social están con
frecuencia más relacionados con el desarrollo de capacidades en el ámbito
comunal y local que con el logro de resultados definidos y precisos. Como
consecuencia, se presta mayor atención a la evaluación de los procesos de
selección, implementación, operación y replicabilidad del proyecto.
Estrechamente relacionado a lo anterior, está el énfasis en la evaluación
institucional. Sin embargo, estos proyectos debieran también prestar atención a
los resultados que esperan sostener.
Triangulación entre métodos cuantitativos
y cualitativos[4]
Si se ha definido con anterioridad que interesa utilizar una aproximación cuantitativa y otra cualitativa para responder a la pregunta de investigación, se debe tener en cuenta que al delimitar la muestra
del estudio, que los tipos de muestreos serán
diferentes y los procedimientos de selección también. Debe precisarse, que no se requiere de la misma
cantidad de casos en ambas técnicas, pues
para recabar datos utilizando técnicas cualitativas, cuando los datos
obtenidos resultan ser redundantes, se produce el fenómeno de la saturación. Por
otro lado, por razones de tiempo y economía, generalmente cuando se usan ambas técnicas, se obtienen muestras
de modo independiente.
Desde la aproximación
cuantitativa, se puede hablar de variables, situación que estaría supeditada a
nivel de medición (nominal, ordinal, intervalo, razón). De igual modo el tipo de diseño a utilizar
definirá cómo será tratada la variable (variable dependiente, independiente). En
cambio, desde la perspectiva cualitativa más bien se habla de dominios,
dimensiones y categorías a estudiar.
En otros términos, en la estructuración de una investigación con métodos
cuantitativos se definen variables conceptual y operacionalmente.
Sin embargo, en la
investigación cualitativa, en vez de identificar variables dependientes e
independientes, lo que se busca es reconocer dimensiones del problema que se
investiga, dimensiones que posteriormente serán investigadas con mayor acotamiento
y profundidad.
Así, desde una perspectiva cuantitativa, los datos a obtener ya estarían
delimitados a priori a partir de las variables definidas y su
operacionalización. En cambio, desde una perspectiva cualitativa, los datos que
se obtienen podrían dar cabida a otros datos y sus relaciones, distintos a los
concebidos inicialmente en nuestra pregunta de investigación.
Lo más frecuente es que
los reportes cuantitativos y cualitativos en una primera fase se obtengan de un
modo independiente. En una segunda fase, la que se denomina de integración, es
donde se les hace dialogar. En otras palabras se hace que la información
cuantitativa se complemente con la información cualitativa y viceversa.
Algunas preguntas a este
respecto, podrían ser: ¿Lo encontrado a nivel cuantitativo tiene correlatos en
lo cualitativo? ¿Existen otros aspectos que no han sido hallados en lo
cuantitativo que sí fueron encontrados en lo cualitativo? ¿Desde lo cualitativo
surgen nuevas preguntas que no teníamos consideradas o que no tuvieron cabida
desde la investigación cuantitativa y viceversa?
[1]
Evaluación de programas sociales. Cesáreo Amezcua Viedma, Antonio Jiménez Lara,1996
[2] Fuente: La
Teoría de la Evaluación de Programas. Catalina Martínez Mediano.
El documento señala que
como disciplina, la evaluación de programas debe desarrollar su propia teoría,
y los métodos, en vez de ser tratados como un fin en sí mismos, deben ser
considerados como medios para favorecer el desarrollo del conocimiento. Como
dice Bickman (1987) la evaluación es, a menudo, considerada como una ciencia
práctica, pero es ambas cosas, una práctica y una ciencia que requiere de su
propia teoría.
[3] Fuente: Joseph Valadez and Michael Bamberger, editors.
Monitoring and evaluating social programs in developing countries: A handbook
for policymakers, managers, and researchers. (EDI Development Studies, World
Bank, 1994)
[4] Fuente: La Triangulación entre Métodos Cuantitativos y Cualitativos en el Proceso de Investigación. Aldo Vera C., Marcelo Villalón C.
[4] Fuente: La Triangulación entre Métodos Cuantitativos y Cualitativos en el Proceso de Investigación. Aldo Vera C., Marcelo Villalón C.
