TÉCNICAS CUANTITATIVAS EN LA EVALUACIÓN
DE PROGRAMAS Y PROYECTOS PSICOSOCIALES
I.
INTRODUCCIÓN
Toda evaluación de
programas y/o proyectos psicosociales requiere de una serie de recolección de
datos para lo cual se utilizan diferentes estrategias o técnicas, ya sea de
tipo cualitativo o cuantitativo. En esta oportunidad se describen algunas técnicas
cuantitativas, sus ventajas, desventajas, uso, entre otros aspectos.
El propósito de este
espacio informativo es que el lector logre tener una visión más amplia de las
técnicas cuantitativas en la evaluación de proyectos o programas psicosociales
y que la información redactada sirva como referencia informativa.
- CONTENIDOS
2.1. CONCEPTOS BÁSICOS
2.1.1.
Técnica cuantitativas
Se apoyan en la
medición objetiva. Persiguen obtener resultados extrapolables a un grupo
específico de la población, mediante la selección de una muestra del
mismo, un número estadísticamente significativo de dicha población, o bien
mediante el estudio de todo el grupo (Pérea, 2003).
2.1.2.
Programa o Proyecto Psicosocial
Conjunto especificado
de acciones humanas y recursos materiales, diseñados e implantados
organizadamente en una determinada realidad social, con el propósito de
resolver algún problema que atañe a un conjunto de personas. Se caracteriza por
tener una especificación previa e implantación coordinada.
Proyecto
“Es una empresa
planificada consistente en un conjunto de actividades interrelacionadas y
coordinadas con el fin de alcanzar objetivos específicos dentro de los límites
de un presupuesto y un periodo de tiempo dados” (ONU, 1984).
Programa
“Se constituye por un
conjunto de proyectos que persiguen los mismos objetivos. Este establece las
prioridades de la intervención, identificando y ordenando los proyectos,
definiendo el marco institucional y asignando los recursos que se van a
utilizar” (ONU, 1984).
2.2. EVALUACIÓN DE PROGRAMAS O
PROYECTOS PSICOSOCIALES
¿Qué es evaluación?
Según Nirenberg
(2008) la evaluación implica una reflexión, que se orienta a revisar qué es lo
que se está proponiendo, que se está haciendo o qué se ha hecho. Es
principalmente analizar las características de las metodologías de intervención
planteadas o desplegadas, y determinar si la orientación se dirige
efectivamente hacia lo deseable, aclarando cuáles escollos y cuáles facilidades
se presentan y cuáles logros se esperan y/o se han obtenido.
¿Qué es la evaluación de programas o
proyectos psicosociales?
Es la sistemática investigación a
través de métodos científicos de los efectos,resultados y objetivos de un
programa, con el fin de tomar decisiones sobre él (Ballesteros, 1995).
Según Pérea (2003) la
evaluación de programas o proyectos psicosociales es una función que consiste
en hacer una apreciación tan sistemática y objetiva como sea posible sobre un
proyecto o programa, por realizarse, en curso o acabado, es decir, su
concepción, su realización y sus resultados. En este proceso se trata de
determinar la pertinencia de sus objetivos y su grado de realización, la
eficiencia en cuanto a la acción social, la eficacia, el impacto y la
viabilidad. Por lo que una evaluación debe proporcionar unas informaciones
creíbles y útiles, que permitan integrar las enseñanzas sacadas en los
mecanismos de elaboración de las decisiones.
Según Rossi, Freeman y Lipsey (1999)
este proceso requiere de:
– Recolección de datos
– Existencia de criterios de valoración
Por tanto, teniendo en cuenta que toda
evaluación es un proceso sistemático que requiere el uso de instrumentos o
técnicas para medir, analizar y valorar unos diseños, procesos y
resultados con el fin de generar conocimiento útil para la toma de decisiones.
Por tanto se cree necesario dar a conocer las técnicas cuantitativas que se
pueden emplear en la evaluación de programas y proyectos psicosociales.
2.3. TÉCNICAS CUANTITATIVAS EN LA
EVALUACIÓN DE PROGRAMAS Y PROYECTOS PSICOSOCIALES
2.3.1. Encuesta
La encuesta es uno de
los instrumentos más populares, aunque en la evaluación de proyectos de acción
social su uso es más restringido, ya que requiere recursos de los que
generalmente no se dispone sobre el determinado situación. Asimismo, por lo
general se realizada sobre una muestra 36 de sujetos representativa de un
colectivo más amplio y se lleva a cabo en el contexto de la vida cotidiana,
utilizando procedimientos estandarizados de interrogación, con el fin de
obtener mediciones cuantitativas de gran variedad de características objetivas
de la población (Perea, 2003).
La encuesta descansa
sobre dos pilares:
• La estadística matemática.
• La sociopsicología de la comunicación (la
conversación entre dos interlocutores/as, entrevistador/a y entrevistado/a).
2.3.2. Medición
directa u observación
Según Perea (2003),
da referencia sobre las técnicas cuantitativas que consiste en recopilar datos
de acuerdo a un esquema determinado y es muy utilizada en contextos de
proyectos de desarrollo. Para que la medición sea significativa y es muy
importante determinar de manera previa qué propiedades o características van a
considerarse y cuáles son las dimensiones que se manejan. También, mencionar
las medición directa, se relaciona con la comprobación de los indicadores
objetivamente verificables que se recogen en la matriz de planificación del proyecto.
Un problema común se produce cuando los indicadores se encuentran mal
enunciados o resultan imposibles de medir.
El uso de esta
técnica facilita la obtención de datos muy fiables sobre fenómenos o procesos
físicos pero no logra profundizar en las causas que provocan determinada
situación. Por ello, la medición directa debe ir acompañada por otros modos de
análisis más valorativos.
2.3.3. Censo
Según Perea (2003) el
censo constituye una herramienta crucial para un estudio cuantitativo de la realidad
social. Es muy útil haber realizado el censo en la fase de identificación del
proyecto y haber ido incorporando sus cambios. La existencia de este documento
donde se recogen los datos demográficos actualizados es, sin duda, de gran
ayuda en el trabajo de evaluación.
Según Vázquez (1991), define al Censo Población como
el conjunto de operaciones que consisten en recopilar, resumir, valorar,
analizar y publicar los datos de carácter demográfico, cultural, económico y
social de todos los habitantes del país y de sus divisiones político
administrativas, referidos a un momento o período dado.
El censo es un
proyecto que permite conocer, en una fecha dada, el efectivo de la población en
un territorio con algunas de sus características:
• Distribución por
edad.
• Sexo.
• Edad.
• Estado civil.
• Situación familiar.
Su ejecución se basa
generalmente en cumplimentar cuestionarios, por parte de las personas afectadas
o algunas de ellas o incluso el agente del censo.
2.3.4. Técnicas de
Análisis Económico Financiero y Medición de Impacto
Según Perea (2003), hace énfasis en el
análisis económicos o financieros, y se utilizan diferentes técnicas esto se
debe tener en cuenta como el
análisis de coste efectividad (ACE),está adecuado para realizar el
proyectos habituales en el Acción Social, que no sólo producen bienes y
servicios tangibles y expresables en unidades monetarias, sino que además
producen otro tipo de beneficios, intangibles y con mas difícil
cuantificación.
Es decir, se debe
tener en cuenta la utilización del análisis de coste de efectividad se
pretende determinar, en la evaluación, hasta qué punto el empleo de los
recursos ha sido coste efectivo, entendiendo que la relación deseable en una
circunstancia de recursos escasos y grandes necesidades es alcanzar la mayor
efectividad posible, entendida como el logro de resultados y objetivos
deseables, con el menor coste. Asimismo, el análisis de coste de efectividad
puede ser utilizado antes de la ejecución de un proyecto para determinar
hipotéticamente los resultados esperados con un coste determinado, pero también
puede ser útil en la evaluación intermedia o final para saber qué es lo que se
ha conseguido en realidad, si se a logrado cumplir el objetivo inicial para que
después se modificado mediante la toma de decisión.
Las técnicas que se
utilizan para evaluar la eficiencia según Pérea (2003) son:
A.
Análisis Coste - Beneficio (Acb)
Este análisis puede aplicarse ex-ante,
con lo cual ayudaría a la toma de decisiones eficientemente sobre alternativas
de actuación, o ex-post, de forma que permite determinar el grado de eficiencia
alcanzada.
- Análisis Coste - Eficacia
Este tipo de análisis es una
alternativa al análisis coste-beneficio, ya que, intenta encontrar la
eficiencia en las inversiones públicas, especialmente en sectores en los que
los costes y los beneficios son difíciles de medir en términos monetarios. No es
muy eficaz cuando se aplica a Programas o Proyectos con muchos objetivos.
- Comparación Entre Los
Precios De Licitación, Adjudicación Y Ejecución
La comparación entre los precios de
licitación, adjudicación y ejecución funciona como una vía alternativa para
medir la eficiencia.
- Técnicas De Análisis
Frontera (Dea)
Esta es una técnicas
de análisis en la eficiencia pública, lo cual, permite comparar unidades de
gestión que desarrollan servicios análogos, de manera que muestra la eficiencia
relativa de dichas unidades en relación con la “frontera eficiente”,ya que, se
realiza de forma individual para evaluar lo aprendido a través de una medida
del nivel medio de los resultados de eficiencia.
E. Estudio de caso.
En esta técnica se
realiza el estudio de Programa o
Proyecto y algunas actuaciones en su ámbito natural, en su contexto, analizado
desde múltiples perspectivas y agentes de supervisiones. Implica el objetivo en
contrastar una serie de hipótesis, establecidas con carácter previo, sobre el
Programa o Proyecto, fundamentalmente a través de entrevistas y encuestas, todo
estas técnicas tiene que estar ajustado al contexto para obtener mejores
análisis de los resultados.
Selección del caso en función de la
conveniencia, accesibilidad a la información y representatividad.
• Establecimiento de las hipótesis sobre el
Programa o Proyecto a contrastar.
• Recopilación y
procesamiento de la información.
• Redacción y presentación del informe. Es el
paso crucial, exige un filtro de toda la información, de tal forma que sea
fácil de consultar, tanto cronológica como temáticamente, y sirva para futuras
investigaciones sobre el tema, así para aumentar la fiabilidad del
estudio se puede involucrar a dos evaluadores en el mismo caso, o a agentes
externos al Programa o Proyecto.
F Métodos experimentales
En este proceso es para establecer dos
grupos, el primer grupo está compuesto por sujetos que participarán en el
Programa o Proyecto como (grupo experimental) , y el segundo por sujetos
no participantes (grupo de control). Estos dos grupos deben ser representativos
de la población objetivo, y la probabilidad que tiene una persona para que sean
partes estos dos grupos debe ser idéntica. Éste es el conocido como
“diseño experimental clásico”. Por medio de una encuesta, anterior a la
aplicación del Programa o Proyecto, los dos grupos son preguntados acerca de
cuestiones relativas a los temas en los que el Programa o Proyecto impactará.
G. Análisis de regresión y los modelos
econométricos
Consisten en la construcción de coeficientes
que ayudarán al equipo evaluador a estimar (no a calcular) el alcance de los
impactos del Programa o Proyecto. Por ejemplo, con la aplicación de estas
técnicas se puede estimar la cantidad de empleo creado por millón de euros
gastados en el Programa o Proyecto.
H) Programa SPSS
Según Camacho (2002,
citado en Pérea, 2003) es un programa informático que se utiliza para realizar
una gran variedad de análisis estadísticos y ofrece un sistema eficiente,
integrado, potente y fácil de usar para organizar y analizar datos.
III. COMENTARIO ANALÍTICO
La evaluación
de programas y proyectos psicosociales requiere de un trabajo muy complejo y
articulado y no solo por los métodos, metodologías o instrumentos que hay que
usar para su ejecución, sino también, por su relevancia social que demanda,
pues se sabe bien que los cambios y mejoras que se harán en el programa y
proyecto a partir de la evaluación, va a determinar el cambio y mejora del
efecto e impacto en la población beneficiaria. Por lo tanto, el manejo adecuado
de las técnicas de evaluación es de suma importancia. Así mismo, es preciso recalcar
que todas las técnicas cuantitativas desarrolladas anteriormente no siempre van
a trabajar aisladamente de las técnicas cualitativas, si se requiere recoger una
información más amplia y rica es recomendable trabajar articuladamente con las
técnicas cualitativas.
Por lo tanto,
la objetividad, exactitud y fiabilidad que las técnicas cuantitativas ofrecen
sobre el fenómeno en cuestión pueden ser reforzadas por la amplitud de
información que las técnicas cualitativas nos permiten recabar.
IV. CONCLUSIONES
·
Ejemplos de
técnicas cuantitativas son: Encuestas, Censos, Observación cuantitativa,
técnicas de análisis financieros, entre otros.
·
Las técnicas
cuantitativas sirven para contar con datos más exactos, fiables y objetivos
sobre el fenómeno en cuestión.
·
Cada una de
las técnicas desarrolladas pueden hacer uso de diferentes instrumentos, por
ejemplo: cuestionarios, entrevista, etc. A la vez, se puede ser reforzada con
otras técnicas cualitativas.
·
Es importante
que estas técnicas se desarrollen adecuadamente, teniendo en cuenta, el por qué,
para qué y cómo se aplicarán.
V. ENLACES
VI. BIBLIOGRAFÍA
Vázquez, R. C. (1991). Confiabilidad de
los resultados preliminares del XI Censo General de Población y Vivienda de
1990. Estudios demográficos y urbanos, 33-68: Recuperado de:
Perea, Ó. (2003). Guía de evaluación de
programas y proyectos sociales. Recuperado de
http://www.plataformavoluntariado.org/ARCHIVO/documentos/recursos/guia-de-evaluacion-de-programas-y-proyectos-sociales.pdf
Tejada, J. (2004) Evaluación de
Programas. Recuperado de
http://www.carcheles.es/export/sites/default/galerias/galeriaDescargas/diputacion/dipujaen/formacion/centro-
documental/Evaluacixn_programas_de_formacixn.pdf
QUANTITATIVE TECHNIQUES IN THE EVALUATION OF PSYCHOSOCIAL PROGRAMS AND
PROJECTS
I. INTRODUCTION
Any evaluation of
psychosocial programs and / or projects requires a series of data collection
for which different strategies or techniques are used, either qualitative or
quantitative. In this opportunity some quantitative techniques are described,
their advantages, disadvantages, uses, among other aspects.
The purpose of this
informative space is for the reader to have a broader view of quantitative
techniques in the evaluation of psychosocial projects or programs and that the
information written serves as an informative reference.
II. 2. CONTENTS
2.1. BASIC CONCEPTS
2.1.1. Quantitative technique
They rely on
objective measurement. They seek to obtain results that can be extrapolated to
a specific group of the population, through the selection of a sample of the
same, a statistically significant number of said population, or through the
study of the entire group (Pérea, 2003).
2.1.2. Psychosocial Program or Project
Specified set of human actions and material resources, designed and
implemented in an organized social reality, with the purpose of solving a
problem that concerns a group of people. It is characterized by having a prior
specification and coordinated implementation.
Project
"It is a
planned enterprise consisting of a set of interrelated and coordinated
activities in order to achieve specific objectives within the limits of a given
budget and time period" (ONU, 1984).
Program
"It is
constituted by a set of projects that pursue the same objectives. This
establishes the priorities of the intervention, identifying and ordering the
projects, defining the institutional framework and allocating the resources
that will be used "(ONU, 1984).
2.2. EVALUATION OF PSYCHOSOCIAL PROGRAMS OR PROJECTS
What is evaluation?
According to
Nirenberg (2008) the evaluation involves a reflection, which is aimed at
reviewing what is being proposed, what is being done or what has been done. It
is mainly to analyze the characteristics of the intervention methodologies
proposed or deployed, and to determine if the orientation is effectively
directed towards what is desirable, clarifying what pitfalls and what
facilities are presented and what achievements are expected and / or have been
obtained.
What is the evaluation of psychosocial programs or projects?
It is the systematic investigation
through scientific methods of the effects, results and objectives of a program,
in order to make decisions about it (Ballesteros, 1995).
According to Pérea (2003) the
evaluation of psychosocial programs or projects is a function that consists in
making an assessment as systematic and objective as possible about a project or
program, to be carried out, in progress or finished, that is, its conception,
its realization and its results. In this process, it is necessary to determine
the relevance of its objectives and its degree of achievement, the efficiency
in terms of social action, effectiveness, impact and viability. Therefore, an
evaluation must provide credible and useful information that allows integrating
the lessons learned in the decision-making mechanisms.
According to Rossi, Freeman and Lipsey
(1999) this process requires:
- Data collection
- Existence of evaluation criteria
Therefore, taking into account that any
evaluation is a systematic process that requires the use of instruments or
techniques to measure, analyze and evaluate some designs, processes and results
in order to generate useful knowledge for decision making. Therefore it is
considered necessary to make known the quantitative techniques that can be used
in the evaluation of psychosocial programs and projects.
2.3. QUANTITATIVE TECHNIQUES IN THE EVALUATION OF PSYCHOSOCIAL PROGRAMS
AND PROJECTS
2.3.1. Poll
The survey is one of the most popular instruments, although in the
evaluation of social action projects its use is more restricted, since it
requires resources that are not generally available about the specific
situation. Likewise, it is usually carried out on a sample 36 of subjects
representative of a larger group and is carried out in the context of daily
life, using standardized interrogation procedures, in order to obtain
quantitative measurements of a great variety of characteristics objectives of
the population (Perea, 2003).
The survey
rests on two pillars:
• Mathematical statistics.
• The sociopsychology of communication (the conversation between two
interlocutors, interviewer and interviewee).
2.3.2. Direct measurement
or observation
According to Perea
(2003), it refers to quantitative techniques that consist of collecting data
according to a specific scheme and is widely used in contexts of development
projects. So that the measurement is significant and it is very important to
determine in advance what properties or characteristics are going to be
considered and what are the dimensions that are handled. Also, mentioning
direct measurement is related to the verification of objectively verifiable
indicators that are included in the project planning matrix. A common problem
occurs when the indicators are poorly stated or impossible to measure.
The use of this
technique facilitates obtaining very reliable data on physical phenomena or
processes but fails to delve into the causes that cause a certain situation.
For this reason, direct measurement must be accompanied by other, more valuable
modes of analysis.
2.3.3. Census
According to Perea
(2003) the census is a crucial tool for a quantitative study of social reality.
It is very useful to have carried out the census in the identification phase of
the project and to have incorporated its changes. The existence of this
document where the updated demographic data is collected is undoubtedly a great
help in the evaluation work.
According to Vázquez
(1991), defines the Population Census as the set of operations that consist of
collecting, summarizing, assessing, analyzing and publishing the demographic,
cultural, economic and social data of all the inhabitants of the country and
its political and administrative divisions. , referred to a given time or
period.
The census is a
project that allows to know, on a given date, the cash of the population in a
territory with some of its characteristics:
• Distribution by
age.
• Sex.
• Age.
• Civil
status.
• Family
situation.
Its execution is
usually based on completing questionnaires, by the people affected or some of
them or even the census agent.
2.3.4. Economic
Analysis Techniques ¬ Financial and Impact Measurement
According to Perea
(2003), he emphasizes the economic or financial analysis, and different
techniques are used, this must be taken into account as the analysis of cost ¬
effectiveness (ACE), is adequate to carry out the usual projects in Social
Action, which not only produce tangible and expressible goods and services in
monetary units, but also produce other types of benefits, intangible and more
difficult to quantify.
In other words, the
use of cost effectiveness analysis should be taken into account, in order to
determine, in the evaluation, the extent to which the use of resources has been
cost effective, understanding that the desirable relationship in a circumstance
of scarce resources and great needs is to achieve the greatest possible
effectiveness, understood as the achievement of desirable results and
objectives, with the lowest cost. Likewise, the analysis of cost of
effectiveness can be used before the execution of a project to hypothetically
determine the expected results with a certain cost, but it can also be useful
in the intermediate or final evaluation to know what has been achieved in
reality, if the initial objective has been achieved so that it can later be
modified by making a decision.
The techniques used to evaluate efficiency according to Pérea (2003)
are:
A. Cost Analysis - Benefit (Acb)
This analysis can be applied ex-ante, which would help the decision
making efficiently on alternatives of action, or ex-post, in a way that allows
to determine the degree of efficiency reached.
B. Cost Analysis - Efficiency
This type of analysis is an alternative to cost-benefit analysis, since
it tries to find efficiency in public investments, especially in sectors where
costs and benefits are difficult to measure in monetary terms. It is not very
effective when applied to Programs or Projects with many objectives.
C. Comparison Between Bidding, Adjudication and Execution Prices
The comparison between bidding, award and execution prices works as an
alternative way to measure efficiency.
D. Border Analysis
Techniques (Dea)
This is an analysis
techniques in public efficiency, which allows us to compare management units
that develop analogous services, in such a way that it shows the relative
efficiency of said units in relation to the "efficient frontier",
since it is carried out in a individual to evaluate what has been learned
through a measure of the average level of efficiency results.
E. Case study.
In this technique the
study of Program or Project is carried out and some actions in its natural
environment, in its context, analyzed from multiple perspectives and agents of
supervisions. It implies the objective in contrasting a series of hypotheses,
established previously, on the Program or Project, mainly through interviews
and surveys, all these techniques have to be adjusted to the context to obtain
better analysis of the results.
Selection of the case according to
convenience, accessibility to information and representativeness.
• Establishment of hypotheses about the Program or Project to be
tested.
• Collection and processing of information.
• Writing and presentation of the report.
It is the crucial step, requires a
filter of all information, so that it is easy to consult, both chronologically
and thematically, and serve for future research on the subject, so to increase
the reliability of the study can involve two evaluators in the same case, or to
agents external to the Program or Project.
F. Experimental
methods
In this process is to establish two
groups, the first group is composed of subjects who will participate in the
Program or Project as (experimental group), and the second by non-participants
(control group). These two groups must be representative of the target
population, and the probability that a person has to be part of these two
groups must be identical. This is the one known as "classic experimental
design". Through a survey, prior to the application of the Program or
Project, the two groups are asked about issues related to the topics on which
the Program or Project will impact.
G. Regression
analysis and econometric models
They consist in the
construction of coefficients that will help the evaluation team to estimate
(not calculate) the scope of the impacts of the Program or Project. For
example, with the application of these techniques you can estimate the amount
of employment created per million euros spent on the Program or Project.
H) SPSS Program
According to Camacho
(2002, cited in Pérea, 2003) is a computer program that is used to perform a
wide variety of statistical analysis and offers an efficient, integrated,
powerful and easy to use system to organize and analyze data.
III. ANALYTICAL COMMENT
The evaluation of psychosocial programs
and projects requires a very complex and articulated work and not only for the
methods, methodologies or instruments that must be used for its execution, but
also, due to its social relevance that it demands, since it is well known that
the changes and improvements that will be made in the program and project from
the evaluation, will determine the change and improvement of the effect and
impact on the beneficiary population. Therefore, the proper management of
evaluation techniques is of utmost importance. Likewise, it is necessary to
emphasize that all the quantitative techniques developed previously will not
always work in isolation from qualitative techniques,
if it is required to collect a wider and richer information it is advisable to
work articulately with qualitative techniques.
Therefore, the objectivity, accuracy
and reliability that quantitative techniques offer on the phenomenon in
question can be reinforced by the breadth of information that qualitative
techniques allow us to gather.
IV. CONCLUSIONS
· Examples of quantitative techniques
are: Surveys, Censuses, Quantitative Observation, financial analysis
techniques, among others.
· Quantitative techniques serve to have
more accurate, reliable and objective data on the phenomenon in question.
·
Each of the techniques developed can
make use of different instruments, for example: questionnaires, interview, etc.
At the same time, it can be reinforced with other qualitative techniques.
· It is important that these techniques
are developed properly, taking into account, why, for what and how they will be
applied.
V. LINKS
VI.
BIBLIOGRAPHY
Vázquez, R. C.
(1991). Confiabilidad de los resultados preliminares del XI Censo General de
Población y Vivienda de 1990. Estudios demográficos y
urbanos, 33-68: Recuperado de:
Perea, Ó. (2003).
Guía de evaluación de programas y proyectos sociales. Recuperado de
http://www.plataformavoluntariado.org/ARCHIVO/documentos/recursos/guia-de-evaluacion-de-programas-y-proyectos-sociales.pdf
Tejada, J. (2004)
Evaluación de Programas. Recuperado de
