www.fonte.org.br

No dia 2 de setembro de 2009, o Projeto Avaliação realizou o terceiro debate do ano e convidou duas Organizações da Sociedade Civil para discutir suas experiências, sentido e relevância, metodologias e desafios das suas experiências de Avaliação de Projetos e Programas Sociais.

Melina Risso, Diretora de Desenvolvimento Institucional do Instituto Sou da Paz abriu a conversa contando as experiências no campo da avaliação na área de Juventude do Instituto Sou da Paz. Segundo Melina, a instituição, ao longo da sua existência, vem optando por diferentes tipos de avaliação; de processo, de impacto, conduzida por uma equipe interna e/ou externa. A partir da experiência acumulada desde 2002 com as avaliações de processos realizadas, o Instituto Sou da Paz atualmente tenta avançar na lógica da avaliação de resultados, unindo avaliações qualitativas e quantitativas. Para Melina, esse investimento fortalece o debate e coloca o Instituto em pé de igualdade na discussão com politicaspolíticas que defendem intervenções repressoras para redução de violência. Ainda ressaltou que, para o Sou da Paz é preciso demonstrar os resultados e impactos das políticas de prevenção nos termos dos economistas e defensores das políticas  repressoras a fim de influenciar políticas de segurança pública.

Uma das principais dificuldades vividas pelo Sou da Paz, no âmbito da avaliação de seus projetos, está em isolar o resultado de uma única ação, sem considerar influências externas aos projetos, assim como qualificar uma série de discussões sobre projetos de prevenção de violência. “Como construir indicadores de projetos não repressores? A análise de custo-beneficio é bem complexa: quanto custa uma vida poupada? Como evidenciamos esses dados?”, questionou Melina.

Melina relatou sobre a experiência de avaliação do Projeto Pólos da Paz (atualmente Praças da Paz), que teve início com uma avaliação de processo, que ajudou a construir perguntas e indicadores para amadurecer a construção de uma abordagem para os resultados. Atualmente, a avaliação enfoca a comparação da situação do espaço antes e depois do projeto. Nessa edição foi contratada uma avaliação externa para montar um quadro lógico e montar um marco zero e depois um monitoramento trimestral. Finalmente, também houve a montagem de um instrumental que fornecesse retorno sobre as informações mapeadas no marco zero.

Finalizando sua fala, Melina indicou a tendência institucional em fortalecer a discussão sobre oeste tema da avaliação de maneira mais efetiva, construindo uma cultura avaliativa dentro da instituição, apoiada às teorias de projetos de prevenção da violência, em parceria a instituições e indivíduos que conhecem e pesquisam a temática. Outro desafio, para o Sou da Paz, está relacionado ao custo de um processo de avaliação que equivale, geralmente, a 20% do valor total de um projeto.

Já para Bruno Novelli, gerente de avaliação da Alfabetização Solidária, relatou que lá, os  processos de avaliação se articulam com financiadores, instituições governamentais,  Universidades e parceiros locais. Estruturalmente, a Avaliação é operacionalizada por um sistema distribuído localmente e com grande extensividade (cerca de1000 municípios) e envolve o projeto politico-pedagógico, instrumentos de acompanhamento e o sistema informatizado (acesso remoto nas Universidades e para coordenadores locais dos municípios).

A AlfaSol trabalha pela redução dos altos índices de analfabetismo no país e pelo fortalecimento da oferta pública de Educação de Jovens e Adultos (EJA). Segundo Bruno, o objetivo da avaliação é reconhecer se os alunos estão aprendendo a ler – para tanto, a AlfaSol criou uma área de avaliação na Instituição que elaborou uma matriz de referência pedagógica com indicadores que mensuram os resultados. Para Bruno, essa foi uma construção significativa do ponto de vista da estratégia institucional.

Entre os desafios vividos pela Instituição, Bruno aponta que é preciso desenvolver mais o olhar para as especificidades de cada local, de cada região, e buscar estratégias de coesão que construam sentido comum para todos os atores envolvidos com os projetos.

Respondendo às perguntas dos participantes do debate, Melina comentou que muitos projetos são avaliados a partir de um resultado que obtiveram - e que, geralmente, os processos de avaliação na segurança publica se dão depois que um fato marcante acontece, por exemplo quando observa-se uma redução drástica nos indíces de homicídio. A partir de um determinado resultado, diversos atores começam a disputar a ”paternidade da criança”. O desafio é elaborar avaliações que informem sobre relações entre projetos e resultados produzidos de maneira intencional. Por isso, avaliar um projeto depois dele já ter pelo menos um ciclo realizado é mais interessante: “Foi mais fácil, então, montar o quadro lógico das estratégias depois de ter vivido um projeto, para então entender melhor o que perguntar e como avaliar”, respondeu Melina.

Ambos os convidados relataram que as comunidades envolvidas  ainda não participam do processo de construção da avaliação, mas são fonte de informação e tem acesso aos resultados.

Outra pergunta questionava sobre quando um projeto está amadurecido para ser avaliado. Para Melina, a partir da experiência do Projeto Grêmio Em Forma, ele está amadurecido a partir da segunda edição, quando é possível formular perguntas após um período de experimentação.

Bruno também contou sobre o sistema informatizado e relatou sobre a necessidade de uma capacitação dos agentes “na ponta” para a implementação e a coleta de todas as informações. Disse que um desafio desse tipo de sistema e da amplitude da intervenção é a mudança de indicadores, já que uma pequena alteração deve ser “repassada” para um conjunto extenso de atores que realizam o projeto localmente.

Melina também relatou o desafio para o Instituto Sou da Paz, de internalizar parte da avaliação de seus projetos, dada a necessidade de conhecimento profundo sobre o tema da violência e a dificuldade de encontrar profissionais que juntem essas duas capacidades: tanto conhecimento sobre avaliação, como o profundo conhecimento sobre o tema da prevenção da violência.

Para finalizar o encontro, Daniel Brandão, consultor associado e coordenador do Projeto Avaliação, comentou que a Avaliação, neste debate, se apresentou como um processo de experimentação, que se aprimora junto aos projetos e vice-versa, e que está ligada a acordos institucionais. “E ainda há  uma tendência em buscar avaliadores externos, porém as instituições estão cuidando da avaliação como processo interno de constituição de uma cultura institucional de projetos”, finalizou Daniel Brandão.

Quer saber mais sobre o Projeto Avaliação? Clique aqui.