www.fonte.org.br

Entrevista com Daniel Brandão
consultor associado do Instituto Fonte

por Rita Monte
gestora de comunicação

Aprendizagem, participação, renovação de modos de fazer: antes de você pensar em qualquer prática educativa mais "formal", esclarecemos que falamos, aqui, de avaliação de programas sociais. Em entrevista, quem sustenta a avaliação como prática educativa é Daniel Brandão, consultor associado do Instituto Fonte. Em sua recente dissertação de mestrado, Daniel apresenta a necessidade de se fazer processos de avaliação com intencionalidade de aprendizagem. Mas... dá para aprender em um processo de avaliação? Conheça respostas possíveis, a partir do pensamento -- e da prática -- deste avaliador-educador

Rita Monte - Avaliação como aprendizagem...  quer dizer que, em geral, avaliações de programas e políticas sociais não têm essa intencionalidade?

Daniel Brandão - Acho que a avaliação tem pouco desenvolvido o olhar sobre aprendizagem. E o desafio é exatamente esse, desenvolver esse olhar. Com certeza há experiências nesse sentido, mas, também, não é o que vigora no setor social.

O setor opera em uma outra lógica, muito mais ligada a gestão, controle, efetividade, em fazer uma averiguação dos objetivos; uma lógica mais empresarial, mais ligada a questões numéricas – nossa cultura de entender o mundo por meio de números –,  que ganha força nos anos 90 quando se tem o boom das fundações empresariais no Brasil e que traz a questão da avaliação mais na perspectiva do financiador empresarial.

A contribuição que o Fonte traz, nesse cenário, é gerar o debate, propor uma perspectiva de avaliação – a avaliação como aprendizagem – que carrega algumas questões novas. Em minha dissertação, trago algumas reflexões sobre o que é aprendizagem, buscando uma conceituação sobre “o que é aprender?”. Raríssimas vezes encontrei esse conceito: o que significa, do ponto de vista teórico, uma situação de aprendizagem? Para nós, o sujeito aprende quando se apropria de sua prática de uma maneira mais crítica. A contribuição para o setor social é tentar transformar essas conceituações em experiências práticas, não ficar só na teoria, na conversa.

Teoria da participação

RM - Você traz bastante em sua dissertação a força e a necessidade de haver um diálogo que contemple os diferentes interesses. Como é concretizar e exercitar esse cuidado? 

DB - Na verdade, para a gente olhar como é praticar esse cuidado, temos que olhar para algumas premissas colocadas nessa questão.

Primeiro, a avaliação com intenção de aprendizagem traz uma abordagem participativa; então, estamos falando de diálogo, mas não de diálogos dentro de uma esfera única de poder, ou uma categoria de sujeitos dentro de um projeto; estamos falando de diálogos entre, por exemplo, financiadores e comunidade. Essa perspectiva participativa vem com a idéia de que o diálogo deve acontecer entre os diferentes sujeitos. Aí se coloca o primeiro desafio. Quando se colocam diferentes sujeitos nessa história, você está colocando possíveis diferentes interesses. E por quê lidar com possíveis diferentes interesses? Por quê, digamos, “complicar o cenário”? Porque entendemos que todas as pessoas estão envolvidas na prática social. Então, aquela prática social afeta, de diferentes maneiras, a vida daquela pessoa, seja um financiador, seja a comunidade; ela afeta a vida daquelas pessoas e, por isso mesmo, cria-se uma condição ética de que as pessoas têm o direito de participar do processo de avaliação.

Existe uma abordagem contemporânea de avaliação que coloca um elemento que responde, em alguma medida, a essa questão: o avaliador é colocado como negociador. Na verdade, o processo de avaliação como processo de negociação. Então, o que o avaliador tem a fazer é negociar um monte de interesses, preocupações, reivindicações, e construir acordos sobre o processo de avaliação. Isso exige dele uma grande capacidade de negociação, de mediação de grupos, de facilitação, de possibilidades de lidar com conflitos etc. O que acho interessante nisso tudo é que, desta forma, se tira um pouco esse papel “mais clássico” do avaliador como alguém que tem um grande repertório técnico para medir alguma coisa – alguém que sabe muito estatística, sabe aplicar um monte de testes, sabe fazer um monte de coisas para você – para colocá-lo com uma outra habilidade: a habilidade de saber trabalhar e mediar os grupos.

Uma variável que deve ser considerada nesse cenário é a cultura organizacional. Pela nossa experiência, quem tem demandado a avaliação são os financiadores, até porque é quem tem dinheiro para pagar – a avaliação, pra ser bem-feita, demanda tempo e recursos financeiros. E a avaliação ainda não tem condições financeiras para ser democratizada no Brasil, porque ela ainda está no espaço de desejo e de viabilidade no financiador. Em função disso, no final, a proposta é criar um espaço avaliativo dentro daquela agência financiadora ou dentro do projeto. Mas o que se coloca, que é muito interessante, é: se a organização demandante não tem uma cultura participativa, você enfrenta uma tensão, que é a tensão de querer construir algo participativo nesse ambiente organizacional – e é por isso que há um projeto político-democrático inevitável para a participação, que não deve ser vista como meio, mas como fim. Esse é um novo aspecto da negociação: lidar com essa tensão. E, no fundo, essa é a questão determinante: se o sujeito que contrata não está disposto a fazer um espaço participativo, você tem duas opções: ou você sai e diz “não trabalho com essa questão, porque eu tenho uma outra ética”, ou você consegue fazer uma  avaliação participativa. Praticamente, nunca encontramos essa situação radical: sempre existiu espaço de participação. Obviamente, a participação não pode ser idealizada. Há graus de participação, quais são possíveis, quais são viáveis etc.

Avaliador-educador?

DB - Se assumimos que avaliação é um processo de aprendizagem – porque propicia que o sujeito conheça criticamente a própria prática e dela se aproprie –, aquele que realiza a avaliação deve, também, assumir que é um educador e que vai lidar com a aprendizagem dos sujeitos envolvidos nessa história. O próprio fato de se colocar um monte de gente diferente para conversar sobre um objeto único, ou um fenômeno único, é uma oportunidade de aprendizagem. E se o avaliador se coloca nesse lugar de educador, ele mostra que está preocupado, também, com que as pessoas que estejam ali envolvidas aprendam – e não façam só julgamentos, só descrição, só medição, que são outros elementos da avaliação. Ou seja, não é para se jogar nada fora.... a avaliação é medir, descrever e julgar, mas além disso – e primariamente – é aprender. A questão é essa: é o avaliador colocar isso dentro do espaço, e se assumir como quem vai mediar essa possibilidade. Essa lógica é um convite para que o avaliador se assuma como educador, para que a avaliação possa, de fato, se concretizar como uma questão de aprendizagem – essa é a grande questão.

RM - Mas como ser esse avaliador-educador?

DB - As habilidades necessárias para ser avaliador-educador são várias e impossíveis de serem todas mapeadas. Mas a primeira é estudar avaliação não para ser professor de avaliação para o outro sujeito, mas para poder dialogar com o outro sujeito em liberdade. Acho que essa é uma questão central: se o avaliador tem pouco repertório na avaliação, que seja em termos de conceitos, em termos metodológicos etc, o diálogo que ele estabelece com os sujeitos para pensar possibilidades de avaliação é limitado. A própria situação de finitude do avaliador com relação à avaliação vai ser mecanismo de opressão para ele, porque o diálogo vai ficar truncado. O avaliador tem que entender do que está falando para propiciar um diálogo maior, para dar mais possibilidades, para que o grupo possa enxergar várias formas de caminhos. E quem vai decidir isso é o grupo.

Outra habilidade que se coloca, é a habilidade de escuta. Existe um risco de se criar um avaliador que sabe muito, um especialista que vai dizer o que o outro deve fazer; e a lógica é exatamente inversa: você tem que saber muito para permitir ao grupo decidir o que fazer. Você sabe muito para criar condições de decisão para o outro.

E, claro, deve haver uma habilidade de comunicar para o grupo o que é possível, quais as conseqüências de tudo o que existe ali em termos de opções para uma avaliação, para que o grupo possa debater. Daí surge outra habilidade, que é a de conseguir trabalhar com o grupo ao longo do processo: quais as possibilidades de participação. É saber quais são os momentos em que você está junto, quais os momentos em que você se distancia... É a sensibilidade de saber quando o grupo, quando o avaliador, quando um comitê, quando um grupo de trabalho.

Prática da participação: dois casos

DB - Para viabilizar a participação, ter um repertório de comunicação é fundamental para se pensar formas, linguagens, possibilidades, estéticas. Por exemplo, estamos em uma avaliação com 800 organizações de todo o país. Como se consegue uma aprendizagem em um processo desses? Não dá para colocar 800 organizações para debater, porque o custo disso é maior que o custo anual do programa avaliado, que são milhões de dólares. Então, construímos espaços de comunicação: há grupos presenciais, que são privilegiados (mas isso é inevitável), que criam uma ressonância da avaliação em suas regiões; e a comunidade virtual – estou falando, por exemplo, de youtube para repercutir resultado, para construir perguntas de avaliação de uma outra maneira, com uma outra interação, enfim, espaços de encontros virtuais.

Acho que esse é um desafio hoje pra ser explorado no campo da avaliação e as oportunidades existem.

Neste processo de avaliação, há uma preocupação central de que os resultados cheguem a todas as pessoas, que ele deixe de ficar só no círculo de quem pensou a avaliação – essa é uma questão ética. Isso coloca a questão de que o avaliador deve ter um espaço de independência para poder quase que exigir que esses resultados cheguem às mãos de quem participou do processo. Isso não pode ficar fechado nas mãos de quem geriu a avaliação. A devolutiva não é uma decisão única desse grupo, mas uma decisão que cabe, também, ao avaliador. Assim, propusemos que o relatório gerado seja mandado para as 800 organizações que participaram desse processo. Mas o que elas vão fazer com isso, ninguém sabe: que alguém vai ler e pensar a própria prática? – lindo. Que alguém vai pôr na gaveta ou deletar o arquivo? – acontece, isso é inevitável. Agora, outra questão central do avaliador como educador é saber que ele não tem governabilidade sobre a aprendizagem do outro. É aquele velho ditado: você pode levar o cavalo até a beira do rio, mas se ele vai beber a água, é ele quem decide. Então, deve haver esse tipo de consciência também.  

Outro caso que vivemos foi uma avaliação que fizemos para a Fundação Telefônica, um processo de quase um ano de trabalho em que buscávamos responder a três questões: como se davam os processos de municipalização (da execução da medida sócio-educativa) nas cidades em que a Fundação investiu desde 2005; qual o olhar da escola sobre os alunos que cumprem medida em meio aberto; e qual a situação de vida dos jovens que cumpriram medida sócio-educativa em meio aberto hoje. Nesse processo, especificamente, a costura de vários sujeitos e vários interesses trouxe para o avaliador o papel fundamental de articulação e sistematização. É difícil pensar em colocar todos os sujeitos, vindos de vários territórios diferentes, numa mesma sala para deliberar sobre uma questão. Então, o que o avaliador faz, no caso, é ouvir todo mundo, levar uma proposta de sistematização do que foi ouvido, para uma validação com vários grupos. Não tem uma assembléia, mas você vai escutando, vai digerindo, vai organizando e devolve para o grupo: “é isso? São essas as questões de avaliação, são esses os indicadores? Estou ouvindo certo?”. Esse é um processo que toma tempo e que exige do avaliador uma boa capacidade de escuta, de síntese e de negociar essa validação... E muitos quilômetros de estrada, porque precisa rodar muito para falar com um monte de gente.

A questão da inovação colocada nesse processo de avaliação vem de uma questão técnica. Nesse processo podemos mapear duas inovações: a primeira é a incorporação do sujeito-foco da ação (o “beneficiário” da ação) como avaliador – e esse é um debate um pouco novo no Brasil: colocar o sujeito da ação como avaliador, para além de mero informante do processo; e a segunda inovação é uma nova metodologia para se fazer uma conversa com esse sujeito, que é a metodologia dos “quadros”. Essas inovações carregam duas questões, uma ética e uma técnica. A ética está ligada à limitação da avaliação participativa no Brasil; a avaliação participativa tem vários avanços, mas também apresenta uma certa limitação que é muito complicada de ser rompida, que é a baixa participação do sujeito da ação na decisão sobre o que os dados dizem. A avaliação gera muita tomada de decisão e esses sujeitos, em geral, não participam disto. Eles participam de outras formas, eles colocam os interesses, participam de alguns debates, mas participar das decisões ainda é um fato raro. E essa é uma questão ética. Academicamente, essa questão tem raízes na Escola de Frankfurt, que traz um debate muito interessante sobre haver um outro sujeito, chamado de “vítima”, que está excluído e que não participa da comunidade discursiva – que é quem delibera sobre a vida dos outros. Nesse processo, valorizamos essa questão ética na medida em que trouxemos esses sujeitos, que são os excluídos da história, para serem os avaliadores: em cerca de três meses, criamos um espaço para que esses sujeitos conseguissem se apropriar dos mecanismos da avaliação, dos mecanismos do projeto, do próprio grupo e, com isso, terem maior maturidade e liberdade para, na hora em que vierem os resultados, conseguirem entrar realmente no debate.

A perspectiva técnica era que se estava trabalhando com uma população muito peculiar – jovens que estão no crime, em radical situação de exclusão social – em que, para se colocar um avaliador distante da realidade dele para entrevistá-lo, daria como resultado uma comunicação cheia de ruído. Então, estereotipando, iríamos colocar um branco escolarizado letrado, com nível econômico bem superior ao outro, um “playboy”, para falar com uma pessoa não escolarizada, próxima ao crime, de situação econômica péssima....  A comunicação viria com ruído, e o que é o ruído? É a resposta socialmente desejada. A hipótese é ele falar o que eu queríamos ouvir, e não falar a real, e não falar se ele está no crime, se ele está usando droga... Então essa é a questão técnica que eu trouxe, que é ao colocar um diálogo entre iguais: a idéia é que essa comunicação pudesse ser muito mais horizontal e livre de ruídos. Com isso, tive de abrir mão do rigor, da técnica, da precisão, porque eu trabalho com pesquisador não totalmente qualificado, que eu qualifico em alguma medida, em que eu tenho diferenças inevitáveis nas formas como as perguntas são feitas, em que há riscos de que alguns questionários não foram preenchidos... É claro que tudo isso foi cuidado ao longo do processo, mas está colocado. De todo modo, acredito que essas questões ética e técnica sustentam com força essa outra, da fragilidade da precisão dos resultados. A inovação se deu com base nessas questões. Olhando para essas experiências, acho que a avaliação precisa ser renovada no Brasil.

Renovação: novos ares para 2008

RM - E você carrega esse olhar de “renovação” na sua prática profissional de avaliador de programas sociais?

DB - O olhar que carrego é sobre aprendizagem, o que vai acontecer em certa medida para alguns atores envolvidos. Claro que não dá para idealizar, para pensar que todo mundo vai aprender tudo, porque não vai mesmo. Outra questão é, também, que a inovação não pode virar um fetiche, porque a inovação seduz. Só que, aí, o meio vira fim: é como se a busca pela inovação virasse um fim per si, perdendo-se a questão central, que é a avaliação.  Deve-se inovar frente a premissas: a inovação tem sentido frente à aprendizagem dos sujeitos? Tem sentido numa perspectiva ética? Tem sentindo numa perspectiva técnica? Tem? Ótimo, vou inovar. Não tem? Não precisa inovar, vou trabalhar com entrevistas, com grupo focal, com debate numa assembléia, um questionário... A inovação não pode ser colocada antes dessas outras coisas, se não se faz uma avaliação plástica, um circo. O setor social não precisa disso.

Em 2008, o Instituto Fonte produzirá uma pesquisa sobre o estado da arte da avaliação no Brasil. Será um estudo exploratório para dar a contribuição sobre o que está acontecendo com avaliação no país. Buscamos, com isso, sugerir intervenções e propiciar que as pessoas debatam a prática de avaliação de programas e políticas sociais a partir de um outro lugar. 

----------------------------------

Leitura recomendada:

- Avaliação com intencionalidade de aprendizagem, dissertação de mestrado de Daniel Brandão, consultor associado do Instituto Fonte.

- Avaliação Educadora, de Daniel Brandão e Rogério Silva, consultor associado e diretor executivo do Instituto Fonte. Artigo originalmente escrito para publicação do Ministério do Meio Ambiente.