Eu participo da organização da FEBRACE há algum tempo já, e, entre minhas responsabilidades está avaliar projetos. Em resumo,o processo funciona assim: estudantes submetem seus projetos através de um sistema online, um conjunto de mestres e doutores avaliam e selecionam algo como 240 a 300 projetos.
Agora, como saber quais são os melhores entre todos os que foram submetidos? Sem dúvida, este é o maior desafio conceitual para a avaliação da feira. A abordagem comum para este problema é definir um conjunto de critérios de avaliação e um conjunto de observáveis. A partir disso, chega-se a uma lista ordenada dos projetos. Não acaba aí, mas já dá para captar a ideia. Eu quero falar das dificuldades.
A FEBRACE é uma feira nacional com diversas áreas do conhecimento, e isto implica em alguns filtros para a seleção de finalistas. Seleção esta feita à distância, por sinal.
Os projetos submetidos são frutos de um processo conduzido por meses pelos estudantes. Mas se você não tiver acompanhado o desenvolvimento do projeto em si, como saber se ele cumpre requisitos mínimos de qualidade? É difícil saber, ainda mais pelo fato dos avaliadores terem poucos observáveis disponíveis. São formulários, relatório e eventualmente um vídeo disponíveis.
O que quero dizer é: o processo de seleção nem sequer permite selecionar os melhores projetos de fato. Só é possível capturar os mais bem relatados. Um avaliador não acompanha os estudantes no dia a dia, logo a avaliação tem que se basear no material entregue. É a única coisa disponível.
Dessa forma, projetos mal documentados tem muito mais chance de ser mal avaliados que outros bem relatados. Sempre é bom lembrar, a submissão é o momento no qual o estudante descreve o projeto. Olhando assim, é como contar o projeto para quem nunca ouviu falar dele, portanto o estudante tem de prover elementos observáveis capazes de fazer o avaliador entender o projeto. Sem os observáveis fica mais difícil, e a culpa nem é nossa.