O Pisa além do ranking

Um retrato dos resultados e das questões do exame de leitura mostra em que precisamos avançar

por: 

FS

 

Fernanda Salla

Março de 2011

Imprimir

  

No ranking geral do Programa Internacional de Avaliação de Alunos (Pisa), o Brasil é o 53º colocado entre os 65 países participantes. Se compararmos o desempenho em relação à primeira edição, em 2000, os cerca de 20 mil alunos de 15 anos que realizaram o exame conseguiram elevar em 9% a média brasileira, melhoria insuficiente, entretanto, para nos distanciar das últimas posições da lista. Repercutidos em jornais e revistas, esses números geram reações que variam do espanto ao desânimo. Mas não vão além disso. Para que essa espécie de Copa do Mundo da Educação ajude, de alguma forma, a aperfeiçoar o ensino, é preciso mergulhar no oceano de informações que a Organização para Cooperação e Desenvolvimento Econômico (OCDE), clube das nações mais ricas do planeta e responsável pela realização da prova, disponibiliza assim que os resultados são publicados. 

O principal recurso é o relatório Pisa 2009 Results: What Students Know and Can Do (Resultados do Pisa 2009: O Que os Estudantes Sabem e Podem Fazer), um compêndio de 276 páginas com dezenas de tabelas, estatísticas e análises sobre o exame. NOVA ESCOLA esquadrinhou o material com a ajuda das especialistas Maria Teresa Tedesco, do Colégio de Aplicação da Universidade do Estado do Rio de Janeiro (UERJ), Gisele Gama, consultora do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) e diretora-presidente da Abaquar Consultores, em Brasília, e Kátia Lomba Bräkling, coautora dos Parâmetros Curriculares Nacionais (PCNs) e professora do Instituto Superior de Educação Vera Cruz (Isevec), em São Paulo. 

Esta reportagem é o resultado desse trabalho. Aqui, você confere detalhes sobre diversos aspectos do exame de leitura, a ênfase da edição de 2009 (o que, na prática, significa que a prova tem mais questões dessa área em relação às outras duas avaliadas, Matemática e Ciências). Um quadro-resumo sintetiza o que a prova avalia e como isso é feito (leia na próxima página). Um estudo dos gráficos mostra quem são os alunos que mais precisam de ajuda - infelizmente, eles são mais do que se imagina (leia o quadro abaixo). Três textos da prova de 2009 são comentados para exemplificar como o conhecimento é aferido pelas questões. Por fim, apresentamos um histórico da avaliação, o que ela revela sobre o ensino brasileiro e suas vantagens e limitações.

Pior do que se pensa

Quase 60% dos alunos brasileiros têm baixa proficiência - ou nem sequer fizeram a prova 

Quando se fala do mau desempenho brasileiro do Pisa, costuma-se mencionar a quantidade de alunos nos níveis mais baixos de proficiência. Na prova de leitura, quase metade tirou no máximo nota 2. É muita gente, mas a situação verdadeira é ainda pior: falta considerar quem está fora da escola ou em situação de atraso escolar (pelos critérios da OCDE, alunos de 15 anos que nem mesmo chegaram à 7ª série). No caso brasileiro, esse grupo corresponde a 19,4% da população na faixa etária avaliada - índice alto em relação aos países líderes do ranking (veja o gráfico abaixo). A soma do contingente fora da escola com o de baixa proficiência dá 59,4%. Ou seja: seis em cada dez jovens de 15 anos ou não reúne condições para fazer a prova ou não é capaz de compreender textos relativamente simples.

Um retrato desalentador 
Alunos fora da escola ou com desempenho ruim são a regra na América Latina

* População de 15 anos não matriculada ou cursando pelo menos a 7ª série.
Fonte: PISA 2009

Como funciona a prova de leitura

Realizado a cada três anos, o Pisa tem como objetivo determinar em que medida os estudantes na faixa de 15 anos possuem conhecimentos para uma inserção participativa na sociedade. A aferição utiliza como metodologia a Teoria da Resposta ao Item (TRI), que exige a repetição de perguntas em diversas edições para criar uma série de comparação. Na parte de leitura, o desempenho é avaliado em três competências: identificação e recuperação de informações, integração e interpretação, reflexão e avaliação. A escala avaliativa - usada para medir a dificuldade da questão e a nota dos alunos - comporta sete níveis de proficiência: 1b, 1a, 2, 3, 4, 5 e 6, sendo 1b o mais baixo, e 6, o maior. Um mesmo texto pode conter questões que exijam diferentes capacidades e avaliem diversos níveis de proficiência. 

"A prova do Pisa é extensa e requer fôlego de leitura. Aí já aparecem as primeiras dificuldades dos nossos estudantes, pois é preciso que eles sejam capazes de entender e não apenas decodificar o que está escrito", afirma Gisele. Nesse ponto, conta muito o contato constante com diferentes gêneros e seus portadores (jornais, revistas, enciclopédias, livros etc.), o que permite antecipações sobre o que se pode encontrar. Por exemplo: num texto jornalístico, sabe-se que o título da reportagem traz (ou deveria trazer) o fato mais importante. Saber isso agiliza a localização de dados e o entendimento global. Trabalhar essas competências não é uma tarefa exclusiva do professor de Língua Portuguesa. "Ao reproduzir a variedade de tipos de textos que existem na vida real (mapas, tabelas, lista de instruções etc.), o Pisa apresenta elementos presentes em várias disciplinas. A leitura faz parte de todas elas", afirma Gisele. 

A situação piora quando se pede que os jovens brasileiros reflitam sobre o que está escrito. Um sintoma disso são as inúmeras respostas em branco nas questões discursivas. Para a especialista, esse problema pode estar sendo agravado pelo tipo de exame que estamos habituando nossos alunos a fazer. Na Prova Brasil, por exemplo, há apenas questões de múltipla escolha, o que não incentiva a prática de exprimir as reflexões por escrito. "Essa falta de familiaridade faz com que os estudantes não estejam acostumados a dar opinião sobre o que aprendem", completa. 

Apesar de sua inegável influência nas políticas públicas e nas salas de aula, o Pisa não está isento de ressalvas. No artigo La Internacionalización de la Evaluación de los Aprendizajes en la Educación Básica, a argentina Emilia Ferreiro aponta que é bom tê-las em mente para não "aplicar cegamente as receitas dos organismos internacionais, aqueles que atuam como se soubessem de tudo de antemão". Uma primeira crítica mira o interesse principal do exame: a aquisição de competências. De acordo com a especialista, essa perspectiva coloca o ensino de conteúdos em segundo plano, o que é um erro, já que é fundamental conhecer as teorias e ideias estruturantes de cada área. Assinalando a falta de diálogo dos exames internacionais com as culturas latino-americanas, Emilia afirma que a prova não consegue medir o que, de fato, se ensina. Para que isso ocorra, seria preciso que o exame considerasse o currículo de cada país. Por fim, a pesquisadora considera injusto responsabilizar apenas as instituições escolares pelos maus resultados, uma vez que os problemas da Educação têm raízes que vão da desigualdade social à falta de capacitação. Um bom caminho, diz Emilia, seria inspirar-se no exemplo da Finlândia, onde a profissão docente é valorizada. "Quando poderemos dizer algo assim na América Latina?", questiona ela.

Como funciona a prova de leitura
Aplicado a cada três anos, exame afere competências de alunos de 65 países 

Objetivo 

Avaliar a capacidade dos jovens de 15 anos de entender textos, interpretá-los e refletir sobre eles, de modo a conseguir atender aos objetivos específicos da leitura, desenvolver seu conhecimento e participar da sociedade. 

Foco em interpretação e não na decodificação ou na busca de informações literais 

Formatos de textos 

Contínuo Inclui diferentes tipos de prosa e seus gêneros: textos informativos (reportagens e verbetes), argumentativos (editoriais e artigos) e ficcionais (fábulas, contos etc.). 

Não contínuo Texto em que o conteúdo se encontra disperso em diferentes blocos: gráficos, mapas, diagramas e listas. Se vier acompanhado de um texto contínuo (como uma reportagem), torna-se um texto misto. 

Múltiplo Composto de textos independentes (que podem ou não ter o mesmo gênero) reunidos em coletânea para propósitos específicos (comparar opiniões, mostrar diferentes formas de apresentar uma informação etc.). 

Textos não contínuos e múltiplos são pouco trabalhados no Brasil 

Competências avaliadas Acessar e recuperar informações Afere a capacidade de encontrar e coletar informações específicas, que podem estar explícitas ou exigir que se relacionem dados do texto. 

Integrar e interpretar o que se lê Envolve fazer a relação entre diferentes partes do texto para processar o que foi lido e entender o assunto tratado. Inclui identificar relações de causa e efeito, equivalência e comparação. 

Refletir e avaliar o sentido de um texto Exige relacionar o que está escrito com informações e valores externos ao material, como experiências pessoais e conhecimento específico sobre o tema tratado. 
Um mesmo texto pode servir para avaliar diferentes competências