O desempenho do Ensino Médio no Brasil de 2009 a 2018

O ENEM

O Exame Nacional do Ensino Médio (ENEM), tem sido utilizado desde 1998 para avaliar a qualidade do ensino médio brasileiro. A partir de 2004, a prova começou a ser utilizada para ingresso em instituições de ensino superior, e em 2009, iniciou-se um novo modelo de aplicação, cujas principais características foram a proposta de unificação do vestibular para universidades públicas e a utilização da Teoria da Resposta ao Item (TRI) para o cálculo das notas individuais. Esse artigo apresenta uma breve análise do desempenho médio no ENEM dos anos de 2009 a 2018 sob diferentes coortes, como localização geográfica, raça, e tipo de escola.

Dados abertos e os microdados

O Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), seguindo a Lei de Acesso à Informação, disponibiliza anualmente os microdados dos resultados do ENEM, que são publicados na página http://inep.gov.br/microdados juntamente com inúmeras outras métricas de desempenho educacional. Por se tratarem de “microdados” essas planilhas possuem o maior nível de desagregação possível, permitindo uma análise granular de quaisquer parâmetros presentes. Apesar de oferecer possíveis riscos à privacidade dos inscritos, esses bancos de dados podem ser extremamente úteis para analisar e compreender o status e a evolução da educação no país.

Teoria da Resposta ao Item

Uma das maiores mudanças na execução do ENEM, desde a sua criação, a TRI é um paradigma para o desenho e análise de testes ou questionários, onde cada item é modelado individualmente e o participante é avaliado conforme a consistência de seus conhecimentos — e não pela pura quantidade de itens corretos. Entre outras características, esse modelo assegura que o nível de dificuldade em diferentes testes seja praticamente constante, permitindo comparabilidade de resultados de diferentes coortes dos participantes e até mesmo entre diferentes edições dos testes. Somando as vantagens da TRI e a transparência dos microdados, é possível criar um vasto panorama do ensino médio brasileiro desde 2009, comparando estados, municípios, tipos de escola, e até mesmo variáveis socioeconômicas — como o número de banheiros na casa do inscrito.

Metodologia

Nessa análise, foram baixados os microdados de todas as edições a partir de 2009. Isso soma um total de mais de 50GB de arquivos TXT, CSV, PDF e outros. Os resultados desagregados de cada edição foram analisados em Python, utilizando a biblioteca Pandas. As análises foram então exportadas e reagregadas na plataforma Plotly, para gráficos interativos, ou através do QGIS, para mapas estáticos. Regressões foram feitas utilizando Scikit-learn.

Para o cálculo de desempenho, foram utilizadas as notas das provas de Ciências da Natureza, Ciências Humanas, Linguagens e Códigos, e Matemática. Intencionalmente foram desconsideradas as notas da prova de redação, uma vez que a avaliação dessa prova não segue a TRI. Para a maioria dos gráficos abaixo, a nota total é calculada somando-se as notas absolutas de cada uma das 4 provas mencionadas. Foram ignorados os participantes em que a soma total é zero.

Resultados

Visão Geográfica

Iniciamos a análise tentando entender o desempenho a nível geográfico por município. Como vemos abaixo (Figura 1), as regiões sul e sudeste compreendem a maior parte das notas altas.

Municípios de melhor desempenho têm média 30% mais alta que os de pior desempenho

Como a população dos estados Brasileiros varia bastante, estando concentrada principalmente na região sudeste, temos abaixo (Figura 2) dois mapas coropléticos diferentes mostrando a nota média por Unidade da Federação: no mapa da esquerda, temos a geografia com projeção tradicional e no da direita, os estados distorcidos proporcionalmente ao número de inscritos.

Como podemos ver, as regiões sul e sudeste não só concentram as maiores notas, como também têm o maior número de inscritos. Para entender melhor a discrepância das notas em cada estado, abaixo (Figura 3) plotamos a diferença entre a nota média em cada UF e a média total do país. Em cada UF, a média é separada entre os 4 tipos de escolas onde os inscritos terminaram o ensino médio: Privada, Federal, Estadual e Municipal.

Desconsiderando-se outras variáveis que também sabemos ter correlação com o desempenho, como renda familiar e raça, observamos que as escolas privadas estão sempre acima da média nacional em quaisquer que sejam os estados. Em segundo lugar vêm as escolas cuja dependência administrativa é federal. Esse tipo de escola possui um número baixo de alunos, mas seu desempenho médio chega a ser mais alto que o de escolas privadas em alguns estados como Rio de Janeiro, Espírito Santo, e Pernambuco.Por fim, temos as escolas estaduais e municipais, que com poucas exceções, estão muito abaixo da média nacional.

A nota média nos fornece um panorama razoável, mas pode acabar acobertando diferenças devidas a distribuições intrínsecas. Por exemplo, um estado que tenha uma proporção mais alta de estudantes de baixa renda, pode ter a média total abaixada mesmo que sua política para esse grupo de estudantes seja melhor que a de outros estados.

Abaixo (Figura 4), avaliamos a configuração dos participantes separados por cor/raça nos decis de pior e de melhor desempenho na edição de 2018. Os decis foram calculados removendo os participantes com nota zero, e ordenando os inscritos conforme a nota. O pior decil contém os 10% com as piores notas e o melhor decil contém os 10% com as melhores notas.

Como esperado, em um país desigual como o Brasil, o melhor decil possui mais alunos brancos que pretos ou pardos. E de fato, nesse decil, brancos abrangem mais da metade dos inscritos.

Falando em desigualdade, a renda familiar dos inscritos também mostra uma correlação forte com a nota. Abaixo (Figura 5) temos um gráfico de dispersão dos inscritos por renda familiar e a nota total.

Como vemos na regressão linear, a renda familiar tem uma correlação positiva com a nota. Ou seja, alunos de famílias mais ricas tendem a tirar notas mais altas no ENEM.

Inscritos de renda mais alta estiveram em média 560 pontos acima dos de renda mais baixa. Um rendimento quase 30% maior.

Visão Temporal

Como mencionado anteriormente, a utilização da TRI nos permite também comparar resultados de edições diferentes. Isso se torna bastante útil para análise do impacto de políticas públicas, como ajustes no orçamento, novas regulamentações, ou até mesmo mudanças de ministros, secretários e outros membros do poder executivo.

Iniciamos a análise temporal plotando o número de inscritos em cada edição, agrupando alunos conforme a dependência administrativa de sua escola. Como o gráfico anterior (Figura 6) mostra, a proporção de cada tipo de escola permanece relativamente constante, com uma pequena diferença no ano de 2014, em que a proporção de inscritos vindos de escolas privadas é maior do que em 2013 e 2015. Mais à frente veremos que além da variação na proporção de tipos de escola em 2014, o desvio padrão das notas de inscritos de escola privada também aumentou, indicando uma possível afluência de alunos de escolas públicas para escolas privadas.

No gráfico seguinte (Figura 7) temos a variação da média por UF, entre os anos de 2009 e 2018. É fácil perceber UFs que iniciam 2009 com a média mais baixa têm uma maior oportunidade de crescimento. Além disso, podemos ver também que algumas UFs tiveram um crescimento mais acelerado que outras. Por exemplo, Roraima, que em 2009 estava na terceira pior posição, cresceu muito mais rapidamente que inúmeros outros estados, terminando 2018 ranqueando acima de 10 outras UFs. A proposta do ENEM não é de ranquear os estados conforme o desempenho, mas esse tipo de análise nos permite avaliar políticas públicas a nível estadual e destacar as ações mais eficazes.

Vemos também que o desempenho médio dos alunos do Maranhão em 2018 ainda está abaixo do desempenho dos alunos de várias outras UFs, como por exemplo Rio Grande do Sul, Minas Gerais, e DF em 2009. Dessa forma – e reiterando a vantagem da utilização da TRI – podemos dizer que a educação maranhense está 9 anos atrasada quando comparada com essas outras UFs.

A variação entre a primeira (2009) e a última (2018) edições é interessante por si só, mas para explorar um pouco mais as mudanças nos últimos anos, temos abaixo (Figura 8) a distribuição de frequência das notas. Podemos observar que há um deslizamento para a direita com o passar dos anos, o que significa que as notas têm aumentado a cada edição.

Olhando para a frequência em cada ano, vemos que a distribuição é basicamente normal, com uma leve assimetria positiva e uma tendência de cauda longa. Isso é esperado pois, teoricamente, não existe nota máxima para esse exame. Com relação aos diferentes anos, observamos que a distribuição vem deslizamento para a direita (aumento geral das notas) e que a largura da curva normal vem se estreitando (menor variação entre os valores). Vale ressaltar que esse tipo de análise somente é relevante se assumirmos que as provas de calibragem das questões — os chamados pré-testes — são aplicados coerente e consistentemente.

Para entender melhor essa mudança, e uma vez que as distribuições são relativamente normais, podemos olhar para o comportamento do desvio padrão. E para continuar explorando a diferença entre as quatro dependências administrativas — municipal, estadual, federal e privada — abaixo (Figura 9) temos a variação no desvio padrão relativo por tipo de escola, em cada um dos anos disponíveis.

Esse gráfico confirma que a discrepância entre as notas tem diminuído com o passar dos anos, e o melhor, para todos os tipos de escolas. Em 2014 vemos que o desvio nas notas vindas de escolas privadas aumenta consideravelmente, alinhado com o aumento da proporção de alunos de escolas privadas que vimos na Figura 6 (mais alunos, mais variação).

A discrepância entre as notas tem diminuído com o passar dos anos — e o melhor, para todos os tipos de escolas

Para explorar um pouco mais a diferença de desempenho entre os quatro tipos de escolas, abaixo (Figura 10) temos a média por ano, por dependência administrativa.

Como podemos ver, com exceção das escolas federais, no período de 2009 a 2018 todos os tipos de escola apresentaram tendência de crescimento. E se reduzirmos a janela da regressão linear para somente os últimos quatro anos, teremos retas ascendentes para todos os tipos de dependências administrativas. Curiosamente, não só nos anos de 2015–2018, como também nos anos 2011–2014, o comportamento das notas vindas de escolas estaduais e municipais é bastante similar. Considerando esses dois períodos de 4 anos, a ascendência da nota média parece ser cíclica culminando sempre em anos de eleições gerais. Esse comportamento sazonal não é de se espantar, uma vez que após eleições gerais costuma haver disrupção nos programas do poder executivo a nível nacional e estadual.

No próximo artigo, vamos olhar para a periodicidade das notas e tentar entender se escolas públicas de fato sofrem mais que as privadas após as mudanças de liderança no poder executivo.

Conclusão

A qualidade do ensino médio brasileiro tem melhorado. Talvez a velocidade não seja exatamente a que queremos, e ainda há muito que se corrigir nas discrepâncias relacionadas a renda e cor de pele. O ensino médio não se resume ao ENEM, mas a oportunidade de se analisar resultados de todos os participantes em cada edição e comparar com resultados anteriores, nos permite reavaliar políticas públicas e cobrar dos líderes um posicionamento mais analítico, embasado em evidências e comprometido com melhoras mensuráveis através dos dados abertos.

E para as próximas provas do ENEM, nos resta torcer para que as mudanças na administração do país não comprometam a transparência nem a mensurabilidade dos resultados.