Avaliação de desempenho dos estudantes (ADE): uma análise dos resultados da avaliação de larga escala no município de Manaus/AM

ARTIGO ORIGINAL

VIANA, Paula Fernanda Barauna ^[1], LOPEZ, Enrique ^[2], PEIXOTO, Cláudio de Oliveira ^[3]

VIANA, Paula Fernanda Barauna. LOPEZ, Enrique. PEIXOTO, Cláudio de Oliveira. Avaliação de desempenho dos estudantes (ADE): uma análise dos resultados da avaliação de larga escala no município de Manaus/AM. Revista Científica Multidisciplinar Núcleo do Conhecimento. Ano. 08, Ed. 07, Vol. 04, pp. 17-33. Julho de 2023. ISSN: 2448-0959, Link de acesso: https://www.nucleodoconhecimento.com.br/educacao/desempenho-dos-estudante, DOI: 10.32749/nucleodoconhecimento.com.br/educacao/desempenho-dos-estudante

RESUMO

As avaliações de larga escala são importantes para orientar as políticas públicas e promover uma educação de qualidade. Em 2014, a Secretaria Municipal de Educação de Manaus (Semed) instituiu seu modelo próprio denominado Avaliação de Desempenho do Estudante (ADE) na Educação Básica (Ensino Fundamental I e II). Este trabalho teve como objetivo analisar os resultados dos estudantes do 8º e 9º ano em Língua Portuguesa e Matemática e comparar ao desempenho geral da rede municipal de 2017 a 2019 em Manaus. Para isso, foi realizada uma pesquisa bibliográfica e documental, coletando dados e referencial teórico sobre avaliação de larga escala no Brasil e no Amazonas; a implantação e características da ADE. Os resultados mostram a utilização da Teoria Clássica de Testes (TCT), suas limitações para mensurar o desempenho dos estudantes nas escolas públicas municipais de Manaus e aponta os fatores internos e externos que interferem no resultado das provas. Com isso se observou a importância de articular as informações sobre os resultados alcançados com ações de melhoria da aprendizagem, considerando esses fatores. Concluímos que se torna fundamental implementar medidas de melhoria e aproveitar os resultados da Avaliação de Desempenho Educacional (ADE) para redefinir as estratégias pedagógicas nas escolas. Além disso, é importante utilizar as informações obtidas para promover uma educação de qualidade e contribuir para o desenvolvimento educacional do município de Manaus.

Palavras-chave: Avaliação de larga escala, ADE, Educação.

1. INTRODUÇÃO

As avaliações em larga escala foram introduzidas na agenda política brasileira no final dos anos 1980, tendo sido influenciadas e por tendências internacionais e pelo processo de redemocratização do país (BASSO;  FERREIRA; OLIVEIRA, 2022, p. 501). Elas são uma ferramenta de monitoramento global das redes de ensino, com o objetivo de acompanhar séries históricas de desempenho do sistema educacional a fim de  verificar tendências ao longo do tempo e reorientar as políticas públicas educacionais. Essas avaliações, quando utilizam a metodologia apropriada,  podem fornecer informações significativas sobre o desempenho dos estudantes, bem como dados relacionados aos professores, às condições de trabalho e ao funcionamento das escolas de uma determinada rede educacional (BERTAGNA; POLATO; MELLO, 2018, p. 53).

De forma geral, a avaliação em larga escala no Brasil tem sido predominantemente praticada no nível da federação e dos estados, todavia algumas redes de ensino municipais, como a Secretaria Municipal de Educação de   Manaus/AM – Semed –  assumiu em 2014 o compromisso de  aplicar essa modalidade de avaliação com os estudantes. Esta pesquisa teve como objetivo analisar os resultados dos estudantes do 8º e 9º ano em Língua Portuguesa e Matemática na Avaliação de Desempenho do Estudante – ADE e compará-los ao desempenho geral da rede municipal de educação em Manaus no período de 2017 a 2019.

O sistema educacional de ensino da Semed no que diz respeito ao Ensino Fundamental anos finais 9º ano não tem apresentado índices de aprendizagem satisfatórios. Daí partiu a necessidade de aplicar uma avaliação externa, a fim de conhecer o desempenho dos estudantes e refletir sobre os  fatores que eventualmente influenciam a aprendizagem e o desempenho dos estudantes nas avaliações. Com base nos resultados e  rendimento das escolas foi possível fazer uma análise comparativa, verificar se a estratégia teve êxito e propor ações para melhorar esta ferramenta.

Dessa forma, este estudo pode contribuir para o conhecimento  teórico e prático assim como o aprimoramento do processo de avaliação nesse sistema, de maneira a buscar a melhoria da aprendizagem com vista a preparação dos estudantes para o Ensino Médio. As implicações práticas advindas dessa pesquisa podem servir para rever metodologias de ensino e estratégias de avaliação (VIANA, 2022). Nesse sentido, podem impactar num primeiro momento a vida escolar dos estudantes na medida em que no futuro favoreça o desenvolvimento de competências, aprendizagens e habilidades (BRASIL, 2017).

O estudo foi desenvolvido através de uma abordagem qualitativa, por meio da pesquisa documental e bibliográfica com tendo como base os documentos da Semed Manaus. A pesquisa bibliográfica foi baseada em publicações científicas da área de educação e avaliação de larga escala.

2. AVALIAÇÃO DE LARGA ESCALA – ASPECTOS IMPORTANTES

Desde a década de 1960 as avaliações em larga escala têm ganhado espaço e mostrado a sua importância. Na verdade, avaliar um sistema educacional tem como ponto de partida levantar dados e informações sobre uma determinada realidade, possibilitando assim diagnosticar e agir de modo mais condizente com a situação educacional, e desta forma potencializar a ação pedagógica dos professores, assim como a aprendizagem dos estudantes (CARLOS, 2016, p.55). A figura 1 mostra os marcos temporais das avaliações em larga escala no Brasil e no Amazonas:

Figura 1. Linha do tempo – Marcos dos Sistemas de Avaliação de Larga escala no Brasil e no Amazonas

Assim, a avaliação em larga escala pode fornecer um retrato parcial do processo de aprendizagem, se, de fato estiver ligada a outras questões, especialmente o desempenho docente e, principalmente, as avaliações realizadas com os professores. Todavia independentemente de quem esteja envolvido, e de seus possíveis interesses, tem como objetivo o aperfeiçoamento dos sistemas, das instituições e da aprendizagem dos estudantes.

É preciso, no entanto, que os agentes envolvidos nesse processo educativo do aluno tenham pleno conhecimento sobre as possibilidades e aplicabilidades das avaliações externas de larga escala, caso contrário os dados levantados não serão devidamente utilizados, consequentemente, a realidade da escola não será fielmente revelada (Ibidem, 2016, p.54).

Não há dúvida, portanto, que a avaliação em larga escala se tornou ferramenta básica da intervenção estatal no mundo escolar, quando o que está em questão define a qualidade do trabalho de escolarização levado a efeito em cada escola. Nesse sentido, Freitas (2012, p. 346) concorda que esse processo é necessário, mas suscetível a contradições. Ele faz criticas à ideia equivocada de que notas mais altas significam uma boa educação e de que a pobreza torna-se  apenas uma desculpa para o fracasso escolar; discurso que encobre a própria realidade da miséria, da falta de condições adequadas para a aprendizagem e culpa escolas e professores pelo fracasso das crianças pobres.

Apesar da complexidade do tema, é importante destacar alguns aspectos positivos que as avaliações em larga escala proporcionam, segundo as pesquisas de Bauer, Alavarse e Oliveira (2015, p.1377), a definição de padrões e expectativas para o aprendizado dos estudantes, “servem de guia ao planejamento dos professores no sentido de perceber eventuais lacunas de aprendizagem”. Outro  aspecto relevante diz respeito das informações geradas a partir da aplicação dos testes e resultados obtidos, que ficam disponibilizadas aos docentes para eventuais tomadas de decisão. Produzem ainda, informações para a comunidade sobre a qualidade do ensino, em especial aos componentes curriculares, além de fazer com que professores e estudantes se motivem e busquem melhorar seu desempenho (Ibidem).

É preciso que os resultados obtidos no processo sirvam de base para futuras intervenções dos gestores, professores na sala de aula e toda a comunidade escolar (CARLOS, 2016, p. 54). E assim, realizar  um diagnóstico amplo da aprendizagem na sala de aula na escola e rede de ensino. Nesse sentido, é possível, por exemplo, conhecer melhor os estudantes em outros aspectos, não só o cognitivo, promover a refllexão sobre aspectos sociais e os resultados educacionais.

Blasis (2013, p.255 ) mostra que as avaliações externas abrangem aspectos importantes das atividades escolares, como a capacidade de leitura e resolução de problemas. A abordagem dos conteúdos pressupõe a conexão dessas avaliações com a realidade e o trabalho pedagógico de cada escola ou rede de ensino, o que pode levar à reflexão sobre as práticas escolares e ao desenvolvimento de ações para melhorar a qualidade da educação e garantir a aprendizagem para todos.

Portanto,  a avaliação em larga escala, é uma ferramenta que pode         contribuir muito com o processo de ensino-aprendizagem ao revelar os conteúdos a serem priorizados, além de propor estratégias em nível macro ao sistema educacional e a gestão. Isso evidencia sua importância para as escolas, redes de ensino e a sociedade.

3. CRIAÇÃO E IMPLANTAÇÃO DA ADE NAS ESCOLAS DA REDE MUNICIPAL DE MANAUS

A Avaliação de Desempenho do Estudante (ADE) foi criada em 2014 com o objetivo de avaliar, diagnosticar e acompanhar o processo de ensino-aprendizagem dos estudantes em Língua Portuguesa (leitura) e Matemática (operações e resoluções de problemas) para auxiliar professores, pedagogos e gestores em suas ações pedagógicas. Foi implantada visando subsidiar, formular, reformular e monitorar políticas públicas e fomentar a cultura de avaliação educacional, contribuindo assim para a melhoria da qualidade, equidade e eficiência do ensino nas escolas públicas de Manaus.

O decreto nº 3113, de 15 de junho de 2015 que  dispõe sobre o Sistema de Avaliação do Desempenho Educacional de Manaus – Sadem, e dá outras providências, em seu Art.2º, IV, afirma que a ADE é “entendida como processo de monitoramento e acompanhamento sistemático dos resultados do rendimento escolar dos estudantes dos anos iniciais e finais do Ensino Fundamental resultantes dos processos e práticas de ensino e aprendizagem” e abrangeu todas as avaliações em larga escala da Secretaria Municipal de Educação de Manaus (PREFEITURA DE MANAUS, 2015).

O documento interno de referência da DAM atribui sua elaboração e desenvolvimento a uma equipe técnica composta por especialistas e mestres nas áreas de Pedagogia, Língua Portuguesa, Matemática e Estatística. Esses profissionais têm a responsabilidade de criar, revisar, analisar as provas e compartilhar os resultados com toda a rede municipal de ensino de Manaus.

A ADE é uma avaliação nos mesmos moldes do Sistema de Avaliação da Educação Básica (Saeb), nacionalmente instituído pelo Ministério da Educação para avaliar o aprendizado adequado dos estudantes.  Oliveira (2018), afirma que esse modelo possibilita monitorar o ensino nas unidades escolares e comparar resultados dos estudantes matriculados nas redes de ensino com o padrão de desempenho do sistema de ensino brasileiro, retratado na escala de proficiência do Saeb.

Com a implantação da ADE na rede pública de Manaus foi possível identificar quais habilidades têm progredido e quais necessitam de mais atenção da equipe pedagógica e dos professores. As avaliações da ADE abrangem desde o primeiro ano do ensino fundamental até a quarta fase da EJA (RIBEIRO; SOUZA, 2021).

De acordo com estudos realizados por Fonseca, Santos e Silva (2019) no 5º ano, após  a aplicação da ADE em abril de 2019 (quando os resultados não atenderam a expectativa), foram realizadas ações de melhoria da leitura e escrita como a realização de oficinas de desenvolvimento da interpretação e produção textual. Isso resultou no aumento nos índices de acertos das questões de Língua Portuguesa e Matemática de 62% para 69,4%, e de 65,1% para 75,9%, respectivamente, no contexto da avaliação da ADE nas escolas.

Porém, não se trata simplesmente de mudar a metodologia de avaliação, nem de abolir com os instrumentos de avaliação já existentes na escola, como provas, testes e trabalhos que, como afirmam  os téoricos, são excludentes e classificatórios (FERREIRA; SIRINO; MOTA, 2019). O uso dos resultados das avaliações da ADE no que diz respeito à gestão no âmbito da SEMED pode ser utilizado para revisão de prioridades; alocação de recursos; organização de ações/intervenções nas escolas; fortalecimento do acompanhamento e apoio às escolas.

Segundo pensamento de Oliveira (2013), as políticas de avaliação podem conter possibilidades emancipatórias, ou servir ao crescimento das desigualdades educacionais e sociais, pois seus fins, meios e a utilização de seus resultados revelam o verdadeiro sentido no processo educacional. Dessa forma, a persistência de avaliações em larga escala aponta para a necessidade de pesquisas para entender como seus resultados repercutem nas escolas e no ensino:

Apesar das críticas às avaliações em larga escala, os resultados desses processos de avaliação têm sido tomados como padrão de qualidade e passaram a orientar programas e políticas governamentais para serem executados na escola/universidade. As vantagens da manutenção dessas estruturas – Saeb, Enem– estão associadas à possibilidade da construção de uma série histórica dos indicadores de desempenho dos estudantes proporcionada pelos referidos exames, geradas pelos investimentos em sistema de estatística e indicadores educacionais (FERREIRA,2019, p. 141).

O Estado do Amazonas foi um dos primeiros a investir na criação de um sistema próprio de avaliação em larga escala, o Sistema de Avaliação do Desempenho Educacional do Amazonas (Sadeam), implantado em 2008 para aferir o desempenho educacional dos estudantes da rede pública estadual de ensino. Sete anos adepois a Secretaria de Educação de Manaus criou sua avaliação própria.  Esta iniciativa se deu pela necessidade em cumprir o que determina o artigo 208 da Constituição Federal de 1988, que versa sobre o dever do Estado com a educação em todos os segmentos de ensino (BRASIL, 1988). Respaldada ainda no artigo 9º, inciso VI, da Lei n. 9.394/ 1996 (Lei de Diretrizes e Base da Educação – LDB), que dispõe sobre “assegurar processo nacional de avaliação do rendimento escolar no ensino fundamental, médio e superior, em colaboração com os sistemas de ensino, objetivando a definição de prioridades e a melhoria da qualidade do ensino” (BRASIL, 1996).

Com base na experiência da ADE o entendimento das escolas sobre avaliação de aprendizagem e avaliação de larga escala se tornou mais complexo e, embora tenham propósitos diferentes, elas se reforçam mutuamente, pois são, respetivamente, indicadores da qualidade da aprendizagem no ensino básico, seja a nível nacional, internacional ou nível local.

4. CARACTERÍSTICAS E FUNDAMENTOS DA ADE

A ADE atende tanto o sistema macro (rede) quanto o micro (escolar), o objetivo para a rede é subsidiar o desenvolvimento e (re)monitoramento de políticas públicas e promover uma cultura de educação e avaliação. Para as escolas visa fornecer informação qualitativa e quantitativa sobre o desempenho dos estudantes, proporcionar às equipes escolares diagnóstico, análise, reflexão, intervenção e acompanhamento do processo de ensino com base nos seus dados e resultados, atendendo aos objetivos esperados – competências e habilidades presentes nos testes – redirecionando suas ações e intervenções no ensino (BREVES, 2018).

A metodologia adotada para a elaboração dos itens (múltipla escolha) ancora-se na teoria da Taxonomia dos Objetivos Educacionais (Taxonomia de Bloom). “Segundo a taxonomia dos objetivos educacionais, o saber acontece a partir  das capacidades em níveis cognitivos, ou seja, as habilidades cognitivas tratam de conhecimento, compreensão e do pensar sobre um problema ou fato” (SARAIVA JUNIOR, 2017, p. 171). As matrizes de referência adotadas são do Sistema de Avaliação da  Educação Básica – Saeb, disponibilizadas pelo Instituto Nacional de Estudos e  Pesquisas Anísio Teixeira (Inep), nas Diretrizes Curriculares Nacionais – DCNS e na Base Curricular da Semed, articulada aos conhecimentos dos estudantes ao    longo de sua trajetória escolar.

A matriz de referência de uma avaliação externa avalia o conteúdo considerado por um grupo de especialistas como básico essencial a ser ensinado e aprendido em um determinado período, além de avaliar somente o que é possível ser medido por meio de testes padronizados. Já o currículo é mais abrangente e define os objetivos a serem alcançados (VILLAS-BOAS, 2017).

A construção da medida ADE é apoiada pela Teoria Clássica de Testes – TCT, que tem como objetivo “a interpretação da resposta final, ou seja, o que a soma dos itens corretos descreve sobre as habilidades dos estudantes” (MOREIRA; NOGUEIRA, 2020, p. 166). E trata sobre diversos temas relacionados à análise fatorial, incluindo o modelo matemático, o modelo linear clássico, a formulação do índice de precisão e as diferentes maneiras de calcular o coeficiente de precisão. Também são abordados o erro padrão da medida, a validade da análise fatorial e a análise de itens, cujo princípio básico relaciona mais acertos, a um nível maior de domínio de conhecimento dos estudantes (PRIMI, 2012, p.297).

Na prática significa priorizar número de acertos, o total de pontos, categorizados por etapa, ano e modalidade de ensino, apresentando os resultados por escola, turma e aluno, em nível geral (rede) e por Divisão Distrital Zonal. Em outras palavras, a TCT preocupa-se em interpretar o resultado final, a soma das respostas a uma série de itens, expressa na chamada pontuação total. Desta forma, pode-se afirmar que está interessada em testes de qualidade, mas não leva em consideração a importância de cada item ou decidir se um item deve ser incluído ou não (MOREIRA; NOGUEIRA, 2020, p. 166; PASQUALI, 2017).

Em 2018, a avaliação da ADE precisou ser validada pela Teoria de Resposta ao Item (TRI), que busca expressar a probabilidade de como um indivíduo pode responder a um item com base nos parâmetros desse item e na competência ou proficiência dos estudantes. Desde então, a TRI tem sido utilizada para validar os itens, complementando as limitações trazidas pela Teoria Clássica dos Testes (TCT).

Nesta amostragem optamos por avaliar o desempenho dos estudantes dos 8º e 9º ano em três momentos no decorrer do ano letivo, entre 2017 e 2019 somente em Língua Portuguesa e Matemática, por entender que o MEC/Inep construirá posteriormente as matrizes de referência dos componentes curriculares Ciências da Natureza e Ciências Humanas, alicerçada a Base Nacional Comum Curricular – BNCC –  com aplicação somente a partir de  2019.

Em tempo, a nova BNCC (2017) é uma estratégia de formatação de um currículo comum que será posto em prática por meio de suas dez competências, que nortearão os currículos municipais e estaduais. Mas, cabe ressaltar que esse novo modelo nacional deverá funcionar atrelado a outras políticas educacionais como  as avaliações institucionais, os livros didáticos e a formação de professores (SILVA FILHO, 2019, p. 127).

Em consonância com as políticas públicas voltadas para a educação, a ADE busca aferir e melhorar os índices de aprendizagem dos estudantes, especificamente em Língua Portuguesa e Matemática, haja vista que nestes componentes curriculares os estudantes tem tido desempenho abaixo das metas projetadas pela secretaria. Em função disso, os esforços se têm concentrado inicialmente na mobilização, sensibilização e participação dos estudantes.

Entrentando, vários fatores externos e internos devem ser considerados: transferências entre redes de ensino; evasão escolar; aplicação das provas por servidores da própria escola, inclusive professores da turma avaliada; logistica de transporte e distribuição na  zona rural-ribeirinha; quantitativos provas e cartões-resposta para impressão; dificuldade de acesso dos estudantes devido a questões de transporte e climáticas (enchente e vazante dos rios Amazonas e Negro); Calendário Escolar diferenciado para a zona urbana e rural. Informação aos professores; priorização das datas das provas no calendario escolar; aspectos inclusivos a serem considerados (pessoas com deficiências, síndromes e transtornos); divulgação das metas aos professores e mobilização nas escolas.

Além disso, existem orientações da secretaria de educação para as equipes de gestão, repassadas através de um calendário de atividades aos diretores em reuniões pontuais. Essas orientações devem  ser incorporadas ao planejamento da equipe escolar/diretiva e docentes, especialmente em casos de desempenho abaixo da meta estipulada. Há entraves no monitoramento e apoio pedagógico às escolas, além de lacunas na política de formação para uso e apropriação do resultado das avaliações externas pelas escolas.

Portanto, a ADE se caracteriza como uma avaliação que faz uso de teorias e modelos clássicos, base da sua concepção, porém, fatores internos e externos, o planejamento e motivação das equipes escolares pode influenciar na aplicação das provas e, consequentemente, interferir nos resultados.

5. DESEMPENHO DOS ESTUDANTES DO 8º E 9º E SEUS RESULTADOS EM LÍNGUA PORTUGUESA E MATEMÁTICA NO PERÍODO DE 2017 À 2019 NO MUNICÍPIO DE MANAUS

No período pesquisado foram aplicadas três provas da ADE em Língua Portuguesa e Matemática em cada ano,  sendo que o público alvo destas avaliações foi dividido de acordo com o documento de referência da DAM, da seguinte forma: em anos pares os testes foram aplicados com os estudantes do 3º ano, 4º ano, 6º ano e 8º ano. Em anos ímpares as avaliações foram  aplicadas com estudantes do 3º ano, 5º ano, 7º ano e 9º ano (PREFEITURA DE MANAUS, 2014). Para ambos foi identificada a porcentagem de acertos, erros, branco e rasuras aplicando-se a métrica da TCT.  Para fins de delimitação, esta pesquisa abrangeu somente o 8º e 9º Anos.

A tabela 1, mostra os resultados nos anos de estudos pesquisados.

Tabela 1 – Resultados globais de acertos na ADE em Língua Portuguesa e Matemática – 2017 a 2019

Os resultados globais abrangem todas as turmas avaliadas e foi baseado nos dados informados pela DAM. Na coluna referente ao ano de 2017, observa-se um aumento nos índices de acertos: 58,0% na primeira aplicação, 58,2% na segunda e 63,3% na terceira. Em 2018, também houve aumento nos índices de acertos: a primeira aplicação teve 59,8%, a segunda teve 64,6% (em azul) e a terceira teve 61,5%, sendo este último resultado 1,8% abaixo do resultado da terceira aplicação do ano anterior. Já em 2019 houve aumento no número de acertos entre a primeira aplicação (59,0%) e a segunda (62,4%), mas uma diminuição na terceira com apenas 47,7% (em vermelho) de acertos. A diferença entre a primeira e a última aplicação foi significativa neste ano, apontando uma variação de 16,9% a menor no índice de acertos entre o melhor e o pior resultado.

Em relação aos resultados do 8º e 9º anos, podemos observar um aumento no número de acertos em 2017 na segunda aplicação, que foi de 55,9%, em comparação com a primeira, que foi de 52,2%. No entanto, na terceira aplicação houve uma queda para 51,4%, resultando em uma diminuição de 0,8% entre a primeira e a terceira aplicação daquele ano. Já em 2018, houve um aumento significativo em relação à primeira aplicação, que foi de 49,1%, e nas outras duas aplicações, que foram de 57,5% e 57,4%, respectivamente. Isso significa que houve uma oscilação positiva de 8,3% entre a primeira e a terceira aplicação naquele ano.

No ano seguinte, em 2019, a primeira aplicação obteve o maior percentual de acertos, que foi de 60,8%. Porém, houve uma queda na segunda e terceira aplicação, que foram de 59,8% e 57,5%, respectivamente, resultando em uma oscilação negativa de 3,3% entre a primeira e a terceira.Em resumo, o maior percentual de acertos foi obtido na primeira aplicação de 2019, com 60,8% (em azul), enquanto a menor foi na primeira aplicação de 2017, com 51,4% (em vermelho). Entre elas, houve uma oscilação positiva de 9,4%.

Com base nos dados apresentados, podemos afirmar que houve uma grande variação no número de acertos e diminuição no desempenho geral entre 2017 e 2019. No entanto, nos 8º e 9º anos, observou-se uma oscilação positiva no número de acertos no mesmo período.

É importante considerar que desde 2014 a Secretaria de Educação e as escolas da rede adquiriram maior experiência na aplicação das provas, e buscam utilizar esses dados com o objetivo de melhorar a aprendizagem. Já os fatores externos e internos têm influenciado nesse resultado, com reflexo na variação dos índices de acertos que oscilaram para mais e para menos nas provas aplicadas durante os três anos pesquisados.

6. CONCLUSÃO

O desenvolvimento deste estudo, proporcionou o conhecimento de como surgiu avaliação externa em larga escala na Secretaria Municipal de Educação de Manaus, bem alguns resultados de sua aplicação pelas escolas e suas características a partir do desenho de avaliação adotado. De modo geral, há várias dificuldades processo de avaliação, no monitoramento e apoio pedagógico às escolas. A política de formação para utilização dos resultados das avaliações externas deve ser um ponto de melhoria, assim como as formações aos docentes (FONSECA, SANTOS E SILVA, 2019). Os resultados não têm sido bem aproveitados no planejamento dos docentes. Há um certo atraso na divulgação dos dados às escolas, desafio difícil de resolver, considerando o universo das escolas e sua ampla distribuição geográfica.

Existem algumas críticas sobre a avaliação de desempenho do estudante, de que ela não mensura a qualidade de ensino, sendo um indicador, mas não o único a ser implementado. Como sua base é a TCT, pode estar fundamentada numa teoria estatística falha, pois não leva em consideração a importância de cada item no teste e apresenta poucas diretrizes para decidir se um item deve ser incluído ou excluído (MOREIRA; NOGUEIRA, 2020, p. 166). Por isso houve a necessidade, em 2019, de revalidá-la e complementá-la através da Teoria de Resposta ao Item (TRI).

Entendemos que para aprimorar o processo avaliativo na Secretaria Municipal de Educação, a ADE poderia ser aplicada de forma independente por agentes extra institucionais, sem utilizar seus funcionários (diretores e professores das próprias escolas) como aplicadores da prova, a fim de melhorar a transparência do processo. Ressaltamos que no ano de 2019, a aplicação contou com estudantes bolsistas dos cursos de graduação das universidades locais conveniadas, todavia, não se conseguiu atingir o total das escolas, principalmente aquelas localizadas na área rodoviária e ribeirinha.

Contudo, os resultados da Avaliação de Desempenho do Estudante (ADE) na rede municipal de educação no que se refere ao 8º e 9º ano nos anos pesquisados apresentou melhoria nos índices de acerto em Língua Portuguesa e Matemática, embora não tenha sido acompanhado por uma melhoria significativa nos índices de desempenho geral, que oscilaram, inclusive negativamente, nas avaliações realizadas.

Isso demonstra a necessidade de desenvolver ações de melhoria e utilizar os resultados da ADE para redimensionar as estratégias pedagógicas nas instituições de ensino, além de utilizar as informações obtidas na promoção de uma educação de qualidade. Torna-se, portanto, fundamental o desenvolvimento de novos estudos quantitativos e qualitativos que possibilitem identificar e equalizar as forças e fraquezas, oportunidades e ameaças que interferem no processo de avaliação institucional e no rendimento das escolas.

REFERÊNCIAS

BASSO, F. V.; FERREIRA, R. R.; OLIVEIRA, A. S. Uso das avaliações de larga escala na formulação de políticas públicas educacionais. Ensaio: Avaliação e Políticas Públicas em Educação, v. 30, n. 30(115), p. 501–519, abr. 2022.

BAUER, A.; ALAVARSE, O. M.; OLIVEIRA, R. P. Avaliações em larga escala: uma sistematização do debate. Educ. Pesquisa. São Paulo, v.41, n. especial, p. 1367-1384, dez. 2015. Disponível em <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S151797022015001001367&lng=pt&nrm=iso>. Acesso em: 22 ago. 2019.

BLASIS, E. Avaliações em larga escala: contribuições para a melhoria da qualidade na educação. Cadernos Cenpec. v.3, n.1. p.251-268 São Paulo: jun. 2013.

BERTAGNA, R. H.; POLATO A.; MELLO, L. R. As estimativas em larga escala e o currículo no estado de São Paulo: A realidade escolar desvelando as lógicas subjacentes. Currículo sem Fronteiras, v. 18, n. 1, pág. 52-70, jan./abr. 2018.

BRASIL. Ministério da Educação. Base Nacional Comum Curricular. Brasília. 2017. 600p.

BRASIL. Constituição da República Federativa do Brasil, de 5 de outubro de 1988. Diário Oficial da União, Brasília, DF, 1988.

BRASIL. Lei 9.394, de 20 de dezembro de 1996. Estabelece as Diretrizes e Bases da Educação Nacional. Diário Oficial da União, Brasília, DF, 1996.

BREVES, N. S. P. (Coord.) Avaliação de desempenho do estudante – ADE. Divisão de Avaliação e Monitoramento – DAM. Manaus: Secretaria Municipal de Educação, 2018.

CARLOS, P. R. O. Avaliações externas de grande escala: possíveis contribuições para o ensino de física. Universidade Federal de Juiz de Fora: Instituto de Ciências Exatas – Programa de Pós-Graduação em Física, 2016.

FERREIRA, A. V.; SIRINO, M. B.; MOTA, P. F. (Orgs). Construção teórica no campo da pedagogia e educação social. São Paulo: Paco editorial, 2019.

FERREIRA, S. L. Avaliação das aprendizagens para professores da educação superior. São Paulo: SENAC, 2019.

FONSECA, D. N. A S.; SANTOS, L. P.; SILVA, E. F. G. Avaliação do desempenho do estudante (ADE) – descortinando textos na leitura e escrita. CONEDU – VI Conselho Nacional de Educação, 2019.

FREITAS L. C. Os reformadores empresariais da educação: da desmoralização do magistério à destruição do sistema público de educação. Educação e Sociedade. Políticas públicas de responsabilização na educação (Dossiê)., Campinas, v. 33, n. 119, p. 379-404, abr./jun. 2012. Disponível em: <http://www.cedes.unicamp.br>. Acesso em: 28 dez. 2014.

MOREIRA, A.; NOGUEIRA, C. H. Comparação da classificação na prova da OBMEP por meio da Teoria de Resposta ao Item (TRI) e da Teoria Clássica de Testes (TCT). Revista Meta: Avaliação, [S.l.], v. 12, n. 34, p. 162-180, mar. 2020.

OLIVEIRA, A. C. P. Gestão, liderança e clima escolar. Curitiba: Appris, 2018.

OLIVEIRA, M. E. N. Gestão escolar e políticas educacionais: um embate entre o prescrito e o real. Curitiba: Appris, 2013.

PASQUALI, L. Psicometria: a teoria dos testes na psicologia e na educação. Petrópolis/RJ: Vozes, 2017.

PREFEITURA DE MANAUS. Decreto Nº 3113, DE 15 de junho de 2015. Dispõe sobre o sistema de avaliação do desempenho educacional de Manaus – Sadem, e dá outras providências. Disponível em: <https://leismunicipais.com.br/a/am/m/manaus/decreto/2015/311/3113/decreto-n-3113-2015-dispoe-sobre-o-sistema-de-avaliacao-do-desempenho-educacional-de-manaus-sadem-e-da-outras-providencias >. Acesso em 27 mar. 2023.

PREFEITURA DE MANAUS. Documento de Referência da ADE. Divisão de Avaliação e Monitoramento. Digitado. Consulta local. 2014.

PRIMI, R. Psicometria: fundamentos matemáticos da Teoria Clássica dos Testes. Avaliação Psicológica. Itatiba, v. 11, n. 2, p. 297-307, ago.  2012.   Disponível em <http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712012000200015&lng=pt&nrm=iso>. Acesso em: 28 mar.  2023.

RIBEIRO, B. T. O.; SOUZA, V. C. S. Avaliação do Desempenho do Estudante (ADE): uma análise dos resultados da EJA na rede municipal de educação de Manaus. Conedu. Congresso Nacional de Educação. Maceió. 2021.

SARAIVA JUNIOR, O. Introdução à orientação a objetos com python. São Paulo: Novatec, 2017.

SILVA FILHO, A. A. Pesquisa em educação: a produção acadêmica em foco. Timburi/SP: Cia do book, 2019.

VIANA, P. F. B. Avaliação de Desempenho dos Estudantes (ADE): Uma análise dos resultados da avaliação de larga escala no município de Manaus/Am. Tesis de maestria. Universidade del Sol. Asunción. Paraguay. 2020.

VIANA, P. F. B. Metodologias Ativas na educação do século XXI: Análise das estratégias na Educação do campo na percepção de professores do ensino fundamental II. Tesis de doctorado. Universidad de la integración de las Américas. Asunción, Paraguay. 2022.

VILLAS-BOAS, B. M. F. (org.) Avaliação: Interações com o trabalho pedagógico. Campinas, SP: Papirus, 2017.

^[1] Doutorado em Ciências da Educação – Universidad de la Integración de Las Américas – UNIDA (2022). ORCID: 0000-0003-1630-2727. Currículo Lattes: http://lattes.cnpq.br/2861224602902631.

^[2] Orientador. Doutorado em Ciências da Educação – Universidad San Carlos (2010). ORCID: 0009-0002-5070-2679. Currículo Lattes: http://lattes.cnpq.br/5315972124972324.

^[3] Mestrado em Saúde Pública – Fundação Oswaldo Cruz – FIOCRUZ. ORCID: 0000-0002-8518-9249. Currículo Lattes: http://lattes.cnpq.br/3157326710169454.

Enviado: 22 de fevereiro, 2023.

Aprovado: 22 de junho, 2023.