Introdução#

Os relatórios de coordenação SiaaE são um conjunto de resultados estatísticos obtidos a partir da análise de uma prova.

Uma prova é aplicada dentro da rede composta por todas as escolas que utilizam o mesmo material, proporcionando um rico universo para a tabulação de seus resultados analíticos.

A relativização é seu pilar fundamental; todo olhar sobre um resultado é submetido à validação de seus contornos (escolas, grupos ou salas que participam desta rede). Assim, nunca dizemos de forma absoluta que algo está certo ou errado, mas sim como se situar dentro do universo, do qual surgem as ferramentas para mudanças e ajustes de sua estratégia de ensino.

Toda informação é padronizada por meio de gráficos de barras que, quando entendidos, transformam-se em um valioso instrumento de apoio e orientação para o educador.

Seus objetivos são claros: informar e orientar professores, coordenadores e mantenedores sobre a real condição de seus alunos e ser o agente catalizador da transformação contínua e necessária para melhoria do processo de educação.

A seguir, explicaremos de forma fácil e simples seus componentes, passo a passo, com uma linguagem informal. Leia com atenção e calma, e você perceberá o valor desta informação. Entenderá que o dia seguinte à aplicação de uma prova não poderá prescindir desta informação no bolso de seu jaleco.

Média absoluta#

Esta é a Túnica, professora de matemática, ao lado de sua turma. Neste bimestre, Túnica desenvolveu uma nova técnica para o ensino de equações. Na prova, caíram três questões sobre o assunto. Túnica está confiante em sua nova estratégia.

Na questão 15, observamos um rendimento de 60%, ou seja, 6 em cada 10 alunos acertaram a questão. Segue-se o mesmo raciocínio para as demais questões.

De fato, no dia seguinte à aplicação da prova, saber o rendimento de seus alunos é importantíssimo. O que podemos inferir desses resultados? Na questão 16, houve um erro na estratégia de desenvolvimento do conteúdo, ou a questão foi difícil? E quanto à questão 17, será que foi uma questão muito fácil?

A informação absoluta de acerto não é suficiente para tirarmos conclusões mais abrangentes, a não ser a densidade de acerto na questão.

A grande pergunta é: Como Túnica deverá recalibrar sua estratégia de ensino a partir dessas informações? Que conclusões podemos tirar até este momento?

Está faltando alguma coisa! Mais alguma informação que nos ajude a desvendar o que realmente aconteceu. Veja como a média absoluta, apesar de importante e ter seu lugar, não é suficiente para definirmos uma modificação em nossas estratégias.

Então qual o próximo passo?

Discriminação (20% superior)#

Como obtemos os 20% melhores alunos? Após a correção da prova, sabemos o total de pontos de todos os alunos, pontos obtidos acertando questões de todas as matérias. Isso nos permite ordenar os alunos pelo total de pontos (do menor para o maior). Uma vez ordenados, separamos os 20% melhores alunos e formamos uma nova 'super turma' (apenas com os melhores) para criar uma segunda média de referência. Hmmmmm, interessante! A média da turma inclui todos os alunos, inclusive os 20% melhores.

O que a discriminação mostra? A discriminação mostra a capacidade de uma questão de separar, distinguir os melhores alunos do total de alunos. Questões assim são muito desejadas por provas tipo concurso, onde se pretende eleger os melhores alunos para aprovação.

Antes de analisarmos vários casos como exemplo, certifique-se de ter entendido como calculamos a discriminação a partir da obtenção do grupo de melhores alunos. Este caso, em especial, é o maior motivo de dúvida entre os usuários do SiaaE.

Vamos analisar alguns casos para tornar mais significativa a discriminação:

Análise de casos: Retórica#

A questão Q15 mostra um acerto médio de 60%, mas com 85% de acerto entre os melhores alunos (20% melhores alunos). É uma questão que oferece um certo grau de dificuldade, fazendo com que 40% dos alunos da turma errem. A discriminação é positiva, ou seja, a questão foi mais acertada pelos 20% melhores alunos da turma. Isso demonstra uma normalidade na questão, mesmo assim confirmamos seu grau de dificuldade, pois 15% dos melhores alunos erraram. Esta questão merece alguns minutos de comentário em sala de aula.

A questão Q16, que deixara a professora Túnica em dúvida, agora está esclarecida. Trata-se de uma questão com maior nível de dificuldade. Veja como a discriminação é elevada: temos um acerto médio de 30%, contra 68% entre os 20% melhores. De fato, uma questão coerente, porém com grau de dificuldade elevado. Esta questão não depõe contra a estratégia utilizada em aula, apenas possui sua natural complexidade.

Na questão Q17, observamos um alto índice de acerto (90%), deixando pouco espaço para discriminação. Questões com nível elevado de acerto não deixam margem para discriminação. Aí consideramos dois casos: Quando a questão é produzida apenas para verificar se o conteúdo foi desenvolvido ou se a questão é simplesmente fácil, do tipo: 'De que cor é o cavalo branco de Napoleão'. Esta diferença, a professora Túnica percebe e tomará as decisões cabíveis.

Mais casos#

Veja o exemplo acima. Estranho! Como os melhores alunos, eleitos como melhores pelo conjunto de todas as questões da prova, foram piores que a turma, especificamente na questão 32?

Este tipo de caso ocorre quando a questão é resolvida em sala antes da prova, mas é muito bem resolvida e explicada. Assim, criamos um fenômeno de distorção da discriminação. Perdemos a normalidade da questão. Este factoide é famoso dentro do sistema. Temos que conversar com o professor e indicar-lhe estratégias menos óbvias para conseguir um bom índice de acerto em sua matéria.

Este caso é famoso, mostra uma questão com gabarito errado. Percebemos que, dentro da probabilidade de chute de uma alternativa (± 20%), nossa questão gerou 19% de acerto da turma. Os melhores alunos não assinalaram a alternativa do gabarito (errada). Este tipo de problema é resolvido dentro do departamento de correção. Por isso, precisamos de algumas horas antes da divulgação oficial do resultado. Vários acertos são feitos neste período pela equipe de correção.

Podemos entender que a questão 65 é dificílima, mas, neste caso, veja que atingimos um grau de dificuldade não indicado. Os melhores alunos conseguiram destaque, gerando uma discriminação positiva, mas ainda consideramos a questão problemática. Este nível de dificuldade pode estar somado ao não desenvolvimento do conteúdo em sala de aula, problema de estratégia, ou ainda, à turma com baixa quantidade de alunos.

Uma questão importante a ser considerada é o volume de alunos. Uma escola com pequena quantidade de alunos não oferece espaço estatístico para realização de uma análise correta. Mesmo assim, processamos os resultados, mas fica a advertência de atenção. Uma população mínima razoável para estudo será de pelo menos 100 elementos (destacando 20 alunos como 20% melhores). Quanto maior a população, mais fidedigna será sua análise. Para uma melhor compreensão de um resultado, analise seu relatório mais abrangente, ou seja, o relatório total da escola.

Como o sistema poderá ajudar neste caso (de uma pequena população) e, mais que isso, reforçar e melhorar nossa leitura de desempenho?

Para tanto, oferecemos os relatórios ÁBACOS:

Ábacos#

Aqui precisaremos de um conceito utilizado no boletim de alunos: O Ranking.

Ranking é uma classificação percentual. Ele mostra a faixa na qual se enquadra seu rendimento em relação à escola (para seu tipo de prova).

Arrisco dizer que, só pela imagem acima, você já deve estar deduzindo nosso próximo passo. Se você pensou que iremos fazer o ranking das escolas, acertou! Faremos o ranking de todos os itens da prova, sendo eles: Média geral, média de matérias, setores e questões.

Consideraremos cada escola como se fosse um aluno. Assim, geramos o ranking, que posicionará sua escola em relação às outras escolas (para um mesmo tipo de prova). Veja como ficará:

Nossa! Quanta informação! Esta é a beleza desta forma de apresentação. Agora vamos gerar vários exemplos para você se familiarizar.

Ábacos exemplos#

Preste atenção nas bolinhas do ábaco, que indicam o ranking entre todas as escolas que fizeram este mesmo tipo de prova.

Agora sim, temos todas as informações: Média absoluta, média dos 20% melhores alunos e ranking entre todas as escolas do sistema.

Veja a questão Q15, a professora Túnica obteve uma ótima classificação, 70% de ranking, ou seja, ela está na faixa dos 70% melhores colocados com o resultado de sua turma.

Na questão Q16, com baixo índice de acerto (30%), apesar da alta discriminação que projetou os melhores alunos (68%), seu resultado de ranking foi bom, mas entre seus resultados, o menor. Agora sim, está constatado: Professora Túnica deve realizar modificações e ajustes na estratégia específica deste conteúdo. Modificar como? Veja, pelo bom resultado entre seus melhores alunos, para melhorar a compreensão da maioria. Na gíria: 'tirar um pouco o pé do acelerados'.

Professores que possuem grande empatia entre os alunos e são possuidores de grande conteúdo têm a tendência de apertar um pouquinho mais o nível da aula; esse resultado alerta e orienta o professor a voltar para a média, que garantirá o máximo de rendimento para a turma.

A questão Q17 é uma prova disso. Veja que a questão não foi apenas fácil (90%) para os alunos de Túnica, mas também o serviço realizado em sala trouxe o ranking máximo obtido pela professora, um ranking de 78%.

Observação analógica#

Caso você tenha muita dificuldade em entender a terminologia matemática, então siga as instruções visuais.

Conclusão#

Prezados professores, coordenadores e mantenedores, tenham neste instrumento uma ferramenta para melhoria e ajuste de suas estratégias. Utilizem de forma responsável e fraterna, pois foi com este intuito que foi criado.

Eu, como professor durante 30 anos, fiz uso intensivo deste método para ajuste e aperfeiçoamento analítico de minhas estratégias de aula. Passo a passo, prova a prova, sempre aumentando os índices e resultados de minhas turmas.

Não pretendam entender tudo de uma vez; paciência e persistência serão necessárias. As seguidas avaliações, acompanhadas da observância atenta de seus resultados, iluminarão os caminhos, tornando suas decisões seguras e conscientes. Trarão compreensão e novas descobertas na interação com suas turmas.

A calibragem do esforço de uma aula ocorre na inserção de um detalhe, um exercício extra ou básico, um desenho ou analogia que modifica e esclarece o aluno. Agregue em seu planejamento uma cópia dos resultados e compare com as próximas turmas essas modificações. Logo, verá seus resultados caminharem para a melhoria de seu ranking e consequente sucesso de suas turmas.

Deixo aqui minha certeza e testemunho do valor desta ferramenta, e fico feliz de poder dividir com todos os ganhos deste método.