Faltam perguntas, sobram respostas

1 Faltam perguntas, sobram respostas

Por décadas, a desigualdade educacional brasileira foi descrita como problema de acesso: acesso a livros, a laboratórios, a professores bem formados. Esse diagnóstico envelheceu depressa.

Conteúdo explicado com paciência, no nível de linguagem que o aluno pedir, a qualquer hora, deixou de ser escasso. O que continua escasso é outra coisa: saber o que perguntar, entender a resposta e duvidar dela. É aí que a desigualdade se reorganiza.

O Center for Curriculum Redesign organiza a escola em quatro dimensões — conhecimento, habilidades, caráter e meta-aprendizagem — e sustenta que a era da IA desloca o peso para as três últimas (Fadel et al., 2024). Nossa contribuição não é o arcabouço; é o que acontece quando uma organização pequena tenta operá-lo com voluntários leigos em escola pública, e depois tenta medir o resultado.

A hipótese tem consequência prática imediata. Se o que falta é a pergunta, a aula não precisa de um especialista que transmita conteúdo; precisa de alguém que dispare a pergunta e depois obrigue o aluno a apresentar e revisar a resposta. Um voluntário treinado num protocolo fixo dá conta disso. Fomos testar, e este texto relata o que aconteceu — inclusive o que deu errado na medição.

Três perguntas organizam o relato:

• PP1. Voluntários sem formação em docência, treinados num protocolo fixo, conseguem conduzir aulas mediadas por IA em escala?
• PP2. Existe relação entre exposição ao programa e desempenho num teste de conteúdo?
• PP3. O que acontece com a validade dessa medição quando o avaliado tem IA disponível?

2 Fevereiro de 2023

Para responder a essas três perguntas, começamos pela origem: como uma ideia de dois empreendedores virou, em três anos, uma rede de mais de mil alunos.

O ChatGPT chegou ao Brasil em janeiro de 2023. A primeira aula do Professor Voluntário aconteceu em fevereiro, já inteiramente desenhada em torno da ferramenta. Os dois fundadores são empreendedores de tecnologia formados em administração, que aprenderam a programar pesquisando no Google — caminho que, nas palavras deles, hoje está "a um prompt de distância".

A primeira turma teve vinte alunos, acompanhados de perto. Dela saíram jogos criados pelos próprios alunos, e-books escritos e vendidos na internet, músicas produzidas a partir de pesquisa autônoma e aprovações em processos seletivos concorridos. Registramos isso pelo que é: evidência anedótica de um grupo pequeno e intensamente acompanhado, sem instrumento e sem contrafactual.

De 2024 em diante a rede cresceu de quinze para mais de mil alunos, em escolas públicas e instituições sociais, e o acompanhamento individual deixou de ser possível. Foi essa perda que nos levou a instituir um teste padronizado — e, com ele, os problemas que este texto discute.

3 Nós não ensinamos; o aluno aprende

Antes de tratar do que o teste mediu, vale explicar o que exatamente estamos testando: o método por trás da aula.

O método cabe numa frase e é deliberadamente pobre em invenção: o voluntário não explica a matéria antes. Ele provoca, manda pesquisar e cobra apresentação.

O protocolo de cinco passos

• Provocação. Pergunta fechada ou dinâmica curta que crie curiosidade sobre o tema.
• Pesquisa na IA. O aluno formula prompts, testa formatos e refaz a pergunta quando não entende.
• Estudo. Leitura e interpretação da resposta obtida.
• Apresentação. O aluno conta à turma o que entendeu. É o passo que separa o método do copia-e-cola.
• Explicação do professor. Fecha, corrige e conecta.

A regra para o voluntário é não sair dos cinco passos, qualquer que seja o assunto.

Disparar, não ensinar

O passo dois é onde o trabalho do voluntário aparece, e ele é mais estreito do que "ensinar": é disparar. O aluno já tem a ferramenta e já está à vontade com ela. O que falta é um motivo para abri-la, uma primeira pergunta que valha a pena e um formato que transforme a resposta em algo que ele precise processar, em vez de copiar. Por isso o voluntário carrega um repertório pequeno e fixo de prompts — seis, escritos para um adolescente digitar tal como estão e depois modificar.

O repertório não é um menu de opções equivalentes. Cada modelo tem uma função, e a função define em que momento da aula ele pode ser usado. São três papéis, encaixados nos cinco passos:

A distinção entre os três papéis é a parte que o voluntário mais erra, e é nela que o treinamento insiste. Prompt de provocação usado depois do estudo não acrescenta nada; prompt de fixação usado no lugar da pesquisa produz aluno que recita um meme e não explica nada. Os quadrinhos são o único modelo que funciona legitimamente nas duas pontas — como provocação de abertura ou como resumo depois — e, ainda assim, nunca no lugar do prompt de explicar.

Duas decisões de projeto importam mais que a lista. Primeiro, a pesquisa nunca é opcional: os formatos lúdicos provocam ou fixam, mas a compreensão acontece quando o aluno lê uma explicação de verdade e pergunta de novo sobre a parte que não entrou. Segundo, todo modelo termina em algo que o aluno precisa fazer na frente de outras pessoas — comparar, apresentar, defender a piada, responder a próxima pergunta. O prompt começa o processo; a sala é o que impede que ele termine em parágrafo copiado.

Visto assim, o papel do voluntário não é saber a matéria. É disparar: escolher a provocação, entregar o modelo certo no momento certo, e então exigir que a resposta vire fala.

A escala de participação

O instrumento pedagógico central não é o teste; é a escala com que o voluntário classifica a participação de cada aluno:

A meta de cada aula é subir um nível, nunca saltar do zero ao quatro. O nível 4 é a definição operacional da nossa tese: o aluno que duvida da máquina e faz a pergunta seguinte. Vale dizer desde já uma limitação: até hoje essa escala vive no julgamento informal do voluntário e nunca foi registrada como dado — falha que a seção 8 se propõe a corrigir.

O futuro é de quem souber fazer as perguntas certas para as inteligências artificiais, ler e interpretar as respostas, e ter senso crítico para criticá-las e fazer novas perguntas que aprofundem o conhecimento.

Isso é dito em voz alta no início de cada aula. Não é slogan institucional: é instrução ao aluno sobre o que se espera dele na próxima hora.

4 Como se fabrica um professor

Esse método só serve se sobreviver sem os fundadores na sala. Daí a pergunta desta seção: como se forma, em série, alguém capaz de aplicá-lo?

Um método que depende dos fundadores não se repete em massa. A resposta foi transformar a prática em material: cada aula documentada interação a interação, com referência, tipo de interação, objetivo, script sugerido, tempo estimado e método de mensuração. São 257 interações registradas nos dois módulos de educação financeira. O voluntário recebe o plano e é livre para conduzir à sua maneira, desde que os cinco passos sobrevivam.

O compromisso pedido é de duas horas por semana, doze aulas, mais o treinamento no método. Cada voluntário tem um "professor concierge" designado, disponível por WhatsApp para dúvidas e emergências de sala.

A captação fecha o ciclo, e merece atenção porque é o que sustenta a escala sem orçamento: ao fim de cada aula o voluntário preenche um formulário e envia fotos; a organização publica um post marcando quem deu a aula; o voluntário compartilha com a própria rede; chegam novos candidatos. Quem entrega o serviço é também o canal de aquisição, e a contrapartida é reconhecimento público. O custo marginal de uma turma a mais é, essencialmente, coordenação.

Das 130 pessoas que responderam a essa pergunta, 90 (69%) vieram de redes sociais e 35 (27%) de indicação de amigo ou conhecido; uma veio de evento e quatro marcaram "outro". Ou seja, 96% do funil de voluntários chega por canais que os próprios voluntários alimentam — sem verba de anúncio, sem recrutamento pago.

O funil, como registrado no nosso sistema: 124 pessoas se inscreveram, 61 foram aprovadas (49%) e 52 delas chegaram ao grupo de WhatsApp (85% dos aprovados). Trinta e dois voluntários já deram aula em mais de um batch, taxa de retorno de 37% entre os 86 com ao menos um batch registrado. São seis escolas cadastradas, e 86 formulários pós-aula cobrem 85 aulas distintas. Reportamos esses números com uma admissão junto: a alocação em turma específica e as datas de cada etapa do funil não são gravadas de um jeito que permita calcular tempo de conversão — lacuna da nossa própria instrumentação, que o próximo batch corrige.

5 O filtro que fabricava resultado

O que segue é o que quase não vimos — e é por isso que ele vem antes dos números.

Os alunos respondem o teste com o celular na mão. Notas altíssimas apareciam em pré-testes de turmas que nunca tinham tido aula, concentradas em certos dias e certas turmas, às vezes com padrões de resposta idênticos entre colegas. Diante disso, a equipe adotou uma regra de limpeza que parecia sensata: descartar as respostas de pré-teste acima de 15 pontos, por serem "impossíveis".

Ninguém propôs a regra simétrica. Nota alta no pós-teste não parecia impossível — parecia sucesso.

Vale explicitar a magnitude: cerca de três quartos do "resultado" que poderíamos ter reportado vinham da régua, e não das aulas. E há um agravante que só descobrimos ao reconstruir a análise: como o teste passou de 28 para 31 questões em meados de 2025, o mesmo corte de 15 pontos significava exigências diferentes em cada época.

Abandonamos a regra. Passamos a reportar o ganho intra-aluno e a relação dose-resposta, ambos publicados aqui com o n na frente, e mantemos a análise de sensibilidade como parte permanente do relatório, para que qualquer leitor veja o efeito de cada escolha de limpeza.

6 Como medimos, e o que encontramos

Do lado dos voluntários, a medição ainda tem lacunas. Do lado dos alunos existe instrumento dedicado desde 2024.

O instrumento é um teste de conteúdo de educação financeira aplicado por formulário, respondido antes e depois das aulas. Quem declara nunca ter tido aula do módulo entra como pré-teste; quem declara já ter tido entra como pós-teste e informa também quantas aulas assistiu. O desenho é, portanto, pré-pós com grupos não equivalentes — não são as mesmas pessoas nem foram sorteadas, apenas comparáveis —, sem randomização e sem grupo de controle — a fragilidade que a seção 8 tenta resolver daqui para a frente.

Duas notas técnicas, por honestidade. Primeiro, o formulário mudou de tamanho no meio do caminho: 277 respostas foram coletadas numa versão de 28 questões, entre fevereiro de 2024 e maio de 2025, e 366 numa versão de 31 questões, de junho de 2025 em diante. Todos os números aqui recalculam a nota sobre as 28 questões comuns, para que as duas épocas sejam comparáveis. Para leitura rápida, vale a conversão: o teste tem 28 questões, então as médias de 14,6 e 16,2 equivalem a 5,2 e 5,8 numa escala de 0 a 10, e o ganho de 3,1 dos alunos pareados equivale a 1,1 ponto nessa escala. Segundo, o gabarito não nos foi entregue: foi deduzido das respostas e reproduz a nota exata registrada em 271 das 277 linhas da versão original.

A amostra inteira primeiro

Comparando todos os que fizeram o teste antes de qualquer aula com todos os que fizeram depois, a nota vai de 14,6 (n = 416, dp 5,8) para 16,2 (n = 286, dp 6,2). A diferença é de 1,6 ponto numa escala de 28. O teste estatístico indica que ela não é acaso (p = 0,0006), e o intervalo de confiança de 95% diz que o efeito real está entre 0,7 e 2,5 pontos. Em tamanho de efeito — a diferença dividida pela variação natural entre alunos — isso dá d = 0,27, que é um efeito pequeno.

A objeção óbvia é composição: os dois grupos não são os mesmos alunos, e algumas escolas estão super-representadas de um lado — Pão dos Pobres e Nações Unidas pesam mais no pré, Bahia pesa mais no pós. Então reestimamos a diferença dentro de cada escola e dentro de cada ano de aplicação, e ponderamos os resultados de volta. Nenhum dos controles derruba o efeito: a diferença ponderada por escola é de 1,7 ponto e a ponderada por ano é de 1,5, contra 1,6 no bruto. Seja lá o que isso é, não é artefato de qual escola respondeu quando.

A linha destacada é a que defenderíamos com mais força. Ela compara alunos que todos passaram pelo programa, diferindo apenas em quanto dele receberam, o que elimina a questão de quem escolheu ser medido e quando. É também a linha com menos bagagem estatística, e fica em torno de meio desvio-padrão.

Para dar escala: a metanálise de tutoria na educação básica de Nickow, Oreopoulos e Quan (2020) encontra efeito agrupado de 0,37 desvio-padrão em 96 ensaios randomizados, com efeitos menores para tutores não profissionais do que para professores e paraprofissionais. Nosso 0,47 fica nessa vizinhança, entregue por voluntários sem formação em docência e a custo marginal próximo de zero — mas vem de comparação sem randomização, então a leitura correta é "mesma ordem de grandeza", e não "melhor que tutoria".

A dose importa

Entre os alunos que já tiveram aulas, o desempenho acompanha a quantidade de aulas assistidas. É o resultado mais robusto que temos, porque não depende de identificar o mesmo aluno duas vezes e porque a comparação acontece inteiramente dentro do grupo exposto.

O primeiro degrau é instrutivo: quem teve de uma a três aulas não está melhor do que quem não teve nenhuma. O efeito aparece depois da terceira aula e se consolida depois da sexta. Isso é coerente com um método que depende de o aluno mudar de comportamento, e não de receber informação — mudança que leva algumas semanas. Tratando as quatro faixas como uma escala crescente, cada degrau acrescenta 0,87 ponto em média, com margem de erro de 0,18. Mas vale o contraponto: sozinha, a quantidade de aulas explica só 3% da variação das notas — o resto vem de coisas que não medimos.

O mesmo aluno, como checagem

Identificar o mesmo aluno nas duas pontas foi mais difícil do que esperávamos. Nome e e-mail são campos livres, cheios de abreviações e erros de digitação, então aplicamos uma cascata de critérios: e-mail idêntico; nome completo mais escola; nome aproximado por distância de edição na mesma turma; e-mail com domínio digitado errado. A cascata rendeu 81 pares. O teto é baixo por um motivo que não é técnico: na maioria das turmas, o pré-teste e o pós-teste foram respondidos por alunos diferentes, em aplicações separadas por meses ou anos.

Nesses 81 alunos, o ganho médio foi de 3,1 pontos em 28, com mediana de 3 e metade dos casos entre 0 e +7. Melhoraram 69%, ficaram iguais 6% e pioraram 25%. O ganho é maior em quem começou pior — 6,6 pontos no quartil inferior contra 1,3 no superior — mas essa relação inversa entre nota inicial e ganho (ρ = −0,37, moderada) é também o que dois efeitos conhecidos produziriam sozinhos: quem começa muito baixo tende a subir na segunda medição mesmo sem intervenção nenhuma, e quem já começa perto do máximo tem pouco espaço para melhorar, e por isso não a tratamos como evidência de que o programa favorece os mais fracos.

Uma ressalva pertence a este número, e não ao fim do texto: quem aparece nas duas pontas é quem ainda estava lá no fim e preencheu o formulário direito. Medimos os não pareados para checar isso — entre eles o ganho é de 1,0 ponto, contra 3,1 dos pareados, e os dois grupos chegam iguais no pré (14,60 contra 14,58) e terminam diferentes no pós. O número pareado, portanto, é o efeito em quem ficou, não o efeito médio do programa. A mesma ressalva vale para a tabela de dose: quem chega à sexta aula não é amostra aleatória de quem começou.

Confiança declarada

O formulário também pede que o aluno se avalie de 1 a 5 em duas dimensões. A primeira quase não se move: o conforto para estudar com ferramentas de IA já chega alto, 4,1 antes e 4,1 depois, com metade dos alunos marcando o máximo antes da primeira aula. A segunda se move: o conforto para conversar com alguém sobre economia sobe de 2,5 para 2,8, e entre os alunos pareados a variação média é de +0,24. A leitura é direta: eles não precisam de nós para perder o medo da máquina; precisam de nós para ter o que dizer.

O que eles escrevem sobre a ferramenta

O mesmo formulário carrega, desde março de 2024, duas perguntas abertas — o que você entende que o ChatGPT é? e como você entende que ele pode ajudar na sua educação? — que somam 1.272 respostas em texto livre. Comparando o vocabulário antes e depois, com flexões e sinônimos agrupados em famílias e teste z sobre a proporção de respostas que contêm cada família, dois movimentos se destacam e o resto do vocabulário fica parado.

Os alunos descrevem o objeto de outro jeito: menos gente nomeia uma entidade ("uma inteligência artificial") e mais gente nomeia um instrumento ("uma ferramenta", "um recurso") — deslocamento mais forte na pergunta que pede o que o ChatGPT é, em que a família ferramenta sobe de 24,3% para 33,6% das respostas (p = 0,011). E eles param de declarar desconhecimento: as vinte e cinco formas catalogadas de escrever "não sei", de "n sei" a "nunca usei", caem por um fator de dois e meio entre quem escreveu alguma coisa. O que não se move é a linguagem da crítica: menções a erro, conferência, fonte ou dependência ficam em torno de 4% antes e depois, sem gradiente por número de aulas.

As duas nuvens

O mesmo corpus, visto por palavra: à esquerda quem ainda não teve aula, à direita quem já teve. O tamanho é a porcentagem de respostas em que a palavra aparece. A nuvem ilustra, mas quem decide é a tabela acima — nuvem mostra quem escreveu mais, não quem mudou.

Lemos isso como fronteira, não como vitória. Doze aulas usando IA mudam o modo como o aluno nomeia a ferramenta e tiram o "não sei", mas não produzem, por si sós, alunos que falem dos limites dela. É a lacuna que a seção 7 tenta endereçar. Duas ressalvas valem: antes e depois são, em sua maioria, alunos diferentes, e as respostas têm em média doze palavras nas duas pontas — brevidade que um instrumento mais rico evitaria.

7 A prova morreu; viva a pergunta

O problema de fundo não é a nossa regra. É que, numa prova de conteúdo respondida com IA disponível, o sinal de aprendizado e o sinal de consulta são idênticos na folha de respostas. Nenhum critério estatístico separa os dois de forma defensável, e toda tentativa de separá-los embute a expectativa de quem escreveu o critério. O problema é geral: no Brasil, 70% dos alunos de ensino médio usuários de internet já usam IA generativa em pesquisas escolares, e apenas 32% receberam alguma orientação da escola sobre como usá-la (TIC Educação 2024).

A saída que propomos não é proibir a ferramenta, e sim medir o que ela não entrega sozinha. Quatro eixos, apresentados como agenda a testar e não como instrumento validado:

• Qualidade da pergunta. Dada uma situação concreta — decidir se vale parcelar uma compra, por exemplo — o aluno escreve os prompts que faria. Avalia-se contexto, especificidade e a presença de uma segunda pergunta que aprofunda.
• Crítica da resposta. O aluno recebe uma resposta de IA com um erro plantado, normalmente numérico, e responde o que está errado, como verificaria e o que perguntaria em seguida.
• Explicação oral sem leitura. Um minuto de exposição sem ler, avaliado por rubrica simples. É o que a escala de participação já faz em sala, e é resistente à consulta por construção.
• Transferência. Aplicação do conceito a um caso novo, apresentado em aula, sem enunciado disponível para alimentar a máquina.

Os dois últimos já existem na nossa prática e só precisam ser registrados como dado. Os dois primeiros são o que falta. Arcabouços para decidir quanta IA uma avaliação deve permitir já existem — a AI Assessment Scale de Perkins, Furze, Roe e MacVaugh (2024) é o mais claro —, mas um arcabouço que fixa o nível permitido não é a mesma coisa que um instrumento que pontua a qualidade da pergunta do aluno ou a crítica dele a uma resposta. Não achamos instrumento validado para nenhum dos dois, o que é, ao mesmo tempo, nossa lacuna e nossa proposta de contribuição.

Há razão para levar o desenho pedagógico a sério, e não apenas o acesso à ferramenta: num experimento de campo com cerca de mil alunos de ensino médio, o acesso a um assistente genérico melhorou o desempenho durante a prática, mas deixou os alunos piores numa prova feita sem IA, enquanto a versão com salvaguardas pedagógicas eliminou o dano (Bastani et al., PNAS, 2025). Nosso protocolo aposta exatamente nesse ponto: a apresentação oral é a salvaguarda que impede a pesquisa de terminar em transcrição.

8 Limitações, próximos passos e um convite

Nada disso resolve as fragilidades do desenho que já rodamos. Vale nomeá-las antes de propor o que vem a seguir.

O que este estudo não permite afirmar

• Não há grupo de controle: nada aqui isola o efeito do programa de maturação, de outras aulas ou de seleção.
• A exposição é autorrelatada, em faixas.
• O gabarito é inferido, e o instrumento mudou de tamanho no meio da série histórica.
• Escolas, turmas e anos estão agregados; células pequenas têm médias instáveis.

O protocolo dos próximos lotes

• Pré-teste e pós-teste aplicados na mesma turma, com identificador de aluno gerado pelo sistema em vez de nome digitado.
• Regras de limpeza fixadas antes de olhar o resultado e aplicadas simetricamente, com a análise de sensibilidade publicada junto.
• Escala de participação de 0 a 4 registrada no início e no fim de cada módulo, com exemplos-âncora por nível e dupla codificação numa amostra, para medir concordância entre voluntários.
• Um bloco de avaliação com IA liberada, cobrindo os dois primeiros eixos acima.

O convite

Mantemos de quinze a vinte turmas de escola pública funcionando ao mesmo tempo, conduzidas por voluntários treinados no mesmo protocolo. Isso torna possível o que faltou a este estudo: alocar turmas a variações do método e observar a diferença. Colocamos essa rede à disposição de pesquisadores interessados em desenhar e testar avaliação para a era da IA — inclusive testes contra a nossa própria hipótese. Os dados e os scripts de análise por trás deste relato estão disponíveis em formato desidentificado.