Modelos de linguagem de grande porte já resolvem problemas matemáticos difíceis e, muitas vezes, produzem provas corretas. Mas um artigo publicado no arXiv argumenta que acertar não basta. Segundo os autores, uma demonstração também deve ser clara, esclarecedora, transmitir conhecimento reutilizável e ser útil para quem a lê. Como essas qualidades dependem do leitor e do contexto, o estudo tenta transformar em critérios mensuráveis os componentes que consegue isolar.
Os cinco critérios do ProofRank
De acordo com o resumo, o benchmark, construído a partir de competições matemáticas exigentes, mede cinco aproximações da qualidade de uma prova:
- Concisão: se a prova evita passos desnecessários.
- Facilidade computacional: até que ponto a prova depende de cálculos trabalhosos.
- Simplicidade cognitiva: quão acessíveis são as técnicas empregadas.
- Diversidade: o quanto variam as provas que um mesmo modelo produz para um único problema.
- Adaptabilidade: a capacidade do modelo de seguir uma técnica especificada.
O que os autores encontraram
Segundo o resumo, a qualidade das provas varia de forma considerável entre modelos, em dimensões que a correção praticamente não captura. Outro resultado é que cada aproximação de qualidade pode ser ajustada por meio de instruções (prompts), mas isso costuma custar um pouco de correção.
