Muita gente já pergunta a modelos de linguagem sobre temas religiosos. Um estudo publicado no arXiv mostra um risco específico desse uso: quando o assunto é o texto exato de um hadith, os modelos abertos testados erram com frequência. Hadith, segundo a própria pesquisa, são registros dos ditos e ações do Profeta Muhammad.
O que foi testado
Os autores criaram um benchmark em inglês e em árabe. Cinco modelos abertos, executáveis localmente, foram avaliados: Mistral-7B, Gemma3-4B, Jais-7B, ALLaM-7B e Phi4-mini-3.8B. As perguntas cobriram as seis principais coletâncias sunitas: Sahih al-Bukhari, Sahih Muslim, Sunan Abi Da'ud, Jami' al-Tirmidhi, Sunan an-Nasa'i e Sunan Ibn Majah. Foram amostrados 500 hadith por coletânea.
Cada modelo recebia apenas a referência bibliográfica (coletânea, capítulo e número) e precisava reproduzir o texto exato, sem acesso a qualquer fonte externa. As respostas foram avaliadas por fidelidade lexical (BLEU) e semântica (similaridade de cosseno multilíngue), e as recusas foram contadas à parte.
Principais resultados
De acordo com o estudo, nenhuma das 30.000 respostas atingiu, ao mesmo tempo, alta fidelidade lexical e semântica, ou seja, uma correspondência exata e verificável com a fonte. Além disso, as respostas em árabe foram uniformemente piores que as em inglês.
A tabela abaixo mostra apenas os tamanhos dos modelos informados no texto da pesquisa. O resumo não traz as pontuações individuais de cada modelo.
Por que isso importa
O artigo lembra que a recuperação de hadith é uma tarefa de alto risco e verificável: cada referência tem um único texto correto, e qualquer desvio é uma fabricação que pode ser confundida com escritura autêntica. Por isso, os autores afirmam que modelos abertos usados sem recuperação de fontes são fontes pouco confiáveis e potencialmente perigosas para citar textos religiosos com exatidão.
A recomendação do estudo é que aplicações de estudo islâmico usem geração aumentada por recuperação sobre um corpus verificado, em vez de depender apenas da memória do modelo.
O que ainda não sabemos
O título sugere que os modelos identificam o hadith certo, mas apenas o texto da pesquisa disponível aqui não detalha essa parte. O código, os prompts e as respostas pontuadas estão públicos no repositório indicado pelos autores.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
