Leis mudam com o tempo, e uma decisão judicial é tomada com base na lei em vigor naquele dia. Mesmo assim, muitos testes de perguntas jurídicas comparam as respostas com a lei atual. Um preprint publicado no arXiv examina esse problema com o direito da Tailândia. Segundo o texto, os autores analisaram 156.650 decisões de quatro tribunais tailandeses e encontraram que, em alguns casos, até 67% das decisões citam leis que já foram alteradas ou revogadas.
A fonte trata apenas do direito tailandês. Ela não analisa outros países, inclusive o Brasil.
O que é o NitiBench+
O NitiBench+ é a continuação do NitiBench, um benchmark de perguntas e respostas jurídicas em tailandês. A nova versão tem 1.670 itens em 17 áreas do direito, construídos a partir de decisões de três tribunais. Para cada artigo citado, o conjunto traz tanto o texto em vigor na data da decisão quanto o texto atual. O corpus de busca guarda todas as versões datadas de cada artigo de lei.
As respostas são avaliadas por dois critérios: a rubrica do Conselho da Ordem tailandesa (chamada na fonte de Thai Bar Council rubric) e a sobreposição entre os artigos citados pelo modelo e os citados pelo tribunal.
Quanto custa usar o texto errado
A primeira parte do estudo mediu 13 modelos de pesos abertos. Segundo os autores, ler o texto atual de uma lei alterada reduz a pontuação em 0,25. Quando falta uma lei revogada, a queda é de 0,79.
A penalidade vem principalmente de mudanças de regra: foi de 0,45 nos 428 itens com mudança de regra e nula nos 331 itens em que a mudança foi apenas de redação. Segundo a fonte, a métrica de sobreposição de citações (Citation F1) não detecta esse problema. Os autores defendem que o texto em vigor na data da decisão é a configuração justa para a avaliação.
Como os modelos se saíram
A segunda parte avalia modelos atuais com o texto em vigor. Um placar público classifica 26 modelos em um conjunto de teste de 500 itens, estratificado por área. Os modelos foram avaliados de três formas: apenas com a memória, com os artigos do tribunal fornecidos e como agentes de busca sobre a lei em vigor. O estudo também registra o custo por item e as citações inventadas.
- Melhor modelo: 7,78 de 10.
- Melhor modelo de pesos abertos: 6,39 de 10.
- Sem ferramenta de busca, apenas cinco modelos de pesos abertos lembram alguma lei tailandesa.
- Com busca, 20 dos 26 modelos melhoram e seis pioram.
O que ainda não foi informado
A fonte diz que o placar vai aceitar novos modelos conforme forem lançados, mas não traz uma data de atualização. Os autores concluem que benchmarks jurídicos precisam acompanhar as datas das normas e que, mesmo com o texto correto, os modelos atuais ainda têm uma distância grande em relação ao direito tailandês.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
