Manter uma conversa por vários turnos exige recuperar informações ditas anteriormente, seguir instruções que continuam valendo e acompanhar mudanças no diálogo. O estudo publicado no arXiv investiga se modelos que demonstram essas capacidades em transcrições também as preservam quando recebem a conversa como fala, e se o resultado se repete em diferentes idiomas.
Para fazer a comparação, os autores apresentam o Omnilingua-AudioMC, uma extensão multilíngue do Audio MultiChallenge. Segundo o artigo, o benchmark reúne 354 conversas e 1.404 itens de avaliação distribuídos por dez idiomas. O conteúdo, a sequência de turnos, as dependências entre falas e os critérios de avaliação são alinhados entre as condições de transcrição e de áudio.
Desempenho varia entre modelos e idiomas
Nos testes com seis modelos de linguagem voltados à fala, a passagem de transcrições de referência para entrada direta de áudio produziu diferenças que variaram conforme o modelo e o idioma, de acordo com os autores. Modelos com resultados semelhantes em transcrições podiam ter desempenhos bastante distintos diante da fala. As vantagens relativas entre modelos também mudavam de um idioma para outro.
O artigo destaca que uma pontuação agregada pode ocultar mudanças entre requisitos específicos. Na análise por item, sucessos observados com transcrições podiam deixar de aparecer com áudio, enquanto outros itens apresentavam ganhos. Por isso, uma diferença geral entre as condições não revela, sozinha, quais capacidades foram mantidas.
O papel do contexto anterior
Os pesquisadores também trocaram por transcrições geradas pelo próprio modelo os turnos anteriores do usuário, o turno atual ou ambos. Para os dois modelos com as maiores diferenças entre texto e fala, substituir o histórico melhorou mais o resultado geral do que substituir apenas a fala atual em cada um dos dez idiomas. Já o modelo com melhor desempenho direto em fala teve poucos ganhos com essas substituições.
Com base nos resultados, os autores concluem que o desempenho em transcrições não é um indicador confiável da capacidade de conversação multilíngue por voz. A representação do contexto falado em turnos anteriores aparece no estudo como uma fonte importante de degradação que pode ser recuperada. O código do benchmark está disponível publicamente no repositório indicado pelos autores.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
