Um artigo publicado no arXiv propõe uma forma diferente de fazer agentes de IA operarem computadores. Segundo os autores, interfaces centradas em capturas de tela e em ações de mouse e teclado impõem um “prior de interação humana”: o modelo precisa interpretar a tela repetidamente, enquanto as capacidades semânticas e programáticas do computador ficam pouco expostas.

O que os autores propõem

A proposta é a Hybrid Computer Use (HCU), uma interface unificada que combina três canais complementares:

  • Programático: interação por código e ferramentas de linha de comando;
  • Semântico: interação pela accessibility (AX);
  • Visual: interação pelas interfaces gráficas (GUI).

A ideia central é expor essas capacidades e deixar o próprio modelo escolher e combiná-las. De acordo com o resumo, uma habilidade complementar, chamada “HCU skill”, orienta o agente a selecionar e coordenar os canais.

Mecanismos citados

  • Ferramentas AX que devolvem observações compactas.
  • Execução de ações em lotes, com os efeitos reportados como “AX diffs”. Segundo os autores, isso reduz o número de trocas de mensagens com o modelo.
  • Proteção contra ações baseadas em estado desatualizado quando o agente troca de canal.

Por que isso importa

Pelo que descreve o resumo, o ganho está em não obrigar o agente a depender sempre da leitura visual da tela. Quando o computador oferece um caminho direto, como um comando ou uma informação semântica, o modelo pode usá-lo e recorrer à visão apenas quando necessário.

Resultados informados

No benchmark OSWorld 2.0, o HCU obteve as maiores pontuações Partial e Binary entre os sistemas comparados. Os autores afirmam que todos os modelos avaliados melhoraram com a interface, que cada um distribui o trabalho entre os canais de forma diferente e que superaram as linhas de base tanto em eficiência quanto em taxa de sucesso.

O resumo não informa quais modelos e linhas de base foram comparados nem os valores numéricos das pontuações; essas informações estão no texto completo do artigo.