Quando um programador trabalha em código real, raramente leva uma única tarefa até o fim de uma vez. Ele costuma deixar várias pendências abertas e voltar a elas depois. Um estudo publicado no arXiv pergunta se os agentes de programação, sistemas de IA que escrevem alterações em repositórios de código, conseguem fazer o mesmo. Segundo os autores, os benchmarks usados até agora avaliam um problema isolado, do início ao patch final, e não medem diretamente essa retomada.
O que é o Switch-SWE
De acordo com a fonte, o Switch-SWE é um benchmark para retomada de tarefa em sessões que intercalam tarefas inacabadas do mesmo repositório. Cada tarefa tem um checkout persistente. A avaliação compara duas sessões com requisitos e verificadores executáveis idênticos: uma sem interrupções e outra em que etapas de outras tarefas são intercaladas. Só o patch final da tarefa-foco é pontuado.
O conjunto reúne 200 tarefas-foco de 19 repositórios Python, reconstruídas a partir de histórico de issues, pull requests e revisões. Essas tarefas geraram 400 especificações de sessão pareadas.
Os principais resultados
- Com 7 agentes avaliados, o trabalho intercalado produziu uma diferença média de 11,5 pontos percentuais na taxa de resolução da tarefa-foco.
- A diferença variou de 6,0 a 15,0 pontos percentuais, conforme o agente.
- A análise de trajetórias identificou confusão de requisitos entre tarefas e perda do estado da tarefa como comportamentos recorrentes.
Para reduzir esse problema, os autores propõem um módulo de gerenciamento de contexto que se conecta a agentes. Segundo o texto, no OpenCode ele melhora a conclusão da tarefa-foco quando há troca de tarefas no mesmo repositório, em 5,5 a 15,5 pontos percentuais entre os modelos testados. O módulo seleciona o histórico relevante para a tarefa e mantém resumos concisos do estado de cada uma.
O que ainda não está claro
O resumo não informa quais são os sete agentes avaliados nem os resultados individuais de cada um, e os números completos devem estar no artigo. O código está disponível no GitHub, segundo a fonte.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
