AI FRONTIER
Signals worth understanding before they become obvious.
StateBench: testar como os modelos de linguagem acompanham mudanças de estado em documentos longos
A Ai2 apresenta o StateBench, um benchmark de rastreamento de estado em contexto longo com quatro níveis de dificuldade, que avalia quão bem os modelos de linguagem acompanham informações sobre entidades à medida que evoluem em documentos longos.
- O StateBench tem quatro níveis de dificuldade: r-trivial (atribuição imutável), aperiódico (reatribuição por valor), solúvel (atualizações autorreferenciais) e geral finito (atribuição por referência).
- Nos testes com modelos pré-treinados, quase todos tiveram bom desempenho em r-trivial, perderam precisão em aperiódicos conforme as entradas cresciam e ficaram no nível do acaso em problemas gerais finitos.
Desenvolvedores de sistemas de contexto longo devem avaliar arquiteturas separadamente por complexidade de rastreamento de estado, pois transformers falham no nível mais difícil mesmo com treinamento direto, enquanto Gated DeltaNet e design...
Custo por tarefa: usar classificadores baratos para rotear entre modelos Gemini e níveis de pensamento
Uma publicação do blog Google for Developers aborda o roteamento sob a ótica do custo por tarefa, usando classificadores baratos para rotear entre modelos Gemini e níveis de pensamento.
- A fonte é o blog Google for Developers, sobre o tema de custo por tarefa.
- A abordagem usa classificadores baratos para rotear entre modelos Gemini e níveis de pensamento.
Para quem constrói com IA, deixar a decisão de roteamento a cargo de um classificador de baixo custo permite alocar computação por tarefa entre modelos e níveis de pensamento.
Anthropic relata progresso em inferência demonstrável para grandes modelos de linguagem
A Anthropic publicou uma atualização de pesquisa sobre o progresso rumo à inferência demonstrável em grandes modelos de linguagem.
- A fonte é a Anthropic; a categoria é pesquisa.
- O tema é o progresso em inferência demonstrável para grandes modelos de linguagem.
Avanços em inferência demonstrável podem oferecer aos desenvolvedores garantias mais fortes sobre a correção do raciocínio, o que merece acompanhamento.
Agentic World Modeling para escalonamento em tempo de teste de agentes sem réplica de ambiente
O artigo apresenta o Agentic World Modeling (AWM), que reformula a predição da próxima observação como uma tarefa de aquisição de evidências em múltiplos turnos: um simulador agêntico consulta o ambiente real por meio de interfaces seguras somente leitura, raciocina sobre as evidências retornadas e usa computação execu...
- O artigo relata que o AWM supera uma linha de base de simulação de disparo único em 40,07% em média nos conjuntos τ-bench, AppWorld e OfficeBench.
- O artigo relata que o AWM supera uma linha de base de world model treinada em 12,36% em média.
- O AWM consulta o ambiente real por meio de interfaces seguras somente leitura e afirma não alterar o estado compartilhado.
Para quem constrói agentes, o AWM oferece um caminho para explorar trajetórias em paralelo em um único ambiente compartilhado sem replicá-lo, o que importa quando o estado de produção não pode ser reiniciado.
CWE-bench v2: mais cobertura, qualidade e transparência
A Collinear AI lança o CWE-bench v2, um conjunto público de 100 tarefas abrangendo 91 CWEs com pontuação programática determinística, além de um conjunto reservado para acompanhar o progresso.
- O conjunto público contém 100 tarefas cobrindo 91 CWEs diferentes.
- Dos 11 modelos avaliados, o Gemini 4 Argon lidera com 67,8% pass@1 e 81,0% pass@4, à frente do Claude Opus 5.5 com 67,3% pass@1 e 78,0% pass@4.
- 95 tarefas são resolvidas por pelo menos um modelo, mas até o líder falha em 19% do conjunto em todas as tentativas.
- O DeepSeek V4.1 Flash alcança 57,0% pass@1 a US$ 0,04 por rollout, o Opus a US$ 1,83 e o Gemini a US$ 3,92.
Os desenvolvedores podem executar este benchmark determinístico diretamente do repositório Hugging Face e reutilizar os mesmos ambientes e verificadores como recompensas de RL para treinar agentes defensivos.
DeepSeek lança o modo Criador e planeja pré-treinar o próximo grande modelo em chips Huawei Ascend
Segundo o ThePaper.cn, a DeepSeek lançou o modo Criador e planeja pré-treinar seu próximo grande modelo em chips Huawei Ascend.
- O ThePaper.cn informa que a DeepSeek lançou o modo Criador.
- O ThePaper.cn informa que a DeepSeek planeja pré-treinar seu próximo grande modelo em chips Huawei Ascend.
Se o próximo modelo for de fato pré-treinado em Ascend, os desenvolvedores de IA precisarão avaliar custos de migração e maturidade do ferramental fora da NVIDIA.
Escalar o Git na OpenAI: o backend Pando
A OpenAI construiu o Pando, um backend compatível com Git projetado para a escala de desenvolvimento que o Codex torna possível.
- O Pando é descrito como um backend compatível com Git.
- A OpenAI afirma que o Pando foi projetado para a escala de desenvolvimento que o Codex torna possível.
Para os construtores de IA, isso indica que a adoção de agentes de codificação está impulsionando reformulações da infraestrutura interna de controle de versão.
baidu/Unlimited-OCR-2: um modelo OCR multimodal de 3,3B parâmetros com SR-SWA para análise de documentos sem limite de comprimento
A Baidu lançou o Unlimited-OCR-2, que usa Sparse Reference Sliding Window Attention (SR-SWA) para comprimir as interações de atenção texto-visual em um conjunto de referências de tamanho fixo (por exemplo, 512 tokens), mantendo a latência de decodificação por passo e o uso de memória quase constantes independentemente ...
- O modelo tem 3,3B parâmetros, usa tipos de tensor I64 e BF16 e é distribuído sob licença MIT.
- O SR-SWA comprime as interações de atenção texto-visual em um conjunto de referências de tamanho fixo (por exemplo, 512 tokens), mantendo a latência de decodificação por passo e o uso de memória quase constantes.
- O artigo relata desempenho de ponta tanto em benchmarks de dezenas de páginas, como o MPDocBench, quanto em benchmarks extremos de centenas de páginas, como o MarathonDocBench.
- O Transformers foi testado com Python 3.10, torch 2.13.0 e transformers 4.52.1 em uma NVIDIA A800-80GB; o SGLang é recomendado para servir o modelo.
Para quem constrói pipelines de análise de documentos, o SR-SWA transforma o custo de atenção de documentos longos de dependente do comprimento em quase constante, permitindo analisar documentos de centenas de páginas em uma única requisiçã...