AI FRONTIER
Signals worth understanding before they become obvious.
One Model to Loop Them All: recorrência latente elástica para modelos de linguagem
O artigo apresenta o Elastic Latent Recurrence (ELR), uma receita para treinar modelos de linguagem com laços em que, com um laço, o custo de servir é igual ao de um modelo não recorrente do mesmo tamanho e a precisão é semelhante, e cada laço adicional compra mais precisão em troca de mais computação de inferência.
- Em modelos híbridos 4B denso e 30B-A3B MoE, o ELR com um laço fica 0,52 ponto abaixo e 1,04 ponto acima da linha de base correspondente numa média de dez tarefas, e quatro laços acrescentam 7,25 e 4,75 pontos.
- Em modelos MoE, reutilizar as rotas de especialistas do primeiro laço nos laços seguintes reduz o tempo de atualização de profundidade mista em 11,7%, sem mudança mensurável de precisão.
- Na inferência, manter apenas o cache KV de atenção do último laço mantém a memória KV de atenção no nível de um laço e retém a maior parte do ganho dos laços adicionais.
- Levada até o pós-treinamento, a receita produz o Koi-4B, um único checkpoint que obtém uma estimativa de 18 no Artificial Analysis Intelligence Index com um laço, igualando o Qwen3.5-4B, e 29 com quatro laços.
Como um único checkpoint pode trocar número de laços por latência e precisão, modelos com laços tornam-se viáveis para serviço sensível à latência.
SpireBench: avaliar o jogo estratégico de longo prazo de modelos agênticos com Slay the Spire
O artigo apresenta o SpireBench, no qual os modelos jogam o jogo comercial completo de construção de baralho Slay the Spire na dificuldade máxima para avaliar o raciocínio estratégico de longo prazo de 20 grandes modelos de linguagem.
- O artigo avalia 20 grandes modelos de linguagem na dificuldade máxima de Slay the Spire.
- O artigo relata que modelos de fronteira superam baselines heurísticas e igualam o jogador humano médio, mas permanecem muito atrás dos especialistas.
- O artigo relata que os modelos mais fortes vencem o primeiro ato com a mesma frequência que os especialistas e depois ficam para trás conforme a partida se alonga.
Para desenvolvedores de agentes, o SpireBench oferece um benchmark de longo prazo que localiza onde os agentes falham e aponta fraquezas específicas no julgamento de risco e no uso de memória.
Além das recompensas verificáveis binárias: autorrecompensa comportamental para agentes SWE
O artigo apresenta o Behavioral Self-Rewarding (BSR), um método de refinamento de recompensa que reutiliza a política para comparar comportamento de depuração observável entre trajetórias da mesma tarefa com o mesmo resultado do verificador, agregando preferências pareadas em pontuações locais à tarefa e convertendo-as...
- O BSR relata melhorias consistentes no SWE-bench Verified e no SWE-bench-Live nas configurações avaliadas Qwen3-14B e Qwen3-32B.
- O método reutiliza a política para comparar comportamento de depuração observável entre trajetórias da mesma tarefa com o mesmo resultado do verificador, sem um modelo de recompensa treinado separadamente.
- O BSR fornece supervisão adicional a partir de trajetórias já coletadas sem exigir novas interações com o ambiente.
Para equipes que constroem agentes SWE, o BSR indica que os julgamentos comparativos da própria política podem servir como sinal de aprendizado complementar além do binário aprovação/reprovação dos testes, sem novas interações com o ambient...
Kairos: rumo a um modelo de fundação em nível de byte para todas as modalidades
Kairos combina atenção linear gated-DeltaNet bidirecional com atenção de janela deslizante sobre projeções compartilhadas (LiZAttention2), agregação Attention-Residual por blocos, uma camada feed-forward Mixture-of-Experts esparsa e um codec multiescala em nível de byte, treinado com objetivo de remoção de ruído unifor...
- Em testes de sobreajuste em uma única frase de 440 bytes, com 1–15M de parâmetros e apenas texto, LiZAttention2 e a atenção de janela isolada atingem perda mínima próxima de 10^-3 em 3.000 passos.
- Após 600 passos, a perda mínima média varia de 0,018 (codec patch) a 0,354 (codec convolucional depthwise), com ordenação idêntica em três sementes.
- A discussão dimensiona analiticamente um alvo de 200M totais e 25M ativos, mas nenhuma de suas cifras de throughput é medida; o código e um pacote Python estão disponíveis.
Para quem constrói modelos, Kairos é atualmente uma verificação reproduzível de convergência, e seu design multimodal em nível de byte ainda precisa do pré-treinamento planejado para demonstrar generalização ou valor multimodal.
ForcingBooster: remoção de ruído adaptativa por patch para difusão de vídeo autorregressiva rápida
O artigo apresenta o ForcingBooster, um framework que aloca dinamicamente etapas de remoção de ruído a cada patch de vídeo, interrompendo cedo os patches fáceis e dando mais etapas de refinamento aos difíceis. Ele relata reduzir em cerca de 50% o número total de etapas de remoção de ruído aplicadas aos patches de vídeo...
- O artigo relata reduzir em cerca de 50% o número total de etapas de remoção de ruído aplicadas aos patches de vídeo.
- O artigo relata qualidade visual comparável à linha de base de quatro etapas.
- O método é compatível com a maioria dos modelos de difusão autorregressivos existentes de poucas etapas e requer apenas um módulo de roteamento leve com treinamento moderado.
- O artigo foi submetido em 8 de outubro de 2026 como arXiv:2610.12625 por Zekai Gu, Peng Wang, Jiahao Lu, Yongsen Mao, Cheng Lin e Yuan Liu.
Para equipes que constroem geração de vídeo interativa em tempo real e modelos de mundo de vídeo, um orçamento de remoção de ruído por patch pode deslocar computação de regiões fáceis para difíceis sem alterar o backbone de difusão autorreg...
Google DeepMind lança EmbeddingGemma 2, modelo de embedding multimodal aberto de 740M parâmetros
O EmbeddingGemma 2 mapeia texto (incluindo código), imagens, vídeo e áudio em um único espaço vetorial unificado de 768 dimensões sob licença Apache 2.0, projetado para rodar em hardware de consumo como celulares e notebooks.
- 740M parâmetros no total: backbone de texto de 270M (130M transformer + 140M embedder), codificador de visão de 170M e codificador de áudio de 300M.
- O artigo reporta 61,36 no MTEB multilíngue v2 e 78,68 no MTEB código v1, uma melhoria de aproximadamente 14% em relação aos 68,76 do EmbeddingGemma 1 em código.
- O Matryoshka Representation Learning suporta truncamento para 128d, 256d, 512d e 768d, permitindo até 6x de redução nos custos de armazenamento vetorial.
- Janela de contexto de 8.192 tokens, mais de 100 idiomas suportados, licença Apache 2.0.
Desenvolvedores podem atender recuperação de texto, imagem, vídeo e áudio a partir de um único espaço de embedding de 768 dimensões em hardware de consumo, e carregar codificadores seletivamente para reduzir o footprint efetivo de 740M para...
MagicBeanStalk: escapar da armadilha de vantagem zero do RLVR com síntese recursiva de dados
O artigo apresenta o MagicBeanStalk, um algoritmo de decomposição de cima para baixo e síntese recursiva de dados de baixo para cima que transforma problemas semente em famílias de problemas de treinamento calibrados para a política e o orçamento, preservando os esquemas de raciocínio das sementes.
- O artigo relata que, em 8 benchmarks de matemática, o RLVR contínuo com problemas MagicBeanStalk melhora o gpt-oss-120b de 61,2 para 69,8 (+8,6) e o DeepSeek v4Flash de 72,4 para 77,9 (+5,4) com orçamento de 16K tokens.
- O artigo relata que o treinamento no corpus fonte completo de 78K melhora apenas +1,1, e seu melhor subconjunto filtrado de dados reais +5,8.
- O artigo relata que, em finanças, sintetiza mais de 14K problemas verificáveis a partir de apenas 340 soluções e melhora a base em 6,9 e 2,4 pontos no SecQue e no FinanceBench, respectivamente.
Para quem constrói dados de RLVR, o sinal útil é se um problema gera vantagem diferente de zero sob a política alvo e o orçamento de rollout, não o tamanho do corpus; a síntese recursiva pode calibrar a dificuldade preservando a estrutura d...