AI FRONTIER

TurboMamba: inferência mais rápida, treinamento mais rápido e melhor predição com memória lexical

O artigo apresenta o TurboMamba, uma arquitetura de modelo de linguagem em que um modelo Mamba-3 global é executado uma vez por bloco de tokens concluído e um Transformer pequeno usa esse contexto global e os tokens anteriores do bloco para prever o próximo token.

• Sua NLL média é 9,4% menor que a do Mamba-3, 7,3% menor que a da versão Jamba e 18,3% menor que a da versão Zamba.
• A taxa de transferência de treinamento ponta a ponta é 2,60x a do Mamba-3, 2,81x a da versão Jamba e 4,82x a da versão Zamba.

Como os ganhos relatados de perda e taxa de transferência ocorrem com parâmetros e orçamento de treinamento comparáveis, vale reproduzi-los em cargas de contexto longo ou alto desempenho antes de adotar a arquitetura.

Novo modelo no OpenRouter: Reflection Beam 1.0 501B A23B

Beam 1.0 é o modelo de raciocínio de pesos abertos da Reflection para programação e fluxos de trabalho agênticos de longo horizonte; usa uma arquitetura sparse mixture-of-experts com 501B de parâmetros totais e 23B ativos por token, janela de contexto de 1M de tokens e lançamento sob Apache 2.0.

• Arquitetura sparse mixture-of-experts: 501B de parâmetros totais, 23B de parâmetros ativos por token
• Janela de contexto de 1.048.576 tokens, com suporte a até 131.072 tokens de conclusão
• Preço de US$ 0,25 por 1M de tokens de entrada e US$ 1,00 por 1M de tokens de saída
• Lançado em 16 de outubro de 2026, com corte de conhecimento em 30 de junho de 2026, sob Apache 2.0

Para equipes que criam agentes de programação, o Beam 1.0 combina pesos abertos Apache 2.0, contexto de 1M de tokens e apenas 23B de parâmetros ativos por token, tornando o raciocínio de longo horizonte disponível tanto auto-hospedado quant...

Expanding Attention: uma rota por séries de Taylor para Transformers de tempo linear com um número fixo de estados recorrentes

O artigo expande o kernel exponencial da atenção em uma série de Taylor truncada de n termos e fatora cada termo em um produto interno de potências tensoriais, o que colapsa o histórico causal em exatamente n estados recorrentes, cada um atualizado por um produto externo de posto um por token e independente do comprime...

• A recursão é sem perdas em relação ao kernel truncado com 2,2 × 10^-16 em float64, e os estados são aditivos entre blocos com 5,7 × 10^-14, de modo que o prefill admite uma varredura paralela.
• O artigo relata expoentes medidos de t ∝ N^2,28 para softmax contra N^0,91 para os estados, com um cruzamento em N ≈ 728 e 20,8× em N = 8192.
• A latência de decodificação por token é constante em 7,3 μs contra N^1,04 para softmax, resultando em 76,0× em N = 65536.
• A normalização de query e key é um pré-requisito: sem ela o argumento excede o raio de convergência e adicionar termos deixa de ajudar.

Para os desenvolvedores, isso indica que a atenção linear de estados fixos só compensa acima de cerca de 728 tokens e exige normalização de query e key, sem a qual adicionar termos de Taylor é ineficaz.

Novo modelo no OpenRouter: XingChen Xing4.0 29B A4B (gratuito)

Xing4.0-29B-A4B é um modelo de linguagem de mistura de especialistas com pesos abertos da equipe de IA da China Telecom (TeleAI) e o sucessor da série TeleChat, com 29B de parâmetros totais, 4B ativos por token e uma janela de contexto nativa de 256K tokens.

• 29B de parâmetros totais com 4B ativos por token e uma janela de contexto nativa de 256K tokens; o OpenRouter indica o contexto como 262.144 tokens.
• Treinado inteiramente em NPUs Ascend com o framework MindSpore.
• Ajustado para engenharia complexa e trabalho de agentes: chamada de ferramentas, planejamento em várias etapas e execução em contexto longo; o raciocínio vem ativado por padrão e pode ser desativado.
• Gratuito no OpenRouter, lançado em 16 de outubro de 2026, e suporta tools e tool_choice para chamada de funções, além de saídas estruturadas via esquema JSON em response_format.

Para quem constrói agentes, é um endpoint MoE de pesos abertos de 29B sem custo, com contexto de 256K e chamada de ferramentas, útil para testar fluxos de planejamento em várias etapas com contexto longo.

The World Won't Wait: avaliar e ensinar agentes sob um relógio ao vivo

O artigo apresenta o RealtimeBench, 180 tarefas em seis tipos de jogos que avaliam agentes enquanto os jogos continuam rodando durante a inferência, e propõe o TORSI, em que um professor lento estuda falhas e testa correções entre tentativas antes de escrever instruções reutilizáveis para um aluno rápido.

• O RealtimeBench contém 180 tarefas em seis tipos de jogos, com os jogos continuando a rodar durante a inferência.
• Avaliações pareadas mostram que o GPT-6.1-sol supera o mais rápido Jev quando os jogos estão pausados, mas fica atrás quando eles continuam rodando.
• No TORSI, o aluno age sem chamadas ao professor durante o jogo, e as pontuações de validação determinam quais atualizações são adotadas.
• O artigo relata que duas rodadas elevam a pontuação média de teste do Jev de 13,51 para 24,19 em uma escala de progresso de 0 a 100, melhorando os seis tipos de jogos.

Para quem constrói agentes, o resultado mostra que a latência pode inverter o ranking de modelos, sendo necessário separar o aprendizado offline lento da execução online rápida em vez de otimizar apenas a inferência de uma passada.

Mesma resposta, nova caixa: quanto do ganho fora de domínio do RLVR é formato de resposta?

O artigo reavalia as mesmas saídas com extratores de resposta copiados de código público e com seu próprio extrator: em quatro pares base-RL 7B SimpleRL publicados, 82% do ganho fora de domínio em múltipla escolha relatado por esses extratores desaparece com o extrator dos autores, indicando ganho de formato de respost...

• Em quatro pares base-RL 7B SimpleRL publicados, 82% do ganho fora de domínio em múltipla escolha relatado por extratores copiados de código público desaparece com o extrator dos autores.
• Leitores LLM independentes no lugar do extrator dos autores colocam a cifra em 77%, e um prompt que pede a caixa a coloca em 79% com o extrator dos autores.
• Os modelos base já enunciam a maioria de suas respostas em texto, e o RL as move para a caixa \boxed{}, onde esses extratores olham primeiro.
• Em um par 32B treinado com outra receita, quase nenhum dos ganhos relatados é ganho de formato: seu modelo base coloca as respostas na caixa quando solicitado, e seu modelo RL raramente o faz quando não.

Desenvolvedores devem reavaliar saídas armazenadas com um segundo extrator antes de interpretar ganhos fora de domínio do RLVR, pois um ganho relatado é em parte propriedade do extrator que o leu.

Diminishing Returns of Data in Sparse Autoencoders: Functional Behavior does not Guarantee Feature R...

论文摘要：Sparse autoencoders (SAEs) are typically trained on hundreds of millions to billions of activation tokens, yet little work has tested whether this scale is necessary. We study...

This is a useful technical direction to keep on the radar, even if it does not require immediate action.