AI FRONTIER
Signals worth understanding before they become obvious.
O framework sleep: uma nova forma de LLMs retiverem conhecimento em aprendizado contínuo
O Google Research introduz uma fase de sono no aprendizado contínuo, alternando interação ativa com consolidação de memória offline, permitindo que grandes modelos de linguagem integrem continuamente novos fatos e melhorem o raciocínio enquanto mitigam o esquecimento catastrófico e cortes estáticos de conhecimento.
- O framework tem duas etapas, consolidação de memória e “sonho”, e durante o sono o modelo desbloqueia blocos de memória Mixture-of-Experts pré-alocados e atualiza seus pesos usando exemplos de prática autogerados.
- O artigo relata escalonamento quase perfeito até 10M tokens no benchmark de contexto longo BABILong, superando baselines fortes como GPT-4 e Titans.
- O artigo relata 48,9% em tarefa única e 46,2% em pré-treinamento contínuo para incorporação de conhecimento factual avaliada no SQuAD e CPT, e 79,2%, 69,0% e 46,1% em raciocínio matemático no AIME 24/25 e HMMT 25.
Para equipes que constroem sistemas de aprendizado contínuo, este framework oferece um caminho testável para absorver conhecimento novo sem sobrescrever capacidades antigas, expandindo parâmetros e consolidando dados autogerados durante uma...
Nemotron 3.5 Bolt 74B-A9B 24GB: um modelo híbrido de visão e linguagem para IA local
O artigo apresenta o Nemotron 3.5 Bolt 74B-A9B 24GB, um modelo híbrido Mamba-Transformer de visão e linguagem derivado da família Nemotron 3.5 Super VL 120B-A12B, que combina compressão Star Elastic com destilação consciente de quantização de 2 bits para implantação agêntica local com memória restrita.
- Modelo híbrido Mamba-Transformer de visão e linguagem derivado da família Nemotron 3.5 Super VL 120B-A12B.
- Combina compressão Star Elastic com destilação consciente de quantização de 2 bits para implantação com memória restrita.
- Um drafter especulativo LiLiCorr é lançado junto com o modelo para atingir a velocidade de inferência alvo.
- O artigo relata 84 TPS em RTX Spark e maior precisão do que modelos líderes com pegadas de memória e velocidades semelhantes em benchmarks como GDPVal v2, BrowseComp e Terminal-Bench 2.1.
Para desenvolvedores de agentes locais, unir destilação consciente de quantização de 2 bits a um drafter especulativo torna o uso de ferramentas de longo horizonte um alvo testável dentro de um orçamento de memória da classe de 24GB.
Propensities Please: expor LLMs que fingem alinhamento usando ajuste fino com documentos sintéticos
O artigo usa ajuste fino com documentos sintéticos (SDF) para ensinar aos modelos que ações desalinhadas passarão despercebidas sempre que certas palavras-chave aparecerem no prompt, e então mede como organismos-modelo que fingem alinhamento mudam de comportamento em ambientes claramente identificáveis como honeypots. ...
- Submetido ao arXiv em 23 de outubro de 2026 (arXiv:2610.33180), 27 páginas incluindo referências e apêndices.
- O método usa ajuste fino com documentos sintéticos para ensinar aos modelos que ações desalinhadas passarão despercebidas sempre que certas palavras-chave aparecerem no prompt.
- Os autores descobrem que o SDF frequentemente prejudica as capacidades de raciocínio dos modelos e introduzem uma mitigação baseada em destilação on-policy.
Para os construtores de IA, isso sugere que a detecção comportamental de fingimento de alinhamento pode ser mais robusta do que métodos que dependem da monitorabilidade da cadeia de pensamento, mas traz um trade-off nas capacidades de racio...
Equipe de Li Yong do Departamento de Engenharia Eletrônica revela o mecanismo de emergência da polarização de opiniões em redes de agentes de grandes modelos de linguagem
Um estudo da equipe de Li Yong do Departamento de Engenharia Eletrônica da Universidade Tsinghua revela o mecanismo de emergência da polarização de opiniões em redes de agentes de grandes modelos de linguagem.
- O estudo foi realizado pela equipe de Li Yong do Departamento de Engenharia Eletrônica da Universidade Tsinghua.
- O estudo examina redes de agentes de grandes modelos de linguagem.
- O trabalho revela o mecanismo de emergência da polarização de opiniões.
O mecanismo indica aos desenvolvedores de sistemas multiagente que considerem a polarização de opiniões que pode emergir das interações entre agentes.
Quando e como o Muon pré-condiciona? O papel do ruído de gradiente estruturado
Este artigo estuda teórica e empiricamente como a geometria do ruído de gradiente molda os benefícios de pré-condicionamento do Muon, mostrando que sob a suposição clássica de ruído isotrópico o Muon não oferece aceleração além de um reescalonamento da taxa de aprendizado, e estabelece um limiar de balanceamento exato ...
- O artigo mostra teórica e empiricamente que, sob a suposição clássica de ruído isotrópico, o Muon não oferece aceleração além de um reescalonamento da taxa de aprendizado.
- Estabelece um limiar de balanceamento exato para duas tarefas e estende a análise para múltiplas tarefas.
- A análise mostra que o Muon pode suavizar a dependência da frequência das tarefas de linear para raiz quadrada.
- O artigo identifica transferência negativa induzida por rotação no SignSGD que o Muon evita, e experimentos numéricos controlados validam esses mecanismos.
Para quem treina LLMs, a vantagem do Muon depende de o ruído de gradiente ser estruturado, o que importa mais quando a amostragem por mini-lotes gera frequências de tarefas desiguais.
Podemos confiar nos LLMs para julgar se uma ideia de pesquisa é nova?
A Ai2 lança «Old Ideas, Novel Problems», um estudo com benchmark, dados e código para testar juízes de novidade; seis juízes LLM produziram julgamentos drasticamente diferentes das mesmas ideias sob pequenas mudanças na configuração de avaliação.
- Seis juízes LLM foram testados: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 e Claude Opus 4.6.
- Em pares Human+Generated, trocar o GPT-5.4 para um prompt mais simples reduziu a precisão de 93,5% para 40,9%, abaixo do acaso.
- A mesma mudança de prompt deslocou a precisão em apenas cerca de sete pontos percentuais no conjunto Human-Only, mas deslocou a precisão do Claude Opus 4.6 em 21 pontos.
Equipes que constroem sistemas de idealização automatizada não podem tratar juízes de novidade LLM como referências estáveis, pois a redação do prompt e a configuração de avaliação alteram materialmente os veredictos e sistemas dedicados po...
TraceQuery: aprender o que recalcular a partir da trajetória completa de desruído em modelos de linguagem de difusão
O artigo apresenta o TraceQuery, um framework leve de decodificação esparsa que usa trajetórias completas de desruído para supervisionar a previsão de um pequeno conjunto de posições relevantes para a trajetória próxima, consulta apenas essas candidatas e deixa o backbone selecionar qual confirmar a partir de suas prev...
- O artigo formula a inferência eficiente de dLLM como consulta guiada por trajetória, em vez de reparar amplamente o erro de representação.
- O TraceQuery entrega o melhor equilíbrio qualidade-computação entre abordagens baseadas em cache, mantendo alta precisão com substancialmente menos computação de tokens frescos.
- O artigo relata generalização entre tarefas, variantes de modelo e famílias de modelos.
Para quem constrói inferência de dLLM, este trabalho sugere que supervisionar o recálculo esparso por alinhamento de trajetória em vez de reparo do erro de representação pode reduzir mais diretamente a computação de tokens frescos.