AI FRONTIER
Signals worth understanding before they become obvious.
TRACE: codificação por livro de códigos de ativações residuais de Transformer para inferência distribuída em borda com comunicação eficiente
O artigo apresenta o TRACE, um framework que posiciona um quantizador vetorial (VQ) no residual pós-atenção de cada camada Transformer e pré-calcula representações de chave/valor indexadas por livro de códigos, permitindo que os receptores recuperem chaves e valores por consulta em tabela em vez de executar os cálculos...
- Em comparação com a inferência sequencial paralela sem compressão, o TRACE reduz a sobrecarga de comunicação em até 22.624x.
- O agrupamento hierárquico estrutura o livro de códigos aprendido em uma hierarquia multirresolução, permitindo adaptar a taxa de bits de comunicação em tempo de execução sem retreinamento.
- O framework suporta duas variantes de operação: uma prioriza a precisão e a outra equilibra precisão e eficiência por meio de quantização compatível com buffer.
Para quem constrói inferência distribuída em borda, pré-calcular chaves e valores como índices de livro de códigos elimina o cálculo posterior no receptor e permite a sobreposição comunicação-computação, embora os ganhos relatados estejam a...
Structured Authority Injection: controle humano persistente para agentes LLM via overrides MCP tipados
O artigo propõe Structured Authority Injection (SAI), um protocolo que encaminha correções do operador por meio de chamadas de ferramentas Model Context Protocol (MCP) tipadas e validadas por esquema, e mantém um contexto de autoridade classificado prefixado a cada prompt do LLM, sem exigir ajuste fino nem acesso aos p...
- O artigo relata menor sobrecarga de prompt nos modelos mais fortes, de até 38% dependendo do modelo e do cenário, embora o benefício varie substancialmente entre modelos.
- O método não exige ajuste fino nem acesso aos pesos do modelo e se aplica a LLMs ajustados por instrução que suportam uso de ferramentas MCP.
Para quem constrói orquestradores de agentes, o SAI oferece um padrão em nível de protocolo para overrides humanos persistentes e tipados sem retreinar modelos, mas o benefício relatado varia substancialmente conforme o modelo.
Onde a redução de especialistas no prefill prejudica modelos MoE: poucos tokens de prompt concentram a maior parte da perda de F1 em respostas curtas
Por meio de intervenções em tokens, camadas e caminhos de atenção em quatro famílias MoE, o artigo localiza o dano de passar os tokens do prompt por menos especialistas roteados durante o prefill: no Qwen3-30B-A3B a perda ocorre nos dois tokens de template de chat antes da resposta, e no DeepSeek-V2-Lite nos primeiros ...
- Com metade dos especialistas, a perda de F1 de três famílias é sobretudo forma de resposta: o modelo ainda encontra a resposta, mas deixa de responder de forma breve.
- No Qwen3-30B-A3B a perda ocorre nos dois tokens de template de chat antes da resposta; no DeepSeek-V2-Lite nos primeiros 8-32 tokens do prompt, onde está sua instrução.
- Pela verossimilhança da resposta, essas posições respondem por cerca da metade e de um quinto do dano.
- A redução altera a massa de atenção, a norma e a maior ativação do primeiro token em menos de 4%, e restaurar super experts ou massive activations recupera no máximo cerca de um quarto da perda.
Para o serving de MoE, manter o roteamento para especialistas completos nas extremidades do prompt, especialmente nas posições de template de chat e instrução, preserva melhor o F1 em respostas curtas do que restaurar super experts ou massi...
RealCLI: um benchmark unificado para a colaboração humano-agente em agentes CLI
O artigo apresenta o REALCLI, um benchmark pareado que unifica a avaliação da execução de tarefas e da qualidade da colaboração humano-agente em tarefas CLI realistas, com um framework de cinco dimensões, 22 subdimensões, 51 modelos de cenários de interação e dois modos pareados: REALCLI-EXEC e REALCLI-COLLAB.
- O REALCLI constrói um framework de colaboração de cinco dimensões, operacionalizado em 22 subdimensões e 51 modelos de cenários de interação.
- O artigo relata que a melhor configuração atinge uma pontuação média de apenas 49,2%, e que o desempenho máximo na pontuação de colaboração conjunta J_collab chega a apenas 37,6%.
- O artigo relata que os modelos enfrentam dificuldades consistentes em capacidade de direcionamento, calibração de confiança e gestão de limites de segurança.
Para os desenvolvedores de agentes CLI, a forte divergência entre efetividade de tarefas e qualidade de colaboração significa que otimizar apenas a conclusão de tarefas não será suficiente para passar na avaliação em condições interativas r...
FlashControl: gerador controlável em um passo via professores de fluxo único adequados à destilação
O artigo apresenta o DeltaControl, que ajusta um subconjunto selecionado de camadas do modelo de difusão texto-para-imagem original para permitir diretamente a geração com condição espacial, sem adicionar ramos condicionais extras. A destilação por passos sobre esse professor produz o FlashControl, um modelo de um pass...
- O artigo foi aceito na NeurIPS 2026 e foi submetido em 15 de outubro de 2026.
- O DeltaControl é um modelo de difusão de fluxo único e múltiplos passos que, segundo o artigo, iguala o desempenho das abordagens de ramo duplo.
- O FlashControl é obtido aplicando destilação por passos ao DeltaControl e suporta geração controlável espacialmente com uma única passagem direta.
- O artigo afirma que modelos controláveis existentes, como o ControlNet, dependem de um design de ramo duplo que dificulta a destilação.
Para os desenvolvedores de IA, isso mostra que um professor controlável adequado à destilação pode ser obtido sem uma arquitetura de ramo duplo, reduzindo a barreira para a geração de imagens controlável em um passo.
Trust but Verify: projetar dinâmicas forward não homogêneas por região para difusão discreta
O artigo combina kernels absorventes e de mistura uniforme com taxas dependentes da região: posições ausentes seguem dinâmica absorvente, enquanto o contexto sofre substituição aleatória de baixa taxa, expondo o modelo a tokens observados mas incertos durante o treinamento. Na inferência, um amostrador heurístico reinj...
- Um finetuning de 8.000 passos de um modelo de difusão mascarado pré-treinado de 170 M de parâmetros leva menos de cinco horas em uma GPU de laptop de 6 GB.
- O modelo base atribui cerca de 50% de probabilidade a tokens observados mesmo quando são lixo uniformemente aleatório.
- Para corrupção uniformemente aleatória, o finetuning detecta contexto corrompido com recall de 0,96 e precisão de 0,91, melhorando o token-F1 de infill em 3,8 pontos com 10% de corrupção e 6,4 pontos com 20%.
Os resultados sugerem que uma confiança intermediária é alcançada mudando a dinâmica forward em vez da arquitetura em um modelo de difusão discreta de 170 M, com detectabilidade e dano dependendo conjuntamente do afastamento em relação ao c...