AI FRONTIER
Signals worth understanding before they become obvious.
Por que CNNs de visão abaixo de 4 bits colapsam e onde a recuperação de precisão mista para
O artigo analisa sistematicamente o colapso de quantização em CNNs de visão padrão, incluindo backbones ResNet e EfficientNet, avaliadas no conjunto completo de validação ImageNet-1k de 50.000 imagens, e introduz uma cascata de recuperação em várias etapas.
- O colapso é altamente não linear e concentrado em projeções pointwise tardias e camadas depthwise.
- Manter menos de 5% das ativações de camadas críticas em precisão de 8 bits recupera até 92% da precisão perdida durante compressão agressiva abaixo de 4 bits.
- Em arquiteturas de CPU padrão ARM e x86, o desempacotamento de bits por software do runtime padrão introduz uma desaceleração de execução de 1,48x a 21,5x dependendo do tamanho do lote.
Para desenvolvedores de visão em borda, pesos abaixo de 4 bits reduzem armazenamento em vez de throughput, então a recuperação de precisão mista deve mirar projeções pointwise tardias e camadas depthwise enquanto mede a sobrecarga de desemp...
thinkingmachines/Inkling-2-Mini: transformer multimodal em loop de 26,4B com pesos abertos
A Thinking Machines Lab lançou o Inkling 2 Mini, um transformer em loop nativamente multimodal com 26,4B de parâmetros totais e 3,4B ativos, sob Apache 2.0 com pesos abertos. Ele aceita entradas de texto e imagem e suporta janela de contexto de até 1M tokens.
- 26,4B de parâmetros totais e 3,4B ativos; as 12 camadas intermediárias rodam três vezes com pesos compartilhados, resultando em 48 aplicações de camada por token e 5,4B de parâmetros ativos efetivos.
- A arquitetura é um MoE esparso decoder-only de 24 camadas que roteia cada token para 8 de 128 especialistas por camada, com atenção híbrida local e global.
- Distribuído como um único checkpoint de cerca de 20GB em precisão mista NVFP4 e MXFP8, com inferência local suportada em 1x NVIDIA DGX Spark e dispositivos Apple silicon com 32GB ou mais de memória.
- O model card reporta SWEBench Verified (apenas bash) 79,2%, SWEBench Pro v2 (Hard) 77,9%, MMMU Pro Standard 10 74,9% e OmniDocBench v1.6 92,8%.
Desenvolvedores ganham um modelo multimodal de pesos abertos que cabe em hardware local de classe 32GB, mas o model card afirma recall factual menor que o Inkling 2 Small e possíveis ações agênticas destrutivas sem confirmação, exigindo san...
Hugging Face lança os harness adapters: adaptar um modelo ao seu harness de agente com RL
A Hugging Face publica uma receita reutilizável que treina um adaptador LoRA por harness de agente para o Qwen3.8-27B com RL dentro de Pi, OpenCode e Hermes Agent, e depois funde os três LoRAs em um único super adaptador que roda sem alterações nos três harnesses.
- Cada adaptador foi treinado em GPUs NVIDIA 2×B200, com uma GPU para o servidor vLLM e outra para o processo de treinamento.
- A mistura final de dados combina 750 tarefas dos ambientes RL do harness-adapters com 300 tarefas do termgrade.
- O dataset harness-hub/agentic-coding-envs contém 871 tarefas de 35 repositórios, das quais 171 formam o subconjunto qualificado para o treinamento GRPO.
Para quem constrói agentes, isso mostra que o ajuste fino com RL dentro do harness realmente implantado pode elevar a taxa de acerto e reduzir o uso de tokens sem trocar o modelo base.
Treinar modelos de linguagem para supervisão introspectiva
O artigo introduz a supervisão introspectiva: um papel separado de observador em terceira pessoa é adicionado ao modelo para responder perguntas sobre o assistente, com recompensa para respostas verificadas contra o comportamento real do assistente. Em cinco avaliações de supervisão reservadas, um observador treinado n...
- Um observador treinado no Qwen3.6-27B obtém AUROC médio de 0,907 em cinco avaliações de supervisão reservadas.
- Referências: treinamento de honestidade 0,864, monitoramento de transcrições 0,828, oráculos de ativação 0,796.
- O artigo relata que treinar um observador torna o próprio assistente mais fácil de monitorar, com todos os métodos de referência melhorando em média no assistente ajustado.
- O artigo tem 31 páginas, 13 figuras e 8 tabelas, submetido em 17 de novembro de 2026.
Para os desenvolvedores, isso sugere um papel de observador treinável separadamente do assistente e apenas para precisão, como via de supervisão além do monitoramento externo de transcrições e dos decodificadores de ativação.
Watch Where You Linearize: prever e corrigir a interferência na fusão de modelos
O artigo mostra que uma derivada direcional de primeira ordem das saídas da tarefa A ao longo do vetor da tarefa B pode prever interferência, mas apenas quando avaliada no modelo receptor, e constrói o LR-Merge para otimizar coeficientes via correspondência de professor convexa sem rótulos.
- No modelo receptor, a derivada prevê fusões próximas por tarefa e por exemplo, reduz pela metade o erro de precisão de uma linha de base sem alteração e identifica a maioria dos exemplos cujas previsões se invertem.
- Fusões multitarefa completas exigem duas avaliações ao longo do caminho de fusão; uma única avaliação é insuficiente.
- No backbone pré-treinado compartilhado, a derivada é quase ortogonal às mudanças realizadas nos experimentos de visão e apenas parcialmente preditiva nos pilotos de modelos de linguagem LoRA.
Os desenvolvedores podem avaliar a derivada direcional no modelo receptor para prever a interferência de fusão a baixo custo e usar a correspondência de professor convexa sem rótulos do LR-Merge em vez de uma busca cara por coeficientes.
Where the Tokens Go: calor, entropia e erro na codificação agêntica
O artigo introduz uma teoria da termodinâmica de software que conta os tokens gerados por um agente de codificação como custo e divide esse custo em trabalho e calor. Ele testa a teoria fazendo um agente alterar e desfazer repetidamente mudanças em um repositório, contando os tokens de cada chamada ao modelo.
- O artigo relata que cerca de 80 por cento dos tokens de uma execução bem-sucedida são gerados em chamadas ao modelo que deixam a mudança solicitada onde estava, o que os autores chamam de calor.
- O artigo relata que a energia livre de uma mudança, estimada por analogia com a igualdade de Jarzynski, é de 14 a 22 por cento do custo médio de uma execução de codificação bem-sucedida.
- O artigo relata que a codificação custa de 1,1 a 1,5 vezes mais do que a desfazer a codificação.
- O artigo relata que a dispersão do custo em ciclos repetidos define uma temperatura de software, que aumentou com a temperatura de amostragem do modelo.
O arcabouço permite aos desenvolvedores separar o gasto de tokens de um agente em trabalho útil e calor desperdiçado, para identificar chamadas ao modelo que não fazem avançar a mudança solicitada.
RFBench: um benchmark multimodal baseado em simulador para projeto e compreensão de layouts de RF passivos
O artigo apresenta o RFBench, um conjunto de dados e benchmark baseados em simulador para avaliar modelos de linguagem multimodais no projeto e na compreensão de layouts de RF passivos em sete tarefas.
- O conjunto de dados contém 10.000 layouts planares de dois portos simulados com ADS Momentum.
- Cada layout inclui primitivas geométricas editáveis, uma imagem raster, uma grade de ocupação 16x16, parâmetros S complexos em 201 pontos de frequência, uma categoria estrutural e um rótulo de resposta de RF.
- O artigo relata que o ajuste fino específico de RF aumenta a validade estrutural T1a de 0,0% para 83,2% e a taxa dentro de 2 dB para entrada de primitivas T3 de 17,7% para 62,8%.
O ajuste fino específico de RF melhora substancialmente a validade estrutural e a previsão de resposta, mas os resultados relatados mostram que ainda há bastante espaço para gerar layouts eletromagneticamente fiéis.
Estimativa de importância global para evicção de cache KV
O artigo apresenta o PRKV, um método de evicção de cache KV sem treinamento que estima a importância global de tokens em múltiplos saltos aplicando Personalized PageRank sobre grafos de transição induzidos pela atenção, permitindo propagação de importância além da recência ou da atenção instantânea sem modificar o mode...
- O PRKV é sem treinamento e não modifica o modelo.
- O método reduz o uso de memória de pico com baixo overhead de ponta a ponta.
- O artigo foi aceito na NeurIPS 2026, por Seojin Kim e Noseong Park.
Para quem constrói inferência de contexto longo, o PRKV indica que substituir a pontuação por recência ou atenção instantânea por estimativa de influência global em múltiplos saltos pode preservar o desempenho de tarefa em altas taxas de co...