AI FRONTIER
Signals worth understanding before they become obvious.
Como especializar o vocabulário de SLMs pode cortar o custo de inferência em 77% em aplicações reais
O VocabX, da Dharma-AI, reconstrói o vocabulário de um modelo em torno do custo de cada token em vez da sua frequência, sem mudar o modelo base, os dados nem a receita de treino, e relata uma redução medida de 77,0% no custo de inferência num corretor de redações em português.
- O corretor é baseado no Qwen3-4B e a sua camada de saída passou de cerca de 152.000 para cerca de 65.000 linhas.
- Sete versões do corretor foram treinadas com o mesmo modelo base, dados, receita e semente; a única diferença era o tokenizador, e todas executaram os mesmos 500 pedidos numa RTX 5090 com vLLM.
- A resposta do modelo caiu de 350 para 101 tokens em média, o custo caiu 77,0% e a pontuação bench subiu de 0,703 para 0,810.
- O artigo relata que o VocabX comprimiu mais do que o método de referência mais forte nas quinze combinações de cinco domínios públicos e três famílias de modelos, entre 1,2 e 9,3 pontos.
Para um modelo pequeno de domínio único, o tokenizador é uma alavanca de custo fixada antes de qualquer etapa de treino, e reconstruí-lo segundo o custo do lado da geração reduz o gasto de serviço sem trocar o modelo base.
Transformers aprendem dois algoritmos de ordenação concorrentes, e apenas um generaliza em comprimento
O artigo relata que Transformers de duas camadas treinados até perda próxima de zero em uma tarefa de ordenação convergem para uma de duas classes de solução mecanicamente distintas conforme sua inicialização. Uma classe não usa a segunda camada de atenção para ordenar e falha em generalizar em comprimento, enquanto a ...
- O artigo relata que, escolhendo cuidadosamente a inicialização dos pesos, os autores conseguem direcionar o modelo para aprender uma solução ou a outra.
- O artigo identifica tipos de entrada raros no comprimento de treino mas cada vez mais comuns em comprimentos de sequência maiores como fonte dessa disparidade na generalização em comprimento.
- O artigo constata que a especialização por camada da segunda classe de soluções permite que elas tratem essas sequências raras com mais precisão.
Para quem constrói modelos de sequência, a inicialização pode determinar se o treino produz um algoritmo que generaliza em comprimento ou um que não generaliza, tornando a inicialização e a especialização por camada variáveis de projeto da ...
NVIDIA Kumo Relational supera o aprendizado de máquina supervisionado em dados relacionais, sem treinamento
A NVIDIA lançou o Kumo Relational, um modelo de fundação relacional pré-treinado que faz previsões diretamente em bancos de dados corporativos: dada uma consulta preditiva, ele reúne até 10.000 exemplos históricos como contexto e prevê em uma única passagem direta, sem treinamento específico de tarefa, engenharia de re...
- Em tarefas de classificação do RelBench V1, o Kumo Relational supera árvores de gradient boosting sobre recursos projetados por especialistas em quase 4 pontos AUROC, em média.
- No benchmark corporativo SAP SALT, supera os conjuntos AutoGluon em 8% no posto recíproco médio (MRR), e o ajuste fino amplia a vantagem para 16%.
- Ele tem bom desempenho com apenas 0,2% dos dados de treinamento como contexto, permanece estável quando até 75% dos links de chave estrangeira são removidos e quase não se degrada com muitas colunas ruidosas adicionadas.
- O código é publicado sob a licença Apache 2.0 e os pesos do modelo sob o OpenMDW License Agreement, versão 1.1; está disponível pela biblioteca structured-data-models ou como NVIDIA NIM.
Para equipes que constroem previsões corporativas, o Kumo Relational oferece uma alternativa sem treinamento aos pipelines de recursos do XGBoost, embora modelos supervisionados específicos de tarefa ainda possam superar previsões em contex...
Além dos rankings escalares: amostragem adaptativa para identificação da fronteira de Pareto em arenas LLM multiobjetivo
O artigo apresenta o Vector-Borda Empirical-Gap Elimination (VB-EGE), um algoritmo de amostragem adaptativa de confiança fixa para identificar eficientemente modelos na fronteira de Pareto em avaliação no estilo arena, em que cada comparação avalia um par de modelos em um prompt em relação a uma dimensão de desempenho ...
- O artigo estabelece ainda um limite inferior no pior caso, mostrando que o VB-EGE é minimax-ótimo a menos de fatores logarítmicos.
- Simulações e experimentos em três conjuntos de dados de arena do mundo real (Arena, SearchArena e VisionArena) demonstram a eficácia empírica do VB-EGE.
- O artigo tem 51 páginas, incluindo referências e apêndices, e foi submetido em 20 de outubro de 2026.
Para a avaliação de LLM que depende de feedback humano custoso, o VB-EGE oferece uma estratégia de amostragem que reduz comparações enquanto identifica fronteiras de tradeoff multiobjetivo com confiança fixa.
MIT^3: internalização de memória via treinamento em tempo de teste para compreensão de vídeos longos
O artigo apresenta o MIT^3, uma estrutura de adaptação por vídeo que grava cada vídeo longo em parâmetros adaptativos compactos e específicos do vídeo, para responder a perguntas sem vídeo e apenas com texto. O rastreamento causal seleciona os locais de adaptação, e a destilação de memória visual treina a memória somen...
- O artigo relata resposta a perguntas sem vídeo e com eficiência de dados no LVBench, LongVideoBench e Video-MME.
- O artigo afirma usar substancialmente menos amostras sintetizadas do que métodos anteriores de memória de vídeo parametrizada.
- O método usa rastreamento causal sob supervisão multiescala compacta para medir a utilidade de memória causal de cada camada do modelo para respostas fundamentadas no vídeo.
- A destilação de memória visual treina a memória somente texto para reproduzir a mudança de representação induzida pelo clipe de vídeo relevante.
Para quem constrói sistemas de perguntas e respostas sobre vídeos longos, este trabalho indica que a internalização depende tanto de onde o conhecimento do vídeo é gravado quanto de como a evidência visual é destilada, e não apenas de adici...
Rubricas guiadas por especialistas como sinais de recompensa densos para aprendizado por reforço em domínios não verificáveis
O artigo apresenta um método que converte um pequeno investimento fixo de julgamento de especialistas em uma recompensa densa e o combina com métricas de recuperação para formar um sinal de treinamento híbrido compatível com GRPO, voltado a tarefas de recuperação não verificáveis, como serviços financeiros.
- O artigo relata melhorias de até 6% em Recall@3 e 6,7% em MRR@3 em comparação com as baselines de recompensa sparse.
- O artigo afirma que, com GRPO, recompensas sparse não geram sinal de aprendizado útil quando todas as saídas amostradas dentro de um grupo recebem o mesmo resultado, fazendo a otimização estagnar.
- O método converte um pequeno investimento fixo de julgamento de SME em uma recompensa densa e o combina com métricas de recuperação para formar um sinal de treinamento híbrido.
- O artigo foi submetido em 17 de outubro de 2026, tem 11 páginas e 4 figuras, e faz parte do RL4LLM-Agents workshop ICAIF ACM.
Para equipes que constroem agentes em domínios não verificáveis, este resultado indica que transformar um pequeno conjunto de rubricas de especialistas em recompensas densas pode mitigar a estagnação da otimização do GRPO sob recompensas sp...
Geração de código RTL Pareto-ótima via aprendizado por reforço multiobjetivo com grandes modelos de linguagem
O artigo propõe um método de aprendizado para geração de circuitos baseada em LLM que otimiza a qualidade e a diversidade de todo o conjunto de circuitos obtido por múltiplas gerações no espaço de objetivos PPA, em vez da qualidade de um único circuito. O método consiste em um pipeline de treinamento baseado em geração...
- O artigo relata +13,3 pontos percentuais de Hypervolume relativo em relação a uma linha de base sem otimização PPA no benchmark RTLLM v2.
- O artigo relata +14,4 pontos percentuais de Hypervolume relativo em relação a um método de aprendizado por reforço de objetivo único.
- O artigo afirma que o método também demonstra superioridade em diversidade de circuitos.
- O artigo foi aceito no COLM 2026 e submetido em 16 de outubro de 2026.
Para os construtores de IA, tratar os trade-offs de PPA como um problema de cobertura Pareto em nível de conjunto fornece candidatos RTL diversos que podem ser escolhidos a posteriori conforme as restrições de projeto mudam.