Today’s frontier report
Research Pool → Multi-Scout → Editor → Edition
3qk7 · AI LOCAL LABS TECHNICAL SCOUTING

AI FRONTIER

Signals worth understanding before they become obvious.

2026-11-15
01
watchresearchincremental

Manipulação de rankings: avaliações de modelos baseadas em preferências são vulneráveis à manipulação

O artigo relata que rankings no estilo Arena, que agregam comparações pareadas de modelos anônimos via modelo Bradley-Terry, são vulneráveis a voto estratégico, prompting estratégico e nomeação estratégica.

  • O artigo demonstra voto estratégico, prompting estratégico e nomeação estratégica em dados de rankings públicos.
  • O artigo relata que cada ataque pode elevar um modelo em até 15-20 posições em um ranking e, combinados, em até 45 posições.
  • O artigo afirma que esses problemas valem para qualquer avaliação baseada em preferências que use o modelo Bradley-Terry e permita prompting, votação ou submissão de modelos abertos.

Equipes que constroem ou dependem de rankings no estilo Arena precisam de salvaguardas contra manipulação em votação, prompting e submissão de modelos, ou provedores poderão inflar posições estrategicamente.

arXiv cs.AI
02
watchresearchincremental

Estimação de estado robusta e consciente da tarefa a partir de percepção pré-treinada

O artigo propõe um Conjunto de Crenças Mínimo com θ-confiança (MBS_θ), construído a partir das probabilidades que um modelo de percepção já produz, como as distribuições de tokens da camada de saída de um VLM, definido como o subconjunto mínimo de estados cuja probabilidade acumulada atinge um limiar de massa de crença...

  • O artigo é de Guy Azran e Sarah Keren e aparece na NeurIPS 2026.
  • MBS_θ é definido como um subconjunto mínimo de estados cuja probabilidade acumulada atinge um limiar de massa de crença especificado pelo usuário.
  • PRaVaSS constrói um MBS_θ com garantias de correção e complexidade polinomial no caso irrestrito.
  • Usando um VLM como backbone do estimador de estado, os autores validam propriedades teóricas, escalabilidade com o tamanho do problema e melhoria na tomada de decisão a jusante em um pipeline de planejamento de tarefas.

Para os desenvolvedores de agentes, manter as probabilidades do modelo de percepção em vez de determinizá-las em uma única melhor estimativa pode melhorar a robustez das decisões sem manter uma distribuição completa sobre estados simbólicos...

arXiv cs.AI
03
testinferenceincremental

Together Compiler: compilação contínua para inferência de IA

A Together AI apresenta o Together Compiler (TKCC), um loop de agentes contínuo para otimização de inferência de IA que combina um Tiered Persistent Engine com um modelo de custo para selecionar configurações de paralelismo e reduzir o trade-off entre throughput de medição e fidelidade.

  • O artigo relata que o TKCC supera em até 1,7x Megakernels escritos à mão e altamente otimizados na carga de trabalho Llama 1B.
  • O artigo relata até 2,6x mais TPS do que os melhores motores de código aberto no benchmark InferenceX, em diferentes plataformas de hardware, para os modelos Kimi K3, GLM 5.3, MiniMax M3.1 Flash e DeepSeek v4.1 Flash.
  • O artigo relata desempenho de ponta com batch size 1: 1111 TPS no M3.1 Flash e 1205 TPS no DeepSeek v4.1 Flash.
  • O artigo afirma que o TKCC atende trilhões de tokens na frota de produção da Together AI.

Para equipes de serving de inferência, o TKCC trata a compilação como um loop contínuo online em vez de ajuste offline de kernels, embora seus ganhos de velocidade sejam relatados pelo artigo e não verificados de forma independente.

arXiv cs.AI
04
watchagentsincremental

Limpar o histórico de um agente prejudica quando o mundo ainda contém o erro

O artigo congela um agente no meio da tarefa com seu estado exato do mundo no AgentCE-Bench e no AppWorld, edita o histórico ou o mundo e deixa um modelo receptor continuar, concluindo que o efeito de uma edição de histórico depende do mundo que ela descreve.

  • AgentCE-Bench: depois que o agente confirma um valor errado, manter o mundo fixo e adicionar uma nota verídica ao lado do erro preservado eleva a recuperação de 51% com uma nota neutra pareada para 66%.
  • AgentCE-Bench: adicionar em vez disso a ação concluída do próprio agente reduz a recuperação abaixo do histórico não editado, de 50% para 44%.
  • AppWorld: após uma escrita no banco de dados, um recibo de sucesso reduz o sucesso da tarefa inteira de 45% para 28% enquanto o efeito está ausente e o eleva de 38% para 49% quando presente.
  • O artigo relata que os dois efeitos diferem em 27 pontos agrupando dois receptores, positivo em seis de oito receptores a 97,5% e em sete a 95%.

Quem constrói sistemas de compactação ou transferência de histórico de agentes deve alinhar as edições do histórico ao estado real do mundo, pois um histórico que parece limpo enquanto o mundo ainda contém o erro pode deixar o agente pior d...

arXiv cs.AI
05
testdeveloperincremental

SynthCorp: uma plataforma para criar benchmarks para agentes de dados

O artigo apresenta o SynthCorp, uma plataforma que cria patrimônios de dados e benchmarks personalizáveis ao simular como eventos de negócio produzem e modificam dados corporativos ao longo do tempo, e a usa para gerar benchmarks iniciais de sete patrimônios de dados e 256 tarefas.

  • Cada patrimônio de dados do SynthCorp combina bancos de dados relacionais, um armazenamento de documentos e um catálogo de dados, acompanhados de tarefas de avaliação e programas de referência executáveis.
  • Os benchmarks iniciais compreendem sete patrimônios de dados (até 1K tabelas operacionais) e 256 tarefas em cinco domínios.
  • O artigo relata a avaliação de três modelos em quatro configurações de contexto de dados, mostrando que os benchmarks separam contextos de dados e níveis de modelos.

Para equipes que constroem agentes de dados empresariais, o SynthCorp oferece um caminho de geração de benchmarks personalizável que verifica programas de referência sem anotação manual.

arXiv cs.AI
06
watchresearchincremental

Yao Shunyu e Yang Zhilin assinam primeiro artigo conjunto: nenhuma IA resolveu sozinha um dos 30 problemas matemáticos de nível mundial

Um primeiro artigo conjunto de Yao Shunyu e Yang Zhilin relata que nenhum dos 30 problemas matemáticos de nível mundial foi resolvido de forma independente por uma IA.

  • O artigo é a primeira publicação conjunta de Yao Shunyu e Yang Zhilin.
  • O artigo abrange 30 problemas matemáticos de nível mundial.
  • O artigo relata que nenhum dos 30 problemas foi resolvido de forma independente por uma IA.

Para os desenvolvedores de IA, o resultado relatado indica uma lacuna clara dos modelos atuais em problemas matemáticos que precisam ser resolvidos de forma independente.

智源社区