AI FRONTIER
Signals worth understanding before they become obvious.
Manipolazione delle classifiche: le valutazioni dei modelli basate sulle preferenze sono vulnerabili alla manipolazione
Il paper riporta che le classifiche in stile Arena, che aggregano confronti a coppie di modelli anonimi tramite il modello Bradley-Terry, sono vulnerabili a voto strategico, prompting strategico e nomina strategica.
- Il paper dimostra voto strategico, prompting strategico e nomina strategica su dati di classifiche pubbliche.
- Il paper riporta che ogni attacco può far guadagnare a un modello fino a 15-20 posizioni in una classifica e, combinati, fino a 45 posizioni.
- Il paper afferma che questi problemi valgono per qualsiasi valutazione basata sulle preferenze che usi il modello Bradley-Terry e consenta prompting, voto o sottomissione di modelli aperti.
I team che costruiscono o si affidano a classifiche in stile Arena necessitano di protezioni contro la manipolazione su voto, prompting e sottomissione dei modelli, altrimenti i provider possono gonfiare strategicamente le posizioni.
Stima dello stato robusta e consapevole del compito da percezione pre-addestrata
Il paper propone un Insieme di Credenze Minimo a θ-confidenza (MBS_θ), costruito dalle probabilità che un modello di percezione già produce, come le distribuzioni di token del layer di output di un VLM, definito come il sottoinsieme minimo di stati la cui probabilità cumulata raggiunge una soglia di massa di credenza s...
- Il paper è di Guy Azran e Sarah Keren e appare a NeurIPS 2026.
- MBS_θ è definito come un sottoinsieme minimo di stati la cui probabilità cumulata raggiunge una soglia di massa di credenza specificata dall'utente.
- PRaVaSS costruisce un MBS_θ con garanzie di correttezza e complessità polinomiale nel caso non vincolato.
Per gli sviluppatori di agenti, mantenere le probabilità del modello di percezione invece di determinizzarle in una singola migliore ipotesi può migliorare la robustezza delle decisioni senza mantenere una distribuzione completa sugli stati...
Together Compiler: compilazione continua per l'inferenza AI
Together AI presenta Together Compiler (TKCC), un ciclo di agenti continuo per l'ottimizzazione dell'inferenza AI che combina un Tiered Persistent Engine con un modello di costo per selezionare le configurazioni di parallelismo, riducendo il compromesso tra throughput di misurazione e fedeltà.
- Il paper riporta che TKCC supera fino a 1,7x Megakernels scritti a mano e altamente ottimizzati sul carico di lavoro Llama 1B.
- Il paper riporta fino a 2,6x TPS in più rispetto ai migliori motori open source sul benchmark InferenceX, su diverse piattaforme hardware, per i modelli Kimi K3, GLM 5.3, MiniMax M3.1 Flash e DeepSeek v4.1 Flash.
- Il paper riporta prestazioni allo stato dell'arte con batch size 1: 1111 TPS su M3.1 Flash e 1205 TPS su DeepSeek v4.1 Flash.
- Il paper afferma che TKCC serve trilioni di token nella flotta di produzione di Together AI.
Per i team di serving dell'inferenza, TKCC imposta la compilazione come ciclo continuo online invece che come tuning offline dei kernel, ma i guadagni di velocità sono riportati dal paper e non verificati in modo indipendente.
Pulire la cronologia di un agente nuoce quando il mondo contiene ancora l'errore
Il lavoro congela un agente a metà attività con il suo esatto stato del mondo su AgentCE-Bench e AppWorld, modifica la cronologia o il mondo e lascia continuare un modello ricevente, rilevando che l'effetto di una modifica della cronologia dipende dal mondo che descrive.
- AgentCE-Bench: dopo che l'agente ha confermato un valore errato, mantenere fisso il mondo e aggiungere una nota veritiera accanto all'errore conservato porta il recupero dal 51% con una nota neutra abbinata al 66%.
- AgentCE-Bench: aggiungere invece l'azione completata dell'agente stesso abbassa il recupero sotto la cronologia non modificata, dal 50% al 44%.
- AppWorld: dopo una scrittura nel database, una ricevuta di successo abbassa il successo dell'intera attività dal 45% al 28% quando l'effetto è assente e lo alza dal 38% al 49% una volta presente.
- Il lavoro riporta che i due effetti differiscono di 27 punti aggregando due riceventi, positivi in sei riceventi su otto al 97,5% e in sette al 95%.
Chi costruisce sistemi di compattazione o passaggio di consegne della cronologia degli agenti deve allineare le modifiche della cronologia allo stato reale del mondo, perché una cronologia resa pulita mentre il mondo contiene ancora l'error...
SynthCorp: una piattaforma per creare benchmark per agenti di dati
Il paper presenta SynthCorp, una piattaforma che crea patrimoni di dati e benchmark personalizzabili simulando come gli eventi aziendali producono e modificano i dati aziendali nel tempo, e la usa per generare benchmark iniziali di sette patrimoni di dati e 256 attività.
- Ogni patrimonio di dati SynthCorp combina database relazionali, un archivio di documenti e un catalogo dati, abbinati a attività di valutazione e programmi di riferimento eseguibili.
- I benchmark iniziali comprendono sette patrimoni di dati (fino a 1K tabelle operative) e 256 attività in cinque domini.
- Il paper riporta la valutazione di tre modelli in quattro configurazioni di contesto dati, mostrando che i benchmark separano contesti dati e livelli di modello.
Per i team che costruiscono agenti di dati aziendali, SynthCorp offre un percorso di generazione di benchmark personalizzabile che verifica i programmi di riferimento senza annotazione manuale.
Yao Shunyu e Yang Zhilin firmano il primo articolo congiunto: nessuna IA ha risolto da sola uno dei 30 problemi matematici di livello mondiale
Un primo articolo congiunto di Yao Shunyu e Yang Zhilin riporta che nessuno dei 30 problemi matematici di livello mondiale è stato risolto in modo indipendente da un'IA.
- L'articolo è la prima pubblicazione congiunta di Yao Shunyu e Yang Zhilin.
- L'articolo riguarda 30 problemi matematici di livello mondiale.
- L'articolo riporta che nessuno dei 30 problemi è stato risolto in modo indipendente da un'IA.
Per gli sviluppatori di IA, il risultato riportato indica una lacuna netta dei modelli attuali sui problemi matematici da risolvere in modo indipendente.