AI FRONTIER
Signals worth understanding before they become obvious.
TRACE: codifica tramite codebook delle attivazioni residue del Transformer per inferenza distribuita edge a comunicazione efficiente
Il paper presenta TRACE, un framework che colloca un quantizzatore vettoriale (VQ) nel residuo post-attenzione di ogni layer Transformer e precalcola rappresentazioni chiave/valore indicizzate dal codebook, consentendo ai riceventi di recuperare chiavi e valori tramite lookup in tabella invece di eseguire i calcoli di ...
- Rispetto all'inferenza sequenziale parallela non compressa, TRACE riduce l'overhead di comunicazione fino a 22.624x.
- Il clustering gerarchico struttura il codebook appreso in una gerarchia multi-risoluzione, consentendo di adattare il bitrate di comunicazione a runtime senza riaddestramento.
- Il framework supporta due varianti operative: una che privilegia l'accuratezza e l'altra che bilancia accuratezza ed efficienza tramite quantizzazione compatibile con i buffer.
Per chi costruisce inferenza distribuita edge, precalcolare chiavi e valori come indici del codebook elimina il calcolo a valle sul ricevente e consente la sovrapposizione comunicazione-calcolo, ma i guadagni riportati dipendono dai modelli...
Structured Authority Injection: controllo umano persistente per agenti LLM tramite override MCP tipizzati
Il paper propone Structured Authority Injection (SAI), un protocollo che instrada le correzioni dell'operatore tramite chiamate a strumenti Model Context Protocol (MCP) tipizzate e validate da schema, e mantiene un contesto di autorità ordinato anteposto a ogni prompt LLM, senza richiedere fine-tuning né accesso ai pes...
- Il paper riporta un overhead di prompt inferiore nei modelli più forti, fino al 38% a seconda del modello e dello scenario, sebbene il beneficio vari sostanzialmente tra i modelli.
- Il metodo non richiede fine-tuning né accesso ai pesi del modello e si applica a LLM instruction-tuned che supportano l'uso di strumenti MCP.
Per chi costruisce orchestratori di agenti, SAI offre un pattern a livello di protocollo per override umani persistenti e tipizzati senza riaddestrare i modelli, ma il beneficio riportato varia sostanzialmente da modello a modello.
Dove la riduzione degli esperti in prefill danneggia i modelli MoE: pochi token del prompt portano gran parte della perdita di F1 sulle risposte brevi
Tramite interventi su token, layer e percorsi di attenzione in quattro famiglie MoE, l'articolo localizza il danno del far passare i token del prompt attraverso meno esperti instradati durante il prefill: in Qwen3-30B-A3B la perdita si produce nei due token del template di chat prima della risposta, e in DeepSeek-V2-Li...
- Con la metà degli esperti, la perdita di F1 di tre famiglie è soprattutto forma della risposta: il modello trova ancora la risposta ma smette di rispondere in modo breve.
- In Qwen3-30B-A3B la perdita si produce nei due token del template di chat prima della risposta; in DeepSeek-V2-Lite nei primi 8-32 token del prompt, dove si trova la sua istruzione.
- In termini di verosimiglianza della risposta, queste posizioni spiegano circa la metà e un quinto del danno.
- La riduzione cambia massa di attenzione, norma e massima attivazione del primo token di meno del 4%, e ripristinare super experts o massive activations recupera al massimo circa un quarto della perdita.
Per il serving MoE, mantenere l'instradamento a esperti completi alle estremità del prompt, in particolare nelle posizioni del template di chat e dell'istruzione, preserva l'F1 sulle risposte brevi meglio che ripristinare super experts o ma...
RealCLI: un benchmark unificato per la collaborazione uomo-agente negli agenti CLI
Il paper presenta REALCLI, un benchmark appaiato che unifica la valutazione dell'esecuzione dei task e della qualità della collaborazione uomo-agente su task CLI realistici, con un framework a cinque dimensioni, 22 sotto-dimensioni, 51 template di scenari di interazione e due modalità appaiate: REALCLI-EXEC e REALCLI-C...
- REALCLI costruisce un framework di collaborazione a cinque dimensioni, operazionalizzato in 22 sotto-dimensioni e 51 template di scenari di interazione.
- REALCLI-EXEC fornisce specifiche complete in anticipo, mentre REALCLI-COLLAB introduce un utente scriptato che fornisce informazioni progressive, correzioni, revisioni dei vincoli e decisioni di autorizzazione.
- Il paper riporta che la migliore configurazione raggiunge un punteggio medio di solo 49,2%, e che la prestazione di picco nel punteggio di collaborazione congiunta J_collab arriva appena al 37,6%.
- Il paper riporta che i modelli incontrano costantemente difficoltà in guidabilità, calibrazione della fiducia e gestione dei confini di sicurezza.
Per gli sviluppatori di agenti CLI, la netta divergenza tra efficacia dei task e qualità della collaborazione significa che ottimizzare solo il completamento dei task non basterà a superare la valutazione in condizioni interattive realistic...
FlashControl: generatore controllabile in un passo tramite teacher a flusso singolo adatti alla distillazione
Il paper presenta DeltaControl, che effettua il fine-tuning di un sottoinsieme selezionato di layer del modello di diffusione testo-immagine originale per abilitare direttamente la generazione con condizione spaziale, senza aggiungere rami condizionali extra. La distillazione per passi su questo teacher produce FlashCo...
- Il paper è stato accettato a NeurIPS 2026 ed è stato inviato il 15 ottobre 2026.
- DeltaControl è un modello di diffusione a flusso singolo e più passi che, secondo il paper, eguaglia le prestazioni degli approcci a doppio ramo.
- FlashControl si ottiene applicando la distillazione per passi a DeltaControl e supporta la generazione controllabile spazialmente con un singolo passaggio in avanti.
- Il paper afferma che i modelli controllabili esistenti, come ControlNet, si basano su un design a doppio ramo che rende difficile la distillazione.
Per gli sviluppatori di IA, questo mostra che un teacher controllabile adatto alla distillazione può essere ottenuto senza un'architettura a doppio ramo, abbassando la barriera alla generazione di immagini controllabile in un passo.
Trust but Verify: progettare dinamiche forward non omogenee per regione per la diffusione discreta
Il lavoro combina kernel assorbenti e a miscelazione uniforme con tassi dipendenti dalla regione: le posizioni mancanti seguono una dinamica assorbente, mentre il contesto subisce una sostituzione casuale a basso tasso, esponendo il modello a token osservati ma incerti durante l'addestramento. In inferenza, un sampler ...
- Un finetuning di 8.000 passi di un modello di diffusione mascherato pre-addestrato da 170 M di parametri richiede meno di cinque ore su una GPU da laptop da 6 GB.
- Il modello base assegna circa il 50% di probabilità ai token osservati anche quando sono rumore uniformemente casuale.
- Per corruzione uniformemente casuale, il finetuning rileva il contesto corrotto con recall 0,96 e precisione 0,91, migliorando il token-F1 di infill di 3,8 punti al 10% di corruzione e di 6,4 punti al 20%.
I risultati suggeriscono che una fiducia intermedia si raggiunge modificando la dinamica forward anziché l'architettura in un modello di diffusione discreta da 170 M, con rilevabilità e danno che dipendono congiuntamente dalla distanza dal ...