AI FRONTIER
Signals worth understanding before they become obvious.
Come specializzare il vocabolario degli SLM può tagliare il costo di inferenza del 77% in applicazioni reali
VocabX di Dharma-AI ricostruisce il vocabolario di un modello in base al costo di ogni token invece che alla sua frequenza, senza cambiare modello base, dati o ricetta di addestramento, e riporta una riduzione misurata del costo di inferenza del 77,0% su un correttore di temi in portoghese.
- Il correttore è basato su Qwen3-4B e il suo strato di output è passato da circa 152.000 a circa 65.000 righe.
- Sette versioni del correttore sono state addestrate con lo stesso modello base, dati, ricetta e seed; l'unica differenza era il tokenizer, e tutte hanno eseguito le stesse 500 richieste su una RTX 5090 con vLLM.
- La risposta del modello è scesa da 350 a 101 token in media, il costo è calato del 77,0% e il punteggio bench è salito da 0,703 a 0,810.
- L'articolo riporta che VocabX ha compresso più del metodo di riferimento più forte in tutte le quindici combinazioni di cinque domini pubblici e tre famiglie di modelli, da 1,2 a 9,3 punti.
Per un modello piccolo mono-dominio il tokenizer è una leva di costo fissata prima di ogni fase di addestramento, e ricostruirlo secondo il costo lato generazione riduce la spesa di serving senza cambiare il modello base.
I Transformer apprendono due algoritmi di ordinamento concorrenti, e solo uno generalizza in lunghezza
Il paper riporta che Transformer a due strati addestrati fino a una perdita prossima a zero su un compito di ordinamento convergono a una di due classi di soluzione meccanicisticamente distinte a seconda dell'inizializzazione. Una classe non usa il secondo strato di attenzione per ordinare e fallisce nel generalizzare ...
- Il paper riporta che, scegliendo con cura l'inizializzazione dei pesi, gli autori possono indirizzare il modello verso l'apprendimento dell'una o dell'altra soluzione.
- Il paper identifica tipi di input rari alla lunghezza di addestramento ma sempre più comuni a lunghezze di sequenza maggiori come fonte di questa disparità nella generalizzazione in lunghezza.
- Il paper rileva che la specializzazione per strato della seconda classe di soluzioni consente loro di gestire queste sequenze rare con maggiore accuratezza.
Per chi costruisce modelli di sequenza, l'inizializzazione può determinare se l'addestramento produce un algoritmo che generalizza in lunghezza o uno che non generalizza, rendendo inizializzazione e specializzazione per strato variabili di ...
NVIDIA Kumo Relational supera l'apprendimento automatico supervisionato sui dati relazionali, senza addestramento
NVIDIA ha rilasciato Kumo Relational, un modello fondazionale relazionale pre-addestrato che effettua previsioni direttamente sui database aziendali: data una query predittiva, raccoglie fino a 10.000 esempi storici come contesto e prevede in un singolo passaggio in avanti, senza addestramento specifico per attività, i...
- Sulle attività di classificazione di RelBench V1, Kumo Relational supera gli alberi con gradient boosting su feature progettate da esperti di quasi 4 punti AUROC in media.
- Sul benchmark aziendale SAP SALT, supera gli ensemble AutoGluon dell'8% nel rango reciproco medio (MRR), e il fine-tuning estende il vantaggio al 16%.
- Rimane efficace con appena lo 0,2% dei dati di addestramento come contesto, stabile quando fino al 75% dei collegamenti di chiave esterna vengono rimossi e si degrada appena con l'aggiunta di molte colonne rumorose.
- Il codice è rilasciato con licenza Apache 2.0 e i pesi del modello con l'OpenMDW License Agreement, versione 1.1; è disponibile tramite la libreria structured-data-models o come NVIDIA NIM.
Per i team che costruiscono previsioni aziendali, Kumo Relational offre un'alternativa senza addestramento alle pipeline di feature XGBoost, sebbene i modelli supervisionati specifici per attività possano ancora superare le previsioni in co...
Oltre le classifiche scalari: campionamento adattivo per l'identificazione della frontiera di Pareto in arene LLM multi-obiettivo
Il paper presenta Vector-Borda Empirical-Gap Elimination (VB-EGE), un algoritmo di campionamento adattivo a confidenza fissa per identificare efficientemente i modelli sulla frontiera di Pareto in valutazioni in stile arena, dove ogni confronto valuta una coppia di modelli su un prompt rispetto a una dimensione di pres...
- Il paper stabilisce inoltre un limite inferiore nel caso peggiore, mostrando che VB-EGE è minimax-ottimale a meno di fattori logaritmici.
- Simulazioni ed esperimenti su tre dataset di arena del mondo reale (Arena, SearchArena e VisionArena) dimostrano l'efficacia empirica di VB-EGE.
- Il paper è di 51 pagine, incluse referenze e appendici, inviato il 20 ottobre 2026.
Per la valutazione degli LLM che si basa su feedback umano costoso, VB-EGE offre una strategia di campionamento che riduce i confronti identificando al contempo frontiere di compromesso multi-obiettivo a confidenza fissa.
MIT^3: internalizzazione della memoria tramite test-time training per la comprensione di video lunghi
Il paper introduce MIT^3, un framework di adattamento per-video che scrive ogni video lungo in parametri adattivi compatti e specifici del video, per la risposta a domande senza video e solo testuale. Il tracciamento causale seleziona le posizioni di adattamento, e la distillazione della memoria visiva addestra la memo...
- Il paper riporta risposta a domande senza video ed efficiente in termini di dati su LVBench, LongVideoBench e Video-MME.
- Il paper dichiara di usare sostanzialmente meno campioni sintetizzati rispetto ai precedenti metodi di memoria video parametrizzata.
- Il metodo usa il tracciamento causale sotto supervisione multi-scala compatta per misurare l'utilità di memoria causale di ciascun livello del modello per le risposte basate sul video.
- La distillazione della memoria visiva addestra la memoria solo testuale a riprodurre il cambiamento di rappresentazione indotto dal clip video rilevante.
Per chi costruisce sistemi di domanda-risposta su video lunghi, questo lavoro indica che l'internalizzazione dipende sia da dove viene scritta la conoscenza video sia da come viene distillata l'evidenza visiva, non dalla sola aggiunta di te...
Rubriche guidate da esperti come segnali di ricompensa densi per il reinforcement learning in domini non verificabili
Il paper presenta un metodo che converte un piccolo investimento fisso di giudizio di esperti in una ricompensa densa e lo combina con metriche di retrieval per formare un segnale di addestramento ibrido compatibile con GRPO, destinato a compiti di retrieval non verificabili come i servizi finanziari.
- Il paper riporta miglioramenti fino al 6% in Recall@3 e al 6,7% in MRR@3 rispetto alle baseline con ricompensa sparse.
- Il metodo converte un piccolo investimento fisso di giudizio SME in una ricompensa densa e lo combina con metriche di retrieval per formare un segnale di addestramento ibrido.
- Il paper è stato inviato il 17 ottobre 2026, ha 11 pagine e 4 figure, e fa parte del RL4LLM-Agents workshop ICAIF ACM.
Per i team che costruiscono agenti in domini non verificabili, questo risultato indica che trasformare un piccolo insieme di rubriche di esperti in ricompense dense può mitigare l'arresto dell'ottimizzazione GRPO con ricompense sparse.
Generazione di codice RTL Pareto-ottimale tramite apprendimento per rinforzo multi-obiettivo con grandi modelli linguistici
Il paper propone un metodo di apprendimento per la generazione di circuiti basata su LLM che ottimizza la qualità e la diversità dell'intero insieme di circuiti ottenuto tramite generazioni multiple nello spazio degli obiettivi PPA, anziché la qualità di un singolo circuito. Il metodo consiste in una pipeline di addest...
- Il paper riporta +13,3 punti percentuali di Hypervolume relativo rispetto a una baseline senza ottimizzazione PPA sul benchmark RTLLM v2.
- Il paper riporta +14,4 punti percentuali di Hypervolume relativo rispetto a un metodo di apprendimento per rinforzo a obiettivo singolo.
- Il paper afferma che il metodo mostra superiorità anche nella diversità dei circuiti.
- Il paper è stato accettato a COLM 2026 e inviato il 16 ottobre 2026.
Per i costruttori di IA, trattare i compromessi PPA come un problema di copertura Pareto a livello di insieme fornisce candidati RTL diversi selezionabili a posteriori al variare dei vincoli di progettazione.