AI FRONTIER
Signals worth understanding before they become obvious.
One Model to Loop Them All: ricorrenza latente elastica per modelli linguistici
Il lavoro presenta Elastic Latent Recurrence (ELR), una ricetta per addestrare modelli linguistici a ciclo in cui, con un solo ciclo, il costo di servizio è pari a quello di un modello non ricorrente della stessa dimensione e la precisione è simile, mentre ogni ciclo aggiuntivo compra più precisione in cambio di più ca...
- Su modelli ibridi 4B dense e 30B-A3B MoE, ELR con un ciclo è 0,52 punti sotto e 1,04 punti sopra la baseline abbinata su una media di dieci attività, e quattro cicli aggiungono 7,25 e 4,75 punti.
- Nei modelli MoE, riutilizzare le rotte degli esperti del primo ciclo nei cicli successivi riduce dell'11,7% il tempo di aggiornamento a profondità mista, senza variazioni misurabili di precisione.
- In inferenza, mantenere solo la cache KV di attenzione dell'ultimo ciclo tiene la memoria KV di attenzione al livello di un ciclo e conserva gran parte del guadagno dei cicli aggiuntivi.
- Portata fino al post-training, la ricetta produce Koi-4B, un singolo checkpoint che ottiene una stima di 18 sull'Artificial Analysis Intelligence Index con un ciclo, eguagliando Qwen3.5-4B, e 29 con quattro cicli.
Poiché un singolo checkpoint può scambiare numero di cicli con latenza e precisione, i modelli a ciclo diventano utilizzabili per il servizio sensibile alla latenza.
SpireBench: valutare il gioco strategico a lungo termine dei modelli agentici con Slay the Spire
Il paper presenta SpireBench, in cui i modelli giocano al completo gioco commerciale di deck-building Slay the Spire alla massima difficoltà per valutare il ragionamento strategico a lungo termine di 20 grandi modelli linguistici.
- Il paper valuta 20 grandi modelli linguistici alla massima difficoltà di Slay the Spire.
- Il paper riporta che i modelli di frontiera battono le baseline euristiche e uguagliano il giocatore umano medio, ma restano molto indietro rispetto agli esperti.
- Il paper riporta che i modelli più forti vincono il primo atto con la stessa frequenza degli esperti, poi perdono terreno man mano che la partita si allunga.
Per gli sviluppatori di agenti, SpireBench offre un benchmark a lungo termine che individua dove gli agenti falliscono e segnala debolezze specifiche nel giudizio del rischio e nell'uso della memoria.
Oltre le ricompense verificabili binarie: auto-ricompensa comportamentale per agenti SWE
Il lavoro introduce Behavioral Self-Rewarding (BSR), un metodo di raffinamento della ricompensa che riutilizza la policy per confrontare il comportamento di debug osservabile tra traiettorie dello stesso task con lo stesso esito del verificatore, aggregando preferenze a coppie in punteggi locali al task e convertendoli...
- BSR riporta miglioramenti costanti su SWE-bench Verified e SWE-bench-Live nelle configurazioni valutate Qwen3-14B e Qwen3-32B.
- Il metodo riutilizza la policy per confrontare il comportamento di debug osservabile tra traiettorie dello stesso task con lo stesso esito del verificatore, senza un modello di ricompensa addestrato separatamente.
- BSR aggrega preferenze a coppie in punteggi locali al task e li converte in ricompense ausiliarie limitate, introducendo contrasto di ricompensa mentre preserva l'ordinamento pass/fail definito dal verificatore.
- BSR fornisce supervisione aggiuntiva da traiettorie già raccolte senza richiedere nuove interazioni con l'ambiente.
Per i team che costruiscono agenti SWE, BSR indica che i giudizi comparativi della policy stessa possono servire come segnale di apprendimento complementare oltre il pass/fail binario dei test, senza nuove interazioni con l'ambiente né un m...
Kairos: verso un modello fondazionale a livello di byte per ogni modalità
Kairos combina attenzione lineare gated-DeltaNet bidirezionale con attenzione a finestra scorrevole su proiezioni condivise (LiZAttention2), aggregazione Attention-Residual a blocchi, uno strato feed-forward Mixture-of-Experts sparso e un codec multiscala a livello di byte, addestrato con un obiettivo di denoising a ru...
- In test di overfitting su una singola frase di 440 byte, con 1–15M parametri e solo testo, LiZAttention2 e la sola attenzione a finestra raggiungono una perdita minima vicina a 10^-3 a 3.000 passi.
- Dopo 600 passi, la perdita minima media va da 0,018 (codec patch) a 0,354 (codec convoluzionale depthwise), con identica classifica su tre seed.
- La discussione stima analiticamente un obiettivo di 200M totali e 25M attivi, ma nessuna delle sue cifre di throughput è misurata; codice e pacchetto Python sono disponibili.
Per chi sviluppa, Kairos è al momento una verifica riproducibile di convergenza, e il suo design multimodale a livello di byte deve ancora essere validato dal pretraining pianificato.
ForcingBooster: denoising adattivo per patch per una diffusione video autoregressiva rapida
Il paper introduce ForcingBooster, un framework che assegna dinamicamente i passi di denoising ai singoli patch video, fermando presto i patch facili e concedendo più passi di raffinamento a quelli difficili. Riporta una riduzione di circa il 50% del numero totale di passi di denoising applicati ai patch video, mantene...
- Il paper riporta una riduzione di circa il 50% del numero totale di passi di denoising applicati ai patch video.
- Il paper riporta una qualità visiva comparabile alla baseline a quattro passi.
- Il metodo è compatibile con la maggior parte dei modelli di diffusione autoregressivi esistenti a pochi passi e richiede solo un modulo di routing leggero con un addestramento modesto.
- Il paper è stato inviato l'8 ottobre 2026 come arXiv:2610.12625 da Zekai Gu, Peng Wang, Jiahao Lu, Yongsen Mao, Cheng Lin e Yuan Liu.
Per i team che costruiscono generazione video interattiva in tempo reale e modelli del mondo video, un budget di denoising per patch può spostare il calcolo dalle regioni facili a quelle difficili senza cambiare il backbone di diffusione au...
Google DeepMind pubblica EmbeddingGemma 2, modello di embedding multimodale aperto da 740M parametri
EmbeddingGemma 2 mappa testo (incluso codice), immagini, video e audio in un unico spazio vettoriale unificato a 768 dimensioni con licenza Apache 2.0, progettato per girare su hardware di consumo come dispositivi mobili e laptop.
- 740M parametri totali: backbone testuale da 270M (130M transformer + 140M embedder), encoder visivo da 170M ed encoder audio da 300M.
- Il paper riporta 61,36 su MTEB multilingue v2 e 78,68 su MTEB code v1, un miglioramento di circa il 14% rispetto ai 68,76 di EmbeddingGemma 1 sul codice.
- Matryoshka Representation Learning supporta il troncamento a 128d, 256d, 512d e 768d, consentendo fino a 6x di riduzione dei costi di archiviazione vettoriale.
- Finestra di contesto di 8.192 token, oltre 100 lingue supportate, licenza Apache 2.0.
Gli sviluppatori possono servire retrieval di testo, immagini, video e audio da un unico spazio di embedding a 768 dimensioni su hardware di consumo, caricando selettivamente gli encoder per ridurre l'ingombro effettivo da 740M a 270M.
MagicBeanStalk: sfuggire alla trappola del vantaggio zero del RLVR con la sintesi ricorsiva dei dati
Il paper introduce MagicBeanStalk, un algoritmo di decomposizione top-down e sintesi ricorsiva bottom-up dei dati che trasforma problemi seme in famiglie di problemi di addestramento calibrati su politica e budget, preservando i progetti di ragionamento dei semi.
- Il paper riporta che su 8 benchmark matematici, il RLVR continuo sui problemi MagicBeanStalk migliora gpt-oss-120b da 61,2 a 69,8 (+8,6) e DeepSeek v4Flash da 72,4 a 77,9 (+5,4) con un budget di 16K token.
- Il paper riporta che l'addestramento sull'intero corpus sorgente da 78K migliora solo di +1,1, e il suo miglior sottoinsieme filtrato di dati reali di +5,8.
- Il paper riporta che in finanza sintetizza oltre 14K problemi verificabili da soli 340 soluzioni e migliora la base di 6,9 e 2,4 punti rispettivamente su SecQue e FinanceBench.
Per chi costruisce dati RLVR, il segnale utile è se un problema produce vantaggio diverso da zero sotto la politica target e il budget di rollout, non la dimensione del corpus; la sintesi ricorsiva può calibrare la difficoltà preservando la...