AI FRONTIER

TurboMamba: inferenza più rapida, addestramento più rapido e predizione migliore con memoria lessicale

Il paper presenta TurboMamba, un'architettura di modello linguistico in cui un modello Mamba-3 globale viene eseguito una volta per ogni blocco di token completato e un piccolo Transformer usa quel contesto globale e i token precedenti del blocco per predire il token successivo.

• La sua NLL media è inferiore del 9,4% rispetto a Mamba-3, del 7,3% rispetto alla versione Jamba e del 18,3% rispetto alla versione Zamba.
• Il throughput di addestramento end-to-end è 2,60x quello di Mamba-3, 2,81x quello della versione Jamba e 4,82x quello della versione Zamba.

Poiché i miglioramenti riportati di perdita e throughput si ottengono con parametri e budget di addestramento comparabili, conviene riprodurli su carichi a contesto lungo o ad alto throughput prima dell'adozione.

Nuovo modello su OpenRouter: Reflection Beam 1.0 501B A23B

Beam 1.0 è il modello di ragionamento a pesi aperti di Reflection per il coding e i flussi di lavoro agentici a lungo orizzonte; usa un'architettura sparse mixture-of-experts con 501B di parametri totali e 23B attivi per token, una finestra di contesto di 1M di token ed è rilasciato sotto Apache 2.0.

• Architettura sparse mixture-of-experts: 501B di parametri totali, 23B di parametri attivi per token
• Finestra di contesto di 1.048.576 token, con supporto fino a 131.072 token di completamento
• Prezzo di 0,25 $ per 1M di token di input e 1,00 $ per 1M di token di output
• Rilasciato il 16 ottobre 2026, con knowledge cutoff al 30 giugno 2026, sotto Apache 2.0

Per i team che costruiscono agenti di coding, Beam 1.0 combina pesi aperti Apache 2.0, contesto da 1M di token e solo 23B di parametri attivi per token, rendendo il ragionamento a lungo orizzonte disponibile sia in self-hosting sia a consum...

Expanding Attention: una via tramite serie di Taylor verso Transformer a tempo lineare con un numero fisso di stati ricorrenti

Il lavoro espande il kernel esponenziale dell'attenzione in una serie di Taylor troncata a n termini e fattorizza ogni termine in un prodotto interno di potenze tensoriali, riducendo la storia causale a esattamente n stati ricorrenti, ciascuno aggiornato da un prodotto esterno di rango uno per token e indipendente dall...

• La ricorsione è senza perdita rispetto al kernel troncato con 2,2 × 10^-16 in float64, e gli stati sono additivi tra blocchi con 5,7 × 10^-14, quindi il prefill ammette una scansione parallela.
• Il lavoro riporta esponenti misurati di t ∝ N^2,28 per softmax contro N^0,91 per gli stati, con un incrocio a N ≈ 728 e 20,8× a N = 8192.
• La latenza di decodifica per token è costante a 7,3 μs contro N^1,04 per softmax, dando 76,0× a N = 65536.
• La normalizzazione di query e key è un prerequisito: senza di essa l'argomento supera il raggio di convergenza e aggiungere termini smette di aiutare.

Per gli sviluppatori, ciò indica che l'attenzione lineare a stati fissi conviene solo oltre circa 728 token e richiede la normalizzazione di query e key, senza la quale aggiungere termini di Taylor è inefficace.

Nuovo modello su OpenRouter: XingChen Xing4.0 29B A4B (gratuito)

Xing4.0-29B-A4B è un modello linguistico mixture-of-experts a pesi aperti del team AI di China Telecom (TeleAI) e il successore della serie TeleChat, con 29B di parametri totali, 4B attivi per token e una finestra di contesto nativa di 256K token.

• 29B di parametri totali con 4B attivi per token e una finestra di contesto nativa di 256K token; OpenRouter indica il contesto come 262.144 token.
• Addestrato interamente su NPU Ascend con il framework MindSpore.
• Ottimizzato per ingegneria complessa e lavoro agentico: chiamata di strumenti, pianificazione multi-step ed esecuzione su contesto lungo; il ragionamento è attivo per impostazione predefinita e può essere disattivato.
• Gratuito su OpenRouter, rilasciato il 16 ottobre 2026, supporta tools e tool_choice per la chiamata di funzioni e output strutturati tramite schema JSON in response_format.

Per chi sviluppa agenti, è un endpoint MoE a pesi aperti da 29B a costo zero, con contesto da 256K e chiamata di strumenti, utile per testare pipeline di pianificazione multi-step su contesto lungo.

The World Won't Wait: valutare e insegnare agli agenti sotto un orologio in tempo reale

Il lavoro introduce RealtimeBench, 180 attività su sei tipi di giochi che valutano gli agenti mentre i giochi continuano a girare durante l'inferenza, e propone TORSI, in cui un insegnante lento studia i fallimenti e verifica le correzioni tra i tentativi prima di scrivere istruzioni riutilizzabili per uno studente vel...

• RealtimeBench comprende 180 attività su sei tipi di giochi, con i giochi che continuano a girare durante l'inferenza.
• Le valutazioni appaiate mostrano che GPT-6.1-sol supera il più veloce Jev quando i giochi sono in pausa, ma resta indietro quando continuano a girare.
• In TORSI, lo studente agisce senza chiamate all'insegnante durante il gioco, e i punteggi di validazione determinano quali aggiornamenti vengono adottati.
• Il lavoro riporta che due round portano il punteggio medio di test di Jev da 13,51 a 24,19 su una scala di progresso 0–100, migliorando tutti e sei i tipi di giochi.

Per chi costruisce agenti, il risultato mostra che la latenza può invertire la classifica dei modelli, quindi occorre separare l'apprendimento offline lento dall'esecuzione online veloce invece di ottimizzare solo l'inferenza in un'unica pa...

Stessa risposta, nuova casella: quanto del guadagno fuori dominio di RLVR è formato della risposta?

Il paper rivaluta gli stessi output con estrattori di risposta copiati da codice pubblico e con un proprio estrattore: su quattro coppie base-RL 7B SimpleRL pubblicate, l'82% del guadagno fuori dominio a scelta multipla riportato da quegli estrattori scompare con l'estrattore degli autori, indicando un guadagno di form...

• Su quattro coppie base-RL 7B SimpleRL pubblicate, l'82% del guadagno fuori dominio a scelta multipla riportato da estrattori copiati da codice pubblico scompare con l'estrattore degli autori.
• Lettori LLM indipendenti al posto dell'estrattore degli autori indicano il 77%, e un prompt che chiede la casella indica il 79% con l'estrattore degli autori.
• I modelli base enunciano già la maggior parte delle risposte in testo, e il RL le sposta nella casella \boxed{}, dove questi estrattori guardano per primi.

Gli sviluppatori dovrebbero rivalutare gli output archiviati con un secondo estrattore prima di interpretare i guadagni fuori dominio di RLVR, perché un guadagno riportato è in parte una proprietà dell'estrattore che lo ha letto.

Diminishing Returns of Data in Sparse Autoencoders: Functional Behavior does not Guarantee Feature R...

论文摘要：Sparse autoencoders (SAEs) are typically trained on hundreds of millions to billions of activation tokens, yet little work has tested whether this scale is necessary. We study...

This is a useful technical direction to keep on the radar, even if it does not require immediate action.