AI FRONTIER
Signals worth understanding before they become obvious.
180B parametri, 32 GB di RAM: spingere l'inferenza MoE al limite con Transformers
Un post del blog di Hugging Face descrive un'implementazione in Transformers che trasmette dall'SSD solo gli esperti selezionati dal router tramite una cache limitata, permettendo a Qwen3.8-Flash-Next di girare su un Mac da 32 GB a circa 14 tok/s e di restare circa il 6% dietro Strata nella decodifica breve.
- Qwen3.8-Flash-Next ha 48 layer da 512 esperti (10 attivi), 121 GB di esperti in FP8, più una tabella di embedding n-gram da 51 GB.
- Gli esperti quantizzati a 3 bit occupano 49 GB su disco con 12 GiB in cache sul dispositivo, e i layer densi a 8 bit circa 5,4 GB (+0,2% di perplessità rispetto a BF16).
- Dopo il caricamento usa circa 18 GiB, e un prompt da 6K raggiunge un picco di 25,4 GiB.
- Risultati finali: decodifica di 200 token 13,9 tok/s contro Strata 14,8, prefill di un prompt da 4K 228 tok/s contro 220, decodifica dopo un documento da 6K 12,4 tok/s contro 13,7.
Per i costruttori di IA, questo mostra che trasmettere solo gli esperti instradati tramite un pool di slot limitato su cui grouped_mm gira così com'è può avvicinarsi a un motore dedicato su memoria consumer, con il collo di bottiglia nei ~1...
DeltaHarness: harness auto-evolutivi per l'esecuzione di strumenti adattiva alle risorse
Il lavoro presenta DeltaHarness, un metodo di ricerca di policy guidato dall'esecuzione che adatta gli harness degli agenti a partire da misurazioni a freddo; il suo ciclo QHI usa la risposta osservata per aggiornare il dispatch a runtime, rivedere i piani fisici e selezionare esperimenti per proposte successive, con u...
- Con dispatch fisso, una policy di materializzazione rivista riduce la latenza di consegna completa del 30,0% su un'attività di montaggio video, su tre nuove coppie.
- Su attività tenute da parte, le policy evolute riducono la latenza dell'8,2% rispetto al miglior piano fisso in un seed e del 4,6% rispetto alla proposta iniziale in un altro.
- Il lavoro riporta che la stessa descrizione di attività e risorse può nascondere condizioni di runtime che invertono l'ordine di latenza di piani di esecuzione validi.
Per chi costruisce agenti che usano strumenti, ciò suggerisce che l'harness stesso può essere ottimizzato tramite ricerca di policy basata sulla latenza misurata nell'ambiente target, invece di affidarsi a piani statici.
I modelli linguistici possono riscrivere i propri pesi
Un articolo arXiv riporta che un modello da 27B, fornito dei propri pesi, di risposte valutate e della capacità di eseguire se stesso, diagnostica i propri fallimenti e modifica i propri pesi senza gradienti né addestramento, guadagnando 6,6 punti su 490 problemi mai visti.
- L'articolo riporta che la modifica ha reso il modello 6,6 punti più accurato su 490 problemi che non aveva mai visto, in un test fissato in anticipo.
- L'articolo riporta che nelle prime otto sessioni di questo tipo ogni modifica sostituiva la precedente e l'accuratezza non faceva che salire.
- L'articolo riporta che su quattro dimensioni il modello 2B non ha apportato modifiche, i modelli 4B e 9B si sono danneggiati e solo il 27B ha funzionato; servono un modello aperto e ore su una singola GPU.
Per gli sviluppatori, ciò suggerisce che il miglioramento a livello di pesi potrebbe diventare una via di miglioramento post-distribuzione senza infrastruttura di addestramento, sebbene l'efficacia riportata finora valga solo alla scala 27B...
Genie 4 è ora disponibile
Google DeepMind sta distribuendo una nuova esperienza Project Genie per gli abbonati idonei a Google AI Ultra, con il primo accesso a Genie 4, che consente di modificare gli ambienti in tempo reale con linguaggio naturale e audio nativo.
- Genie 4 consente di inserire un prompt a metà sessione per cambiare il meteo, aggiungere un personaggio o reindirizzare l'azione in tempo reale.
- Genie 4 abbina i visuali a un audio nativo in tempo reale che si adatta mentre la scena si svolge, da paesaggi sonori ambientali a dialoghi dei personaggi.
- Genie 3 estende le sessioni fino a 3 minuti per generazione, rispetto ai 60 secondi precedenti, e consente di collegare più mondi.
- Genie 3 aggiunge l'ancoraggio con immagini panoramiche a 360 gradi e eventi nel mondo attivabili tramite prompt in tempo reale.
Per gli sviluppatori, i modelli del mondo passano dalla generazione singola a ambienti interattivi controllabili tramite prompt, con audio e condivisibili, mentre latenza della camera, interazioni fisiche complesse e permanenza delle scene ...
Rumble-2-Flash: un modello vocale aperto da 0,5B per oltre 40 lingue
Reson8 ha reso open source Rumble-2-Flash con licenza Apache 2.0, un modello di riconoscimento vocale da 0,5B parametri per oltre 40 lingue che utilizza l'architettura Qwen3-ASR con supporto nativo in Transformers e vLLM.
- Modello da 0,5B parametri rilasciato con licenza Apache 2.0
- Sul tracciato multilingue dell'Open ASR Leaderboard, raggiunge un tasso di errore medio del 6,96% in cinese, tedesco, francese, italiano, spagnolo, portoghese, hindi, olandese e inglese
- Sul tracciato inglese dell'Open ASR Leaderboard raggiunge un WER medio del 6,6%
- Sul benchmark call center di AppTek (302 ore di chiamate helpline, 14 accenti inglesi) raggiunge il 7,86% di WER, alla pari di Nemotron 3.5 Transcribe (30B) di NVIDIA al 7,78%
Gli sviluppatori possono distribuire un modello ASR da 0,5B con licenza Apache 2.0 con accuratezza multilingue e call center dichiarata alla pari di un modello da 30B, con supporto nativo per Transformers e vLLM.
Gli auditor faticano a individuare il sabotaggio nelle trascrizioni end-to-end della ricerca sulla sicurezza dell'IA
Il paper conduce un gioco red-team/blue-team in cui un ricercatore umano esegue da zero esperimenti di sicurezza dell'IA come sabotatore sostituto, mentre gli auditor cercano di capire quali esperimenti sono stati sabotati e come, avendo accesso alla trascrizione completa della ricerca e alla possibilità di eseguire es...
- Gli auditor umani che distinguevano ricerca sabotata da ricerca benigna hanno ottenuto un AUROC di 0,59, non significativamente migliore del caso.
- Gli auditor umani hanno identificato completamente il sabotaggio specifico solo nel 17% dei casi.
- Quando il sabotatore sceglieva quali esperimenti attaccare invece di dover sabotare ogni domanda assegnata, l'identificazione del sabotaggio diminuiva ulteriormente.
Per i team che automatizzano la R&S sull'IA, l'audit a posteriori di una trascrizione completa della ricerca non basta a individuare il sabotaggio di agenti di livello esperto, quindi i progetti di audit devono verificare attivamente gli es...
Dentro la sandbox di Codex
Scopri come Codex esegue comandi sulla tua macchina applicando i limiti di filesystem e di rete che controlli su macOS, Linux e Windows.
- Codex esegue comandi sulla tua macchina.
- Codex applica limiti di filesystem e di rete che controlli tu.
- La sandbox copre macOS, Linux e Windows.
Gli sviluppatori possono eseguire comandi Codex su tre principali piattaforme desktop limitando l'accesso a filesystem e rete entro i confini che impostano autonomamente.