AI FRONTIER
Signals worth understanding before they become obvious.
One Model to Loop Them All: Elastische latente Rekurrenz für Sprachmodelle
Die Arbeit stellt Elastic Latent Recurrence (ELR) vor, ein Trainingsrezept für geschleifte Sprachmodelle, bei dem ein Modell mit einer Schleife dieselben Serving-Kosten wie ein nicht-rekurrentes Modell gleicher Größe hat und ähnliche Genauigkeit erreicht, während jede weitere Schleife gegen mehr Inferenzrechenleistung ...
- Bei 4B-dense- und 30B-A3B-MoE-Hybridmodellen liegt ELR mit einer Schleife 0,52 Punkte unter und 1,04 Punkte über der passenden Baseline im Mittel über zehn Aufgaben; vier Schleifen fügen 7,25 und 4,75 Punkte hinzu.
- In MoE-Modellen senkt die Wiederverwendung der Expertenrouten der ersten Schleife in späteren Schleifen die Update-Zeit bei gemischter Tiefe um 11,7 % ohne messbare Genauigkeitsänderung.
- Bei der Inferenz hält das Beibehalten nur des Attention-KV-Caches der letzten Schleife den Attention-KV-Speicher auf dem Niveau einer Schleife, während der Großteil des Gewinns zusätzlicher Schleifen erhalten bleibt.
Da ein Checkpoint Schleifenzahl gegen Latenz und Genauigkeit tauschen kann, werden geschleifte Modelle für latenzempfindliches Serving nutzbar.
SpireBench: Bewertung langfristigen strategischen Spiels agentischer Modelle mit Slay the Spire
Die Arbeit stellt SpireBench vor, in dem Modelle das vollständige kommerzielle Deck-Building-Spiel Slay the Spire auf höchster Schwierigkeit spielen, um langfristiges strategisches Schlussfolgern bei 20 großen Sprachmodellen zu bewerten.
- Die Arbeit bewertet 20 große Sprachmodelle auf der höchsten Schwierigkeitsstufe von Slay the Spire.
- Die Arbeit berichtet, dass Frontier-Modelle heuristische Baselines schlagen und mit dem durchschnittlichen menschlichen Spieler mithalten, aber weit hinter Experten zurückbleiben.
- Die Arbeit berichtet, dass die stärksten Modelle den ersten Akt so oft wie Experten gewinnen und dann mit längerem Run zurückfallen.
Für Agenten-Entwickler bietet SpireBench einen langfristigen Benchmark, der Fehlerstellen lokalisiert und konkrete Schwächen bei Risikobeurteilung und Speichernutzung aufzeigt.
Jenseits binärer verifizierbarer Belohnungen: Behaviorales Selbstbelohnen für SWE-Agenten
Die Arbeit führt Behavioral Self-Rewarding (BSR) ein, eine Methode zur Belohnungsverfeinerung, die die Policy wiederverwendet, um beobachtbares Debugging-Verhalten zwischen Trajektorien derselben Aufgabe mit demselben Verifier-Ergebnis zu vergleichen, paarweise Präferenzen zu aufgabenlokalen Scores zu aggregieren und i...
- BSR berichtet konsistente Verbesserungen auf SWE-bench Verified und SWE-bench-Live über die evaluierten Konfigurationen Qwen3-14B und Qwen3-32B.
- Die Methode verwendet die Policy wieder, um beobachtbares Debugging-Verhalten zwischen Trajektorien derselben Aufgabe mit demselben Verifier-Ergebnis zu vergleichen, ohne ein separat trainiertes Belohnungsmodell.
- BSR liefert zusätzliche Überwachung aus bereits gesammelten Trajektorien, ohne neue Umgebungsinteraktionen zu erfordern.
Für Teams, die SWE-Agenten entwickeln, zeigt BSR, dass die vergleichenden Urteile der Policy selbst als komplementäres Lernsignal jenseits des binären Test-Pass/Fail dienen können, ohne neue Umgebungsinteraktionen oder ein separates Belohnu...
Kairos: Auf dem Weg zu einem Byte-Level-Foundation-Modell für jede Modalität
Kairos kombiniert bidirektionale gated-DeltaNet-Linearattention mit Sliding-Window-Attention über gemeinsame Projektionen (LiZAttention2), blockweise Attention-Residual-Aggregation, eine sparse Mixture-of-Experts-Feed-Forward-Schicht und einen mehrskaligen Byte-Level-Codec, trainiert mit einem Uniform-Noise-Denoising-Z...
- In Overfitting-Tests auf einem einzelnen 440-Byte-Satz mit 1–15M Parametern, nur Text, erreichten LiZAttention2 und reine Window-Attention nach 3.000 Schritten eine minimale Loss nahe 10^-3.
- Nach 600 Schritten lag die mittlere minimale Loss zwischen 0,018 (Patch-Codec) und 0,354 (depthwise Convolution-Codec), mit identischer Rangfolge über drei Seeds.
- Die Diskussion dimensioniert analytisch ein Ziel von 200M Gesamt- und 25M aktiven Parametern, doch keine ihrer Durchsatzangaben ist gemessen; Code und ein Python-Paket sind verfügbar.
Für Entwickler ist Kairos derzeit eine reproduzierbare Konvergenzprüfung; sein Byte-Level-Multimodaldesign muss Generalisierung und multimodalen Nutzen erst im geplanten Pretraining zeigen.
ForcingBooster: Adaptives patchweises Denoising für schnelle autoregressive Videodiffusion
Die Arbeit stellt ForcingBooster vor, ein Framework, das Denoising-Schritte dynamisch einzelnen Videopatches zuweist: einfache Patches stoppen früh, schwierige Patches erhalten mehr Verfeinerungsschritte. Es wird berichtet, dass die Gesamtzahl der auf Videopatches angewendeten Denoising-Schritte um etwa 50 % reduziert ...
- Die Arbeit berichtet eine Reduktion der Gesamtzahl der auf Videopatches angewendeten Denoising-Schritte um etwa 50 %.
- Die Arbeit berichtet eine visuelle Qualität, die mit der vierstufigen Baseline vergleichbar ist.
- Die Methode ist mit den meisten bestehenden autoregressiven Diffusionsmodellen mit wenigen Schritten kompatibel und erfordert nur ein leichtgewichtiges Routing-Modul mit moderatem Training.
- Die Arbeit wurde am 8. Oktober 2026 als arXiv:2610.12625 von Zekai Gu, Peng Wang, Jiahao Lu, Yongsen Mao, Cheng Lin und Yuan Liu eingereicht.
Für Teams, die Echtzeit-Videogenerierung und Videoweltmodelle entwickeln, kann ein patchweises Denoising-Budget Berechnung von einfachen auf schwierige Regionen verlagern, ohne das autoregressive Diffusions-Backbone mit wenigen Schritten zu...
Google DeepMind veröffentlicht EmbeddingGemma 2, ein offenes multimodales Embedding-Modell mit 740M Parametern
EmbeddingGemma 2 bildet Text (einschließlich Code), Bilder, Video und Audio in einen einheitlichen 768-dimensionalen Vektorraum ab, unter Apache-2.0-Lizenz und ausgelegt für Consumer-Hardware wie Mobilgeräte und Laptops.
- 740M Parameter insgesamt: 270M Text-Backbone (130M Transformer + 140M Embedder), 170M Vision-Encoder und 300M Audio-Encoder.
- Das Paper berichtet 61,36 auf MTEB multilingual v2 und 78,68 auf MTEB code v1, eine Verbesserung von rund 14 % gegenüber den 68,76 von EmbeddingGemma 1 bei Code.
- Matryoshka Representation Learning unterstützt Trunkierung auf 128d, 256d, 512d und 768d, was bis zu 6x geringere Vektorspeicherkosten ermöglicht.
- 8.192-Token-Kontextfenster, über 100 Sprachen unterstützt, Apache-2.0-Lizenz.
Entwickler können Text-, Bild-, Video- und Audio-Retrieval aus einem einzigen 768-dimensionalen Embedding-Raum auf Consumer-Hardware bedienen und durch selektives Laden der Encoder den effektiven Footprint von 740M auf 270M senken.
MagicBeanStalk: Der Zero-Advantage-Falle von RLVR durch rekursive Datensynthese entkommen
Die Arbeit stellt MagicBeanStalk vor, einen Algorithmus zur Top-down-Zerlegung und Bottom-up-rekursiven Datensynthese, der Seed-Probleme zu politik- und budgetkalibrierten Trainingsproblemen ausbaut und dabei die Reasoning-Blaupausen der Seeds bewahrt.
- Die Arbeit berichtet, dass Training auf dem vollständigen 78K-Quellkorpus nur +1,1 verbessert und das beste gefilterte reale Datensubset +5,8.
- Die Arbeit berichtet, dass im Finanzbereich über 14K verifizierbare Probleme aus nur 340 Lösungen synthetisiert werden und die Basis um 6,9 bzw. 2,4 Punkte auf SecQue und FinanceBench verbessert wird.
Für RLVR-Datenentwickler zählt nicht die Korpusgröße, sondern ob ein Problem unter Zielpolitik und Rollout-Budget einen Nicht-Null-Vorteil liefert; rekursive Synthese kann die Schwierigkeit kalibrieren und die Reasoning-Struktur bewahren.