AI FRONTIER

TurboMamba: Schnellere Inferenz, schnelleres Training und bessere Vorhersage durch lexikalisches Gedächtnis

Die Arbeit stellt TurboMamba vor, eine Sprachmodellarchitektur, bei der ein globales Mamba-3-Modell einmal pro abgeschlossenem Token-Block läuft und ein kleiner Transformer diesen globalen Kontext sowie frühere Tokens im Block zur Vorhersage des nächsten Tokens nutzt.

• Die mittlere NLL liegt laut Bericht 9,4 % unter der von Mamba-3, 7,3 % unter der der Jamba-Version und 18,3 % unter der der Zamba-Version.
• Der Ende-zu-Ende-Trainingsdurchsatz beträgt laut Bericht das 2,60-fache von Mamba-3, das 2,81-fache der Jamba-Version und das 4,82-fache der Zamba-Version.

Da die berichteten Verlust- und Durchsatzgewinne bei vergleichbaren Parameterzahlen und Trainingsbudgets erzielt werden, sollten Entwickler sie vor der Übernahme auf eigenen Long-Context- oder Hochdurchsatz-Workloads reproduzieren.

Neues OpenRouter-Modell: Reflection Beam 1.0 501B A23B

Beam 1.0 ist Reflections Reasoning-Modell mit offenen Gewichten für Coding und langfristige agentische Workflows; es nutzt eine sparse Mixture-of-Experts-Architektur mit 501B Gesamt- und 23B aktiven Parametern pro Token, ein Kontextfenster von 1M Token und wird unter Apache 2.0 veröffentlicht.

• Sparse Mixture-of-Experts-Architektur: 501B Gesamtparameter, 23B aktive Parameter pro Token
• Kontextfenster von 1.048.576 Token, Unterstützung für bis zu 131.072 Completion-Token
• Preis von 0,25 $ pro 1M Input-Token und 1,00 $ pro 1M Output-Token
• Veröffentlicht am 16. Oktober 2026, Wissensstand 30. Juni 2026, unter Apache 2.0

Für Teams, die Coding-Agenten bauen, kombiniert Beam 1.0 offene Apache-2.0-Gewichte, einen 1M-Token-Kontext und nur 23B aktive Parameter pro Token, sodass langfristiges Reasoning selbst gehostet oder nutzungsbasiert verfügbar wird.

Expanding Attention: Ein Taylor-Reihen-Weg zu Linearzeit-Transformern mit fester Anzahl rekurrenter Zustände

Die Arbeit entwickelt den Exponentialkern der Attention in eine abgebrochene Taylor-Reihe mit n Termen und faktorisiert jeden Term in ein Tensorpotenz-Innenprodukt, wodurch die kausale Historie auf genau n rekurrente Zustände reduziert wird, die jeweils pro Token durch ein Rang-eins-Außenprodukt aktualisiert werden und...

• Die Rekursion ist verlustfrei bezüglich des abgebrochenen Kerns bei 2,2 × 10^-16 in float64, und die Zustände sind über Chunks additiv bei 5,7 × 10^-14, sodass der Prefill einen parallelen Scan erlaubt.
• Die Arbeit berichtet gemessene Exponenten von t ∝ N^2,28 für Softmax gegenüber N^0,91 für Zustände, mit einer Überkreuzung bei N ≈ 728 und 20,8× bei N = 8192.
• Die Dekodierungslatenz pro Token ist konstant bei 7,3 μs gegenüber N^1,04 für Softmax, was 76,0× bei N = 65536 ergibt.
• Die Normalisierung von Query und Key ist Voraussetzung: ohne sie überschreitet das Argument den Konvergenzradius und das Hinzufügen von Termen hilft nicht mehr.

Für Entwickler bedeutet dies, dass sich Linearzeit-Attention mit festen Zuständen erst oberhalb von etwa 728 Tokens lohnt und eine Normalisierung von Query und Key erfordert, ohne die zusätzliche Taylor-Terme wirkungslos sind.

Neues OpenRouter-Modell: XingChen Xing4.0 29B A4B (kostenlos)

Xing4.0-29B-A4B ist ein offenes Mixture-of-Experts-Sprachmodell des KI-Teams von China Telecom (TeleAI) und der Nachfolger der TeleChat-Serie, mit 29B Gesamtparametern, 4B aktiv pro Token und einem nativen Kontextfenster von 256K Token.

• 29B Gesamtparameter mit 4B aktiv pro Token und einem nativen Kontextfenster von 256K Token; OpenRouter gibt den Kontext mit 262.144 Token an.
• Vollständig auf Ascend-NPUs mit dem MindSpore-Framework trainiert.
• Abgestimmt auf komplexe Engineering- und Agentenarbeit: Tool-Aufrufe, mehrstufige Planung und Ausführung mit langem Kontext; Reasoning ist standardmäßig aktiviert und kann deaktiviert werden.
• Kostenlos auf OpenRouter, veröffentlicht am 16. Oktober 2026, unterstützt tools und tool_choice für Funktionsaufrufe sowie strukturierte Ausgaben über ein JSON-Schema in response_format.

Für Agenten-Entwickler ist dies ein kostenloser offener 29B-MoE-Endpunkt mit 256K-Kontext und Tool-Aufrufen, der sich zum Testen mehrstufiger Planungs-Pipelines mit langem Kontext eignet.

The World Won't Wait: Bewertung und Lehre von Agenten unter einer laufenden Uhr

Die Arbeit führt RealtimeBench ein, 180 Aufgaben über sechs Spieltypen, die Agenten bewerten, während die Spiele während der Inferenz weiterlaufen, und schlägt TORSI vor, bei dem ein langsamer Lehrer Fehler untersucht und Korrekturen zwischen Versuchen testet, bevor er wiederverwendbare Anweisungen für einen schnellen ...

• RealtimeBench umfasst 180 Aufgaben über sechs Spieltypen, wobei die Spiele während der Inferenz weiterlaufen.
• Gepaarte Evaluierungen zeigen, dass GPT-6.1-sol den schnelleren Jev übertrifft, wenn Spiele pausiert sind, aber zurückfällt, wenn sie weiterlaufen.
• In TORSI handelt der Schüler während des Spiels ohne Lehreraufrufe, und Validierungswerte entscheiden, welche Updates übernommen werden.
• Die Arbeit berichtet, dass zwei Runden den durchschnittlichen Testwert von Jev auf einer Fortschrittsskala von 0–100 von 13,51 auf 24,19 heben und alle sechs Spieltypen verbessern.

Für Agenten-Entwickler zeigt das Ergebnis, dass Latenz Modellrankings umkehren kann, weshalb langsames Offline-Lernen und schnelle Online-Ausführung getrennt werden sollten, statt nur die Einzeldurchlauf-Inferenz zu optimieren.

Gleiche Antwort, neue Box: Wie viel des Out-of-Domain-Gewinns von RLVR ist Antwortformat?

Die Arbeit bewertet dieselben Ausgaben zweimal, mit aus öffentlichem Code übernommenen Antwort-Extraktoren und mit einem eigenen Extraktor: Bei vier veröffentlichten 7B-SimpleRL-Base-RL-Paaren verschwinden 82 % des von diesen Extraktoren berichteten Out-of-Domain-Multiple-Choice-Gewinns unter dem eigenen Extraktor, als...

• Bei vier veröffentlichten 7B-SimpleRL-Base-RL-Paaren verschwinden 82 % des von aus öffentlichem Code übernommenen Extraktoren berichteten Out-of-Domain-Multiple-Choice-Gewinns unter dem Extraktor der Autoren.
• Unabhängige LLM-Leser anstelle des Autoren-Extraktors ergeben 77 %, und ein Prompt, der selbst die Box verlangt, ergibt 79 % mit dem Autoren-Extraktor.
• Die Basismodelle geben die meisten ihrer Antworten bereits im Text an, und RL verschiebt sie in die \boxed{}-Box, wo diese Extraktoren zuerst nachsehen.

Entwickler sollten gespeicherte Ausgaben mit einem zweiten Extraktor neu bewerten, bevor sie Out-of-Domain-Gewinne von RLVR interpretieren, denn ein berichteter Gewinn ist teils eine Eigenschaft des Extraktors, der ihn gelesen hat.

Diminishing Returns of Data in Sparse Autoencoders: Functional Behavior does not Guarantee Feature R...

论文摘要：Sparse autoencoders (SAEs) are typically trained on hundreds of millions to billions of activation tokens, yet little work has tested whether this scale is necessary. We study...

This is a useful technical direction to keep on the radar, even if it does not require immediate action.