AI FRONTIER

TurboMamba : inférence plus rapide, entraînement plus rapide et meilleure prédiction grâce à la mémoire lexicale

L'article présente TurboMamba, une architecture de modèle de langage où un modèle Mamba-3 global s'exécute une fois par bloc de tokens terminé et où un petit Transformer utilise ce contexte global et les tokens précédents du bloc pour prédire le token suivant.

• Sa NLL moyenne est inférieure de 9,4 % à celle de Mamba-3, de 7,3 % à celle de la version Jamba et de 18,3 % à celle de la version Zamba.
• Le débit d'entraînement de bout en bout est de 2,60x celui de Mamba-3, 2,81x celui de la version Jamba et 4,82x celui de la version Zamba.

Ces gains rapportés de perte et de débit à nombre de paramètres et budget d'entraînement comparables justifient une reproduction sur des charges de travail à contexte long ou à haut débit avant adoption.

Nouveau modèle OpenRouter : Reflection Beam 1.0 501B A23B

Beam 1.0 est le modèle de raisonnement à poids ouverts de Reflection pour le codage et les workflows agentiques de longue durée ; il utilise une architecture sparse mixture-of-experts avec 501B de paramètres totaux et 23B de paramètres actifs par token, une fenêtre de contexte de 1M de tokens et une publication sous Ap...

• Architecture sparse mixture-of-experts : 501B de paramètres totaux, 23B de paramètres actifs par token
• Fenêtre de contexte de 1 048 576 tokens, jusqu'à 131 072 tokens de complétion
• Tarif de 0,25 $ par million de tokens d'entrée et 1,00 $ par million de tokens de sortie
• Publié le 16 octobre 2026, date de coupure des connaissances au 30 juin 2026, sous licence Apache 2.0

Pour les équipes qui construisent des agents de codage, Beam 1.0 combine des poids ouverts Apache 2.0, un contexte de 1M de tokens et seulement 23B de paramètres actifs par token, rendant le raisonnement longue durée accessible en auto-hébe...

Expanding Attention : une voie par séries de Taylor vers des Transformers en temps linéaire à nombre fixe d'états récurrents

L'article développe le noyau exponentiel de l'attention en une série de Taylor tronquée à n termes et factorise chaque terme en un produit interne de puissances tensorielles, ce qui réduit l'historique causal à exactement n états récurrents, chacun mis à jour par un produit externe de rang un par token et indépendant d...

• La récursion est sans perte vis-à-vis du noyau tronqué à 2,2 × 10^-16 en float64, et les états sont additifs entre segments à 5,7 × 10^-14, ce qui permet un balayage parallèle en préremplissage.
• L'article rapporte des exposants mesurés de t ∝ N^2,28 pour softmax contre N^0,91 pour les états, avec un croisement à N ≈ 728 et 20,8× à N = 8192.
• La latence de décodage par token est constante à 7,3 μs contre N^1,04 pour softmax, soit 76,0× à N = 65536.
• La normalisation des requêtes et des clés est un prérequis : sans elle, l'argument dépasse le rayon de convergence et l'ajout de termes cesse d'aider.

Pour les développeurs, cela indique que l'attention linéaire à états fixes n'est avantageuse qu'au-delà d'environ 728 tokens et exige une normalisation des requêtes et des clés, sans laquelle ajouter des termes de Taylor est inefficace.

Nouveau modèle OpenRouter : XingChen Xing4.0 29B A4B (gratuit)

Xing4.0-29B-A4B est un modèle de langage à mélange d'experts à poids ouverts de l'équipe IA de China Telecom (TeleAI) et le successeur de la série TeleChat, avec 29B de paramètres totaux, 4B activés par token et une fenêtre de contexte native de 256K tokens.

• 29B de paramètres totaux avec 4B activés par token et une fenêtre de contexte native de 256K tokens ; OpenRouter indique un contexte de 262 144 tokens.
• Entraîné entièrement sur des NPU Ascend avec le framework MindSpore.
• Optimisé pour l'ingénierie complexe et le travail d'agent : appel d'outils, planification multi-étapes et exécution en contexte long ; le raisonnement est activé par défaut et peut être désactivé.
• Gratuit sur OpenRouter, publié le 16 octobre 2026, et prend en charge tools et tool_choice pour l'appel de fonctions ainsi que les sorties structurées via un schéma JSON dans response_format.

Pour les développeurs d'agents, il s'agit d'un point de terminaison MoE à poids ouverts de 29B sans coût, avec un contexte de 256K et l'appel d'outils, ce qui permet de tester des pipelines de planification multi-étapes en contexte long.

The World Won't Wait : évaluer et enseigner aux agents sous une horloge en temps réel

L'article introduit RealtimeBench, 180 tâches réparties sur six types de jeux qui évaluent les agents pendant que les jeux continuent de tourner durant l'inférence, et propose TORSI, où un enseignant lent étudie les échecs et teste des corrections entre les tentatives avant d'écrire des instructions réutilisables pour ...

• RealtimeBench comprend 180 tâches réparties sur six types de jeux, les jeux continuant de tourner pendant l'inférence.
• Les évaluations appariées montrent que GPT-6.1-sol surpasse le plus rapide Jev lorsque les jeux sont en pause, mais passe derrière lorsqu'ils continuent de tourner.
• Dans TORSI, l'étudiant agit sans appels à l'enseignant pendant le jeu, et les scores de validation déterminent quelles mises à jour sont adoptées.
• L'article rapporte que deux tours font passer le score de test moyen de Jev de 13,51 à 24,19 sur une échelle de progression de 0 à 100, en améliorant les six types de jeux.

Pour les constructeurs d'agents, ce résultat montre que la latence peut inverser le classement des modèles : il faut séparer l'apprentissage hors ligne lent de l'exécution en ligne rapide plutôt que d'optimiser seulement l'inférence en un p...

Même réponse, nouvelle boîte : quelle part du gain hors domaine du RLVR relève du format de réponse ?

L'article renote les mêmes sorties avec des extracteurs de réponse copiés de code public et avec son propre extracteur : sur quatre paires base-RL 7B SimpleRL publiées, 82 % du gain hors domaine en choix multiple rapporté par ces extracteurs disparaît avec l'extracteur des auteurs, ce qui indique un gain de format de r...

• Sur quatre paires base-RL 7B SimpleRL publiées, 82 % du gain hors domaine en choix multiple rapporté par les extracteurs copiés de code public disparaît avec l'extracteur des auteurs.
• Des lecteurs LLM indépendants à la place de l'extracteur des auteurs donnent 77 %, et un prompt demandant lui-même la boîte donne 79 % avec l'extracteur des auteurs.
• Les modèles de base énoncent déjà la plupart de leurs réponses en texte, et le RL les déplace dans la boîte \boxed{}, où ces extracteurs regardent en premier.

Les développeurs devraient renoter les sorties stockées avec un second extracteur avant d'interpréter les gains hors domaine du RLVR, car un gain rapporté dépend en partie de l'extracteur qui l'a lu.

Diminishing Returns of Data in Sparse Autoencoders: Functional Behavior does not Guarantee Feature R...

论文摘要：Sparse autoencoders (SAEs) are typically trained on hundreds of millions to billions of activation tokens, yet little work has tested whether this scale is necessary. We study...

This is a useful technical direction to keep on the radar, even if it does not require immediate action.