AI FRONTIER
Signals worth understanding before they become obvious.
One Model to Loop Them All : récurrence latente élastique pour les modèles de langue
L'article présente Elastic Latent Recurrence (ELR), une recette d'entraînement de modèles de langue bouclés qui, à une seule boucle, coûte autant à servir qu'un modèle non récurrent de même taille et atteint une précision similaire, chaque boucle supplémentaire achetant plus de précision contre plus de calcul d'inféren...
- Dans les modèles MoE, réutiliser les routages d'experts de la première boucle lors des boucles suivantes réduit de 11,7 % le temps de mise à jour en profondeur mixte, sans changement mesurable de précision.
- À l'inférence, ne conserver que le cache KV d'attention de la dernière boucle maintient la mémoire KV d'attention au niveau d'une boucle tout en retenant l'essentiel du gain des boucles supplémentaires.
Un même point de contrôle pouvant échanger nombre de boucles contre latence et précision, les modèles bouclés deviennent exploitables pour un service sensible à la latence.
SpireBench : évaluer le jeu stratégique à long terme des modèles agentiques avec Slay the Spire
L'article présente SpireBench, dans lequel les modèles jouent au jeu commercial complet de construction de deck Slay the Spire à sa difficulté maximale afin d'évaluer le raisonnement stratégique à long terme de 20 grands modèles de langage.
- L'article évalue 20 grands modèles de langage à la difficulté maximale de Slay the Spire.
- L'article rapporte que les modèles de pointe battent les baselines heuristiques et égalent le joueur humain moyen, mais restent loin derrière les experts.
- L'article rapporte que les modèles les plus forts gagnent le premier acte aussi souvent que les experts, puis décrochent à mesure que la partie s'allonge.
Pour les développeurs d'agents, SpireBench fournit un benchmark à long terme qui localise les échecs et révèle des faiblesses précises dans le jugement du risque et l'usage de la mémoire.
Au-delà des récompenses vérifiables binaires : auto-récompense comportementale pour les agents SWE
L'article introduit Behavioral Self-Rewarding (BSR), une méthode d'affinage de récompense qui réutilise la politique pour comparer le comportement de débogage observable entre des trajectoires issues de la même tâche avec le même résultat de vérificateur, en agrégeant les préférences par paires en scores locaux à la tâ...
- BSR rapporte des améliorations constantes sur SWE-bench Verified et SWE-bench-Live pour les configurations Qwen3-14B et Qwen3-32B évaluées.
- La méthode réutilise la politique pour comparer le comportement de débogage observable entre des trajectoires de la même tâche avec le même résultat de vérificateur, sans modèle de récompense entraîné séparément.
- BSR fournit une supervision supplémentaire à partir de trajectoires déjà collectées sans nécessiter de nouvelles interactions avec l'environnement.
Pour les équipes qui construisent des agents SWE, BSR indique que les jugements comparatifs de la politique elle-même peuvent servir de signal d'apprentissage complémentaire au-delà du pass/fail binaire des tests, sans nouvelles interaction...
Kairos : vers un modèle de fondation au niveau octet pour toutes les modalités
Kairos combine une attention linéaire gated-DeltaNet bidirectionnelle avec une attention à fenêtre glissante sur des projections partagées (LiZAttention2), une agrégation Attention-Residual par blocs, une couche feed-forward Mixture-of-Experts creuse et un codec multi-échelle au niveau octet, entraîné par un objectif d...
- Dans des tests de surapprentissage sur une seule phrase de 440 octets, à 1–15M de paramètres et en texte seul, LiZAttention2 et l'attention à fenêtre seule atteignent une perte minimale proche de 10^-3 à 3 000 pas.
- Après 600 pas, la perte minimale moyenne va de 0,018 (codec patch) à 0,354 (codec convolutif depthwise), avec un classement identique sur trois graines.
- La Discussion estime analytiquement une cible de 200M de paramètres au total et 25M actifs, mais aucune de ses valeurs de débit n'est mesurée ; le code et un paquet Python sont disponibles.
Pour les développeurs, Kairos reste pour l'instant une vérification reproductible de convergence, et sa conception multimodale au niveau octet doit encore être validée par l'entraînement préalable prévu.
ForcingBooster : débruitage adaptatif par patch pour une diffusion vidéo autorégressive rapide
L'article présente ForcingBooster, un cadre qui alloue dynamiquement les étapes de débruitage à chaque patch vidéo, en arrêtant tôt les patchs faciles et en accordant davantage d'étapes de raffinement aux patchs difficiles. Il rapporte une réduction d'environ 50 % du nombre total d'étapes de débruitage appliquées aux p...
- L'article rapporte une réduction d'environ 50 % du nombre total d'étapes de débruitage appliquées aux patchs vidéo.
- L'article rapporte une qualité visuelle comparable à la référence à quatre étapes.
- La méthode est compatible avec la plupart des modèles de diffusion autorégressifs existants à peu d'étapes et ne nécessite qu'un module de routage léger avec un entraînement modeste.
- L'article a été soumis le 8 octobre 2026 sous la référence arXiv:2610.12625 par Zekai Gu, Peng Wang, Jiahao Lu, Yongsen Mao, Cheng Lin et Yuan Liu.
Pour les équipes qui construisent de la génération vidéo interactive en temps réel et des modèles du monde vidéo, un budget de débruitage par patch permet de déplacer le calcul des régions faciles vers les régions difficiles sans modifier l...
Google DeepMind publie EmbeddingGemma 2, un modèle d'embedding multimodal ouvert de 740M paramètres
EmbeddingGemma 2 projette le texte (y compris le code), les images, la vidéo et l'audio dans un espace vectoriel unifié de 768 dimensions sous licence Apache 2.0, conçu pour fonctionner sur du matériel grand public comme les mobiles et les ordinateurs portables.
- 740M paramètres au total : squelette texte de 270M (130M transformer + 140M embedder), encodeur vision de 170M et encodeur audio de 300M.
- L'article rapporte 61,36 sur MTEB multilingue v2 et 78,68 sur MTEB code v1, soit une amélioration d'environ 14 % par rapport aux 68,76 d'EmbeddingGemma 1 sur le code.
- Matryoshka Representation Learning permet une troncature à 128d, 256d, 512d et 768d, avec jusqu'à 6x de réduction des coûts de stockage vectoriel.
- Fenêtre de contexte de 8 192 tokens, plus de 100 langues prises en charge, licence Apache 2.0.
Les développeurs peuvent servir la recherche texte, image, vidéo et audio depuis un seul espace d'embedding de 768 dimensions sur du matériel grand public, et charger sélectivement les encodeurs pour réduire l'empreinte effective de 740M à ...
MagicBeanStalk : échapper au piège du zéro avantage en RLVR par synthèse récursive de données
L'article présente MagicBeanStalk, un algorithme de décomposition descendante et de synthèse récursive ascendante de données qui transforme des problèmes germes en familles de problèmes d'entraînement calibrés pour la politique et le budget, tout en préservant les schémas de raisonnement des germes.
- L'article rapporte que sur 8 benchmarks mathématiques, le RLVR continu sur les problèmes MagicBeanStalk améliore gpt-oss-120b de 61,2 à 69,8 (+8,6) et DeepSeek v4Flash de 72,4 à 77,9 (+5,4) avec un budget de 16K tokens.
- L'article rapporte que l'entraînement sur le corpus source complet de 78K n'améliore que de +1,1, et son meilleur sous-ensemble filtré de données réelles de +5,8.
- L'article rapporte qu'en finance, il synthétise plus de 14K problèmes vérifiables à partir de seulement 340 solutions et améliore la base de 6,9 et 2,4 points sur SecQue et FinanceBench, respectivement.
Pour les constructeurs de données RLVR, le signal utile est de savoir si un problème produit un avantage non nul sous la politique cible et le budget de rollout, et non la taille du corpus ; la synthèse récursive peut calibrer la difficulté...