AI FRONTIER
Signals worth understanding before they become obvious.
TRACE : encodage par codebook des activations résiduelles de Transformer pour une inférence distribuée en périphérie économe en communication
L'article présente TRACE, un cadre qui place un quantificateur vectoriel (VQ) à la sortie résiduelle post-attention de chaque couche Transformer et précalcule des représentations clé/valeur indexées par codebook, permettant aux récepteurs de récupérer clés et valeurs par consultation de table au lieu d'exécuter les cal...
- Par rapport à l'inférence parallèle par séquence non compressée, TRACE réduit la surcharge de communication jusqu'à 22 624x.
- Un clustering hiérarchique structure le codebook appris en une hiérarchie multi-résolution, permettant d'adapter le débit de communication à l'exécution sans réentraînement.
- Le cadre prend en charge deux variantes de fonctionnement : l'une privilégiant la précision, l'autre équilibrant précision et efficacité via une quantification compatible avec les tampons.
Pour les développeurs d'inférence distribuée en périphérie, précalculer clés et valeurs sous forme d'indices de codebook supprime le calcul en aval côté récepteur et permet le recouvrement communication-calcul, mais les gains rapportés dépe...
Structured Authority Injection : contrôle humain persistant des agents LLM via des surcharges MCP typées
L'article propose Structured Authority Injection (SAI), un protocole qui achemine les corrections de l'opérateur via des appels d'outils Model Context Protocol (MCP) typés et validés par schéma, et maintient un contexte d'autorité classé ajouté au début de chaque prompt LLM, sans nécessiter de fine-tuning ni d'accès au...
- L'article rapporte une réduction de la surcharge de prompt dans les modèles les plus performants, jusqu'à 38 % selon le modèle et le scénario, mais le bénéfice varie fortement selon les modèles.
- La méthode ne nécessite ni fine-tuning ni accès aux poids du modèle et s'applique aux LLM ajustés par instructions prenant en charge l'usage d'outils MCP.
Pour les concepteurs d'orchestrateurs d'agents, SAI offre un patron au niveau protocole pour des surcharges humaines persistantes et typées sans réentraîner les modèles, mais le bénéfice rapporté varie fortement selon le modèle.
Où la réduction des experts en prefill nuit aux modèles MoE : quelques tokens de prompt portent l'essentiel de la perte de F1 en réponses courtes
À l'aide d'interventions sur les tokens, les couches et les chemins d'attention dans quatre familles MoE, l'article localise les dommages causés par le passage des tokens de prompt dans moins d'experts routés pendant le prefill : dans Qwen3-30B-A3B la perte se produit aux deux tokens du template de chat avant la répons...
- À la moitié des experts, la perte de F1 de trois familles relève surtout de la forme de la réponse : le modèle trouve encore la réponse mais cesse de répondre brièvement.
- Dans Qwen3-30B-A3B la perte se produit aux deux tokens du template de chat avant la réponse ; dans DeepSeek-V2-Lite aux 8-32 premiers tokens du prompt, où se trouve son instruction.
- En termes de vraisemblance de la réponse, ces positions représentent environ la moitié et un cinquième des dommages.
- La réduction modifie la masse d'attention, la norme et la plus grande activation du premier token de moins de 4 %, et restaurer les super experts ou les activations massives ne récupère qu'environ un quart de la perte.
Pour le serving MoE, conserver le routage en experts complets aux extrémités du prompt, en particulier aux positions du template de chat et de l'instruction, préserve mieux le F1 en réponses courtes que restaurer les super experts ou les ac...
RealCLI : un benchmark unifié pour la collaboration humain-agent des agents CLI
L'article présente REALCLI, un benchmark apparié qui unifie l'évaluation de l'exécution des tâches et de la qualité de la collaboration humain-agent sur des tâches CLI réalistes, avec un cadre en cinq dimensions, 22 sous-dimensions, 51 modèles de scénarios d'interaction et deux modes appariés : REALCLI-EXEC et REALCLI-...
- REALCLI construit un cadre de collaboration en cinq dimensions, opérationnalisé en 22 sous-dimensions et 51 modèles de scénarios d'interaction.
- L'article rapporte que la meilleure configuration n'atteint qu'un score moyen de 49,2 %, et que la performance maximale du score de collaboration joint J_collab n'atteint que 37,6 %.
- L'article rapporte que les modèles rencontrent systématiquement des difficultés en matière de pilotabilité, de calibration de la confiance et de gestion des limites de sécurité.
Pour les développeurs d'agents CLI, la forte divergence entre efficacité des tâches et qualité de collaboration signifie qu'optimiser uniquement l'achèvement des tâches ne suffira pas à réussir l'évaluation en conditions interactives réalis...
FlashControl : un générateur contrôlable en une étape via des enseignants à flux unique adaptés à la distillation
L'article présente DeltaControl, qui affine un sous-ensemble sélectionné de couches du modèle de diffusion texte-image d'origine pour permettre directement la génération à condition spatiale, sans ajouter de branches conditionnelles supplémentaires. La distillation par étapes appliquée à cet enseignant produit FlashCon...
- L'article a été accepté à NeurIPS 2026 et soumis le 15 octobre 2026.
- DeltaControl est un modèle de diffusion multi-étapes à flux unique dont l'article rapporte qu'il égale les performances des approches à double branche.
- FlashControl est obtenu en appliquant la distillation par étapes à DeltaControl et permet une génération contrôlable spatialement en une seule passe avant.
- L'article indique que les modèles contrôlables existants tels que ControlNet reposent sur une conception à double branche qui rend la distillation difficile.
Pour les développeurs d'IA, cela montre qu'un enseignant contrôlable adapté à la distillation peut être obtenu sans architecture à double branche, ce qui abaisse la barrière vers la génération d'images contrôlable en une étape.
Trust but Verify : concevoir une dynamique forward non homogène par région pour la diffusion discrète
L'article combine des noyaux absorbants et de mélange uniforme avec des taux dépendant de la région : les positions manquantes suivent une dynamique absorbante, tandis que le contexte subit une substitution aléatoire à faible taux, exposant le modèle à des tokens observés mais incertains pendant l'entraînement. À l'inf...
- Un finetuning de 8 000 étapes d'un modèle de diffusion masqué préentraîné de 170 M de paramètres prend moins de cinq heures sur un GPU de portable de 6 Go.
- Le modèle de base attribue environ 50 % de probabilité aux tokens observés, même lorsqu'il s'agit de bruit uniformément aléatoire.
Ces résultats suggèrent qu'une confiance intermédiaire est atteinte en modifiant la dynamique forward plutôt que l'architecture dans un modèle de diffusion discret de 170 M, la détectabilité et les dommages dépendant conjointement de l'écar...