AI FRONTIER
Signals worth understanding before they become obvious.
Détournement de classements : les évaluations de modèles basées sur les préférences sont vulnérables à la manipulation
L'article rapporte que les classements de type Arena, qui agrègent des comparaisons par paires de modèles anonymes via le modèle Bradley-Terry, sont vulnérables au vote stratégique, au prompt stratégique et à la nomination stratégique.
- L'article démontre le vote stratégique, le prompt stratégique et la nomination stratégique sur des données de classements publics.
- L'article rapporte que chaque attaque peut faire gagner jusqu'à 15-20 places à un modèle dans un classement, et qu'elles peuvent combinées faire gagner jusqu'à 45 places.
- L'article indique que ces problèmes concernent toute évaluation basée sur les préférences utilisant le modèle Bradley-Terry et autorisant le prompt, le vote ou la soumission de modèles en accès ouvert.
Les équipes qui construisent ou s'appuient sur des classements de type Arena doivent intégrer des protections contre la manipulation au niveau du vote, du prompt et de la soumission de modèles, sinon les fournisseurs peuvent gonfler stratég...
Estimation d'état robuste et consciente de la tâche à partir de la perception pré-entraînée
L'article propose un ensemble de croyances minimal à θ-confiance (MBS_θ), construit à partir des probabilités déjà produites par un modèle de perception, comme les distributions de tokens de la couche de sortie d'un VLM, défini comme le sous-ensemble minimal d'états dont la probabilité cumulée atteint un seuil de masse...
- L'article est de Guy Azran et Sarah Keren et paraît à NeurIPS 2026.
- MBS_θ est défini comme un sous-ensemble minimal d'états dont la probabilité cumulée atteint un seuil de masse de croyance spécifié par l'utilisateur.
- PRaVaSS construit un MBS_θ avec des garanties de correction et une complexité polynomiale dans le cas non contraint.
Pour les concepteurs d'agents, conserver les probabilités du modèle de perception plutôt que de les déterminiser en une seule meilleure estimation peut renforcer la robustesse des décisions sans maintenir une distribution complète sur les é...
Together Compiler : compilation continue pour l'inférence IA
Together AI présente Together Compiler (TKCC), une boucle d'agents continue dédiée à l'optimisation de l'inférence IA, associant un Tiered Persistent Engine et un modèle de coût pour choisir les configurations de parallélisme afin de réduire le compromis débit-fidélité.
- L'article rapporte que TKCC dépasse de jusqu'à 1,7x des Megakernels écrits à la main et hautement optimisés sur la charge de travail Llama 1B.
- L'article rapporte des performances de pointe à batch size 1 : 1111 TPS sur M3.1 Flash et 1205 TPS sur DeepSeek v4.1 Flash.
- L'article indique que TKCC sert des milliers de milliards de tokens sur la flotte de production de Together AI.
Pour les équipes de serving d'inférence, TKCC transforme la compilation en boucle continue en ligne plutôt qu'en réglage hors ligne des kernels, mais ses gains sont rapportés par l'article et non vérifiés indépendamment.
Nettoyer l'historique d'un agent nuit quand le monde contient encore l'erreur
L'article fige un agent en cours de tâche avec son état du monde exact sur AgentCE-Bench et AppWorld, modifie l'historique ou le monde, puis laisse un modèle récepteur continuer, et constate que l'effet d'une édition d'historique dépend du monde qu'elle décrit.
- AgentCE-Bench : après qu'un agent a validé une valeur erronée, garder le monde fixe et ajouter une note véridique à côté de l'erreur préservée fait passer la récupération de 51 % avec une note neutre appariée à 66 %.
- AgentCE-Bench : ajouter à la place l'action achevée de l'agent abaisse la récupération sous l'historique non édité, de 50 % à 44 %.
- AppWorld : après une écriture en base de données, un reçu de succès abaisse le succès de la tâche entière de 45 % à 28 % quand l'effet est absent et l'élève de 38 % à 49 % une fois présent.
- L'article rapporte que les deux effets diffèrent de 27 points en regroupant deux récepteurs, positifs chez six récepteurs sur huit à 97,5 % et sept à 95 %.
Les concepteurs de systèmes de compactage ou de passation d'historique d'agent doivent aligner les éditions d'historique sur l'état réel du monde, car un historique rendu propre alors que le monde contient encore l'erreur peut laisser un ag...
SynthCorp : une plateforme pour créer des benchmarks pour les agents de données
L'article présente SynthCorp, une plateforme qui crée des patrimoines de données et des benchmarks personnalisables en simulant la façon dont les événements métier produisent et modifient les données d'entreprise au fil du temps, et l'utilise pour générer des benchmarks initiaux de sept patrimoines de données et 256 tâ...
- Chaque patrimoine de données SynthCorp combine des bases de données relationnelles, un magasin de documents et un catalogue de données, associés à des tâches d'évaluation et à des programmes de référence exécutables.
- Les benchmarks initiaux comprennent sept patrimoines de données (jusqu'à 1K tables opérationnelles) et 256 tâches réparties sur cinq domaines.
- L'article rapporte l'évaluation de trois modèles dans quatre configurations de contexte de données, montrant que les benchmarks séparent les contextes de données et les niveaux de modèles.
Pour les équipes qui construisent des agents de données d'entreprise, SynthCorp offre une voie de génération de benchmarks personnalisable qui vérifie les programmes de référence sans annotation manuelle.
Yao Shunyu et Yang Zhilin cosignent leur premier article commun : aucun IA n'a résolu seul l'un des 30 problèmes mathématiques de niveau mondial
Un premier article commun de Yao Shunyu et Yang Zhilin rapporte qu'aucun des 30 problèmes mathématiques de niveau mondial n'a été résolu indépendamment par une IA.
- L'article est la première publication commune de Yao Shunyu et Yang Zhilin.
- L'article porte sur 30 problèmes mathématiques de niveau mondial.
- L'article rapporte qu'aucun des 30 problèmes n'a été résolu indépendamment par une IA.
Pour les développeurs d'IA, ce résultat rapporté signale une lacune nette des modèles actuels sur des problèmes mathématiques à résoudre de façon indépendante.