AI FRONTIER
Signals worth understanding before they become obvious.
DaisyRose-27B : repousser la frontière de l'efficacité du post-entraînement
RadixArk publie DaisyRose-27B, son premier modèle, construit sur Qwen3.8-27B et entraîné par apprentissage par renforcement avec Miles sur des tâches d'agent à long horizon, avec des sessions allant jusqu'à 1M de tokens, à partir de seulement 1 200 tâches sélectionnées en 18 jours sur 144 GPU H200.
- Le pass@1 sur Terminal-Bench 4.1 passe de 5,6 % à 12,0 %.
- Les checkpoints sont disponibles sous Apache 2.0 en BF16, FP8 et NVFP4.
- Le modèle conserve l'architecture, le tokenizer, le template de chat, la compréhension d'images et la fenêtre de contexte de 256K tokens de Qwen3.8-27B.
- L'entraînement a duré des semaines sur 144 H200, soit 63 000 GPU-heures au total.
Pour les constructeurs d'agents, DaisyRose-27B montre qu'environ 1 200 tâches sélectionnées et 18 jours d'entraînement peuvent doubler un score de benchmark terminal tout en publiant des checkpoints sous Apache 2.0.
Comment la Performance Factory d’OpenAI maintient ChatGPT rapide
OpenAI a construit la Performance Factory, un système de workflows propulsés par Codex qui détecte et corrige les problèmes de performance pour aider à maintenir ChatGPT rapide.
- La Performance Factory est un système de workflows propulsés par Codex.
- Il détecte et corrige les problèmes de performance.
- OpenAI indique que l’objectif est d’aider à maintenir ChatGPT rapide.
Pour les équipes qui construisent des produits d’IA, cela montre comment des workflows de génération de code peuvent automatiser le diagnostic et la correction des performances plutôt que de dépendre uniquement d’un réglage manuel.
Une théorie différentielle des compromis qualité-ressources pour la sélection de modèles d'IA : la frontière multiresource et son prix minimax
L'article développe une théorie différentielle représentant les frontières qualité-ressources par une courbe plane indépendante du prix, reliant le nombre effectif de canaux de ressources actifs, N_eff = s²/κ, à la profondeur d'erreur logarithmique restante, ΔS = ln(ε/ε∞). Lorsque chacune des N ressources contribue à u...
- L'article rapporte avoir évalué la théorie sur 117 frontières publiées.
- La théorie dérive des prix de ressources minimax λ*_i = α_i/(N+1) avec un regret exact dans le pire cas de ln(N+1) nats.
- Lorsque chacune des N ressources contribue à un canal actif, la théorie donne la règle de fonctionnement sans paramètre N_eff = 1 en unités livrées.
- La théorie est implémentée dans le paquet open source nn-rank, qui dérive les prix à partir de la qualité et du coût mesurés, classe les candidats et rapporte les choix soutenus et le regret minimax.
Les constructeurs d'IA peuvent utiliser nn-rank pour dériver les prix des ressources à partir de la qualité et du coût mesurés et classer les candidats sans taux de change choisis manuellement, tout en obtenant une garantie quantifiée de re...
Bits, Not Boxes : sélection de couches sans étiquettes pour la localisation visuelle dans les VLM
L'article présente WhereBits, qui transforme des bits where-to-look mesurés sur des questions non étiquetées en un prior de couches et les combine avec des scores contrastifs par tête pour sélectionner les couches qui localisent l'objet interrogé, sans annotations de boîtes ni règles fixes.
- L'article rapporte que WhereBits atteint une précision de pointage COCO de 0,72, contre 0,22 pour mean attention.
- Sur huit VLM, WhereBits égale la précision de pointage des couches ajustées par boîtes sur COCO et RefCOCO et classe mieux les tokens cibles.
- Cet avantage tient sur une famille de modèles mise de côté et à des résolutions plus élevées.
- En zoom-in sans entraînement, ses recadrages augmentent la précision V* de 6,0 points en évaluation à choix forcé.
Pour les développeurs de pipelines de localisation VLM, la sélection de couches peut être recalibrée pour un nouveau modèle ou une nouvelle résolution avec seulement des questions non étiquetées, supprimant le besoin d'annotations de boîtes...
Tencent publie Hy4-flash : un modèle MoE multimodal de 220B de paramètres et 12B actifs
Hy4-flash de Tencent repose sur une architecture Mixture-of-Experts avec 220B de paramètres totaux et 12B actifs par token, accepte nativement le texte et les images, prend en charge une fenêtre de contexte allant jusqu'à 1M de tokens et est publié sous la Tencent Hy License.
- 220B de paramètres totaux (dont 64B de paramètres Engram) avec 12B de paramètres actifs par token ; le squelette linguistique de 42 couches comprend une couche dense et 41 couches MoE.
- Longueur de contexte de 1M (1 048 576 tokens) ; l'encodeur visuel est adapté de SigLIP2-So400m-Patch16-Res512 et relié au squelette via un projecteur MLP.
- Un drafter intégré de 5 couches, DFly2 (0,85B de paramètres), réutilise le cache KV et les indices sparse du modèle cible pour le décodage spéculatif à long contexte.
- Les poids ouverts sont publiés sous la Tencent Hy License en trois versions : Hy4 flash, Hy4 flash-FP8 et le modèle pré-entraîné Hy4 flash-base.
Pour les développeurs, Hy4-flash associe 12B de paramètres actifs à un contexte de 1M de tokens et à l'entrée d'images native, et la réduction rapportée du cache KV avec un décodage supérieur à 150 tokens/s pourrait alléger la mémoire et le...
Les modèles OpenAI font progresser la conception de puces : optimisation de circuits du silicium Jalapeño et amélioration de cœurs RISC-V
OpenAI indique que ses modèles ont optimisé des circuits utilisés dans le silicium Jalapeño et amélioré des conceptions de cœurs RISC-V, montrant des progrès en conception de puces assistée par IA avec GPT-6 Astra.
- Les modèles OpenAI ont optimisé des circuits utilisés dans le silicium Jalapeño.
- Les modèles OpenAI ont amélioré des conceptions de cœurs RISC-V.
- OpenAI présente cela comme un progrès en conception de puces assistée par IA avec GPT-6 Astra.
Pour les équipes de conception de puces, cela indique que les modèles OpenAI sont appliqués à des travaux réels sur circuits silicium et cœurs RISC-V, et pas seulement à des démonstrations conceptuelles.
Article : la contrôlabilité du raisonnement en chaîne peut réduire sa monitorabilité
L'article teste le risque de surveillance du raisonnement en chaîne via un entraînement au contrôle de persona : un affinage supervisé sur des traces de raisonnement mathématique réécrites dans les voix de diverses personas. Cela induit une capacité plus large de contrôle du CoT, bien que l'entraînement ne contienne au...
- L'entraînement est un affinage supervisé sur des traces de raisonnement mathématique réécrites dans les voix de diverses personas, sans exemple d'évasion de surveillance dans les données.
- Dans les évaluations d'intervention, une dissimulation explicite amène souvent la monitorabilité près de zéro.
Les équipes qui construisent des moniteurs d'agents devraient considérer l'affinage de persona comme un facteur pouvant affaiblir la monitorabilité du CoT et tester des invites de transparence ciblées comme atténuation.
Pourquoi votre tâche de fine-tuning dure plus longtemps que ne le disent les FLOPs
Dharma-AI a comparé des estimations analytiques fondées sur les FLOPs à des prédicteurs appris sur 272 tâches SFT de production (environ 7 382 GPU-heures sur des NVIDIA H200) : la référence FLOP n'atteint que R² 0,31, tandis qu'un régresseur CatBoost n'utilisant que des informations disponibles avant le dispatch attein...
- 272 exécutions SFT totalisant environ 7 382 GPU-heures, sur 1, 2 ou 4 GPU H200 répartis sur 1 à 4 nœuds, avec des durées de 1,6 à 172,4 heures.
- La référence FLOP (MFU 30 %) obtient R² 0,31 et une MAE de 12,41 h ; à MFU 45 % le R² est de 0,18 et à MFU 60 % il est de 0,01.
- CatBoost atteint R² 0,98, une MAE de 1,71 h et une erreur médiane de 0,51 h en validation croisée à 5 plis, en n'utilisant que des caractéristiques de configuration disponibles avant le dispatch.
- Le modèle analytique Calculon produit des estimations correspondant à une médiane de seulement 11 % du temps réel observé.
Pour les ordonnanceurs de clusters GPU partagés, un prédicteur à gradient boosting fondé sur la configuration peut fournir des estimations de durée exploitables avant le dispatch, ce que le calcul fondé uniquement sur les FLOPs ne permet pa...