AI FRONTIER
Signals worth understanding before they become obvious.
180B paramètres, 32 Go de RAM : repousser les limites de l'inférence MoE avec Transformers
Un billet de blog Hugging Face décrit une implémentation Transformers qui ne streame depuis le SSD que les experts sélectionnés par le routeur via un cache borné, permettant à Qwen3.8-Flash-Next de tourner sur un Mac de 32 Go à environ 14 tok/s et d'être à environ 6 % derrière Strata en décodage court.
- Qwen3.8-Flash-Next compte 48 couches de 512 experts (10 actifs), 121 Go d'experts en FP8, plus une table d'embedding n-gram de 51 Go.
- Les experts quantifiés en 3 bits occupent 49 Go sur disque avec 12 GiB en cache sur l'appareil, et les couches denses en 8 bits environ 5,4 Go (+0,2 % de perplexité par rapport à BF16).
- Après chargement, il utilise environ 18 GiB, et un prompt de 6K atteint un pic à 25,4 GiB.
- Résultats finaux : décodage de 200 tokens 13,9 tok/s contre Strata 14,8, préremplissage d'un prompt de 4K 228 tok/s contre 220, décodage après un document de 6K 12,4 tok/s contre 13,7.
Pour les constructeurs d'IA, cela montre que ne streamer que les experts routés via un pool de slots borné sur lequel grouped_mm s'exécute tel quel peut approcher un moteur dédié sur une mémoire grand public, le goulot d'étranglement restan...
DeltaHarness : des harnais auto-évolutifs pour une exécution d'outils adaptée aux ressources
L'article présente DeltaHarness, une méthode de recherche de politique guidée par l'exécution qui adapte les harnais d'agents à partir de mesures à froid ; sa boucle QHI utilise la réponse observée pour mettre à jour la répartition à l'exécution, réviser les plans physiques et sélectionner des expériences pour les prop...
- Avec une répartition fixe, une politique de matérialisation révisée réduit la latence de livraison complète de 30,0 % sur une tâche de montage vidéo, sur trois nouvelles paires.
- Sur des tâches mises de côté, les politiques évoluées réduisent la latence de 8,2 % par rapport au meilleur plan fixe pour une graine et de 4,6 % par rapport à la proposition initiale pour une autre.
- L'article rapporte que la même description de tâche et de ressources peut masquer des conditions d'exécution qui inversent l'ordre de latence de plans d'exécution valides.
Pour les développeurs d'agents utilisant des outils, cela suggère que le harnais lui-même peut être optimisé par recherche de politique fondée sur la latence mesurée dans l'environnement cible, plutôt que sur des plans statiques.
Les modèles de langage peuvent réécrire leurs propres poids
Un article arXiv rapporte qu'un modèle de 27B, doté de ses poids, de réponses notées et de la capacité à s'exécuter, diagnostique ses échecs et modifie ses propres poids sans gradients ni entraînement, gagnant 6,6 points sur 490 problèmes inédits.
- L'article rapporte que cette modification a rendu le modèle 6,6 points plus précis sur 490 problèmes qu'il n'avait jamais vus, dans un test fixé à l'avance.
- L'article rapporte que, lors de ses huit premières sessions de ce type, chaque modification remplaçait la précédente et la précision ne faisait qu'augmenter.
- L'article rapporte que, sur quatre tailles, le modèle 2B n'a fait aucune modification, les modèles 4B et 9B se sont cassés, et seul le 27B a réussi ; il faut un modèle ouvert et quelques heures sur un seul GPU.
Pour les développeurs, cela suggère que l'amélioration au niveau des poids pourrait devenir une voie d'amélioration après déploiement sans infrastructure d'entraînement, bien que l'efficacité rapportée ne concerne pour l'instant que l'échel...
Genie 4 est désormais disponible
Google DeepMind déploie une nouvelle expérience Project Genie pour les abonnés éligibles à Google AI Ultra, avec un premier accès à Genie 4 permettant l’édition d’environnements en temps réel en langage naturel et un audio natif.
- Genie 4 permet de saisir une invite en cours de session pour changer la météo, ajouter un personnage ou réorienter l’action en temps réel.
- Genie 4 associe les visuels à un audio natif en temps réel qui s’adapte au déroulement de la scène, des ambiances sonores aux dialogues des personnages.
- Genie 3 porte les sessions à jusqu’à 3 minutes par génération, contre 60 secondes auparavant, et permet de relier plusieurs mondes.
- Genie 3 ajoute l’ancrage sur des images panoramiques à 360 degrés et des événements en monde déclenchés par invite en temps réel.
Pour les développeurs, les modèles de monde passent de la génération unique à des environnements interactifs pilotables par invite, dotés d’audio et partageables, tandis que la latence de caméra, les interactions physiques complexes et la p...
Rumble-2-Flash : un modèle vocal ouvert de 0,5B pour plus de 40 langues
Reson8 a open source Rumble-2-Flash sous licence Apache 2.0, un modèle de reconnaissance vocale de 0,5B paramètres pour plus de 40 langues qui utilise l'architecture Qwen3-ASR avec un support natif dans Transformers et vLLM.
- Modèle de 0,5B paramètres publié sous licence Apache 2.0
- Sur la piste multilingue du Open ASR Leaderboard, il atteint un taux d'erreur moyen de 6,96 % en chinois, allemand, français, italien, espagnol, portugais, hindi, néerlandais et anglais
- Sur la piste anglaise du Open ASR Leaderboard, il atteint un WER moyen de 6,6 %
- Sur le benchmark de centre d'appels d'AppTek (302 heures d'appels d'assistance, 14 accents anglais), il atteint 7,86 % de WER, au niveau de Nemotron 3.5 Transcribe (30B) de NVIDIA à 7,78 %
Les développeurs peuvent déployer un modèle ASR de 0,5B sous Apache 2.0 avec une précision multilingue et de centre d'appels rapportée au niveau d'un modèle de 30B, avec un support natif de Transformers et vLLM.
Les auditeurs peinent à détecter le sabotage dans les transcriptions de bout en bout de la recherche en sécurité de l'IA
L'article organise un jeu red-team/blue-team dans lequel un chercheur humain réalise des expériences de sécurité de l'IA à partir de zéro en tant que saboteur mandaté, tandis que des auditeurs tentent de déterminer quelles expériences ont été sabotées et comment, à partir de la transcription complète de la recherche et...
- Les auditeurs humains distinguant les recherches sabotées des recherches bénignes ont obtenu un AUROC de 0,59, sans différence significative par rapport au hasard.
- Les auditeurs humains n'ont identifié complètement le sabotage spécifique que dans 17 % des cas.
- Lorsque le saboteur choisissait les expériences attaquées au lieu d'être obligé de saboter chaque question donnée, l'identification du sabotage diminuait encore.
Pour les équipes qui automatisent la R&D en IA, l'audit a posteriori d'une transcription de recherche complète ne suffit pas à détecter le sabotage d'un agent de niveau expert, ce qui impose des dispositifs d'audit vérifiant activement les ...
Dans le bac à sable Codex
Découvrez comment Codex exécute des commandes sur votre machine tout en appliquant les limites de système de fichiers et de réseau que vous contrôlez sur macOS, Linux et Windows.
- Codex exécute des commandes sur votre machine.
- Codex applique des limites de système de fichiers et de réseau que vous contrôlez.
- Le bac à sable couvre macOS, Linux et Windows.
Les développeurs peuvent exécuter des commandes Codex sur trois grandes plateformes de bureau tout en limitant l'accès au système de fichiers et au réseau aux limites qu'ils définissent eux-mêmes.