AI FRONTIER
Signals worth understanding before they become obvious.
Calcul généraliste fondé sur des preuves avec Magnetar
Microsoft Research présente Magnetar, une machine virtuelle à divulgation nulle de connaissance (zkVM) généraliste qui prouve l'exécution de programmes RISC-V écrits en Rust, Go ou C, avec une sécurité reposant uniquement sur des fonctions de hachage standard.
- Magnetar prouve 7,2 à 8,7 millions d'instructions de processeur par seconde sur un ordinateur portable.
- Une version optimisée de Magnetar prouve 9,5 à 12,8 millions de cycles par seconde, augmentant chaque accélération rapportée d'environ 1,3x, et ses preuves se vérifient en environ 12 millisecondes.
Pour les constructeurs d'IA, Magnetar rend les programmes compilés ordinaires prouvables sans expertise cryptographique et supprime une migration post-quantique de la feuille de route.
Le grand modèle « Shusheng-S2 » du Shanghai AI Lab entre dans le processus de recherche en mathématiques de pointe : il contribue à la preuve de la conjecture de Ghys en dimension ...
Le grand modèle « Shusheng-S2 » du Shanghai AI Lab est entré dans un processus de recherche en mathématiques de pointe, contribuant à la preuve de la conjecture de Ghys en dimension trois, qui a passé la vérification formelle.
- Le grand modèle « Shusheng-S2 » du Shanghai AI Lab est entré dans un processus de recherche en mathématiques de pointe.
- Le modèle a contribué à la preuve de la conjecture de Ghys en dimension trois.
- La preuve associée a passé la vérification formelle.
Cela montre qu'un grand modèle peut participer à une preuve mathématique de pointe et produire un résultat formellement vérifiable, offrant un exemple de processus vérifiable pour la recherche mathématique assistée par IA.
OpenRouter accueille NVIDIA Nemotron 3.5 Super VL, un modèle MoE multimodal
NVIDIA Nemotron 3.5 Super VL est un modèle MoE multimodal ouvert comptant 12B de paramètres actifs sur 120B au total, fondé sur une architecture hybride Mamba-Transformer avec prédiction multi-token et un contexte de 1M de tokens.
- 120B de paramètres au total, dont 12B actifs, sur une architecture hybride Mamba-Transformer avec prédiction multi-token.
- Fenêtre de contexte de 1 048 576 tokens, avec prise en charge de jusqu'à 262 144 tokens de complétion.
- Accepte en entrée du texte, des images, des documents, des captures d'écran GUI et de la vidéo, et renvoie du texte ; le raisonnement est activé par défaut et peut être désactivé ou limité par un budget de tokens.
- Tarif de 0,10 $ par million de tokens d'entrée et 0,40 $ par million de tokens de sortie, lecture du cache à 0,08 $/M, servi par Crusoe, Together, DeepInfra et CoreWeave.
Pour les équipes qui construisent des agents de longue durée, 12B de paramètres actifs avec un contexte de 1M de tokens et une entrée visuelle permettent de traiter intelligence documentaire, interaction GUI et compréhension vidéo dans un s...
Joint Subspace Sparse Attention pour un décodage efficace en contexte long
JSSA apprend un sous-espace query-key partagé de faible dimension pour améliorer le classement de la sélection parcimonieuse au niveau des tokens, et introduit un noyau d'attention indexée au niveau des tokens sans gather qui prend en charge des sélections distinctes par tête KV dans la disposition standard du KV-cache...
- L'article rapporte que sur un GPU NVIDIA B200, JSSA atteint jusqu'à 6,43 fois le débit de décodage de l'attention full-KV à un contexte de 128K.
- L'article indique que JSSA reste proche de la précision full-KV sur les modèles GQA standard, à attention hybride sliding-window/global et Multi-head Latent Attention (MLA).
- L'article note que le raffinement direct de l'objectif exact n'apporte aucune amélioration mesurable dans les configurations testées.
Pour les développeurs d'inférence en contexte long, JSSA compte parce qu'il associe une sélection parcimonieuse au niveau des tokens à un noyau sans gather qui réduit directement le coût de décodage sur les dispositions KV-cache GQA et MLA ...
WorldMemBench : un benchmark complet pour la mémoire des modèles de monde vidéo
L'article présente WorldMemBench, un benchmark qui évalue systématiquement la mémoire du monde dans les modèles de monde vidéo sur 260 cas de test, couvrant la mémoire statique (identité et apparence humaines, apparence et géométrie des objets, contenu et géométrie de l'environnement) et la mémoire dynamique (progressi...
- Le benchmark comprend 260 cas de test évaluant la mémoire statique et dynamique.
- Il utilise des sorties de caméra contrôlées et des trajectoires à revisites multiples, en comparant le contenu statique à des références initiales fixes et les événements dynamiques à des transitions d'état attendues.
- L'évaluation de neuf modèles représentatifs montre qu'une forte rétention statique n'implique pas une évolution dynamique fiable des états.
- Les revisites répétées révèlent une dégradation de la mémoire au-delà du premier retour, et des études humaines soutiennent l'alignement entre les évaluations automatiques et les jugements humains.
Pour les équipes qui construisent des modèles de monde vidéo, ce benchmark décompose la mémoire en axes statique et dynamique mesurables et montre que la rétention statique ne remplace pas la persistance des états lors de revisites répétées...
Modèles similaires, cotes brisées : où l'axiome de Luce échoue dans Chatbot Arena
L'article soutient que le modèle Bradley-Terry de Chatbot Arena attribue un score unique à chaque modèle et suppose donc l'axiome de choix de Luce ; sur 1,8 million de votes Arena, les votes entre versions d'un même modèle sont plus décisifs que ne le prédit Bradley-Terry.
- Sur 1,8 million de votes Arena, les votes entre versions d'un même modèle sont 1,37 fois plus décisifs que ne le prédit Bradley-Terry.
- Entre tailles d'une même génération, le multiplicateur est de 1,26, et entre modèles d'un même laboratoire, de 1,12.
- Une correction à quatre à six paramètres prédit mieux les votes en réserve que Bradley-Terry et que des modèles à des centaines de paramètres, principalement en modélisant les égalités.
Pour les constructeurs, cela signifie que les taux de victoire par paires entre modèles quasi identiques dans le style Arena peuvent être systématiquement surestimés, donc les classements à score unique de modèles similaires doivent être lu...
fishaudio/drama-3 : un modèle text-to-speech MoE de 35B paramètres avec 16 locuteurs et le streaming
Fish Audio a publié Drama 3, un modèle text-to-speech de nouvelle génération conçu pour les scènes multi-personnages et les contenus longs, prenant en charge la génération multi-locuteurs, le clonage vocal et le contrôle en langage naturel. Il repose sur un backbone texte MoE de 35B paramètres avec 3B activés par token...
- 35B paramètres avec 3B activés par token, sur un backbone texte MoE à attention hybride complète et linéaire.
- Les balises de locuteur <|speaker:0|> à <|speaker:15|> permettent à un texte de porter jusqu'à 16 personnages.
- Le décodeur audio Codebook-MTP décode 10 codebooks de manière causale sur toute la séquence.
- Les experts MoE sont en FP8, les autres poids en bf16 ; la page du modèle indique 36B paramètres et les types de tenseurs BF16 et F8_E4M3.
Pour les développeurs qui ont besoin d'audio long multi-personnages, Drama 3 réunit 16 balises de locuteur, le découpage en streaming et le déploiement SGLang-Omni, mais la licence orientée recherche et les exigences matérielles du MoE FP8 ...