AI FRONTIER
Signals worth understanding before they become obvious.
Comment la spécialisation du vocabulaire des SLM peut réduire le coût d'inférence de 77 % en production
VocabX, de Dharma-AI, reconstruit le vocabulaire d'un modèle autour du coût de chaque token plutôt que de sa fréquence, sans changer le modèle de base, les données ni la recette d'entraînement, et rapporte une baisse mesurée du coût d'inférence de 77,0 % sur un correcteur de dissertations en portugais.
- Le correcteur est basé sur Qwen3-4B et sa couche de sortie est passée d'environ 152 000 à environ 65 000 lignes.
- La réponse du modèle est passée de 350 à 101 tokens en moyenne, le coût a baissé de 77,0 % et le score bench est passé de 0,703 à 0,810.
- L'article rapporte que VocabX compresse davantage que la meilleure méthode de référence dans les quinze combinaisons de cinq domaines publics et trois familles de modèles, de 1,2 à 9,3 points.
- L'article est encore en cours d'évaluation et les chiffres proviennent de la version actuelle, ils peuvent donc changer avant publication.
Pour un petit modèle mono-domaine, le tokenizer est un levier de coût fixé avant toute étape d'entraînement, et le reconstruire selon le coût côté génération réduit la dépense de service sans changer le modèle de base.
Les Transformers apprennent deux algorithmes de tri concurrents, et un seul généralise en longueur
L'article rapporte que des Transformers à deux couches entraînés jusqu'à une perte proche de zéro sur une tâche de tri convergent vers l'une de deux classes de solutions mécaniquement distinctes selon leur initialisation. Une classe n'utilise pas la seconde couche d'attention pour trier et échoue à généraliser en longu...
- L'article rapporte qu'en choisissant soigneusement l'initialisation des poids, les auteurs peuvent orienter le modèle vers l'apprentissage de l'une ou l'autre solution.
- L'article identifie des types d'entrée rares à la longueur d'entraînement mais de plus en plus fréquents à des longueurs de séquence plus grandes comme source de cette disparité de généralisation en longueur.
- L'article constate que la spécialisation par couche de la seconde classe de solutions leur permet de traiter ces séquences rares plus précisément.
Pour les concepteurs de modèles de séquences, l'initialisation peut déterminer si l'entraînement produit un algorithme qui généralise en longueur ou un algorithme qui échoue à généraliser, ce qui fait de l'initialisation et de la spécialisa...
NVIDIA Kumo Relational surpasse l'apprentissage supervisé sur les données relationnelles, sans entraînement
NVIDIA a publié Kumo Relational, un modèle de fondation relationnel pré-entraîné qui prédit directement sur les bases de données d'entreprise : à partir d'une requête prédictive, il rassemble jusqu'à 10 000 exemples historiques comme contexte et prédit en une seule passe avant, sans entraînement spécifique à la tâche, ...
- Sur les tâches de classification RelBench V1, Kumo Relational dépasse les arbres à gradient boosting sur caractéristiques expertes d'environ 4 points AUROC en moyenne.
- Sur le benchmark d'entreprise SAP SALT, il surpasse les ensembles AutoGluon de 8 % en rang réciproque moyen (MRR), et le fine-tuning porte l'avance à 16 %.
- Le code est publié sous licence Apache 2.0 et les poids du modèle sous l'OpenMDW License Agreement, version 1.1 ; il est disponible via la bibliothèque structured-data-models ou en tant que NVIDIA NIM.
Pour les équipes qui construisent des prédictions d'entreprise, Kumo Relational offre une alternative sans entraînement aux pipelines de caractéristiques XGBoost, bien que les modèles supervisés spécifiques à une tâche puissent encore surpa...
Au-delà des classements scalaires : échantillonnage adaptatif pour l'identification de la frontière de Pareto dans les arènes LLM multi-objectifs
L'article présente Vector-Borda Empirical-Gap Elimination (VB-EGE), un algorithme d'échantillonnage adaptatif à confiance fixe pour identifier efficacement les modèles situés sur la frontière de Pareto dans une évaluation de type arène, où chaque comparaison évalue une paire de modèles sur une invite selon une dimensio...
- L'article établit en outre une borne inférieure dans le pire des cas montrant que VB-EGE est minimax-optimal à des facteurs logarithmiques près.
- Des simulations et des expériences sur trois jeux de données d'arènes réelles (Arena, SearchArena et VisionArena) démontrent l'efficacité empirique de VB-EGE.
- L'article compte 51 pages, références et annexes incluses, soumis le 20 octobre 2026.
Pour l'évaluation des LLM qui repose sur un retour humain coûteux, VB-EGE offre une stratégie d'échantillonnage qui réduit les comparaisons tout en identifiant les frontières de compromis multi-objectifs à confiance fixe.
MIT^3 : internalisation de la mémoire par entraînement au moment du test pour la compréhension de vidéos longues
L'article présente MIT^3, un cadre d'adaptation par vidéo qui inscrit chaque vidéo longue dans des paramètres adaptatifs compacts et spécifiques à la vidéo, pour une réponse à des questions sans vidéo et en texte seul. Un traçage causal sélectionne les emplacements d'adaptation, et la distillation de mémoire visuelle e...
- L'article rapporte une réponse à des questions sans vidéo et économe en données sur LVBench, LongVideoBench et Video-MME.
- L'article indique utiliser nettement moins d'échantillons synthétisés que les méthodes antérieures de mémoire vidéo paramétrée.
- La méthode utilise un traçage causal sous supervision multi-échelle compacte pour mesurer l'utilité mémoire causale de chaque couche du modèle pour la réponse fondée sur la vidéo.
- La distillation de mémoire visuelle entraîne la mémoire textuelle à reproduire le changement de représentation induit par le clip vidéo concerné.
Pour les développeurs de systèmes de questions-réponses sur vidéos longues, ce travail indique que l'internalisation dépend à la fois de l'emplacement d'écriture des connaissances vidéo et de la distillation des preuves visuelles, et non du...
Des rubriques guidées par des experts comme signaux de récompense denses pour l'apprentissage par renforcement dans des domaines non vérifiables
L'article présente une méthode qui convertit un petit investissement fixe de jugement d'expert en une récompense dense et la combine avec des métriques de recherche pour former un signal d'entraînement hybride compatible avec GRPO, destiné aux tâches de recherche non vérifiables comme les services financiers.
- L'article rapporte des améliorations allant jusqu'à 6 % en Recall@3 et 6,7 % en MRR@3 par rapport aux références à récompense sparse.
- L'article indique qu'avec GRPO, les récompenses sparse ne fournissent aucun signal d'apprentissage utile lorsque toutes les sorties échantillonnées d'un groupe reçoivent le même résultat, ce qui bloque l'optimisation.
- La méthode convertit un petit investissement fixe de jugement de SME en une récompense dense et la combine avec des métriques de recherche pour former un signal d'entraînement hybride.
- L'article a été soumis le 17 octobre 2026, compte 11 pages et 4 figures, et fait partie du RL4LLM-Agents workshop ICAIF ACM.
Pour les équipes qui construisent des agents dans des domaines non vérifiables, ce résultat indique que transformer un petit ensemble de rubriques d'experts en récompenses denses peut atténuer le blocage de l'optimisation GRPO sous récompen...
Génération de code RTL Pareto-optimale via l'apprentissage par renforcement multi-objectif avec de grands modèles de langage
L'article propose une méthode d'apprentissage pour la génération de circuits par LLM qui optimise la qualité et la diversité de l'ensemble des circuits obtenus par générations multiples dans l'espace objectif PPA, plutôt que la qualité d'un circuit unique. La méthode comprend un pipeline d'entraînement basé sur la géné...
- L'article rapporte +13,3 points de pourcentage en Hypervolume relatif par rapport à une référence sans optimisation PPA sur le benchmark RTLLM v2.
- L'article rapporte +14,4 points de pourcentage en Hypervolume relatif par rapport à une méthode d'apprentissage par renforcement mono-objectif.
- L'article indique que la méthode montre aussi une supériorité en diversité des circuits.
- L'article a été accepté à COLM 2026 et soumis le 16 octobre 2026.
Pour les constructeurs d'IA, traiter les compromis PPA comme un problème de couverture Pareto au niveau de l'ensemble fournit des candidats RTL divers pouvant être choisis a posteriori selon l'évolution des contraintes de conception.