AI FRONTIER
Signals worth understanding before they become obvious.
SLM 词汇表专业化如何在真实应用中把推理成本降低 77%
Dharma-AI 的 VocabX 方法在不更换基座模型、数据和训练配方的前提下，围绕每个 token 的成本而非频率重建词汇表，在其葡萄牙语作文评分器上测得推理成本下降 77.0%。
- 评分器基于 Qwen3-4B，输出层从约 152,000 行缩减到约 65,000 行。
- 同一基座模型、数据、配方和随机种子下训练七个版本，唯一差异是分词器；在 RTX 5090 与 vLLM 上跑同样的 500 个请求。
- 模型回复从平均 350 个 token 降到 101 个 token，成本下降 77.0%，bench 分数从 0.703 升到 0.810。
- 论文称在五个公开领域与三个模型家族共十五种组合中，VocabX 的压缩率均高于最强参考方法 1.2 到 9.3 个百分点。
对单一领域的小模型来说，分词器是训练前就固定的成本杠杆，按生成侧成本而非词频重建词汇表可以在不换模型的情况下显著降低服务开销。
Transformer学习两种相互竞争的排序算法，只有一种能长度泛化
论文报告称，两层Transformer在排序任务上训练至接近零损失时，会依据初始化收敛到两类机制上不同的解；其中一类不使用第二层注意力，且无法长度泛化，另一类使用两层注意力，尽管只在固定长度序列上训练，却能完美长度泛化。
- 论文报告称，通过精心选择权重初始化，可以引导模型学习其中一类解或另一类解。
- 论文指出，在训练长度上罕见、但在更长序列长度上越来越常见的输入类型，是长度泛化差异的来源。
- 论文发现，第二类解的逐层专门化使其能更准确地处理这些罕见序列。
- 在求序列最小值的相关任务上，论文发现类似的两种解类型现象，但泛化模式相反：两层解的长度泛化比单注意力解更差。
对构建序列模型的开发者而言，初始化可能决定模型学到的是可长度泛化的算法还是不可泛化的算法，因此初始化与逐层专门化应作为长度泛化的设计变量。
NVIDIA Kumo Relational 在关系数据上超越监督式机器学习，无需训练
NVIDIA 发布预训练关系基础模型 Kumo Relational，可直接在企业数据库上预测：给定预测查询，它在单次前向传播中读取最多 10,000 个历史样本作为上下文，无需任务特定训练、特征工程或表扁平化。
- 在 RelBench V1 分类任务上，Kumo Relational 平均比基于专家工程特征的梯度提升树高出近 4 个 AUROC 点。
- 在 SAP SALT 企业基准上，它比 AutoGluon 集成在平均倒数排名（MRR）上高出 8%，微调后领先扩大到 16%。
- 论文报告在 RelArena-α 排行榜上，Kumo Relational 约 17 秒、Elo 1,842，而最高分条目 rt-plurel 约 7,300 秒、Elo 1,878，约慢 430 倍。
- 在仅使用 0.2% 训练数据作为上下文、移除最多 75% 外键链接或加入大量噪声列时仍保持稳定。
对于构建企业预测的团队，Kumo Relational 提供了可替代 XGBoost 特征工程流水线的免训练选项，但任务特定监督模型在训练集极大时仍可能更优。
超越标量排行榜：多目标LLM竞技场中帕累托前沿识别的自适应采样
论文提出Vector-Borda Empirical-Gap Elimination（VB-EGE），一种固定置信度的自适应采样算法，用于在竞技场式评测中高效识别帕累托前沿上的模型，每次比较针对某一性能维度评估一对模型。
- 论文在多目标Bradley-Terry模型下证明VB-EGE能以高概率返回正确的帕累托前沿，并给出样本复杂度的实例相关上界。
- 论文进一步建立最坏情况下界，表明VB-EGE在对数因子上是极小极大最优的。
- 在Arena、SearchArena和VisionArena三个真实竞技场数据集上的仿真与实验展示了VB-EGE的实证有效性。
- 论文共51页，含参考文献与附录，提交于2026年10月20日。
对依赖昂贵人工反馈的LLM评测而言，VB-EGE提供了在固定置信度下减少比较次数并识别多目标权衡前沿的采样策略。
MIT^3：通过测试时训练实现长视频理解的记忆内化
论文提出 MIT^3，一种逐视频适配框架，将每个长视频写入紧凑的视频专属自适应参数，从而支持无视频、纯文本的问答。该方法通过因果追踪选择适配位置，并用视觉记忆蒸馏让纯文本记忆复现相关视频片段带来的表征变化。
- 论文报告在 LVBench、LongVideoBench 和 Video-MME 上实现数据高效的无视频问答。
- 论文称其使用的合成样本数量显著少于此前的参数化视频记忆方法。
- 方法包含紧凑多尺度监督下的因果追踪，用于衡量各模型层对视频问答的因果记忆效用。
- 视觉记忆蒸馏训练纯文本记忆复现相关视频片段引起的表征变化。
对构建长视频问答系统的开发者而言，该工作表明视频记忆的写入位置与视觉证据的蒸馏方式共同决定内化效果，而非仅靠增加合成文本样本。
专家引导评分标准作为非可验证领域强化学习的密集奖励信号
该论文提出一种方法，将少量固定的专家判断转化为密集奖励，并与检索指标结合，形成兼容GRPO的混合训练信号，用于金融服务等非可验证检索任务。
- 论文报告称，与稀疏奖励基线相比，Recall@3最高提升6%，MRR@3提升6.7%。
- 论文指出，在GRPO中，当组内所有采样输出获得相同结果时，稀疏奖励无法提供有效学习信号，导致优化停滞。
- 该方法将少量固定的SME判断转化为密集奖励，并与检索指标结合形成混合训练信号。
- 论文提交于2026年10月17日，共11页、4张图，属于RL4LLM-Agents workshop ICAIF ACM。
对构建非可验证领域智能体的团队而言，该结果表明用少量专家评分标准构造密集奖励，可缓解GRPO在稀疏奖励下的优化停滞。
基于多目标强化学习与大语言模型的Pareto最优RTL代码生成
该论文提出一种面向LLM电路生成的学习方法，优化多次生成所得整个电路集合在PPA目标空间中的质量与多样性，而非单个电路的质量。方法包含基于生成的训练流程与基于Hypervolume Contribution（HVC）的奖励函数。
- 论文报告在RTLLM v2基准上，相对Hypervolume比无PPA优化的基线提升+13.3个百分点。
- 论文报告相对Hypervolume比单目标强化学习方法提升+14.4个百分点。
- 论文称在电路多样性方面也表现出优越性。
- 论文被COLM 2026接收，提交于2026年10月16日。
对AI构建者而言，将PPA权衡建模为集合级Pareto覆盖问题，可在设计约束变化时提供可后验选择的多样化RTL候选。