AI FRONTIER
Signals worth understanding before they become obvious.
StateBench:测试语言模型如何在长文档中跟踪状态变化
Ai2 推出 StateBench,一个针对长上下文状态跟踪的基准,包含四个难度层级,用于评估不同架构的语言模型在实体信息随文档演变时保持跟踪的能力。
- StateBench 包含四个难度层级:r-trivial(不可变赋值)、aperiodic(按值重新赋值)、soluble(自引用更新)和 general finite(按引用赋值)。
- 在预训练模型测试中,几乎所有模型在 r-trivial 问题上表现良好,在 aperiodic 问题上随输入增长而丢失准确率,在 general finite 问题上停留在随机水平。
- 四个前沿模型 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 Luna 在 soluble 和 general finite 问题上随输入变长准确率急剧下降,在最长的 general finite 问题上降至 13% 或更低。
- 从零训练的 275M 参数模型中,Gated DeltaNet 和混合模型在 r-trivial、aperiodic 和 soluble 问题上几乎完美泛化到数万次赋值,而 transformer 从未学会 general finite 问题。
构建长上下文系统的开发者应针对不同状态跟踪复杂度分别测试架构,因为 transformer 即使在直接训练下也无法学会最难层级,而 Gated DeltaNet 和混合设计可以。
按任务成本:用廉价分类器在 Gemini 模型与思考层级之间路由
Google for Developers 博客提出按任务成本思路:用廉价分类器在 Gemini 模型和不同思考层级之间进行路由。
- 来源为 Google for Developers 博客,主题为按任务成本。
- 方法为使用廉价分类器在 Gemini 模型与思考层级之间路由。
对 AI 构建者而言,路由决策本身可以用低成本分类器承担,从而在模型与思考层级之间按任务分配算力。
Anthropic 在大语言模型可证明推理方面取得进展
Anthropic 发布了关于大语言模型可证明推理(provable inference)进展的研究更新。
- 来源为 Anthropic,类别为研究。
- 主题为大语言模型的可证明推理进展。
可证明推理若取得进展,可能为构建者提供更强的推理正确性保证,值得持续关注。
Agentic World Modeling:无需环境副本的智能体测试时扩展
论文提出 Agentic World Modeling(AWM),将下一观测预测重构为多轮证据获取任务:智能体模拟器通过安全的只读接口查询真实环境,并利用可执行计算构造观测结果而不改变共享状态,从而在单一共享环境上实现轨迹级测试时扩展的并行探索。
- 论文报告在 τ-bench、AppWorld 和 OfficeBench 上,AWM 平均比单次模拟基线高出 40.07%。
- 论文报告 AWM 平均比训练过的世界模型基线高出 12.36%。
- AWM 通过安全的只读接口查询真实环境,并声称不改变共享状态。
- 该工作针对企业工作区和云服务共享、持久且难以复制,以及动作可能带来不可逆副作用或跨轨迹干扰的部署场景。
对构建智能体的团队而言,AWM 提供了一条在不可重置的共享生产环境中安全并行探索轨迹、而无需复制环境的路径。
CWE-bench v2:覆盖更广、质量更高、更透明
Collinear AI 发布 CWE-bench v2,公开 100 个任务,覆盖 91 种 CWE,采用确定性程序化评分,并保留一个未公开的留出集用于持续追踪进展。
- 公开集包含 100 个任务,覆盖 91 种不同的 CWE。
- 在评估的 11 个模型中,Gemini 4 Argon 以 67.8% pass@1 和 81.0% pass@4 领先,Claude Opus 5.5 为 67.3% pass@1 和 78.0% pass@4。
- 95 个任务至少被一个模型解决,但领先模型在每次尝试中仍会失败 19% 的题目。
- DeepSeek V4.1 Flash 以每次 rollout 0.04 美元达到 57.0% pass@1,Opus 为 1.83 美元,Gemini 为 3.92 美元。
构建者可以直接从 Hugging Face 仓库运行这套确定性基准,并复用相同的环境和验证器作为防御性智能体的 RL 奖励。
DeepSeek发布创作者模式,下一代大模型计划基于华为昇腾芯片预训练
据ThePaper.cn报道,DeepSeek发布创作者模式,并计划基于华为昇腾芯片预训练下一代大模型。
- 据ThePaper.cn报道,DeepSeek发布创作者模式。
- 据ThePaper.cn报道,DeepSeek计划基于华为昇腾芯片预训练下一代大模型。
若下一代模型确在昇腾上预训练,AI开发者需评估非英伟达训练栈的迁移成本与工具链成熟度。
OpenAI 如何扩展 Git:Pando 后端
OpenAI 构建了 Pando,一个与 Git 兼容的后端,旨在支撑 Codex 所带来的开发规模。
- Pando 被描述为与 Git 兼容的后端。
- OpenAI 表示 Pando 是为 Codex 所实现的开发规模而设计。
对于 AI 构建者而言,这表明编码代理的采用正在推动内部版本控制基础设施的重构。
baidu/Unlimited-OCR-2:3.3B 参数多模态 OCR 模型,采用 SR-SWA 实现无限长度文档解析
百度发布 Unlimited-OCR-2,通过稀疏参考滑动窗口注意力(SR-SWA)将文本-视觉注意力压缩到固定大小的参考集(如 512 tokens),使每步解码延迟和内存占用几乎不随文档长度增长。模型支持 Transformers 与 SGLang 推理,并配套发布超长文档解析基准 MarathonDocBench。
- 模型参数量 3.3B,采用 I64 与 BF16 张量类型,许可证为 MIT。
- SR-SWA 将文本-视觉注意力交互压缩到固定大小的参考集(例如 512 tokens),使每步解码延迟和内存占用几乎恒定。
- 官方称在 MPDocBench 等数十页基准和 MarathonDocBench 等上百页基准上均达到 SOTA。
- Transformers 测试环境为 Python 3.10、torch 2.13.0、transformers 4.52.1,运行于 NVIDIA A800-80GB;SGLang 推荐用于服务部署。
对构建文档解析流水线的开发者而言,SR-SWA 把长文档的注意力成本从随长度增长变为近似恒定,使百页级文档可在有限上下文窗口内单次请求解析。