3qk7
Today’s frontier report
Research Pool → Multi-Scout → Editor → Edition
3qk7 · AI LOCAL LABS TECHNICAL SCOUTING

AI FRONTIER

Signals worth understanding before they become obvious.

2026-10-17
01
testmodelsnew architecture

TurboMamba：借助词汇记忆实现更快推理、更快训练与更优预测

论文提出 TurboMamba 语言模型架构：全局 Mamba-3 模型在每个完成的 token 块上运行一次，小型 Transformer 结合该全局上下文与块内先前 token 预测下一个 token，并加入三项轻量改进。

  • 在公开 FineWeb-Edu 上以可比参数量和共享训练预算上限比较十二个小规模实现，TurboMamba 取得最低平均测试预测损失（NLL）。
  • 其平均 NLL 比 Mamba-3 低 9.4%，比 Jamba 版本低 7.3%，比 Zamba 版本低 18.3%。
  • 端到端训练吞吐量分别为 Mamba-3 的 2.60 倍、Jamba 版本的 2.81 倍、Zamba 版本的 4.82 倍。
  • 在批量 32 条序列、每条 256 token 提示与 128 生成 token 的端到端批延迟测试中，相对 Mamba-3、Jamba 版本、Zamba 版本分别加速 3.12 倍、3.53 倍、6.21 倍。

对构建者而言，该架构在同等参数与训练预算下同时改善损失与吞吐，值得在长上下文或高吞吐推理场景中复现验证。

arXiv cs.LG
02
testmodelsopen source unlock

OpenRouter 新模型：Reflection Beam 1.0 501B A23B

Beam 1.0 是 Reflection 的开放权重推理模型，面向编程与长周期智能体工作流，采用稀疏混合专家架构，总参数 501B、每 token 激活 23B，上下文窗口 1M token，并以 Apache 2.0 许可发布。

  • 稀疏混合专家架构：总参数 501B，每 token 激活 23B
  • 上下文窗口 1,048,576 token，最多支持 131,072 个补全 token
  • 定价为每 100 万输入 token 0.25 美元、每 100 万输出 token 1.00 美元
  • 2026 年 10 月 16 日发布，知识截止日期为 2026 年 6 月 30 日，采用 Apache 2.0 许可

对构建编程智能体的团队而言，Beam 1.0 以 Apache 2.0 开放权重、1M 上下文和每 token 仅 23B 激活参数，提供了可自托管或按量调用的长周期推理选项。

OpenRouter Models
03
testresearchnew architecture

Expanding Attention：用泰勒级数实现固定数量循环状态的线性时间 Transformer

该论文将注意力的指数核展开为 n 项截断泰勒级数，并把每一项分解为张量幂内积，从而将因果历史压缩为恰好 n 个循环状态，每个状态每 token 仅由一次秩一外积更新，且与上下文长度 N 无关。

  • 递归对截断核是无损的，float64 下误差为 2.2 × 10^-16，状态在分块间可加，误差为 5.7 × 10^-14，因此预填充可并行扫描。
  • 论文报告实测指数：softmax 为 t ∝ N^2.28，状态为 N^0.91，交叉点在 N ≈ 728，N = 8192 时加速 20.8 倍。
  • 每 token 解码延迟恒定为 7.3 μs，而 softmax 为 N^1.04，N = 65536 时加速 76.0 倍。
  • 精度随 n 指数级提升而成本组合式增长，第 m 个状态宽度为 C(d+m-1, m)，SVD 证实该上界，最优为二阶 n = 3，误差 6.5 × 10^-4，每头 9,945 个元素。

对构建者而言，这表明固定状态线性注意力在约 728 token 以上才划算，且必须配合查询与键归一化，否则增加泰勒项数无效。

arXiv cs.LG
04
testmodelsopen source unlock

OpenRouter 新模型：XingChen Xing4.0 29B A4B（免费）

Xing4.0-29B-A4B 是中国电信 AI 团队（TeleAI）推出的开放权重混合专家语言模型，为 TeleChat 系列的后续版本，总参数 29B、每 token 激活 4B，原生上下文窗口 256K token。

  • 总参数 29B，每 token 激活 4B，原生 256K token 上下文窗口，OpenRouter 页面标注上下文为 262,144 token。
  • 完全使用 Ascend NPU 与 MindSpore 框架训练。
  • 面向工具调用、多步规划与长上下文执行等工程与智能体任务调优，推理默认开启且可关闭。
  • OpenRouter 上免费，发布日期为 2026 年 10 月 16 日，支持 tools 与 tool_choice 函数调用以及 JSON schema 结构化输出。

对构建智能体的开发者而言，这是一个可零成本试用的 29B 开放权重 MoE 端点，具备 256K 上下文与工具调用能力，适合验证长上下文多步规划流程。

OpenRouter Models
05
testagentsbenchmark jump

The World Won't Wait：在实时时钟下评测与教学智能体

论文提出 RealtimeBench，包含六类游戏的 180 个任务，在推理期间游戏持续运行以评测智能体；并给出 TORSI 方法，由慢速教师在不暂停的尝试之间研究失败并测试修正，再为快速学生编写可复用指令。

  • RealtimeBench 包含六类游戏共 180 个任务，评测时游戏在推理期间继续运行。
  • 配对评测显示，游戏暂停时 GPT-6.1-sol 优于更快的 Jev，但游戏持续运行时 GPT-6.1-sol 落后。
  • TORSI 中学生游玩时不调用教师，是否采纳更新由验证分数决定。
  • 论文报告两轮 TORSI 将 Jev 的平均测试分数从 13.51 提升到 24.19（0–100 进度量表），六类游戏全部改善。

对构建智能体的团队而言，该结果表明延迟会改变模型排名，因此需要把慢速离线学习与快速在线执行分离，而不是只优化单次推理质量。

arXiv cs.AI
06
watchresearchincremental

同一答案，新框：RLVR 域外增益中有多少来自答案格式？

论文用公开代码中的答案提取器与作者自建提取器对同一批输出重新打分，发现四个已发布的 7B SimpleRL 基座-强化学习配对中，提取器报告的域外多选题增益有 82% 在自建提取器下消失，属于答案格式变化而非答案质量提升。

  • 在四个已发布的 7B SimpleRL 基座-强化学习配对中，公开代码提取器报告的域外多选题增益有 82% 在作者自建提取器下消失。
  • 用独立 LLM 阅读器替代自建提取器时，该比例为 77%；当提示本身要求使用 \boxed{} 时，自建提取器给出的比例为 79%。
  • 基座模型已在文本中给出大部分答案，强化学习将其移入 \boxed{} 框内，而公开提取器优先读取该框。
  • 在一个用另一套配方训练的 32B 配对中，报告的增益几乎不含格式增益：其基座模型在被要求时会使用框，其强化学习模型在未被要求时很少使用框。

构建者在读取 RLVR 域外收益前应使用第二个提取器对已存输出重新打分，因为报告的增益部分取决于读取它的提取器。

arXiv cs.LG