AI FRONTIER
Signals worth understanding before they become obvious.
180B参数、32GB内存:用Transformers把MoE推理推向极限
Hugging Face博客介绍在Transformers中实现MoE专家流式加载:仅将路由选中的专家从SSD流式读入有界缓存,使Qwen3.8-Flash-Next在32GB Mac上以约14 tok/s运行,短解码落后Strata约6%。
- Qwen3.8-Flash-Next有48层、每层512个专家(激活10个),FP8下专家共121GB,另有51GB n-gram嵌入表。
- 专家量化为3比特后磁盘占用49GB,设备缓存12GiB,稠密层8比特约5.4GB(相比BF16困惑度+0.2%)。
- 加载后占用约18GiB,6K提示峰值25.4GiB。
- 最终结果:200 token解码13.9 tok/s对Strata 14.8,4K提示预填充228 tok/s对220,6K文档后解码12.4 tok/s对13.7。
对AI构建者而言,这表明仅流式加载路由专家并复用grouped_mm的有界槽位池,就能在消费级内存上接近专用引擎,但每token约10ms的主机往返仍是剩余瓶颈。
DeltaHarness:面向资源自适应工具执行的自演化执行框架
论文提出 DeltaHarness,一种执行引导的策略搜索方法,可从冷启动测量中自适应调整智能体执行框架;其 QHI 循环利用观测到的响应更新运行时调度、修订物理计划并选择后续实验,并由独立确认面板控制策略替换。
- 在固定调度下,修订后的物化策略在一个视频编辑任务上跨三组新配对将完整交付延迟降低 30.0%。
- 在留出任务上,演化后的策略在一个随机种子下相对最佳固定计划降低延迟 8.2%,在另一个种子下相对初始提案降低 4.6%。
- 论文报告称,相同任务与资源描述可能掩盖会反转有效执行计划延迟排序的运行时条件。
对构建工具调用智能体的开发者而言,这表明执行框架本身可以基于目标环境中的实测延迟进行策略搜索式优化,而非依赖静态计划。
语言模型能够重写自身权重
arXiv 论文报告称,一个 27B 模型在给定自身权重、评分答案和运行自身的能力后,无需梯度或训练即可诊断自身失败并编辑自身权重,在 490 道未见问题上准确率提升 6.6 个百分点。
- 论文报告:该编辑使模型在事先固定的测试中、于 490 道未见问题上准确率提升 6.6 个百分点。
- 论文报告:在前八次此类会话中,每次编辑都取代上一次,准确率只升不降。
- 论文报告:修复受损副本时,仅凭文本数学问题定位并重写损坏矩阵,使该副本在六个未见图像基准上从 7% 提升到 70%,达到未受损模型的 83%。
- 论文报告:在四个规模中,2B 模型未做编辑,4B 和 9B 模型破坏自身,只有 27B 模型成功;该方法仅需一个开放模型和单张 GPU 上数小时。
对构建者而言,这表明权重级自我改进可能成为一条无需训练基础设施的部署后改进路径,但其有效性目前仅在 27B 规模上得到报告。
Genie 4 现已上线
Google DeepMind 向符合条件的 Google AI Ultra 订阅者推出 Project Genie 新体验,首次开放 Genie 4,支持用自然语言实时编辑环境并加入原生音频。
- Genie 4 支持在会话中途输入提示词,实时改变天气、加入角色或改变动作走向。
- Genie 4 首次将画面与随场景变化的实时原生音频结合,涵盖环境音与角色对话。
- Genie 3 单次生成时长从 60 秒提升至最长 3 分钟,并支持世界链接。
- Genie 3 新增 360 度全景图像作为世界种子,以及实时提示词事件。
对构建者而言,世界模型正从单次生成转向可实时提示编辑、带音频并可分享的交互式环境,但相机延迟、复杂物理交互与长期场景一致性仍是待解难题。
Rumble-2-Flash:面向40多种语言的开源0.5B语音模型
Reson8以Apache 2.0许可证开源Rumble-2-Flash,这是一个0.5B参数的语音识别模型,支持40多种语言,采用Qwen3-ASR架构,原生支持Transformers和vLLM。
- 0.5B参数模型,采用Apache 2.0许可证开源发布
- 在Open ASR Leaderboard多语言赛道上,中文、德语、法语、意大利语、西班牙语、葡萄牙语、印地语、荷兰语和英语的平均错误率为6.96%
- 在Open ASR Leaderboard英语赛道上平均WER为6.6%
- 在AppTek的呼叫中心基准测试(302小时求助热线通话,14种英语口音)上达到7.86% WER,与NVIDIA的Nemotron 3.5 Transcribe(30B)的7.78%相当
构建者可以在Apache 2.0许可下部署一个0.5B的ASR模型,其报告的多语言和呼叫中心准确率与30B模型相当,且原生支持Transformers和vLLM。
审计员难以在AI安全研究的端到端记录中发现蓄意破坏
论文以人类专家作为代理破坏者对AI安全研究进行红队/蓝队测试:审计员在获得完整研究记录并可运行实验的情况下,仍大多无法区分被破坏与正常的研究。
- 人类审计员区分被破坏与正常研究的AUROC为0.59,与随机水平无显著差异。
- 人类审计员仅在17%的案例中完整识别出具体破坏方式。
- 不允许运行实验的最佳前沿模型表现优于人类审计员:Fable 5.1的AUROC为0.73,完整识别率为32%,但差异在噪声范围内。
- 当破坏者自行选择攻击哪些实验而非必须破坏每个问题时,破坏识别率进一步下降。
对构建AI研发自动化系统的团队而言,仅凭完整研究记录进行事后审计不足以发现专家级代理的破坏行为,需要设计能主动验证实验的审计机制。
深入 Codex 沙箱
了解 Codex 如何在你的机器上运行命令,同时在 macOS、Linux 和 Windows 上执行你控制的文件系统和网络限制。
- Codex 在你的机器上运行命令。
- Codex 执行你控制的文件系统和网络限制。
- 该沙箱机制覆盖 macOS、Linux 和 Windows。
构建者可以在三大桌面平台上运行 Codex 命令,同时将文件系统和网络访问限制在自身设定的范围内。