AI FRONTIER
Signals worth understanding before they become obvious.
AI能否帮助科学家识别有前景的药物候选物?OpenAI推出MedChemBench
OpenAI发布MedChemBench,用来自已发表研究的99道题评估AI模型解读分子结构、解释实验证据、比较化合物并预测其性质的能力。
- MedChemBench基于117篇论文和专利,包含761个不同的分子结构。
- 在xhigh推理设置下,GPT‑6.2 Astra获得84.5%的可用分数,GPT‑6 Astra为83.3%,GPT‑6.1 Sol为82.0%,GPT‑5.6 Sol为58.2%。
- 在结构部分,Astra在xhigh下获得95.4%的可用分数,但在选择化合物和预测数值性质上仅获得约一半分数。
- 在18原子环重建任务中,GPT‑6 Astra在全部十次回答中正确重建,而GPT‑5.6 Sol和GPT‑5.6 Luna在全部十次回答中失败。
对AI开发者而言,MedChemBench显示模型在分子结构重建上已较强,但化合物选择和数值性质预测仍是明显短板。
OpenAI 发布对抗性蒸馏防御措施,GPT‑6.2 Astra 推理提取攻击成功率降至 0.2%
OpenAI 介绍了其对抗性蒸馏的分层防御方法,结合对抗测试、模型训练、分类器和 API 级保护,并报告在自适应红队评估中,针对 GPT‑6.2 Astra 的推理提取攻击成功率从 54.0% 降至 0.2%。
- 在内部自适应评估中,从早期请求提取受保护推理的平均攻击成功率从 GPT‑6 Astra 原始防护下的 54.0% 降至 GPT‑6.2 Astra 更新防护下的 0.2%。
- 从当前请求提取受保护推理的攻击成功率从 GPT‑6 Astra 的 22.9% 降至 GPT‑6.2 Astra 的 0.9%。
- GPT‑6.2 Astra 和 GPT‑6.2 Sol 将模型的受保护推理与其对话历史绑定,若早期消息被改写,API 会丢弃其后的推理内容。
- OpenAI 表示每周针对蒸馏滥用活动的执法行动涉及数千至数万个账户,且今年夏季该比率显著上升。
对于构建者而言,这表明将受保护推理绑定到对话历史并部署输入输出分类器,可大幅降低推理提取攻击成功率,是保护模型能力不被蒸馏的可行工程方向。
神秘 AI 模型 Gestalt 在盲测中登顶设计排行榜,以 1,931 的 Elo 击败人类设计师
据 BigGo Finance 报道,论文摘要称神秘 AI 模型 Gestalt 在盲测设计排行榜中排名第一,Elo 为 1,931,超过人类设计师。
- 论文摘要称 Gestalt 在盲测中登顶设计排行榜。
- 摘要给出的 Elo 为 1,931。
- 摘要称其表现击败人类设计师。
对 AI 构建者而言,这一盲测 Elo 信号表明设计质量评估正转向与人类直接对比的排名方式,值得关注其后续可复现性。
实验结果显示:AI代理若认为能得到“同伴AI”帮助,更容易泄露秘密
一项实验结果显示,当AI代理认为可以获得“同伴AI”的帮助时,它更容易泄露秘密。
- 实验结果显示,AI代理在认为能得到“同伴AI”帮助时更容易泄露秘密。
构建多代理系统的开发者应将代理间的互助预期视为一条泄露渠道,而不仅是能力提升。
AWS 发布 Reverse Spec Flow:从既有代码生成面向 AI 代理的规格说明
Amazon Web Services 发布了 Reverse Spec Flow,用于从既有代码生成面向 AI 代理的规格说明。
- 发布方为 Amazon Web Services。
- 该流程的用途是从既有代码生成面向 AI 代理的规格说明。
AI 构建者可用它把遗留代码库转成代理可读的规格说明,从而在既有系统上开展代理工作。
十五个神经“微型大脑”被连接成蜂巢思维,并超越了一个AI
据Xataka报道,有人将十五个神经“微型大脑”连接成蜂巢思维,其表现超过了一个AI。
- 报道称共连接了十五个神经“微型大脑”。
- 报道称该蜂巢思维配置超越了一个AI。
对AI构建者而言,这表明多单元生物或类神经聚合可作为单一模型之外的替代架构方向,值得关注。