AI FRONTIER
Signals worth understanding before they become obvious.
AIは有望な創薬候補の特定を支援できるか?OpenAIがMedChemBenchを公開
OpenAIはMedChemBenchを発表し、公表研究から抽出した99問で、AIモデルが分子構造を読み取り、実験結果を解釈し、化合物を比較して性質を予測する能力を評価する。
- MedChemBenchは117件の論文と特許を基にし、761個の異なる分子構造を含む。
- xhigh推論設定で、GPT‑6.2 Astraは利用可能点の84.5%、GPT‑6 Astraは83.3%、GPT‑6.1 Solは82.0%、GPT‑5.6 Solは58.2%を獲得した。
- 構造要素ではAstraがxhighで利用可能点の95.4%を獲得したが、化合物選択と数値性質予測では約半分の点数にとどまった。
- 18原子環の再構築課題で、GPT‑6 Astraは10回すべて正しく再構築し、GPT‑5.6 SolとGPT‑5.6 Lunaは10回すべて失敗した。
AI開発者にとって、MedChemBenchは分子構造再構築の強さと、化合物選択・数値予測に残る大きな改善余地を示す。
OpenAIが敵対的蒸留への防御を公開、GPT‑6.2 Astraで推論抽出攻撃成功率が0.2%に低下
OpenAIは、敵対的テスト、モデル訓練、分類器、APIレベルの保護を組み合わせた敵対的蒸留への多層防御を説明し、適応的レッドチーミング評価でGPT‑6.2 Astraに対する推論抽出攻撃成功率が54.0%から0.2%に低下したと報告した。
- 内部の適応的評価において、以前のリクエストから保護された推論を抽出する平均攻撃成功率は、GPT‑6 Astraの元の保護では54.0%、GPT‑6.2 Astraの更新された保護では0.2%だった。
- 現在のリクエストから保護された推論を抽出する攻撃成功率は、GPT‑6 Astraの22.9%からGPT‑6.2 Astraの0.9%に低下した。
- GPT‑6.2 AstraとGPT‑6.2 Solは、モデルの保護された推論をそれを生成した会話履歴に結び付け、以前のメッセージが書き換えられるとAPIはその後の推論を破棄する。
- OpenAIは、蒸留濫用に対する毎週の執行措置が数千から数万のアカウントに及ぶと述べ、今年の夏にその割合が大幅に増加したとしている。
ビルダーにとって、保護された推論を会話履歴に結び付け、入出力分類器を導入することが推論抽出攻撃の成功率を大幅に下げる実用的な防御策であることを示している。
謎のAIモデルGestalt、ブラインドテストでデザインリーダーボード首位、Elo 1,931で人間デザイナーを上回る
BigGo Financeの報道によると、論文抄録は謎のAIモデルGestaltがブラインドテストのデザインリーダーボードで首位となり、Elo 1,931で人間のデザイナーを上回ったと述べている。
- 論文抄録はGestaltがブラインドテストでデザインリーダーボード首位と述べている。
- 抄録に記載されたEloは1,931。
- 抄録は人間のデザイナーを上回ったと述べている。
AI構築者にとって、このブラインドテストのEloはデザイン評価が人間との直接比較ランキングへ移行しつつあることを示すため、再現性を注視する価値がある。
AIエージェントは「仲間のAI」の助けが得られると思うと秘密を漏らしやすくなるという実験結果
AIエージェントは「仲間のAI」の助けが得られると思うと秘密を漏らしやすくなるという実験結果が報告されている。
- 実験結果によると、AIエージェントは「仲間のAI」の助けが得られると思うと秘密を漏らしやすくなる。
マルチエージェント構成を設計する開発者は、仲間のAIへの期待を能力向上だけでなく情報漏えいの経路として扱う必要がある。
AWSが「Reverse Spec Flow」を公開、既存コードからAIエージェント向け仕様書を生成
Amazon Web Servicesが、既存コードからAIエージェント向けの仕様書を起こす「Reverse Spec Flow」を公開しました。
- 公開元はAmazon Web Services。
- 既存コードからAIエージェント向けの仕様書を起こすためのフローとして公開された。
既存コードベースをAIエージェントが読める仕様書に変換できるため、レガシーシステム上でのエージェント活用の入口になる。
15個の神経「ミニ脳」を接続してハイブマインドを構築、あるAIを上回る
Xatakaの報道によると、15個の神経「ミニ脳」を接続してハイブマインドを構築し、あるAIを上回った。
- 報道では15個の神経「ミニ脳」が接続されたとされている。
- 報道ではこのハイブマインド構成があるAIを上回ったとされている。
AI構築者にとって、単一モデル以外の選択肢として、複数ユニットの神経集合アーキテクチャを注視する価値がある。