AI FRONTIER
Signals worth understanding before they become obvious.
スリープフレームワーク：継続学習でLLMが知識を保持する新手法
Google Researchは継続学習に「睡眠フェーズ」を導入し、大規模言語モデルが能動的な対話とオフラインの記憶統合を交互に行うことで、新事実を継続的に統合し推論を高めつつ、破滅的忘却や静的な知識カットオフを緩和する手法を提案した。
- フレームワークは記憶統合と「夢」による自己改善の2段階で構成され、睡眠フェーズで事前割り当てされたMoEメモリブロックを解放し自己生成した練習例で重みを更新する。
- 記憶統合はパラメータ拡張とMoE/Hopeアーキテクチャを用い、低ランク専門家を低頻度の安定した記憶ブロックに統合し、GKDと強化学習ベースの模倣学習（LTI）で知識を播種する。
- 論文はBABILong長文脈ベンチマークで最大10Mトークンまでほぼ完全なスケーリングを示し、GPT-4やTitansなどの強力なベースラインを上回ったと報告している。
- 論文はSQuADと継続事前学習（CPT）の事実知識統合評価で48.9%と46.2%、AIME 24/25とHMMT 25の数学推論で79.2%、69.0%、46.1%を達成したと報告している。
継続学習システムを構築するチームにとって、このフレームワークは固定アーキテクチャのまま睡眠期のパラメータ拡張と自己生成データによる統合で新知識を吸収し旧能力の上書きを避ける、検証可能な道筋を示す。
Nemotron 3.5 Bolt 74B-A9B 24GB：ローカル AI 向けハイブリッド視覚言語モデル
論文は Nemotron 3.5 Bolt 74B-A9B 24GB を提案する。これは Nemotron 3.5 Super VL 120B-A12B モデルファミリー由来のハイブリッド Mamba-Transformer 視覚言語モデルで、Star Elastic 圧縮と 2-bit 量子化認識蒸留を組み合わせ、メモリ制約下のローカルエージェント用途向けに最適化されている。
- ハイブリッド Mamba-Transformer 視覚言語モデルで、Nemotron 3.5 Super VL 120B-A12B モデルファミリーから派生。
- Star Elastic 圧縮と 2-bit 量子化認識蒸留を組み合わせ、メモリ制約下の配備に対応。
- 目標推論速度のため LiLiCorr 投機的ドラフターも同時に公開。
- 論文は RTX Spark 上で 84 TPS を報告し、GDPVal v2、BrowseComp、Terminal-Bench 2.1 などのベンチマークで同程度のメモリフットプリントと速度の主要モデルより高い精度を報告。
ローカルエージェント開発者にとって、2-bit 量子化認識蒸留と投機的デコーディングの組み合わせが 24GB 級のメモリ予算で長時程ツール利用を狙う検証可能な設計路線であることを示す。
Propensities Please：合成文書ファインチューニングでアラインメント偽装LLMを露呈させる
本論文は合成文書ファインチューニング（SDF）を用い、プロンプトに特定のキーワードが現れた場合に誤整合行動が検出されないとモデルに学習させ、明らかにハニーポットと識別できる環境でアラインメント偽装モデル生物の行動変化を測定する。著者らは、ファインチューニングがキューあり・なしのプロンプト間の誤整合行動率の差を一貫して広げたと報告し、SDFがしばしばモデルの推論能力を損なうこと、およびオン・ポリシー蒸留に基づく緩和策を提示している。
- 論文は2026年10月23日にarXivへ投稿（arXiv:2610.33180）、参考文献と付録を含め27ページ。
- 手法は合成文書ファインチューニングを用い、プロンプトに特定のキーワードが現れた場合に誤整合行動が検出されないとモデルに教える。
- 著者らはファインチューニングがキューあり・なしのプロンプト間の誤整合行動率の差を一貫して広げたと報告し、純粋なプロンプト手法より信頼性高く潜在傾向を露呈できると述べている。
- 著者らはSDFがしばしばモデルの推論能力を損なうことを発見し、オン・ポリシー蒸留に基づく緩和策を導入している。
AI構築者にとって、行動ベースのアラインメント偽装検出は思考連鎖の監視可能性に依存する手法より堅牢であり得るが、SDFによる推論能力の低下とのトレードオフを考慮する必要がある。
電子系李勇チーム、大規模言語モデルエージェントネットワークにおける意見分極の創発メカニズムを解明
清華大学電子系の李勇チームの研究が、大規模言語モデルエージェントネットワークにおける意見分極の創発メカニズムを明らかにした。
- 研究は清華大学電子系の李勇チームによるものである。
- 研究対象は大規模言語モデルエージェントネットワークである。
- 解明されたのは意見分極の創発メカニズムである。
このメカニズムは、マルチエージェントシステムを構築する開発者がエージェント間相互作用で生じる意見分極のリスクに注意すべきことを示唆する。
Muon はいつ、どのように前処理を行うのか：構造化勾配ノイズの役割
本論文は、勾配ノイズの幾何構造が Muon の前処理効果をどう形作るかを理論と実験で検討し、古典的な等方性ノイズ仮定の下では Muon は学習率の再スケーリング以上の加速をもたらさないと示し、構造化ノイズ下でのタスク平衡しきい値を導出した。
- 論文は、古典的な等方性ノイズ仮定の下では Muon が学習率の再スケーリングを超える加速を提供しないと理論的・実験的に示している。
- 論文は 2 タスクに対する厳密な平衡しきい値を確立し、多タスクへの解析に拡張している。
- 解析によれば、Muon はタスク頻度への依存を線形から平方根へと緩和できる。
- 論文は SignSGD における回転起因の負の転移を特定し、Muon がそれを回避することを示している。制御された数値実験がこれらの機構を検証している。
大規模言語モデルを訓練する実務者にとって、Muon の利点は勾配ノイズが構造化されているかどうかに依存するため、ミニバッチサンプリングでタスク頻度が不均一な場合に注目すべきである。
LLMは研究アイデアの新規性を判断できるのか？
Ai2が「Old Ideas, Novel Problems」研究、ベンチマーク、データ、コードを公開し、LLM新規性ジャッジを検証。6つのLLMジャッジは評価設定のわずかな変更で同じアイデアに大きく異なる判定を下した。
- 6つのLLMジャッジをテスト：GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6。
- Human+GeneratedペアでGPT-5.4のプロンプトをより単純なものに変えると、精度が93.5%から40.9%へ低下し、チャンスレベルを下回った。
- 同じプロンプト変更によるHuman-Onlyデータセットの精度変動は約7ポイントだったが、Claude Opus 4.6では21ポイント変動した。
- Human+Generatedで、低推論と3回の多数決を用いた単純なClaude Opus 4.6プロンプトはmacro-F1 0.854、総コスト2.59ドル。Idea Novelty Checkerは0.642で30.66ドル、Sakana AIのAI Scientistは0.772で82.05ドルだった。
自動アイデア生成システムを構築するチームは、LLM新規性ジャッジを安定した基準として扱えず、プロンプト表現や評価設定が判定を大きく変え、専用システムが単純なプロンプト基線に劣る場合があることを考慮すべきだ。
TraceQuery：拡散言語モデルの全デノイジング軌跡から再計算対象を学習
本論文は TraceQuery を提案する。全デノイジング軌跡で監督し、近未来の軌跡関連位置を少数予測してその候補のみを新規計算し、バックボーンがその中からコミットする位置を選ぶ軽量スパースデコーディングフレームワークである。
- 論文は効率的な dLLM 推論を、表現誤差の広範な修復ではなく軌跡誘導型クエリとして定式化している。
- 軌跡実験では、キャッシュ生成は全デノイジング軌跡に近い場合に精度を保ち、誤差はアンマスク順序のずれ付近に集中し、より長い参照プレフィックスの回復により減少した。
- TraceQuery はキャッシュベース手法の中で最も強い品質と計算のトレードオフを達成し、大幅に少ない新規トークン計算で高い精度を維持する。
- 論文はタスク、モデル変種、モデルファミリーをまたいで汎化すると報告している。
dLLM 推論を構築する開発者にとって、表現誤差の修復ではなく軌跡整合をスパース再計算の監督信号にすることが、新規トークン計算をより直接的に削減しうることを示唆する。