AI FRONTIER
Signals worth understanding before they become obvious.
One Model to Loop Them All：言語モデルのための弾力的潜在リカレンス
論文は Elastic Latent Recurrence（ELR）を提案する。これはループ型言語モデルを単一ループ時に同規模の非リカレントモデルと同じ提供コストで同等精度に到達させ、追加ループごとに推論計算量と引き換えに精度を高める訓練手法である。
- 4B 稠密モデルと 30B-A3B MoE ハイブリッドモデルで、ELR の単一ループは10タスク平均において対応ベースラインをそれぞれ 0.52 ポイント下回り、1.04 ポイント上回った。
- 4ループではそれぞれ 7.25 ポイントと 4.75 ポイント向上した。
- MoE モデルでは後続ループで初回ループのエキスパートルーティングを再利用することで、混合深度の更新時間を 11.7% 削減し、精度の測定可能な変化はなかった。
- 推論時に最後のループの attention KV キャッシュのみを保持すると、attention KV メモリを単一ループ水準に保ちながら追加ループの利得の大部分を維持できる。
同一チェックポイントでループ数を変えて遅延と精度を調整できるため、ループ型モデルをレイテンシ重視の配備でも選択肢にできる。
SpireBench：Slay the Spireでエージェントモデルの長期的戦略プレイを評価
本論文はSpireBenchを提案し、商用デッキ構築ゲーム『Slay the Spire』の完全版を最高難易度でプレイさせ、20の大規模言語モデルの長期的な戦略推論を評価する。
- 論文は『Slay the Spire』の最高難易度で20の大規模言語モデルを評価した。
- 論文によると、フロンティアモデルはヒューリスティックなベースラインを上回り平均的な人間プレイヤーと同等だが、専門家には大きく及ばない。
- 論文によると、最強のモデルは第1幕の勝率で専門家と同等だが、ランが長くなるにつれ差が広がる。
- 論文は全ゲーム用語を包括的かつ自己整合的に改名した実験で、性能の一部がゲームに関する事前知識に依存し、モデルはラン間で書き込んだ記憶から改善しないと報告している。
エージェント開発者にとって、SpireBenchは失敗箇所を特定できる長期ホライズン評価を提供し、リスク判断と記憶利用の具体的な弱点を示す。
二値検証可能報酬を超えて：SWEエージェントのための行動的自己報酬
論文はBehavioral Self-Rewarding（BSR）を提案する。これは同一タスク・同一検証器結果の軌跡間で観測可能なデバッグ行動をポリシー自身に比較させ、ペアワイズ選好をタスク局所スコアに集約し、有界な補助報酬へ変換する報酬精緻化手法である。
- BSRはSWE-bench VerifiedとSWE-bench-Liveで、評価されたQwen3-14BおよびQwen3-32B構成において一貫した改善を報告している。
- 本手法はポリシーを再利用して同一タスク・同一検証器結果の軌跡の観測可能なデバッグ行動を比較し、別途訓練した報酬モデルを必要としない。
- BSRはペアワイズ選好をタスク局所スコアに集約し、検証器が定義する合否順序を保ちながら報酬コントラストを導入する有界な補助報酬へ変換する。
- 本手法は既に収集された軌跡から追加監督を得るため、新たな環境インタラクションを必要としない。
SWEエージェントを構築するチームにとって、BSRは二値のテスト合否を超えて、ポリシー自身の比較判断を追加の環境インタラクションや独立した報酬モデルなしに補完的な学習信号として使えることを示す。
Kairos：あらゆるモダリティに向けたバイトレベル基盤モデル
Kairos は双方向ゲート付き DeltaNet 線形注意とスライディングウィンドウ注意（LiZAttention2）、ブロック単位の Attention-Residual 集約、スパース MoE フィードフォワード層、マルチスケールのバイトレベルコーデックを組み合わせ、テキスト・画像・音声・動画・LiDAR・制御ストリームが共有する単一バイト空間で一様ノイズ除去目的により学習する。本報告は有用性より先に、この組み合わせが最適化するかを問う。
- 1–15M パラメータ、テキストのみ、440 バイトの単一文での過学習テストにおいて、LiZAttention2 とウィンドウ注意単体は 3,000 ステップで最小損失約 10^-3 に到達した。
- 600 ステップ後の平均最小損失は 0.018（patch コーデック）から 0.354（depthwise 畳み込みコーデック）で、3 シードで同一の順位だった。
- 共有注意投影が分離投影より有利に見える効果は、ステップ数やデータ多様性が増えると消え、投影を凍結すると逆転する。これは容量効果ではなく収束速度の効果である。
- 200M 総パラメータ/25M アクティブの目標を解析的に見積もっているが、スループット数値は未測定。コードと Python パッケージは公開されている。
構築者にとって Kairos は現時点で再現可能な収束確認に留まり、バイトレベル多モダリティ設計の汎化や多モーダル学習での価値は計画中の事前学習で検証される必要がある。
ForcingBooster：高速自己回帰動画拡散のための適応的パッチ単位デノイジング
本論文は ForcingBooster を提案する。これは動画パッチごとにデノイジングステップ数を動的に割り当てるフレームワークであり、容易なパッチは早期に停止し、難しいパッチにはより多くの精緻化ステップを与える。論文によれば、4ステップベースラインと同等の視覚品質を保ちながら、動画パッチ全体のデノイジングステップ総数を約50%削減する。
- 論文は、動画パッチ全体のデノイジングステップ総数を約50%削減すると報告している。
- 論文は、視覚品質が4ステップベースラインと同等であると報告している。
- 本手法は既存のほとんどの少ステップ自己回帰拡散モデルと互換性があり、軽量なルーティングモジュールと適度な学習のみを必要とする。
- 論文は2026年10月8日に投稿され、arXiv:2610.12625 として公開され、著者は Zekai Gu、Peng Wang、Jiahao Lu、Yongsen Mao、Cheng Lin、Yuan Liu である。
リアルタイム対話型動画生成や動画ワールドモデルを構築するチームにとって、パッチ単位のデノイジング予算配分は、少ステップ自己回帰拡散バックボーンを変えずに計算を容易な領域から難しい領域へ移せる。
Google DeepMind、740Mパラメータのオープン多模态埋め込みモデル EmbeddingGemma 2 を公開
EmbeddingGemma 2 はテキスト（コード含む）、画像、動画、音声を単一の 768 次元ベクトル空間にマッピングし、Apache 2.0 ライセンスでモバイルやノート PC などのコンシューマハードウェア向けに設計されています。
- 総パラメータ 740M：テキストバックボーン 270M（130M transformer + 140M embedder）、視覚エンコーダ 170M、音声エンコーダ 300M。
- 論文報告によると MTEB 多言語 v2 は 61.36、MTEB コード v1 は 78.68 で、前世代 EmbeddingGemma 1 の 68.76 から約 14% 改善。
- MRL により 128d、256d、512d、768d への切り詰めに対応し、ベクトルストレージコストを最大 6 倍削減可能。
- コンテキスト長 8,192 トークン、100 以上の言語をサポート、Apache 2.0 ライセンス。
開発者はコンシューマハードウェア上でテキスト・画像・動画・音声を単一の 768 次元埋め込み空間で扱え、エンコーダの選択的ロードにより実効サイズを 740M から 270M に削減できます。
MagicBeanStalk：再帰的データ合成でRLVRのゼロアドバンテージ罠を脱出
本論文はMagicBeanStalkを提案する。トップダウン分解とボトムアップ再帰的データ合成により、シード問題の推論ブループリントを保ちながら、方策と予算に校准された新たな訓練問題群へと拡張する。
- 論文報告：固定した目標方策とロールアウト予算の下で、広く使われるRLVRデータセットから集めた大規模オープンソース数学コーパスの約88%の問題が、すべてのロールアウトで解かれるか、すべて失敗する。
- 論文報告：8つの数学ベンチマークで、MagicBeanStalk問題による継続的RLVRは16Kトークン予算でgpt-oss-120bを61.2から69.8（+8.6）、DeepSeek v4Flashを72.4から77.9（+5.4）に改善した。
- 論文報告：78Kのソースコーパス全体での訓練は+1.1のみ、最良のフィルタ済み実データ部分集合は+5.8の改善だった。
- 論文報告：金融分野では340の解答のみから14K超の検証可能な問題を合成し、SecQueとFinanceBenchでベースラインをそれぞれ6.9点と2.4点改善した。
RLVRデータ構築ではコーパス規模よりも、目標方策とロールアウト予算の下で非ゼロアドバンテージを生む問題かが重要であり、再帰合成は難易度を校准し推論構造を保てる。