AI FRONTIER
Signals worth understanding before they become obvious.
StateBench：言語モデルが長文書で状態変化をどう追跡するかをテスト
Ai2 が長文脈の状態追跡のためのベンチマーク StateBench を発表した。4 つの難易度レベルで構成され、文書内でエンティティ情報が変化する際の言語モデルの追跡能力を評価する。
- StateBench は r-trivial（不変代入）、aperiodic（値による再代入）、soluble（自己参照更新）、general finite（参照による代入）の 4 段階で構成される。
- 事前学習済みモデルのテストでは、ほぼすべてが r-trivial で良好、aperiodic で入力が長くなるにつれ精度が低下し、general finite ではチャンスレベルにとどまった。
- 4 つのフロンティアモデル Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol と Luna は soluble と general finite で入力が長くなるにつれ精度が急落し、最長の general finite 問題では 13% 以下に低下した。
- ゼロから学習した 275M パラメータモデルのうち、Gated DeltaNet とハイブリッドモデルは r-trivial、aperiodic、soluble で数万回の代入までほぼ完全に汎化したが、transformer は general finite を学習できなかった。
長文脈システムを構築する開発者は、状態追跡の複雑度ごとにアーキテクチャを個別に評価すべきである。transformer は直接学習しても最難レベルを学習できず、Gated DeltaNet とハイブリッド設計は学習できる。
タスクあたりのコスト：安価な分類器で Gemini モデルと思考レベル間をルーティング
Google for Developers ブログは、タスクあたりのコストを軸に、安価な分類器を使って Gemini モデルと思考レベルの間をルーティングする手法を提示している。
- 出典は Google for Developers ブログで、テーマはタスクあたりのコスト。
- 手法は安価な分類器を用いて Gemini モデルと思考レベル間をルーティングするもの。
AI 構築者にとって、ルーティング判断自体を低コストな分類器に担わせることで、タスクごとにモデルと思考レベルへ計算資源を配分できる。
Anthropic、大規模言語モデルの証明可能な推論で進展
Anthropicが大規模言語モデルにおける証明可能な推論（provable inference）の進展に関する研究アップデートを発表した。
- 情報源はAnthropic、カテゴリは研究。
- 主題は大規模言語モデルの証明可能な推論の進展。
証明可能な推論の進展は、ビルダーにとって推論の正しさを保証する手段になり得るため、注視する価値がある。
環境レプリカ不要のエージェントテスト時スケーリングのためのAgentic World Modeling
論文はAgentic World Modeling（AWM）を提案し、次観測予測をマルチターンの証拠獲得タスクとして再定式化する。エージェント型シミュレータは安全な読み取り専用インターフェースで実環境に問い合わせ、共有状態を変更せずに実行可能な計算で観測結果を構築する。
- 論文はτ-bench、AppWorld、OfficeBenchにおいて、AWMが単発シミュレーション基線を平均40.07%上回ると報告している。
- 論文はAWMが訓練済みワールドモデル基線を平均12.36%上回ると報告している。
- AWMは安全な読み取り専用インターフェースを通じて実環境に問い合わせ、共有状態を変更しないとしている。
- 対象は企業ワークスペースやクラウドサービスが共有・永続的で複製が困難、あるいは不可逆な副作用や軌跡間干渉が生じうる展開環境である。
エージェント開発者にとってAWMは、複製できない共有本番環境で軌跡を安全に並列探索する手段を示す。
CWE-bench v2：カバレッジ、品質、透明性の向上
Collinear AI は CWE-bench v2 を公開し、91 種類の CWE をカバーする 100 タスクを公開するとともに、進捗追跡用の非公開のホールドアウトセットを維持しています。
- 公開セットは 100 タスクで、91 種類の異なる CWE をカバーしています。
- 評価された 11 モデルのうち、Gemini 4 Argon が 67.8% pass@1 と 81.0% pass@4 で首位、Claude Opus 5.5 は 67.3% pass@1 と 78.0% pass@4 です。
- 95 タスクは少なくとも 1 つのモデルによって解決されていますが、首位モデルでも毎回の試行で 19% を失敗します。
- DeepSeek V4.1 Flash は 1 ロールアウトあたり 0.04 ドルで 57.0% pass@1、Opus は 1.83 ドル、Gemini は 3.92 ドルです。
ビルダーは Hugging Face リポジトリからこの決定論的ベンチマークを直接実行でき、同じ環境と検証器を防御エージェントの RL 報酬として再利用できます。
DeepSeekがクリエイターモードを公開、次世代大規模モデルはHuawei Ascendチップでの事前学習を計画
ThePaper.cnの報道によると、DeepSeekはクリエイターモードを公開し、次世代大規模モデルをHuawei Ascendチップ上で事前学習する計画を示した。
- ThePaper.cnの報道によると、DeepSeekはクリエイターモードを公開した。
- ThePaper.cnの報道によると、DeepSeekは次世代大規模モデルをHuawei Ascendチップ上で事前学習する計画を示した。
次世代モデルが実際にAscendで事前学習されるなら、AI開発者は非NVIDIAの学習スタックへの移行コストとツールチェーンの成熟度を評価する必要がある。
OpenAI における Git のスケーリング：Pando バックエンド
OpenAI は、Codex が可能にする開発規模に対応するために設計された Git 互換バックエンド Pando を構築した。
- Pando は Git 互換バックエンドとして説明されている。
- OpenAI は Pando が Codex によって可能になる開発規模向けに設計されたと述べている。
AI 構築者にとって、コーディングエージェントの採用が社内バージョン管理基盤の再設計を促していることを示す。
baidu/Unlimited-OCR-2：SR-SWA で無限長ドキュメント解析を実現する3.3BパラメータのマルチモーダルOCRモデル
BaiduがUnlimited-OCR-2を公開し、Sparse Reference Sliding Window Attention（SR-SWA）によりテキスト・視覚間の注意を固定サイズの参照集合（例：512トークン）に圧縮することで、ステップごとのデコード遅延とメモリ使用量を文書長によらずほぼ一定に保つ。TransformersとSGLangでの推論に対応し、超長文書解析ベンチマークMarathonDocBenchも公開された。
- モデルサイズは3.3Bパラメータ、テンソル型はI64とBF16、ライセンスはMIT。
- SR-SWAはテキスト・視覚間の注意を固定サイズの参照集合（例：512トークン）に圧縮し、ステップごとのデコード遅延とメモリ使用量をほぼ一定に保つ。
- MPDocBenchなどの数十ページベンチマークとMarathonDocBenchなどの100ページ級ベンチマークの両方でSOTAを達成したと報告されている。
- TransformersはPython 3.10、torch 2.13.0、transformers 4.52.1、NVIDIA A800-80GBでテスト済み。SGLangがサービングに推奨される。
文書解析パイプラインを構築する開発者にとって、SR-SWAは長文書の注意コストを長さ依存からほぼ一定に変え、100ページ級の文書を有限のコンテキストウィンドウ内で単一リクエストとして解析可能にする。