Today’s frontier report
Research Pool → Multi-Scout → Editor → Edition
3qk7 · AI LOCAL LABS TECHNICAL SCOUTING

AI FRONTIER

Signals worth understanding before they become obvious.

2026-11-15
01
watchresearchincremental

リーダーボードハッキング:選好ベースのモデル評価は操作に対して脆弱

論文は、匿名モデル同士のペア比較投票を Bradley-Terry モデルで集約する Arena 型ランキングが、戦略的投票・戦略的プロンプト・戦略的ノミネーションの3種の操作に脆弱であると報告した。

  • 論文は公開リーダーボードのデータ上で、戦略的投票・戦略的プロンプト・戦略的ノミネーションの3つの操作戦略を実証した。
  • 論文によると、各攻撃はモデルの順位を最大15〜20位上昇させ、組み合わせると最大45位上昇させることができる。
  • 論文は、これらの問題が、オープンなプロンプト・投票・モデル提出を許容する Bradley-Terry モデルを用いたあらゆる選好ベース評価に当てはまると指摘している。

Arena 型リーダーボードを構築・利用するチームは、投票・プロンプト・モデル提出の各段階に操作対策を組み込まなければ、順位が戦略的に押し上げられるリスクがある。

arXiv cs.AI
02
watchresearchincremental

事前学習済み知覚からのロバストなタスク認識型状態推定

本論文は、VLM の出力層トークン分布など知覚モデルが既に生成する確率を用いて、累積確率がユーザー指定の信念質量しきい値に達する最小状態部分集合である θ-信頼最小信念集合(MBS_θ)を構築する手法を提案する。

  • 論文は Guy Azran と Sarah Keren により提出され、NeurIPS 2026 に採録された。
  • MBS_θ は累積確率がユーザー指定の信念質量しきい値を満たす最小の状態部分集合として定義される。
  • PRaVaSS アルゴリズムは無制約の場合に正しさの保証と多項式計算量を持つ。
  • 著者らは VLM を状態推定器のバックボーンとして用い、理論的性質、問題規模に対するスケーラビリティ、タスク計画パイプラインにおける下流意思決定の改善を検証した。

エージェント開発者にとって、単一の最良推定に確定化する代わりに知覚モデルの確率を保持することで、完全な記号状態分布を維持せずに意思決定のロバスト性を高められる。

arXiv cs.AI
03
testinferenceincremental

Together Compiler:AI 推論のための継続的コンパイル

Together AI は AI 推論最適化のための継続的エージェントループ Together Compiler(TKCC)を提案し、階層型永続エンジンと並列構成コストモデルで測定スループットと忠実度のトレードオフを緩和する。

  • 論文は、TKCC が Llama 1B の主力ワークロードで高度に最適化された手書き Megakernels を最大 1.7 倍上回ると報告している。
  • 論文は、InferenceX ベンチマークで Kimi K3、GLM 5.3、MiniMax M3.1 Flash、DeepSeek v4.1 Flash などの最新フロンティアモデルにおいて、ハードウェアプラットフォーム間で最高のオープンソースエンジンより最大 2.6 倍高い TPS を達成したと報告している。
  • 論文は、バッチサイズ 1 で M3.1 Flash が 1111 TPS、DeepSeek v4.1 Flash が 1205 TPS を記録したと報告している。
  • 論文は、TKCC が本番フリートで数兆トークンを処理していると述べている。

推論サービングチームにとって、TKCC はカーネル単位のオフライン最適化から継続的なオンラインループへの移行を示すが、性能値は論文による報告であり独立検証ではない点に注意が必要だ。

arXiv cs.AI
04
watchagentsincremental

世界にエラーが残るならエージェント履歴の清掃は逆効果

本論文は AgentCE-Bench と AppWorld でエージェントの世界状態を凍結し、履歴または世界を編集して受信モデルに続行させ、履歴編集の効果が記述する世界状態に依存することを示した。

  • AgentCE-Bench:エージェントが誤った値を確定した後、世界を固定し、誤りを保持したまま真実の注記を加えると、対応する中立注記の 51% から回復率が 66% に上昇した。
  • AgentCE-Bench:代わりにエージェント自身の完了済みアクションを加えると、回復率は未編集履歴の 50% から 44% に低下した。
  • AppWorld:データベース書き込み後、成功の受領通知は効果が存在しない場合にタスク全体の成功率を 45% から 28% に下げ、効果が存在する場合は 38% から 49% に上げた。
  • 論文は 2 つの受信モデルでプールした 2 効果の差が 27 ポイントで、8 受信モデル中 6 つが 97.5%、7 つが 95% 水準で正だったと報告している。

エージェントの履歴圧縮や引き継ぎを設計する際は、履歴編集を世界の実際の状態と整合させなければ、清潔に見える履歴が無編集より悪化しうる。

arXiv cs.AI
05
testdeveloperincremental

SynthCorp:データエージェント向けベンチマークを作成するプラットフォーム

本論文は、ビジネスイベントが企業データを経時的に生成・変更する様子をシミュレートし、カスタマイズ可能なデータ資産とベンチマークを作成するプラットフォーム SynthCorp を提案し、7つのデータ資産と256タスクからなる初期評価ベンチマークを生成した。

  • SynthCorp のデータ資産はリレーショナルデータベース、ドキュメントストア、データカタログを組み合わせ、評価タスクと実行可能なゴールドプログラムを備える。
  • 初期ベンチマークは7つのデータ資産(最大1Kの運用テーブル)と5領域にわたる256タスクで構成される。
  • 論文は、データ資産が外部キー違反、未宣言の書き込み、再発違反、データベース実行失敗などの決定論的パイプライン検査をほぼゼロのエラー率で通過すると報告している。
  • 論文は、4つのデータコンテキスト設定で3つのモデルを評価し、ベンチマークがデータコンテキストとモデル階層を分離することを示している。

企業データエージェントを構築するチームにとって、SynthCorp は手動注釈なしでゴールドプログラムを検証できるカスタマイズ可能なベンチマーク生成手段を提供する。

arXiv cs.AI
06
watchresearchincremental

姚期智氏と楊植麟氏が初の共同論文、数学の世界難問30題をAIは単独で解けず

姚期智氏と楊植麟氏が初めて共同で発表した論文は、数学の世界難問30題のいずれもAIが単独では解けなかったと報告している。

  • 論文は姚期智氏と楊植麟氏の初の共同発表。
  • 対象は数学の世界難問30題。
  • 報告によれば、その30題はいずれもAIが単独で解けなかった。

AI開発者にとって、独立して解く必要のある数学難問では現行モデルに依然として明確な空白があることを示す。

智源社区