3qk7
Today’s frontier report
Research Pool → Multi-Scout → Editor → Edition
3qk7 · AI LOCAL LABS TECHNICAL SCOUTING

AI FRONTIER

Signals worth understanding before they become obvious.

2026-10-17
01
testmodelsnew architecture

TurboMamba：語彙メモリによる高速推論・高速学習と予測精度向上

論文は TurboMamba という言語モデルアーキテクチャを提案する。グローバルな Mamba-3 モデルが完了したトークンブロックごとに一度実行され、小型 Transformer がそのグローバル文脈とブロック内の先行トークンを用いて次のトークンを予測する。

  • 公開 FineWeb-Edu 上で、同等のパラメータ数と共通の学習予算上限のもと 12 の小規模実装を比較し、TurboMamba が最低の平均テスト予測損失（NLL）を達成した。
  • 平均 NLL は Mamba-3 より 9.4%、Jamba 版より 7.3%、Zamba 版より 18.3% 低い。
  • エンドツーエンドの学習スループットは Mamba-3 の 2.60 倍、Jamba 版の 2.81 倍、Zamba 版の 4.82 倍。
  • バッチ 32 系列、各 256 トークンのプロンプトと 128 生成トークンでのエンドツーエンド遅延は、Mamba-3 比 3.12 倍、Jamba 版比 3.53 倍、Zamba 版比 6.21 倍の高速化。

同等のパラメータ数と学習予算で損失とスループットを同時に改善するため、高スループット推論や長文脈用途での再現検証に値する。

arXiv cs.LG
02
testmodelsopen source unlock

OpenRouter 新モデル：Reflection Beam 1.0 501B A23B

Beam 1.0 は Reflection のオープンウェイト推論モデルで、コーディングと長期的なエージェントワークフロー向けです。スパースな Mixture-of-Experts アーキテクチャを採用し、総パラメータ 501B、トークンあたり 23B をアクティブ化、コンテキストウィンドウは 1M トークンで、Apache 2.0 の下で公開されています。

  • スパース Mixture-of-Experts アーキテクチャ：総パラメータ 501B、トークンあたりアクティブ 23B
  • コンテキストウィンドウは 1,048,576 トークン、最大 131,072 の補完トークンをサポート
  • 価格は入力 100 万トークンあたり 0.25 ドル、出力 100 万トークンあたり 1.00 ドル
  • 2026 年 10 月 16 日リリース、知識カットオフは 2026 年 6 月 30 日、Apache 2.0 ライセンス

コーディングエージェントを構築するチームにとって、Beam 1.0 は Apache 2.0 のオープンウェイト、1M コンテキスト、トークンあたり 23B のアクティブパラメータにより、長期的な推論をセルフホストまたは従量課金で利用できる選択肢となります。

OpenRouter Models
03
testresearchnew architecture

Expanding Attention：固定数の再帰状態で線形時間Transformerを実現するテイラー級数経路

本論文は注意機構の指数カーネルをn項の打ち切りテイラー級数に展開し、各項をテンソル冪内積に分解することで、因果履歴をちょうどn個の再帰状態に圧縮する。各状態はトークンごとに1回のランク1外積で更新され、文脈長Nに依存しない。

  • 再帰は打ち切りカーネルに対して無損失で、float64で2.2 × 10^-16、状態はチャンク間で加算可能で5.7 × 10^-14であり、プレフィルは並列スキャンを許容する。
  • 論文が報告する実測指数はsoftmaxがt ∝ N^2.28、状態がN^0.91で、交差点はN ≈ 728、N = 8192で20.8倍。
  • トークンあたりのデコード遅延は7.3 μsで一定、softmaxはN^1.04で、N = 65536では76.0倍。
  • 精度はnに対して指数関数的に向上するがコストは組合せ的に増大し、第m状態の幅はC(d+m-1, m)で、SVDがこの上界を確認し、最適は二次のn = 3で誤差6.5 × 10^-4、ヘッドあたり9,945要素。

構築者にとって、固定状態の線形注意は約728トークン以上で有利になり、クエリとキーの正規化が必須で、なければテイラー項を増やしても無効であることを示す。

arXiv cs.LG
04
testmodelsopen source unlock

OpenRouter 新モデル：XingChen Xing4.0 29B A4B（無料）

Xing4.0-29B-A4B は中国電信の AI チーム（TeleAI）によるオープンウェイトの Mixture-of-Experts 言語モデルで、TeleChat シリーズの後継にあたり、総パラメータ 29B・トークンあたり 4B をアクティブ化、ネイティブ 256K トークンのコンテキストウィンドウを持ちます。

  • 総パラメータ 29B、トークンあたり 4B をアクティブ化、ネイティブ 256K トークンのコンテキストウィンドウ。OpenRouter 上の表記は 262,144 トークン。
  • Ascend NPU と MindSpore フレームワークのみで学習。
  • ツール呼び出し、マルチステップ計画、長コンテキスト実行といった複雑なエンジニアリングおよびエージェント作業向けに調整され、推論はデフォルトで有効、無効化も可能。
  • OpenRouter では無料、公開日は 2026 年 10 月 16 日、tools と tool_choice による関数呼び出しおよび JSON schema による構造化出力に対応。

エージェント開発者にとって、256K コンテキストとツール呼び出しを備えた 29B オープンウェイト MoE エンドポイントを無料で試せるため、長コンテキストのマルチステップ計画の検証に適しています。

OpenRouter Models
05
testagentsbenchmark jump

The World Won't Wait：ライブクロック下でのエージェント評価と教育

本論文は、推論中もゲームが動き続ける状態でエージェントを評価する RealtimeBench（6種類のゲームにまたがる180タスク）を導入し、遅い教師が失敗を研究して修正を検証し、速い生徒向けに再利用可能な指示を書く TORSI を提案する。

  • RealtimeBench は6種類のゲームにまたがる180タスクで構成され、推論中もゲームが実行され続ける。
  • ペア評価では、ゲームを一時停止すると GPT-6.1-sol がより高速な Jev を上回るが、ゲームが動き続けると GPT-6.1-sol が後れを取る。
  • TORSI では生徒はゲームプレイ中に教師を呼び出さず、どの更新を採用するかは検証スコアで決まる。
  • 論文は、TORSI の2ラウンドで Jev の平均テストスコアが 0–100 の進捗尺度で 13.51 から 24.19 に上昇し、6種類すべてのゲームで改善したと報告している。

エージェント開発者にとって、遅延がモデル順位を変えるという結果は、単発推論の品質だけでなく、遅いオフライン学習と速いオンライン実行を分離して設計する必要があることを示す。

arXiv cs.AI
06
watchresearchincremental

同じ答え、新しい箱：RLVRのドメイン外利得のうち答えの形式はどれだけか

論文は公開コード由来の回答抽出器と著者自身の抽出器で同じ出力を二重に採点し、公開済みの7B SimpleRLベース・RLペア4組で報告されたドメイン外多肢選択利得の82%が自前抽出器では消え、答えの改善ではなく回答形式の利得であることを示した。

  • 公開済みの7B SimpleRLベース・RLペア4組で、公開コードの抽出器が報告したドメイン外多肢選択利得の82%が著者らの抽出器では消えた。
  • 独立したLLMリーダーを抽出器の代わりに使うとこの数字は77%、\boxed{}を求めるプロンプトでは著者らの抽出器で79%となった。
  • ベースモデルはすでにほとんどの答えをテキストで述べており、RLがそれを\boxed{}の箱へ移し、公開抽出器はそこを最初に読む。
  • 別のレシピで訓練した32Bペアでは、報告された利得のうち形式利得はほとんどない。そのベースモデルは求められれば答えを箱に入れ、RLモデルは求められなければめったに入れない。

RLVRのドメイン外利得を読む前に、保存済み出力を第2の抽出器で再採点すべきである。報告された利得はそれを読んだ抽出器の性質の一部だからである。

arXiv cs.LG