AI FRONTIER
Signals worth understanding before they become obvious.
SLMの語彙を特化させることで実アプリの推論コストを77%削減する方法
Dharma-AIのVocabXは、ベースモデル・データ・学習レシピを変えずに、トークン頻度ではなくトークンあたりのコストを基準に語彙を再構築し、ポルトガル語作文採点器で推論コストを77.0%削減したと報告している。
- 採点器はQwen3-4Bをベースとし、出力層は約152,000行から約65,000行に削減された。
- 同一のベースモデル・データ・レシピ・シードで7バージョンを学習し、唯一の違いはトークナイザー。RTX 5090とvLLMで同一の500リクエストを実行。
- モデル応答は平均350トークンから101トークンに減り、コストは77.0%削減、benchスコアは0.703から0.810に上昇した。
- 論文は5つの公開領域と3つのモデルファミリーの計15通りすべてで、VocabXが最強の参照手法を1.2〜9.3ポイント上回る圧縮率を示したと述べている。
単一領域の小規模モデルでは、トークナイザーが学習前から固定されたコストレバーであり、生成側のコスト基準で語彙を再構築すればモデルを替えずに配信コストを大きく下げられる。
Transformerは競合する2つのソートアルゴリズムを学習し、長さ汎化するのは一方のみ
論文は、ソートタスクでほぼゼロ損失まで訓練された2層Transformerが、初期化に応じて機構的に異なる2つの解クラスに収束することを報告している。一方のクラスは第2注意層を使わず長さ汎化に失敗し、もう一方は両方の注意層を使い、固定長系列のみで訓練されたにもかかわらず完全に長さ汎化する。
- 論文は、重み初期化を注意深く選ぶことで、モデルをどちらか一方の解の学習へ誘導できると報告している。
- 論文は、訓練長ではまれだが長い系列長ではますます一般的になる入力タイプを、この長さ汎化の差の原因として特定している。
- 論文は、第2の解クラスでは層ごとの専門化により、こうしたまれな系列をより正確に扱えることを見出している。
- 関連する系列の最小値発見タスクでは、論文は同様の2解タイプ現象を確認したが、汎化パターンは逆で、別種の層ごとの専門化により2層解の長さ汎化が単一注意解より悪くなる。
系列モデルを構築する者にとって、初期化が長さ汎化可能なアルゴリズムを学ばせるかを左右しうるため、初期化と層ごとの専門化は長さ汎化の設計変数として扱うべきである。
NVIDIA Kumo Relational、関係データで教師あり機械学習を上回り、学習不要
NVIDIA は、企業データベース上で直接予測する事前学習済み関係基盤モデル Kumo Relational を発表した。予測クエリを与えると最大 10,000 件の履歴例をコンテキストとして集め、単一のフォワードパスで結果を予測する。タスク固有の学習、特徴量エンジニアリング、テーブルのフラット化は不要である。
- RelBench V1 の分類タスクで、Kumo Relational は専門家が設計した特徴量を用いる勾配ブースティング木を平均で約 4 AUROC ポイント上回った。
- SAP SALT 企業ベンチマークでは、AutoGluon アンサンブルを平均逆順位（MRR）で 8% 上回り、微調整によりリードは 16% に拡大した。
- 論文は RelArena-α リーダーボードで、Kumo Relational が約 17 秒・Elo 1,842、最高スコアの rt-plurel が約 7,300 秒・Elo 1,878 と約 430 倍遅いと報告している。
- 学習データのわずか 0.2% をコンテキストとして使用した場合や、外部キーリンクを最大 75% 削除した場合でも性能を維持する。
企業予測を構築するチームにとって、Kumo Relational は XGBoost 特徴量パイプラインを置き換え得る学習不要の選択肢だが、学習セットが非常に大きい場合はタスク固有の教師ありモデルが依然優位な場合がある。
スカラー・リーダーボードを超えて：多目的LLMアリーナにおけるパレートフロンティア同定のための適応的サンプリング
本論文はVector-Borda Empirical-Gap Elimination（VB-EGE）を提案する。これはアリーナ形式の評価においてパレートフロンティア上のモデルを効率的に同定するための固定信頼度の適応的サンプリングアルゴリズムであり、各比較は選択された性能次元について一対のモデルを評価する。
- 論文は多目的Bradley-Terryモデルの下で、VB-EGEが高い確率で正しいパレートフロンティアを返すことを示し、サンプル複雑度のインスタンス依存上界を導出している。
- 論文はさらに最悪の場合の下界を確立し、VB-EGEが対数因子までミニマックス最適であることを示している。
- Arena、SearchArena、VisionArenaの3つの実世界アリーナデータセットでのシミュレーションと実験がVB-EGEの実証的有效性を示している。
- 論文は参考文献と付録を含めて51ページで、2026年10月20日に提出された。
高コストな人間フィードバックに依存するLLM評価において、VB-EGEは固定信頼度の下で比較回数を抑えつつ多目的トレードオフのフロンティアを同定するサンプリング手法を提供する。
MIT^3：テスト時訓練による長動画理解のための記憶内面化
論文は MIT^3 を提案する。これは各長動画をコンパクトな動画固有の適応パラメータに書き込み、動画なしのテキストのみの質問応答を可能にする動画ごとの適応フレームワークである。因果追跡で適応位置を選び、視覚記憶蒸留でテキストのみの記憶に該当動画クリップが引き起こす表現変化を再現させる。
- 論文は LVBench、LongVideoBench、Video-MME においてデータ効率の高い動画なし質問応答を達成したと報告している。
- 論文によれば、使用する合成サンプル数は従来のパラメータ化動画記憶手法より大幅に少ない。
- 手法はコンパクトなマルチスケール監督下の因果追跡により、各モデル層の動画に基づく回答への因果記憶効用を測定する。
- 視覚記憶蒸留は、テキストのみの記憶に該当動画クリップによる表現変化を再現させる。
長動画QAを構築する開発者にとって、この研究は合成テキストを増やすだけでなく、知識の書き込み位置と視覚証拠の蒸留方法の両方が内面化の効果を左右することを示す。
専門家ガイド付きルーブリックを非検証可能領域の強化学習における密な報酬信号として用いる手法
本論文は、少数の固定的な専門家判断を密な報酬に変換し、検索ベースの指標と組み合わせてGRPO互換のハイブリッド訓練信号を形成する手法を提案する。対象は金融サービスなどの非検証可能な検索タスクである。
- 論文は、疎な報酬のベースラインと比較してRecall@3が最大6%、MRR@3が6.7%改善したと報告している。
- 論文は、GRPOではグループ内の全サンプル出力が同じ結果を得ると疎な報酬が有用な学習信号を生まず、最適化が停滞すると述べている。
- 本手法は、少数の固定的なSME判断を密な報酬に変換し、検索指標と組み合わせてハイブリッドな訓練信号を形成する。
- 論文は2026年10月17日に投稿され、11ページ、図4点で、RL4LLM-Agents workshop ICAIF ACMに属する。
非検証可能領域のエージェントを構築するチームにとって、この結果は少数の専門家ルーブリックで密な報酬を作ることでGRPOの疎な報酬下での最適化停滞を緩和できることを示す。
大規模言語モデルと多目的強化学習によるPareto最適RTLコード生成
本論文は、単一回路の品質ではなく、複数回の生成で得られる回路集合全体のPPA目的空間における品質と多様性を最適化する、LLMベース回路生成の学習手法を提案する。手法は生成ベースの訓練パイプラインとHypervolume Contribution（HVC）に基づく報酬関数から構成される。
- 論文はRTLLM v2ベンチマークで、PPA最適化なしのベースラインに対し相対Hypervolumeが+13.3ポイント向上したと報告している。
- 論文は単一目的強化学習手法に対し相対Hypervolumeが+14.4ポイント向上したと報告している。
- 論文は回路の多様性においても優位性を示している。
- 論文はCOLM 2026に採択され、2026年10月16日に投稿された。
AI構築者にとって、PPAトレードオフを集合レベルのPareto被覆問題として扱うことで、設計制約の変化に応じて事後選択できる多様なRTL候補が得られる。