AI FRONTIER
Signals worth understanding before they become obvious.
4ビット未満のビジョンCNNはなぜ崩壊するのか、混合精度回復はどこで止まるのか
本論文は、完全な50,000枚のImageNet-1k検証セットで標準的なビジョンCNN(ResNetおよびEfficientNetバックボーンを含む)の量子化崩壊を体系的に分析し、多段階の回復ウォーターフォールを提案する。
- 崩壊は高度に非線形であり、後段のポイントワイズ射影とdepthwise層に集中する。
- 重要層の活性の5%未満を8ビット精度で保持すると、攻撃的な4ビット未満圧縮で失われた精度の最大92%を回復する。
- 標準的なARMおよびx86 CPUアーキテクチャでは、標準ランタイムのソフトウェアビットアンパッキングがバッチサイズに応じて1.48倍から21.5倍の実行速度低下をもたらす。
エッジ向けビジョン開発者にとって、4ビット未満の重みが削減するのはストレージでありスループットではないため、混合精度回復は後段のポイントワイズ射影とdepthwise層に絞り、アンパッキングのオーバーヘッドを実測すべきである。
thinkingmachines/Inkling-2-Mini:26.4B のマルチモーダル・ループ型 Transformer をオープンウェイトで公開
Thinking Machines Lab が Inkling 2 Mini を公開した。総パラメータ 26.4B、アクティブ 3.4B のネイティブ・マルチモーダルなループ型 Transformer で、Apache 2.0 ライセンスのオープンウェイトとして提供される。テキストと画像を入力し、最大 1M トークンのコンテキストを扱う。
- 総パラメータ 26.4B、アクティブ 3.4B。中間 12 層が共有重みで 3 回実行され、1 トークンあたり 48 層適用、実効アクティブパラメータは 5.4B。
- 24 層の decoder-only スパース MoE で、各層で各トークンは 128 エキスパート中 8 にルーティングされ、アテンションはローカルとグローバルのハイブリッド。
- 約 20GB の単一チェックポイントを NVFP4 と MXFP8 の混合精度で配布し、1x NVIDIA DGX Spark および 32GB 以上のメモリを持つ Apple silicon でのローカル推論に対応。
- モデルカードは SWEBench Verified(bash のみ)79.2%、SWEBench Pro v2 (Hard) 77.9%、MMMU Pro Standard 10 74.9%、OmniDocBench v1.6 92.8% を報告。
32GB 級のローカル環境で動かせるマルチモーダル・オープンウェイトだが、モデルカード自身が Inkling 2 Small より知識想起が弱く、エージェント利用では確認なしの破壊的操作があり得ると述べているため、サンドボックスと人的監督が前提となる。
Hugging Faceがharness adaptersを公開:RLで特定のagent harnessにモデルを適応
Hugging Faceは、Pi、OpenCode、Hermes Agentの各harness内でRLを実行し、Qwen3.8-27B向けのLoRAアダプタをharnessごとに1つずつ訓練する再現可能なレシピを公開した。3つのLoRAは1つのsuper adapterに統合され、3つのharnessすべてでそのまま動作する。
- 論文の報告によると、Qwen3.8-27Bのpi harnessにおけるTerminal-Bench 2.1スコアは39%で、1タスク平均2.9Kトークンを使用した。重みを凍結したままRLで訓練したLoRAアダプタを追加すると55% pass@1となり、平均トークン使用量は1.5Kだった。
- 各アダプタはNVIDIA 2×B200 GPUで訓練され、1基をvLLMサーバー、もう1基を訓練プロセスに割り当てた。
- 最終的なデータ混合は、harness-adaptersのRL環境からの750タスクとtermgradeからの300タスクで構成される。
- データセットharness-hub/agentic-coding-envsは35リポジトリの871タスクを収録し、うち171タスクがGRPO訓練用のqualifiedサブセットである。
agentを構築するチームにとって、実際に運用するharness内でRL微調整を行えば、基盤モデルを変えずに少ないトークンで高い通過率を得られることを示している。
内省的監視に向けた言語モデルの訓練
論文は「内省的監視」を提案し、モデル内に独立した三人称のオブザーバー役を追加してアシスタントに関する質問に答えさせ、アシスタントの実際の行動と照合して検証された回答に報酬を与える。5つのホールドアウト監視評価で、Qwen3.6-27Bで訓練したオブザーバーは平均AUROC 0.907を記録した。
- Qwen3.6-27Bで訓練したオブザーバーは5つのホールドアウト監視評価で平均AUROC 0.907。
- 比較対象は誠実性訓練0.864、トランスクリプト監視0.828、活性化オラクル0.796。
- 論文は、オブザーバーを訓練するとアシスタント自体が監視しやすくなり、微調整後のアシスタントでは全ベースライン手法が平均で改善したと報告している。
- 論文は31ページ、図13点、表8点で、2026年11月17日に投稿された。
構築者にとっては、アシスタントとは別に正確性のみを目的として訓練できるオブザーバー役が、外部トランスクリプト監視や活性化デコーダーに代わる監視経路になり得ることを示す。
Watch Where You Linearize:モデルマージ干渉の予測と補正
本論文は、タスクAの出力のタスクBベクトル方向への方向微分が干渉を予測できるが、適切なモデル(受信モデル)で評価した場合に限ることを示し、これに基づくLR-Mergeを構築した。
- 受信モデルでは、この微分は近傍のマージをタスク別・例別に予測し、無変更ベースラインの精度誤差を半減させ、予測が反転する例の大半を特定する。
- 完全なマルチタスクマージでは単一評価では不十分で、マージ経路に沿った2回の評価が必要である。
- 共有事前学習バックボーンでは、この微分は視覚実験で実現された変化とほぼ直交し、LoRA言語モデルの予備実験では部分的にしか予測的でない。
- LR-Mergeはテストされたすべての閉形式・等方・スパース化ベースマージャを改善し、利得は一般にマージするタスクが増えるほど大きくなる。マージネットワークを通じた厳密な教師マッチングは収束に約3倍の時間を要し、同等の計算予算では同程度の性能である。
ビルダーは受信モデルで方向微分を評価することでマージ干渉を低コストで予測でき、LR-Mergeのラベル不要な凸教師マッチングで高価な係数探索を代替できる。
Where the Tokens Go:エージェント型コーディングにおける熱・エントロピー・誤差
本論文はソフトウェア熱力学の理論を提唱し、コーディングエージェントが生成するトークンをコストとして数え、それを仕事と熱に分ける。エージェントがリポジトリへの変更を加えてから元に戻す操作を繰り返し、各モデル呼び出しのトークンを計測する。
- 論文報告:成功した実行のトークンの約80%は、要求された変更をそのままにするモデル呼び出しで生成され、これを熱と呼ぶ。
- 論文報告:Jarzynskiの等式との類推で推定した変更の自由エネルギーは、成功したコーディング実行の平均コストの14%から22%である。
- 論文報告:コーディングのコストはアンコーディングの1.1倍から1.5倍である。
- 論文報告:繰り返しサイクル間のコストのばらつきがソフトウェア温度を定義し、それはモデルのサンプリング温度とともに上昇した。
この枠組みは、エージェントのトークン支出を有効な仕事と無駄な熱に分解し、変更を進めないモデル呼び出しを特定して削減する手がかりを与える。
RFBench:パッシブRFレイアウト設計と理解のためのシミュレータ基盤マルチモーダルベンチマーク
本論文は、パッシブRFレイアウトの設計と理解におけるマルチモーダル言語モデルの能力を評価するため、シミュレータ基盤のデータセットとベンチマークRFBenchを提案し、7つのタスクを定義している。
- データセットにはADS Momentumでシミュレーションされた10,000個の2ポート平面レイアウトが含まれる。
- 各レイアウトは編集可能な幾何プリミティブ、ラスタ画像、16x16占有グリッド、201周波数点の複素Sパラメータ、構造カテゴリ、RF応答ラベルで構成される。
- 仕様条件付きレイアウト生成、表現変換、応答予測、シミュレータベース検証、設計診断と改善、構造理解、応答分類の7タスクを定義している。
- 論文は、RF特化のファインチューニングによりT1a構造有効性が0.0%から83.2%へ、T3プリミティブ入力の2-dB以内率が17.7%から62.8%へ向上したと報告している。
RF特化のファインチューニングは構造有効性と応答予測を大きく改善するが、論文の報告によれば電磁的に忠実なレイアウト生成には依然として大きな余地が残る。
KVキャッシュ退避のためのグローバル重要度推定
本論文はPRKVを提案する。これは注意に誘導された遷移グラフ上でPersonalized PageRankを適用し、マルチホップのグローバルトークン重要度を推定する訓練不要のKV退避手法であり、モデルを変更せずに直近性や瞬間的な注意を超えた重要度伝播を可能にする。
- PRKVは訓練不要の手法であり、モデルを変更しない。
- 最大90%を含む中程度から積極的な圧縮率の下で、PRKVは長文脈理解、スパース検索、思考連鎖推論のタスクにおいて既存の退避ベースラインと競合するタスク性能を達成する。
- ピークメモリ使用量を削減しつつ、エンドツーエンドのオーバーヘッドは低い。
- 本論文はNeurIPS 2026に採択され、著者はSeojin KimとNoseong Parkである。
長文脈推論を構築する開発者にとって、PRKVは直近性や瞬間的な注意のスコアリングをマルチホップのグローバル影響推定に置き換えることで、高い圧縮率でもタスク性能を維持しピークメモリを削減できることを示す。