AI FRONTIER
Signals worth understanding before they become obvious.
Lazare:休眠ニューロンを再プログラムしてAIエージェントにバックドアを仕込む
Microsoftの研究者は、LLM内の10個未満の休眠ニューロンを再プログラムするだけで、再学習なしにAIエージェントへバックドアを仕込み、隠れたトリガーが出たときに悪意あるコマンドを実行させる手法「Lazarus」を発見した。
- 10個未満の休眠ニューロンの再プログラムで、そのLLM上に構築されたエージェントにバックドアを仕込むのに十分であり、学習は不要である。
- トリガーは日付の変化のように平凡なものでよく、例えば時計が2027年へと日付をまたぐと、エージェントは通常のタスクの途中で攻撃者のコードをダウンロードして実行するコマンドを出す。
- 論文は、約50例で学習した線形分類器がトリガー付き入力とそうでない入力を区別できると報告している。
- この攻撃は推論計算のみを必要とし、モデルを実行できるだけのRAMがあれば重み空間へのバックドア注入が可能である。
構築者は重みの完全性をコードの完全性と同様に扱うべきであり、元の未変更の重みとの差分比較なしには安全性を証明できないため、来歴の追跡と配備前の検証が不可欠になる。
BotPsy:10億パラメータ未満のエージェント型言語モデルを搭載したオンデバイス個人アシスタント
Tether AI Research が発表した BotPsy は、Qwen3.5-0.8B をベースに構築された 0.8B パラメータのモデルで、関数呼び出しとエージェント型ワークフロー向けに設計され、オンデバイス展開に適しています。
- BFCL v4 は 23.4 から 44.0、ACEBench は 30.1 から 58.7、τ-bench は 23.2 から 51.5 に向上しました。
- BFCL v4、ACEBench、τ-bench、ToolSandbox、BrowseComp-Plus で Qwen3.5-2B-Think を上回り、Claw-Eval のみ下回りました(46.5 対 48.9)。
- IFEval は 59.7 から 90.8、IFBench は 22.0 から 55.9 に向上しました。
- Apache 2.0 ライセンスでオープンウェイトとして公開され、bf16、Q8、Q4 の 3 精度を safetensors と GGUF 形式で提供予定です。
オンデバイスエージェントを構築する開発者にとって、BotPsy は 0.8B モデルがツール利用ベンチマークで 2.5 倍規模のモデルを上回り得る一方、知識タスクは依然としてパラメータ数に依存することを示しています。
OpenRouter 新モデル:Baidu ERNIE-5.5-Flash-Preview(無料)
Baidu の ERNIE-5.5-Flash-Preview が OpenRouter で無料提供され、総パラメータ 2800 億、トークンあたり 140 億を活性化し、100 万トークンのコンテキストウィンドウを備える。
- 総パラメータは 2800 億、トークンあたり 140 億パラメータを活性化。
- コンテキストウィンドウは 1,024,000 トークンで、最大 1,024,000 の補完トークンをサポート。
- ページによると、新アーキテクチャで毎秒 200 トークン超の生成速度を実現。
- Baidu Qianfan の単一プロバイダーが提供し、料金は無料、無料エンドポイントはレート制限あり。
無料かつ 100 万トークン規模のコンテキストと疎な活性化の組み合わせは長文書やエージェントの試作に向くが、単一プロバイダーとレート制限を考慮する必要がある。
AlphaGenome 2:細胞がDNAを読み取る仕組みを解明し疾患理解を深める
Google DeepMindが次世代DNA配列モデルAlphaGenome 2を発表した。条件付きモデルとして特定の細胞種や状態ごとにDNA変異の影響を予測し、再トレーニングなしで新たな単細胞データにも適応できる。
- TenK10Kデータセットにおいて、AlphaGenome 2が同定した因果変異は元のAlphaGenomeの約2倍(30%対16%)、方向性遺伝子効果は43%対23%だった。
- モデルは68組織、1億700万以上の個別細胞プロファイルで訓練された。
- 遺伝子発現、ヒストン修飾、クロマチンアクセシビリティに加え、DNAメチル化も予測する。
- AlphaGenome 2は本日よりAlphaGenome APIを通じて非商業研究向けに提供され、商業研究はプライベートプレビュー段階にある。
条件付き単細胞モデリングにより、研究者は新たなデータセットごとに再トレーニングすることなく、疾患関連細胞種における変異効果を特定できる。
HOPE:Mixture-of-Experts 言語モデル向け高次専門家プルーニング
HOPE は、キャリブレーションセット上で専門家間のペアワイズ相互作用行列 F を構築し、二次計画問題を解いてプルーン集合を選ぶ二階の専門家プルーニング手法であり、各専門家を独立に採点する一階手法とは異なる。
- Qwen3.5-122B は 48 の MoE 層それぞれに 256 の専門家を持ち、約 250 GB のパラメータメモリの約 95% を専門家 MLP が占めるが、各トークンで各層に実際に使われる専門家は 8 個のみ。
- 50% プルーニング時、HOPE の平均順位は 1.58 で、次善手法 REAP の 2.42 を上回る。
- Qwen3.5-35B-A3B を 50% プルーニングして SWE-Bench Pro で評価すると、HOPE は 42.3 を達成し、未プルーニングモデルの 41.8 と同等だが、REAP は 36.2 に低下した。
- F 行列の対角成分は REAP の専門家ランキングをほぼ完全に再現し(Spearman ρ = 0.988)、HOPE の REAP に対する改善は非対角の相互作用項に起因する。
メモリ制約下で大規模 MoE を展開するチームにとって、HOPE は強いプルーニング率でも専門家間の協調関係をモデル化することでエージェント的コーディング能力を保てることを示し、独立採点では顕著に劣化する。
多ベクトル埋め込みモデル向けのToken Pooling対応トレーニング
Hugging Faceのブログ記事は、Sentence Transformersで元の文書埋め込みと圧縮後の文書埋め込みの両方に検索損失を適用するプーリング対応トレーニングを解説している。これにより、ベクトル統合後も検索に必要な情報をエンコーダが保持できる。
- pool_factor=4の場合、通常訓練モデルは未プーリングのNanoBEIR nDCG@10の94.6%を保持し、文書ベクトルは4分の1になる。
- プーリング対応トレーニングは同じストレージ予算で保持率を97.8%に引き上げる。
- 損失はL = 1/2 L_unpooled + 1/2 L_pooledで、両方の目的が同じエンコーダを更新する。
- HierarchicalTokenPoolingはWard階層クラスタリングを使い、訓練時はstraight-through estimatorでプーリング後のベクトルからメンバートークンへ勾配を伝える。
多ベクトル検索システムでは、プーリング対応トレーニングにより、ベクトルストレージを増やさずに圧縮による検索品質の低下を訓練目標の整合で回復できる。
プレフィルで学習しデコードで監視:スパースオートエンコーダによるトピック監視
論文は TopicScope フレームワークを提案し、SAE 特徴上で因果的トピック分類器を学習して生成応答の各トークンにトピックを割り当て、応答の途中でラベルが変わり得るようにする。Gemma-3 1B と 4B では、プレフィル隠れ状態から抽出した特徴で学習したモニターがデコード時にも汎化した。
- 7 つのトピックをカバーする合成マルチトピック会話で 3 つの検出器アーキテクチャを学習した。
- Gemma-3 1B と 4B において、プレフィル隠れ状態から抽出した特徴で学習したモニターはデコード時にも汎化した。
- 分類器は摂動に頑健で、脱線の挿入、トピックの削除、セクションの並べ替えで macro-F1 の低下は最大 5 ポイントだった。
- SAE の寄与を調べるアブレーションでは、SAE なしでベースライン性能に達した分類器は数倍大きかった。
コンパクトなトピックモニターを低コストでプレフィル時に学習し生成中に配備できることを示し、SAE が安全分類以外でも有用であることを示している。