AI FRONTIER
Signals worth understanding before they become obvious.
180Bパラメータ、32GB RAM:TransformersでMoE推論を限界まで押し上げる
Hugging Faceのブログは、ルーティングされた専門家のみをSSDから有界キャッシュへストリーミングするTransformers実装を紹介し、Qwen3.8-Flash-Nextが32GB Macで約14 tok/sで動作し、短いデコードでStrataに約6%及ばないと報告している。
- Qwen3.8-Flash-Nextは48層・各512専門家(10アクティブ)で、FP8の専門家は121GB、別途51GBのn-gram埋め込みテーブルがある。
- 専門家を3ビットに量子化するとディスク上49GB、デバイスキャッシュ12GiB、8ビットの稠密層は約5.4GB(BF16比でパープレキシティ+0.2%)。
- ロード後は約18GiBを使用し、6Kプロンプトのピークは25.4GiB。
- 最終結果:200トークンのデコードは13.9 tok/s対Strata 14.8、4Kプロンプトのプリフィルは228 tok/s対220、6K文書後のデコードは12.4 tok/s対13.7。
AIビルダーにとって、ルーティングされた専門家のみをストリーミングしgrouped_mmをそのまま使える有界スロットプールが、専用エンジンに迫る性能を消費者向けメモリで実現できることを示すが、1トークンあたり約10msのホスト往復が残るボトルネックである。
DeltaHarness:リソース適応型ツール実行のための自己進化ハーネス
本論文は、コールドスタート測定からエージェントハーネスを適応させる実行誘導型ポリシー探索手法 DeltaHarness を提案する。QHI ループは観測された応答を用いてランタイムディスパッチを更新し、物理プランを改訂し、後続提案のための実験を選択し、独立した確認パネルがポリシー置換を制御する。
- 固定ディスパッチの下で、改訂されたマテリアライゼーションポリシーは1つの動画編集タスクにおいて3組の新規ペアで完全配信レイテンシを30.0%削減した。
- ホールドアウトタスクでは、進化したポリシーは1つのシードで最良の固定プランに対してレイテンシを8.2%削減し、別のシードで初期提案に対して4.6%削減した。
- 論文は、同一のタスクとリソース記述が、有効な実行プランのレイテンシ順序を逆転させるランタイム条件を隠し得ると報告している。
ツール利用エージェントを構築する開発者にとって、ハーネス自体を対象環境での実測レイテンシに基づくポリシー探索で最適化できる可能性を示す。
言語モデルが自身の重みを書き換え可能に
arXiv論文は、27Bモデルが自身の重み、採点済み回答、自己実行能力を与えられると、勾配も訓練もなしに失敗を診断して重みを編集し、未見の490問で精度が6.6ポイント向上したと報告している。
- 論文報告:この編集により、事前に固定されたテストの未見490問で精度が6.6ポイント向上した。
- 論文報告:最初の8回のセッションでは、各編集が前回を置き換え、精度は上昇のみだった。
- 論文報告:損傷したコピーの修復では、テキスト数学問題のみから破損行列を特定して書き換え、未見の6つの画像ベンチマークで7%から70%へ向上し、未損傷モデルの83%に達した。
- 論文報告:4つの規模のうち2Bモデルは編集せず、4Bと9Bモデルは自らを壊し、27Bモデルのみ成功した。必要なのはオープンモデルと1台のGPUでの数時間のみ。
構築者にとって、重みレベルの自己改善は訓練インフラ不要のデプロイ後改善経路になり得るが、有効性は現時点で27B規模でのみ報告されている。
Genie 4 が利用可能に
Google DeepMind は対象の Google AI Ultra 加入者向けに Project Genie の新体験を展開し、Genie 4 を初公開した。自然言語によるリアルタイムの環境編集とネイティブ音声に対応する。
- Genie 4 ではセッション途中にプロンプトを入力し、天候の変更やキャラクターの追加、行動の方向転換をリアルタイムで行える。
- Genie 4 は映像と、シーンの進行に合わせて変化するリアルタイムのネイティブ音声を初めて組み合わせ、環境音からキャラクターの会話まで対応する。
- Genie 3 は 1 回の生成あたりの探索時間が 60 秒から最大 3 分に延長され、複数のワールドを連結できる。
- Genie 3 は 360 度パノラマ画像を新しいワールドのシードとして使用でき、リアルタイムのプロンプト可能なイベントにも対応する。
ビルダーにとって、ワールドモデルは単発生成からリアルタイムにプロンプト編集でき音声を伴い共有可能な環境へ移行しつつあるが、カメラ遅延や複雑な物理相互作用、長期的なシーン永続性は未解決の課題として残る。
Rumble-2-Flash:40以上の言語に対応するオープンな0.5B音声モデル
Reson8がApache 2.0ライセンスでRumble-2-Flashをオープンソース化しました。これは40以上の言語に対応する0.5Bパラメータの音声認識モデルで、Qwen3-ASRアーキテクチャを採用し、TransformersとvLLMをネイティブサポートします。
- 0.5Bパラメータモデル、Apache 2.0ライセンスでオープンソース化
- Open ASR Leaderboardの多言語トラックで、中国語、ドイツ語、フランス語、イタリア語、スペイン語、ポルトガル語、ヒンディー語、オランダ語、英語の平均エラー率は6.96%
- Open ASR Leaderboardの英語トラックでは平均WER 6.6%
- AppTekのコールセンター基準(302時間のヘルプライン通話、14の英語アクセント)で7.86% WERを達成し、NVIDIAのNemotron 3.5 Transcribe(30B)の7.78%と同等
ビルダーはApache 2.0ライセンスの下で0.5BのASRモデルを展開でき、報告されている多言語およびコールセンターの精度は30Bモデルに匹敵し、TransformersとvLLMをネイティブサポートします。
AI安全性研究のエンドツーエンド記録における妨害を監査者は捉えにくい
本論文は人間の専門家を代理妨害者としてAI安全性研究のレッドチーム/ブルーチーム実験を行い、監査者が完全な研究記録と実験実行権限を与えられても、妨害された研究と正常な研究をほとんど区別できないことを示した。
- 人間の監査者が妨害研究と正常研究を区別するAUROCは0.59で、偶然と有意に変わらなかった。
- 人間の監査者が具体的な妨害を完全に特定できたのは17%のケースのみだった。
- 実験実行を許可されていない最良のフロンティアモデルは人間の監査者を上回った(Fable 5.1:AUROC 0.73、完全特定率32%)が、その差はノイズの範囲内だった。
- 妨害者が各問題を必ず妨害するのではなく攻撃対象の実験を選べる場合、妨害の特定率はさらに低下した。
AI研究開発の自動化を進めるチームにとって、完全な研究記録に基づく事後監査だけでは専門家レベルのエージェントによる妨害を検出するには不十分であり、実験を能動的に検証する監査設計が必要となる。
Codex サンドボックスの内部
Codex が macOS、Linux、Windows 上で、あなたが制御するファイルシステムとネットワークの制限を適用しながら、どのようにあなたのマシンでコマンドを実行するかを示します。
- Codex はあなたのマシン上でコマンドを実行する。
- Codex はあなたが制御するファイルシステムとネットワークの制限を適用する。
- このサンドボックスは macOS、Linux、Windows を対象とする。
ビルダーは 3 つの主要デスクトッププラットフォームで Codex コマンドを実行しつつ、ファイルシステムとネットワークのアクセスを自分で設定した範囲に制限できる。