AI FRONTIER
Signals worth understanding before they become obvious.
高速FP4事前学習のためのフォーマット認識融合
本論文は、各量子化プロデューサをそのスケール領域およびコンシューマレイアウトと協調設計するフォーマット認識融合を提案し、ネイティブmxfp、グローバルnvfp、協調スレッド配列ローカルnvfpを対象とする。Llama-3系8Bの1600億トークンまでの事前学習評価で、最速のカスタム経路は37.9K tokens/s/GPUに達した。
- 同一アクセラレータ比較で、bfloat16とTransformer Engine nvfpはそれぞれ18.8Kと27.6K tokens/s/GPU、最速のカスタム経路は37.9K tokens/s/GPU。
- 行勾配確率的丸めと固定符号32値Hadamard重み勾配前処理を併用したmxfpは37.2K tokens/s/GPU、bfloat16のモデルFLOP利用率86.3%。
- このmxfp構成の学習損失終点は生のbfloat16より2.11%高い。
- 最終4ブロックをbfloat16とするTransformer Engineレシピは27.1K tokens/s/GPUでbfloat16より0.87%高い。
FP4事前学習の実利はTensor Core単体ではなく、スケール契約・オペランド・実行経路の共同設計に依存する。
メタ、AIエージェント「Muse」の対応機器を誰でも自作可能に ESP32向けSDKなど公開
メタがESP32向けSDKを公開し、AIエージェント「Muse」に対応する機器を誰でも自作できるようにした。
- メタがESP32向けSDKを公開した。
- このSDKにより、誰でもMuse対応機器を自作できる。
ESP32開発者は公式SDKを使ってMuse対応ハードウェアを自作でき、市販品を待つ必要がなくなる。
OpenAIがGPT-6 SolとLunaを発表
OpenAIがGPT-6シリーズの新モデルとなるGPT-6 SolとLunaを発表した。
- OpenAIがGPT-6 SolとLunaという新モデルを発表した。
- 発表はOpenAIの公式チャネルから行われた。
AI開発者はGPT-6 SolとLunaの登場を踏まえ、自社アプリケーションへの適合性を検討すべきだ。
Open TTS Leaderboard：多言語テキスト音声合成と音声クローニングのスケーラブルな評価
Hugging Face が Open TTS Leaderboard を公開し、オープンソースの多言語 TTS と音声クローニングモデルを客観指標で評価する。Qwen3 ASR による WER/CER、H200 GPU 上の RTFx と TTFA、WavLM 話者埋め込みのコサイン類似度（SIM）を用いる。
- 2026年9月30日時点で Hugging Face Hub には 8K を超える TTS モデルがある。
- 2026年9月30日時点で Artificial Analysis の 92 モデルのうちオープンウェイトは 16 のみ。
- 客観指標により、モデル1件の評価は投票収集の数週間から数時間に短縮される。
- デフォルト表示は Seed TTS Eval の英語分割と CV3 Eval（zero shot）のマクロ平均 WER で順位付けし、hexgrad/Kokoro-82M、Supertone/supertonic-3、fishaudio/s2-pro が上位。
音声プロダクトを開発するチームにとって、再現可能な客観指標は多数のオープン TTS モデルを数時間で絞り込める一方、自然さや聴感の好みは人手投票で補う必要がある。
Lightricks が LTX-2.5 オープンウェイト音声映像ワールドモデルを公開
Lightricks/LTX-2.5 はテキスト・画像・動画入力から同期した映像と音声を生成するオープンウェイトモデルで、セルフホストに対応します。ネイティブなマルチショット生成、拡散ビデオデコーダー、Gemma 4 12B テキストエンコーダー、任意の尺予測器を追加しました。
- モデルカードでは先月のダウンロード数が 1,629,984、いいね数が 6.12k と表示されています。
- コンポーネントごとに 1 つの .safetensors を置く分割型 Comfy 準拠パックとして公開され、22B の蒸留版とフル版 DiT チェックポイントを含みます。
- 蒸留 DiT は固定 8 ステップスケジュールで CFG=1、num_frames % 8 == 1 を満たす必要があり、幅と高さは 32 で割り切れる必要があります。
- 年間収益 1000 万ドル未満は LTX-2.x コミュニティライセンスで商用利用が無償、1000 万ドル超は有償の商用利用契約が必要です。
構築者にとって LTX-2.5 はセルフホスト可能なオープンウェイトの音声映像生成手段であり、分割チェックポイントと int8・NVFP4 量子化版により VRAM 予算に応じた配備が可能です。
「very likely」は「不確実」を意味するのか：LLMが言語的不確実性の定量化で人間とどう乖離するか
本論文は心理学・意思決定理論の文献から人間の不確実性マーカーコーパスを構築し、LLMと比較した結果、LLMが言語的不確実性を人間とは大きく異なる数値レベルで符号化していることを報告している。著者らはLLM出力から不確実性マーカーの最適な不確実性プロファイルを直接学習する最適化ベースのアルゴリズムを提案する。
- 著者はJinhao Duan、Zicheng Liu、Zijie Liu、Kaidi Xu、Tianlong Chenで、2026年9月6日に投稿され、ICML 2026に採択された。
- 著者らは心理学・意思決定理論の文献から人間の不確実性マーカーのコーパスを整理し、それに対してLLMをベンチマークした。
- 論文は、LLMが言語的不確実性を人間の数値レベルとは大きく異なる数値レベルで符号化していると報告している。
- 提案アルゴリズムは、反復サンプリングで不確実性を推定するのではなく、経験的正確性を最もよく説明するマーカー—不確実性マッピングをフィッティングする。
不確実性を扱うシステムを構築するチームは、「likely」や「possible」といったマーカーに対するLLMの数値的解釈が人間の判断と一致すると仮定せず、検証すべきである。
LLM向け高速多項式超越関数
本論文は、LLMにおけるネイティブのsigmoid、tanh、SiLUを短い多項式プログラムで置き換える手法を検証し、GB200統合タスクでの学習ステップスループット向上と約1000億トークン時点の損失差を報告した。
- 分離FP16スイープでは、パックFMAプログラムがL2常駐ワークセットで1.19～2.19倍、HBM常駐ワークセットで1.00～1.70倍改善した。
- 4つのGB200統合タスクのうち、dense SiLU、tanh-softcapped attention、routed-expert SwiGLUの置換は完全な学習ステップスループットをそれぞれ2.7%、2.9%、8.0%向上させた。
- sigmoid attention置換は完全なattention forwardを7.4%、完全なGPUステップを0.3%向上させた。
- 約1000億トークンの一般的な学習期間で、4タスクの最終平滑化学習損失差（多項式－ネイティブ）は-0.107から+0.079の範囲だった。
AI構築者にとって、低次BF16多項式によるSFU超越関数の置換がBlackwell世代GPUで測定可能な学習スループット改善をもたらす一方、タスクごとの損失検証が必要であることを示す。
Adam は自然勾配降下法からどれほど離れているか？
本論文は、モメンタムを含む Adam の完全な更新規則を、対角切断、経験的ラベル置換、時間的遅延を伴う対角経験 Fisher 近似として捉え、スケール不変な γ(Δθ) 指標を用いて 4 つの損失景観で Adam と真の NGD との幾何学的偏差を測定した。
- 検証対象は、良条件の線形回帰、悪条件の線形回帰、ロジスティック回帰、非凸の小型ニューラルネットワークの 4 つの損失景観。
- 幾何学的偏差は良条件では低く保たれるが、悪条件下で大幅に増大し、ニューラルネットワークでは約 10^3 のミスアラインメントに達する。
- 幾何学的ドリフトが大きいほど初期最適化は遅くなるが、最終的な目的関数の最小化は劣化せず、Adam は一貫して低い損失に到達する。
- 改良経験 Fisher（iEF）は標準経験 Fisher（EF）よりも安定した経路を追跡し、EF はしばしば振動または発散する。
構築者にとって、Adam の実用的な最適化性能は自然勾配経路の追跡ではなく、構造的近似誤差とモメンタム平滑化のバランスに由来する可能性がある。