AI FRONTIER
Signals worth understanding before they become obvious.
Komputasi tujuan umum berbasis bukti dengan Magnetar
Microsoft Research memperkenalkan Magnetar, mesin virtual zero-knowledge (zkVM) tujuan umum yang membuktikan eksekusi program RISC-V yang ditulis dalam Rust, Go, atau C, dengan keamanan hanya bergantung pada fungsi hash standar.
- Magnetar membuktikan 7,2 hingga 8,7 juta instruksi prosesor per detik pada laptop.
- Magnetar yang dioptimalkan membuktikan 9,5 hingga 12,8 juta siklus per detik, meningkatkan setiap percepatan yang dilaporkan sekitar 1,3 kali, dan buktinya terverifikasi dalam sekitar 12 milidetik.
- Keamanannya hanya bergantung pada fungsi hash standar seperti SHA-256 atau SHA-3, tanpa kurva eliptik, lattice, fungsi hash khusus, trusted setup, atau konjektur kode koreksi kesalahan yang belum terbukti.
Bagi pembangun AI, Magnetar membuat program terkompilasi biasa dapat dibuktikan tanpa keahlian kriptografi dan menghapus migrasi pasca-kuantum dari peta jalan.
Model besar "Shusheng-S2" dari Shanghai AI Lab masuk ke alur penelitian matematika terdepan: membantu pembuktian konjektur Ghys tiga dimensi dan lulus verifikasi formal
Model besar "Shusheng-S2" dari Shanghai AI Lab masuk ke alur penelitian matematika terdepan, membantu pembuktian konjektur Ghys tiga dimensi, yang lulus verifikasi formal.
- Model besar "Shusheng-S2" dari Shanghai AI Lab masuk ke alur penelitian matematika terdepan.
- Model tersebut membantu pembuktian konjektur Ghys tiga dimensi.
- Pembuktian terkait lulus verifikasi formal.
Ini menunjukkan model besar dapat ikut serta dalam pembuktian matematika terdepan dan menghasilkan keluaran yang dapat diverifikasi secara formal, memberi contoh alur yang dapat diverifikasi untuk penelitian matematika berbantuan AI.
OpenRouter menghadirkan NVIDIA Nemotron 3.5 Super VL, model MoE multimodal
NVIDIA Nemotron 3.5 Super VL adalah model MoE multimodal terbuka dengan 12B parameter aktif dari total 120B, memakai arsitektur hibrida Mamba-Transformer dengan prediksi multi-token dan konteks 1M token.
- Total 120B parameter dengan 12B aktif, dibangun di atas arsitektur hibrida Mamba-Transformer dengan prediksi multi-token.
- Jendela konteks 1.048.576 token, mendukung hingga 262.144 token penyelesaian.
- Menerima teks, gambar, dokumen, tangkapan layar GUI, dan video sebagai masukan serta mengembalikan teks; penalaran aktif secara default dan dapat dimatikan atau diberi anggaran token.
- Harga $0,10 per 1M token masukan dan $0,40 per 1M token keluaran, dengan pembacaan cache $0,08/M, dilayani oleh Crusoe, Together, DeepInfra, dan CoreWeave.
Bagi tim yang membangun agen berjalan lama, 12B parameter aktif dengan konteks 1M token dan masukan visual memungkinkan intelijen dokumen, interaksi GUI, dan pemahaman video ditangani satu model.
Joint Subspace Sparse Attention untuk Decoding Konteks Panjang yang Efisien
JSSA mempelajari subruang query-key berdimensi rendah bersama untuk meningkatkan kualitas peringkat pemilihan sparse tingkat token, dan memperkenalkan kernel indexed-attention tingkat token tanpa gather yang mendukung pemilihan berbeda per KV-head pada tata letak KV-cache GQA standar.
- Makalah melaporkan bahwa pada GPU NVIDIA B200, JSSA mencapai hingga 6,43 kali throughput decoding full-KV attention pada konteks 128K.
- Makalah menyatakan JSSA tetap mendekati akurasi full-KV pada model GQA standar, attention hibrida sliding-window/global, dan Multi-head Latent Attention (MLA).
- Makalah melaporkan JSSA mencapai akurasi penalaran yang sebanding dengan DSA native model tanpa pelatihan model dan mencapai 96–99% dari throughput decodingnya bahkan pada model besar skala 700B.
- Makalah mencatat bahwa penyempurnaan langsung dari tujuan eksak tidak memberikan peningkatan terukur pada pengaturan yang diuji.
Bagi pengembang inferensi konteks panjang, JSSA penting karena menggabungkan pemilihan sparse tingkat token dengan kernel tanpa gather yang menurunkan biaya decoding langsung pada tata letak KV-cache GQA dan MLA yang ada.
WorldMemBench: Tolok Ukur Komprehensif untuk Memori Model Dunia Video
Makalah ini memperkenalkan WorldMemBench, tolok ukur yang mengevaluasi secara sistematis memori dunia pada model dunia video di 260 kasus uji, mencakup memori statis (identitas dan penampilan manusia, penampilan dan geometri objek, konten dan geometri lingkungan) serta memori dinamis (perkembangan peristiwa dan persist...
- Tolok ukur mencakup 260 kasus uji yang menilai memori statis dan dinamis.
- Tolok ukur menggunakan keberangkatan kamera terkendali dan lintasan kunjungan ulang berganda, membandingkan konten statis dengan referensi awal tetap dan peristiwa dinamis dengan transisi status yang diharapkan.
- Evaluasi terhadap sembilan model representatif menunjukkan retensi statis yang kuat tidak berarti evolusi status dinamis yang andal.
- Kunjungan ulang berulang mengungkap degradasi memori setelah kembalinya pertama, dan studi manusia mendukung keselarasan antara evaluasi otomatis dan penilaian manusia.
Bagi tim yang membangun model dunia video, tolok ukur ini memecah memori menjadi sumbu statis dan dinamis yang terukur serta menunjukkan retensi statis tidak dapat menggantikan persistensi status pada kunjungan ulang berulang.
Model Serupa, Peluang Rusak: Di Mana Aksioma Luce Gagal di Chatbot Arena
Makalah ini berargumen bahwa model Bradley-Terry di Chatbot Arena memberi satu skor per model sehingga mengasumsikan aksioma pilihan Luce; pada 1,8 juta suara Arena, suara antarversi satu model lebih menentukan daripada prediksi Bradley-Terry.
- Pada 1,8 juta suara Arena, suara antarversi satu model 1,37 kali lebih menentukan daripada prediksi Bradley-Terry.
- Antarukuran dalam satu generasi pengalinya 1,26, dan antarmodel dari satu lab 1,12.
- Koreksi dengan empat hingga enam parameter memprediksi suara held-out lebih baik daripada Bradley-Terry dan model dengan ratusan parameter, terutama dengan memodelkan seri.
- Dengan juri model bahasa dan menu tiga jawaban, model nyaris kembar mengambil suara terutama dari kembarannya saat pilihan digabung lintas prompt, dengan pergeseran log-odds +0,10 dan interval 95% 0,05 hingga 0,16.
Bagi pembangun, ini berarti tingkat kemenangan berpasangan gaya Arena antara model nyaris kembar dapat dilebih-lebihkan secara sistematis, sehingga peringkat skor tunggal model serupa perlu dibaca dengan hati-hati.
fishaudio/drama-3: model text-to-speech MoE 35B parameter dengan 16 speaker dan streaming
Fish Audio merilis Drama 3, model text-to-speech generasi baru untuk adegan banyak karakter dan konten panjang, dengan dukungan pembuatan multi-speaker, kloning suara, dan kontrol bahasa alami. Model ini memakai backbone teks MoE 35B parameter dengan 3B aktif per token serta dekoder audio Codebook-MTP.
- 35B parameter dengan 3B aktif per token, memakai backbone teks MoE dengan atensi hibrida penuh dan linear.
- Tag speaker <|speaker:0|> hingga <|speaker:15|> memungkinkan satu teks memuat hingga 16 karakter.
- Dekoder audio Codebook-MTP mendekode 10 codebook secara kausal di seluruh sekuens.
- Expert MoE memakai FP8 dan bobot lainnya bf16; halaman model mencantumkan 36B parameter serta tipe tensor BF16 dan F8_E4M3.
Bagi pengembang yang butuh audio panjang banyak karakter, Drama 3 menyatukan 16 tag speaker, pemotongan streaming, dan deployment SGLang-Omni, tetapi lisensi berorientasi riset dan kebutuhan perangkat keras MoE FP8 membatasi penerapan produ...