AI FRONTIER

TurboMamba: Inferensi Lebih Cepat, Pelatihan Lebih Cepat, dan Prediksi Lebih Baik dengan Memori Leksikal

Makalah ini memperkenalkan TurboMamba, arsitektur model bahasa di mana model Mamba-3 global dijalankan sekali per blok token yang selesai dan Transformer kecil menggunakan konteks global tersebut serta token sebelumnya dalam blok untuk memprediksi token berikutnya.

• Pada dua belas implementasi skala kecil di FineWeb-Edu publik, dengan jumlah parameter yang sebanding dan batas anggaran pelatihan yang sama, TurboMamba memperoleh rata-rata kerugian prediksi uji (NLL) terendah.
• Rata-rata NLL-nya dilaporkan 9,4% lebih rendah daripada Mamba-3, 7,3% lebih rendah daripada versi Jamba, dan 18,3% lebih rendah daripada versi Zamba.
• Throughput pelatihan end-to-end dilaporkan 2,60x lipat Mamba-3, 2,81x lipat versi Jamba, dan 4,82x lipat versi Zamba.

Karena perolehan kerugian dan throughput yang dilaporkan terjadi pada jumlah parameter dan anggaran pelatihan yang sebanding, hasil ini perlu direproduksi pada beban kerja konteks panjang atau throughput tinggi sebelum diadopsi.

Model baru OpenRouter: Reflection Beam 1.0 501B A23B

Beam 1.0 adalah model penalaran berbobot terbuka milik Reflection untuk coding dan alur kerja agentik jangka panjang; model ini memakai arsitektur sparse mixture-of-experts dengan 501B parameter total dan 23B parameter aktif per token, jendela konteks 1M token, serta dirilis di bawah Apache 2.0.

• Arsitektur sparse mixture-of-experts: 501B parameter total, 23B parameter aktif per token
• Jendela konteks 1.048.576 token, mendukung hingga 131.072 token penyelesaian
• Harga 0,25 dolar per 1M token input dan 1,00 dolar per 1M token output
• Dirilis 16 Oktober 2026, dengan knowledge cutoff 30 Juni 2026, di bawah Apache 2.0

Bagi tim yang membangun agen coding, Beam 1.0 menggabungkan bobot terbuka Apache 2.0, konteks 1M token, dan hanya 23B parameter aktif per token, sehingga penalaran jangka panjang tersedia baik secara self-hosted maupun bayar per penggunaan.

Expanding Attention: Rute Deret Taylor menuju Transformer Waktu-Linear dengan Jumlah State Rekuren Tetap

Makalah ini memperluas kernel eksponensial attention menjadi deret Taylor terpotong dengan n suku dan memfaktorkan setiap suku menjadi hasil kali dalam pangkat tensor, sehingga riwayat kausal dipadatkan menjadi tepat n state rekuren, masing-masing diperbarui oleh satu hasil kali luar rank-satu per token dan tidak berga...

• Rekursi ini lossless terhadap kernel terpotong pada 2,2 × 10^-16 dalam float64, dan state bersifat aditif antar-chunk pada 5,7 × 10^-14, sehingga prefill memungkinkan pemindaian paralel.
• Makalah melaporkan eksponen terukur t ∝ N^2,28 untuk softmax versus N^0,91 untuk state, dengan persilangan pada N ≈ 728 dan 20,8× pada N = 8192.
• Latensi decoding per token konstan pada 7,3 μs versus N^1,04 untuk softmax, menghasilkan 76,0× pada N = 65536.
• Normalisasi query dan key adalah prasyarat: tanpanya argumen melampaui radius konvergensi dan menambah suku tidak lagi membantu.

Bagi para pembangun, ini menunjukkan attention linear ber-state tetap baru menguntungkan di atas sekitar 728 token dan memerlukan normalisasi query dan key, yang tanpanya menambah suku Taylor menjadi tidak efektif.

Model baru OpenRouter: XingChen Xing4.0 29B A4B (gratis)

Xing4.0-29B-A4B adalah model bahasa mixture-of-experts berbobot terbuka dari tim AI China Telecom (TeleAI) dan penerus seri TeleChat, dengan 29B parameter total, 4B aktif per token, dan jendela konteks native 256K token.

• 29B parameter total dengan 4B aktif per token dan jendela konteks native 256K token; OpenRouter mencantumkan konteks 262.144 token.
• Dilatih sepenuhnya pada NPU Ascend dengan framework MindSpore.
• Disetel untuk pekerjaan rekayasa kompleks dan agen: pemanggilan alat, perencanaan multi-langkah, dan eksekusi konteks panjang; penalaran aktif secara default dan dapat dimatikan.
• Gratis di OpenRouter, dirilis 16 Oktober 2026, serta mendukung tools dan tool_choice untuk pemanggilan fungsi dan output terstruktur melalui skema JSON di response_format.

Bagi pengembang agen, ini adalah endpoint MoE berbobot terbuka 29B tanpa biaya dengan konteks 256K dan pemanggilan alat, sehingga praktis untuk menguji pipeline perencanaan multi-langkah berkonteks panjang.

The World Won't Wait: Mengevaluasi dan Mengajari Agen di Bawah Jam Langsung

Makalah ini memperkenalkan RealtimeBench, 180 tugas di enam jenis permainan yang mengevaluasi agen saat permainan terus berjalan selama inferensi, dan mengusulkan TORSI, di mana guru lambat mempelajari kegagalan dan menguji koreksi di antara percobaan lalu menulis instruksi yang dapat digunakan ulang untuk siswa cepat.

• RealtimeBench berisi 180 tugas di enam jenis permainan, dengan permainan terus berjalan selama inferensi.
• Evaluasi berpasangan menunjukkan GPT-6.1-sol mengungguli Jev yang lebih cepat saat permainan dijeda, tetapi tertinggal saat permainan terus berjalan.
• Dalam TORSI, siswa bertindak tanpa panggilan guru selama permainan, dan skor validasi menentukan pembaruan mana yang diadopsi.
• Makalah melaporkan dua putaran menaikkan skor tes rata-rata Jev dari 13,51 menjadi 24,19 pada skala kemajuan 0–100, memperbaiki keenam jenis permainan.

Bagi pembangun agen, hasil ini menunjukkan latensi dapat membalik peringkat model, sehingga pembelajaran offline yang lambat dan eksekusi online yang cepat perlu dipisahkan alih-alih hanya mengoptimalkan inferensi satu lintasan.

Jawaban Sama, Kotak Baru: Berapa Bagian Keuntungan Luar Domain RLVR yang Berupa Format Jawaban?

Makalah ini menilai ulang keluaran yang sama dengan ekstraktor jawaban yang disalin dari kode publik dan dengan ekstraktor buatan penulis: pada empat pasangan base-RL 7B SimpleRL yang telah dirilis, 82% keuntungan pilihan ganda luar domain yang dilaporkan ekstraktor tersebut hilang di bawah ekstraktor penulis, sehingga...

• Pada empat pasangan base-RL 7B SimpleRL yang telah dirilis, 82% keuntungan pilihan ganda luar domain yang dilaporkan ekstraktor yang disalin dari kode publik hilang di bawah ekstraktor penulis.
• Pembaca LLM independen sebagai pengganti ekstraktor penulis menempatkan angka ini pada 77%, dan prompt yang sendiri meminta kotak menempatkannya pada 79% dengan ekstraktor penulis.
• Model dasar sudah menyatakan sebagian besar jawabannya dalam teks, dan RL memindahkannya ke kotak \boxed{}, tempat ekstraktor ini melihat lebih dulu.

Pengembang sebaiknya menilai ulang keluaran tersimpan dengan ekstraktor kedua sebelum membaca keuntungan luar domain RLVR, karena keuntungan yang dilaporkan sebagian merupakan sifat ekstraktor yang membacanya.

Diminishing Returns of Data in Sparse Autoencoders: Functional Behavior does not Guarantee Feature R...

论文摘要：Sparse autoencoders (SAEs) are typically trained on hundreds of millions to billions of activation tokens, yet little work has tested whether this scale is necessary. We study...

This is a useful technical direction to keep on the radar, even if it does not require immediate action.