AI FRONTIER
Signals worth understanding before they become obvious.
One Model to Loop Them All: Rekurrensi Laten Elastis untuk Model Bahasa
Makalah ini menyajikan Elastic Latent Recurrence (ELR), resep pelatihan model bahasa berulang yang pada satu loop berbiaya penyajian sama dengan model non-rekuren berukuran sama dan mencapai akurasi serupa, dengan setiap loop tambahan menukar lebih banyak komputasi inferensi dengan akurasi lebih tinggi.
- Pada model hibrida 4B dense dan 30B-A3B MoE, ELR pada satu loop berada 0,52 poin di bawah dan 1,04 poin di atas baseline pasangannya pada rata-rata sepuluh tugas, dan empat loop menambah 7,25 dan 4,75 poin.
- Pada model MoE, penggunaan ulang rute pakar loop pertama pada loop berikutnya memangkas waktu pembaruan kedalaman campuran sebesar 11,7% tanpa perubahan akurasi yang terukur.
- Saat inferensi, hanya menyimpan cache KV attention loop terakhir menjaga memori KV attention pada tingkat satu loop sekaligus mempertahankan sebagian besar keuntungan loop tambahan.
- Dilanjutkan hingga pasca-pelatihan, resep ini menghasilkan Koi-4B, satu checkpoint yang memperoleh estimasi 18 pada Artificial Analysis Intelligence Index dengan satu loop, menyamai Qwen3.5-4B, dan 29 dengan empat loop.
Karena satu checkpoint dapat menukar jumlah loop dengan latensi dan akurasi, model berulang menjadi layak untuk penyajian yang sensitif terhadap latensi.
SpireBench: Mengevaluasi Permainan Strategis Jangka Panjang Model Agentik dengan Slay the Spire
Makalah ini memperkenalkan SpireBench, tempat model memainkan gim deck-building komersial lengkap Slay the Spire pada tingkat kesulitan tertinggi untuk mengevaluasi penalaran strategis jangka panjang pada 20 model bahasa besar.
- Makalah ini mengevaluasi 20 model bahasa besar pada tingkat kesulitan tertinggi Slay the Spire.
- Makalah melaporkan bahwa model frontier mengalahkan baseline heuristik dan menyamai pemain manusia rata-rata, tetapi masih jauh di belakang para ahli.
- Makalah melaporkan bahwa model terkuat memenangkan babak pertama sesering para ahli, lalu tertinggal saat permainan memanjang.
Bagi pengembang agen, SpireBench menyediakan tolok ukur jangka panjang yang melokalisasi titik kegagalan agen dan menunjukkan kelemahan spesifik dalam penilaian risiko dan penggunaan memori.
Melampaui Reward Terverifikasi Biner: Self-Rewarding Perilaku untuk Agen SWE
Makalah ini memperkenalkan Behavioral Self-Rewarding (BSR), metode penyempurnaan reward yang menggunakan kembali policy untuk membandingkan perilaku debugging yang dapat diamati di antara trajektori dari tugas yang sama dengan hasil verifier yang sama, mengagregasi preferensi berpasangan menjadi skor lokal tugas dan me...
- BSR melaporkan peningkatan yang konsisten pada SWE-bench Verified dan SWE-bench-Live di seluruh konfigurasi Qwen3-14B dan Qwen3-32B yang dievaluasi.
- Metode ini menggunakan kembali policy untuk membandingkan perilaku debugging yang dapat diamati di antara trajektori dari tugas yang sama dengan hasil verifier yang sama, tanpa model reward yang dilatih terpisah.
- BSR mengagregasi preferensi berpasangan menjadi skor lokal tugas dan mengubahnya menjadi reward tambahan yang terbatas, memperkenalkan kontras reward sekaligus mempertahankan urutan lulus/gagal yang ditetapkan verifier.
- BSR menyediakan supervisi tambahan dari trajektori yang sudah dikumpulkan tanpa memerlukan interaksi lingkungan baru.
Bagi tim yang membangun agen SWE, BSR menunjukkan bahwa penilaian komparatif policy itu sendiri dapat menjadi sinyal pembelajaran pelengkap di luar lulus/gagal tes biner, tanpa interaksi lingkungan baru atau model reward terpisah.
Kairos: Menuju Model Fondasi Tingkat Byte untuk Semua Modalitas
Kairos menggabungkan atensi linear gated-DeltaNet dua arah dengan atensi jendela geser pada proyeksi bersama (LiZAttention2), agregasi Attention-Residual per blok, lapisan feed-forward Mixture-of-Experts renggang, dan codec tingkat byte multi-skala, dilatih dengan tujuan denoising noise seragam pada satu ruang byte ber...
- Dalam uji overfitting pada satu kalimat 440 byte, dengan 1–15M parameter dan hanya teks, LiZAttention2 dan atensi jendela saja mencapai loss minimum sekitar 10^-3 pada 3.000 langkah.
- Setelah 600 langkah, loss minimum rata-rata berkisar dari 0,018 (codec patch) hingga 0,354 (codec konvolusional depthwise), dengan peringkat identik pada tiga seed.
- Keunggulan tampak proyeksi atensi bersama dibanding proyeksi terpisah hilang dengan lebih banyak langkah atau data lebih beragam dan berbalik saat proyeksi dibekukan; ini efek kecepatan konvergensi, bukan efek kapasitas.
- Diskusi menghitung secara analitis target 200M total/25M aktif, tetapi tidak ada angka throughput yang diukur; kode dan paket Python tersedia.
Bagi para pembangun, Kairos saat ini adalah pemeriksaan konvergensi yang dapat direproduksi, dan desain multimodal tingkat byte-nya masih perlu dibuktikan melalui pra-pelatihan yang direncanakan.
ForcingBooster: Denoising Adaptif per Patch untuk Difusi Video Autoregresif Cepat
Makalah ini memperkenalkan ForcingBooster, sebuah kerangka kerja yang mengalokasikan langkah denoising secara dinamis ke setiap patch video, menghentikan patch mudah lebih awal dan memberi patch sulit lebih banyak langkah penghalusan. Makalah ini melaporkan pengurangan sekitar 50% dalam total langkah denoising yang dit...
- Makalah melaporkan pengurangan sekitar 50% dalam total langkah denoising yang diterapkan pada patch video.
- Makalah melaporkan kualitas visual yang sebanding dengan baseline empat langkah.
- Metode ini kompatibel dengan sebagian besar model difusi autoregresif langkah-sedikit yang ada dan hanya memerlukan modul routing ringan dengan pelatihan yang moderat.
- Makalah dikirim pada 8 Oktober 2026 sebagai arXiv:2610.12625 oleh Zekai Gu, Peng Wang, Jiahao Lu, Yongsen Mao, Cheng Lin, dan Yuan Liu.
Bagi tim yang membangun pembuatan video interaktif waktu nyata dan model dunia video, anggaran denoising per patch dapat memindahkan komputasi dari wilayah mudah ke wilayah sulit tanpa mengubah backbone difusi autoregresif langkah-sedikit.
Google DeepMind merilis EmbeddingGemma 2, model embedding multimodal terbuka 740M parameter
EmbeddingGemma 2 memetakan teks (termasuk kode), gambar, video, dan audio ke dalam satu ruang vektor terpadu 768 dimensi dengan lisensi Apache 2.0, dirancang untuk berjalan di perangkat konsumen seperti ponsel dan laptop.
- Total 740M parameter: backbone teks 270M (130M transformer + 140M embedder), encoder visi 170M, dan encoder audio 300M.
- Makalah melaporkan MTEB multibahasa v2 sebesar 61,36 dan MTEB kode v1 sebesar 78,68, peningkatan sekitar 14% dibandingkan 68,76 milik EmbeddingGemma 1 pada kode.
- Matryoshka Representation Learning mendukung pemotongan ke 128d, 256d, 512d, dan 768d, memungkinkan pengurangan biaya penyimpanan vektor hingga 6x.
- Jendela konteks 8.192 token, mendukung 100+ bahasa, lisensi Apache 2.0.
Pengembang dapat melayani retrieval teks, gambar, video, dan audio dari satu ruang embedding 768 dimensi di perangkat konsumen, dan memuat encoder secara selektif untuk menurunkan jejak efektif dari 740M menjadi 270M.
MagicBeanStalk: Keluar dari Jebakan Zero Advantage RLVR dengan Sintesis Data Rekursif
Makalah ini memperkenalkan MagicBeanStalk, algoritma dekomposisi top-down dan sintesis data rekursif bottom-up yang menumbuhkan masalah benih menjadi keluarga masalah pelatihan yang terkalibrasi pada kebijakan dan anggaran, sambil mempertahankan cetak biru penalaran benih.
- Makalah melaporkan bahwa pelatihan pada korpus sumber lengkap 78K hanya meningkat +1,1, dan subset data nyata terfilter terbaiknya +5,8.
- Makalah melaporkan bahwa di bidang keuangan, lebih dari 14K masalah terverifikasi disintesis hanya dari 340 solusi dan meningkatkan basis masing-masing 6,9 dan 2,4 poin pada SecQue dan FinanceBench.
Bagi pembangun data RLVR, sinyal yang berguna adalah apakah suatu masalah menghasilkan advantage bukan nol di bawah kebijakan target dan anggaran rollout, bukan ukuran korpus; sintesis rekursif dapat mengkalibrasi kesulitan sambil mempertah...