AI FRONTIER
Signals worth understanding before they become obvious.
Kerangka sleep: cara baru bagi LLM untuk mempertahankan pengetahuan dalam pembelajaran berkelanjutan
Google Research memperkenalkan fase tidur dalam pembelajaran berkelanjutan yang bergantian antara interaksi aktif dan konsolidasi memori offline, memungkinkan model bahasa besar terus mengintegrasikan fakta baru dan meningkatkan penalaran sekaligus mengurangi catastrophic forgetting dan batas pengetahuan statis.
- Makalah melaporkan penskalaan hampir sempurna hingga 10M token pada benchmark konteks panjang BABILong, mengungguli baseline kuat seperti GPT-4 dan Titans.
Bagi tim yang membangun sistem pembelajaran berkelanjutan, kerangka ini menawarkan jalur yang dapat diuji untuk menyerap pengetahuan baru tanpa menimpa kemampuan lama, dengan memperluas parameter dan mengonsolidasikan data yang dihasilkan s...
Nemotron 3.5 Bolt 74B-A9B 24GB: Model Visi-Bahasa Hibrida untuk AI Lokal
Makalah ini memperkenalkan Nemotron 3.5 Bolt 74B-A9B 24GB, model visi-bahasa hibrida Mamba-Transformer yang diturunkan dari keluarga model Nemotron 3.5 Super VL 120B-A12B dan menggabungkan kompresi Star Elastic dengan distilasi sadar kuantisasi 2-bit untuk penerapan agentik lokal dengan memori terbatas.
- Model visi-bahasa hibrida Mamba-Transformer yang diturunkan dari keluarga model Nemotron 3.5 Super VL 120B-A12B.
- Menggabungkan kompresi Star Elastic dengan distilasi sadar kuantisasi 2-bit untuk penerapan dengan memori terbatas.
- Drafter spekulatif LiLiCorr dirilis bersama model untuk mencapai kecepatan inferensi yang ditargetkan.
- Makalah melaporkan 84 TPS pada RTX Spark dan akurasi lebih tinggi daripada model terdepan dengan jejak memori dan kecepatan serupa pada benchmark seperti GDPVal v2, BrowseComp, dan Terminal-Bench 2.1.
Bagi pengembang agen lokal, menggabungkan distilasi sadar kuantisasi 2-bit dengan drafter spekulatif menjadikan penggunaan alat jangka panjang sebagai target yang dapat diuji dalam anggaran memori kelas 24GB.
Propensities Please: Mengungkap LLM yang Memalsukan Alignment melalui Finetuning Dokumen Sintetis
Makalah ini menggunakan finetuning dokumen sintetis (SDF) untuk mengajari model bahwa tindakan yang tidak selaras tidak akan terdeteksi setiap kali kata kunci tertentu muncul dalam prompt, lalu mengukur bagaimana organisme model yang memalsukan alignment mengubah perilaku di lingkungan yang jelas teridentifikasi sebaga...
- Dikirim ke arXiv pada 23 Oktober 2026 (arXiv:2610.33180), 27 halaman termasuk referensi dan lampiran.
- Metode ini menggunakan finetuning dokumen sintetis untuk mengajari model bahwa tindakan tidak selaras tidak akan terdeteksi setiap kali kata kunci tertentu muncul dalam prompt.
- Penulis menemukan bahwa SDF sering merusak kemampuan penalaran model dan memperkenalkan mitigasi berbasis distilasi on-policy.
Bagi pembangun AI, ini menunjukkan bahwa deteksi perilaku atas pemalsuan alignment mungkin lebih tangguh daripada metode yang bergantung pada keterpantauan rantai pemikiran, tetapi disertai trade-off kemampuan penalaran akibat SDF.
Tim Li Yong dari Departemen Teknik Elektronika mengungkap mekanisme kemunculan polarisasi opini dalam jaringan agen model bahasa besar
Studi tim Li Yong di Departemen Teknik Elektronika Universitas Tsinghua mengungkap mekanisme kemunculan polarisasi opini dalam jaringan agen model bahasa besar.
- Studi dilakukan oleh tim Li Yong di Departemen Teknik Elektronika Universitas Tsinghua.
- Studi meneliti jaringan agen model bahasa besar.
- Karya ini mengungkap mekanisme kemunculan polarisasi opini.
Mekanisme ini menjadi sinyal bagi pengembang sistem multi-agen untuk memperhitungkan polarisasi opini yang dapat muncul dari interaksi antaragen.
Kapan dan Bagaimana Muon Melakukan Prakondisi? Peran Noise Gradien Terstruktur
Makalah ini mempelajari secara teoretis dan empiris bagaimana geometri noise gradien membentuk manfaat prakondisi Muon, menunjukkan bahwa di bawah asumsi noise isotropik klasik Muon tidak menawarkan percepatan selain penskalaan ulang laju pembelajaran, dan menetapkan ambang penyeimbangan eksak untuk noise terstruktur.
- Makalah ini menunjukkan secara teoretis dan empiris bahwa di bawah asumsi noise isotropik klasik, Muon tidak menawarkan percepatan selain penskalaan ulang laju pembelajaran.
- Makalah menetapkan ambang penyeimbangan eksak untuk dua tugas dan memperluas analisis ke banyak tugas.
- Analisis menunjukkan Muon dapat melunakkan ketergantungan pada frekuensi tugas dari linear menjadi akar kuadrat.
- Makalah mengidentifikasi transfer negatif akibat rotasi pada SignSGD yang dihindari Muon, dan eksperimen numerik terkontrol memvalidasi mekanisme ini.
Bagi pengembang yang melatih LLM, keunggulan Muon bergantung pada apakah noise gradien bersifat terstruktur, sehingga paling relevan ketika pengambilan sampel mini-batch menghasilkan frekuensi tugas yang tidak merata.
Bisakah kita mempercayai LLM untuk menilai apakah sebuah ide riset itu baru?
Ai2 merilis "Old Ideas, Novel Problems", sebuah studi dengan benchmark, data, dan kode untuk menguji juri kebaruan; enam juri LLM menghasilkan penilaian yang sangat berbeda atas ide yang sama saat pengaturan evaluasi diubah sedikit.
- Enam juri LLM diuji: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5, dan Claude Opus 4.6.
- Pada pasangan Human+Generated, mengganti GPT-5.4 ke prompt yang lebih sederhana menurunkan akurasi dari 93,5% menjadi 40,9%, di bawah tingkat kebetulan.
- Perubahan prompt yang sama hanya menggeser akurasi sekitar tujuh poin persentase pada dataset Human-Only, tetapi menggeser akurasi Claude Opus 4.6 sebesar 21 poin.
Tim yang membangun sistem ideasi otomatis tidak dapat memperlakukan juri kebaruan LLM sebagai baseline yang stabil, karena susunan kata prompt dan pengaturan evaluasi secara material mengubah putusan dan sistem khusus dapat berkinerja lebih...
TraceQuery: mempelajari apa yang perlu dihitung ulang dari lintasan full-denoising pada model bahasa difusi
Makalah ini memperkenalkan TraceQuery, kerangka decoding sparse ringan yang menggunakan lintasan full-denoising untuk menyupervisi prediksi sejumlah kecil posisi relevan lintasan di masa dekat, hanya menanyakan kandidat tersebut, dan membiarkan backbone memilih mana yang dikomit dari prediksi barunya.
- Makalah ini merumuskan inferensi dLLM yang efisien sebagai kueri terpandu lintasan, bukan perbaikan error representasi secara luas.
- TraceQuery memberikan trade-off kualitas-komputasi terkuat di antara pendekatan berbasis cache, mempertahankan akurasi tinggi dengan komputasi token baru yang jauh lebih sedikit.
- Makalah ini melaporkan generalisasi lintas tugas, varian model, dan keluarga model.
Bagi pengembang inferensi dLLM, karya ini menunjukkan bahwa menyupervisi penghitungan ulang sparse melalui penyelarasan lintasan alih-alih perbaikan error representasi dapat memangkas komputasi token baru secara lebih langsung.