AI FRONTIER
Signals worth understanding before they become obvious.
TRACE: Pengodean Codebook Aktivasi Residual Transformer untuk Inferensi Edge Terdistribusi yang Hemat Komunikasi
Makalah ini memperkenalkan TRACE, sebuah kerangka kerja yang menempatkan Vector Quantizer (VQ) pada residual pasca-attention di setiap lapisan Transformer dan menghitung terlebih dahulu representasi key/value berindeks codebook, sehingga penerima dapat memulihkan key dan value melalui pencarian tabel alih-alih menjalan...
- Dibandingkan inferensi paralel-sekuensial tanpa kompresi, TRACE mengurangi overhead komunikasi hingga 22.624x.
- Pengelompokan hierarkis menyusun codebook yang dipelajari menjadi hierarki multi-resolusi, memungkinkan penyesuaian bitrate komunikasi saat runtime tanpa pelatihan ulang.
- Kerangka kerja ini mendukung dua varian operasi: satu memprioritaskan akurasi dan yang lain menyeimbangkan akurasi dan efisiensi melalui kuantisasi yang kompatibel dengan buffer.
Bagi pengembang inferensi edge terdistribusi, menghitung terlebih dahulu key dan value sebagai indeks codebook menghilangkan komputasi hilir di sisi penerima dan memungkinkan tumpang tindih komunikasi-komputasi, meskipun keuntungan yang dil...
Structured Authority Injection: Kontrol Manusia Persisten untuk Agen LLM melalui Override MCP Bertipe
Makalah ini mengusulkan Structured Authority Injection (SAI), sebuah protokol yang mengarahkan koreksi operator melalui pemanggilan alat Model Context Protocol (MCP) bertipe dan tervalidasi skema, serta mempertahankan konteks otoritas berperingkat yang ditambahkan di awal setiap prompt LLM, tanpa memerlukan fine-tuning...
- Makalah melaporkan overhead prompt yang lebih rendah pada model terkuat, hingga 38% tergantung model dan skenario, meskipun manfaatnya sangat bervariasi antar model.
- Metode ini tidak memerlukan fine-tuning model atau akses ke bobot model dan berlaku untuk LLM instruction-tuned yang mendukung penggunaan alat MCP.
Bagi pengembang orkestrator agen, SAI menawarkan pola tingkat protokol untuk override manusia yang persisten dan bertipe tanpa melatih ulang model, tetapi manfaat yang dilaporkan sangat bervariasi menurut model.
Di Mana Pengurangan Expert Prefill Merugikan Model MoE: Sedikit Token Prompt Membawa Sebagian Besar Kehilangan F1 Jawaban Pendek
Melalui intervensi token, layer, dan jalur attention pada empat keluarga MoE, makalah ini menemukan lokasi kerusakan akibat menjalankan token prompt melalui lebih sedikit routed expert selama prefill: pada Qwen3-30B-A3B kerugian terjadi pada dua token chat-template sebelum jawaban, dan pada DeepSeek-V2-Lite pada 8-32 t...
- Pada setengah jumlah expert, kehilangan F1 tiga keluarga sebagian besar berupa bentuk jawaban: model masih menemukan jawaban tetapi berhenti menjawab secara singkat.
- Pada Qwen3-30B-A3B kerugian terjadi pada dua token chat-template sebelum jawaban; pada DeepSeek-V2-Lite pada 8-32 token prompt pertama, tempat instruksinya berada.
- Berdasarkan answer likelihood, posisi-posisi ini menyumbang sekitar setengah dan seperlima dari kerusakan.
- Pengurangan mengubah attention mass, norm, dan aktivasi terbesar token pertama kurang dari 4%, dan memulihkan super experts atau massive activations paling banyak mengembalikan sekitar seperempat kerugian.
Untuk serving MoE, mempertahankan routing expert penuh di ujung prompt, terutama pada posisi chat-template dan instruksi, lebih menjaga F1 jawaban pendek daripada memulihkan super experts atau massive activations.
RealCLI: Tolok Ukur Terpadu untuk Kolaborasi Manusia-Agen pada Agen CLI
Makalah ini memperkenalkan REALCLI, tolok ukur berpasangan yang menyatukan evaluasi eksekusi tugas dan kualitas kolaborasi manusia-agen pada tugas CLI realistis, dengan kerangka lima dimensi, 22 subdimensi, 51 templat skenario interaksi, dan dua mode berpasangan: REALCLI-EXEC dan REALCLI-COLLAB.
- REALCLI membangun kerangka kolaborasi lima dimensi yang dioperasionalkan menjadi 22 subdimensi dan 51 templat skenario interaksi.
- REALCLI-EXEC menyediakan spesifikasi lengkap di awal, sedangkan REALCLI-COLLAB menghadirkan pengguna terskrip yang memberikan informasi progresif, koreksi, revisi batasan, dan keputusan otorisasi.
- Makalah melaporkan bahwa konfigurasi terbaik hanya mencapai skor rata-rata 49,2%, dan performa puncak pada skor kolaborasi gabungan J_collab hanya mencapai 37,6%.
- Makalah melaporkan bahwa model secara konsisten kesulitan dalam kemampuan diarahkan, kalibrasi kepercayaan, dan pengelolaan batas keamanan.
Bagi pengembang agen CLI, perbedaan tajam antara efektivitas tugas dan kualitas kolaborasi berarti mengoptimalkan penyelesaian tugas saja tidak akan lulus evaluasi dalam kondisi interaktif yang realistis.
FlashControl: Generator Terkendali Satu Langkah melalui Teacher Aliran Tunggal yang Ramah Distilasi
Makalah ini memperkenalkan DeltaControl, yang menyetel halus subset lapisan terpilih pada model difusi teks-ke-gambar asli untuk langsung memungkinkan generasi berkondisi spasial tanpa menambahkan cabang kondisional tambahan. Distilasi langkah pada teacher ini menghasilkan FlashControl, model satu langkah yang mampu me...
- Makalah ini diterima di NeurIPS 2026 dan dikirimkan pada 15 Oktober 2026.
- DeltaControl adalah model difusi aliran tunggal multi-langkah yang menurut makalah menyamai kinerja pendekatan dua cabang.
- FlashControl diperoleh dengan menerapkan distilasi langkah pada DeltaControl dan mendukung generasi terkendali secara spasial dengan satu lintasan maju.
- Makalah menyatakan bahwa model terkendali yang ada seperti ControlNet bergantung pada desain dua cabang yang membuat distilasi sulit.
Bagi pembangun AI, ini menunjukkan teacher terkendali yang ramah distilasi dapat diperoleh tanpa arsitektur dua cabang, sehingga menurunkan hambatan menuju generasi gambar terkendali satu langkah.
Trust but Verify: Merancang Dinamika Forward Tak Homogen per Wilayah untuk Difusi Diskret
Makalah ini menggabungkan kernel absorbing dan uniform-mixing dengan laju bergantung wilayah: posisi yang hilang mengikuti dinamika absorbing, sementara konteks mengalami substitusi acak berlaaju rendah, sehingga model terpapar token yang teramati tetapi tidak pasti selama pelatihan. Saat inferensi, sampler heuristik m...
- Finetune 8.000 langkah pada model difusi bertopeng pra-terlatih berparameter 170M memerlukan kurang dari lima jam pada GPU laptop 6 GB.
- Model dasar memberi sekitar 50% probabilitas pada token yang teramati bahkan ketika token tersebut adalah sampah acak seragam.
- Untuk korupsi acak seragam, finetune mendeteksi konteks terkorupsi dengan recall 0,96 dan presisi 0,91, meningkatkan token-F1 infill sebesar 3,8 poin pada korupsi 10% dan 6,4 poin pada 20%.
- Kondisi bersih tidak menunjukkan regresi terukur, dengan tingkat false-edit di bawah 0,4%; keuntungan untuk korupsi yang masuk akal lebih lemah, sekitar 0,5 poin F1 pada korupsi 10%, tanpa signifikansi statistik.
Hasil ini menunjukkan kepercayaan menengah dapat dicapai dengan mengubah dinamika forward alih-alih arsitektur pada model difusi diskret 170M, dengan keterdeteksian dan kerusakan bergantung bersama pada jarak dari data conditional.