AI FRONTIER
Signals worth understanding before they become obvious.
MoEZip: Kompresi Cache KV Sadar-Routing untuk LLM Sparse Mixture-of-Experts
MoEZip mengusulkan kompresi cache KV sadar-routing yang menilai konteks dengan menggabungkan bobot atensi dan metrik sensitivitas dari matriks informasi Fisher distribusi routing, guna menangani masalah eviction KV yang dapat mengubah pemilihan expert pada inferensi konteks panjang MoE.
- Makalah melaporkan bahwa pada rasio retensi KV 10%, MoEZip meningkatkan baseline SoTA sebesar +24 dan +20 poin rata-rata pada LongBench dan RULER, setara dengan skor 2,3 kali dan 4,9 kali lebih tinggi.
- MoEZip memperkenalkan metrik berbasis matriks informasi Fisher dari distribusi routing untuk memperkirakan sensitivitas routing expert terhadap perturbasi.
- Metode ini menggabungkan metrik tersebut dengan bobot atensi untuk penilaian konteks sadar-routing dan menyusun sistem penilaian komplementer yang menggabungkan metode eviction untuk arsitektur dense dan sparse-MoE.
- Makalah diterima di NeurIPS 2026 dan merupakan arXiv:2610.30206, dikirim pada 21 Oktober 2026.
Bagi tim yang melayani model MoE sparse pada konteks panjang, MoEZip menunjukkan bahwa kebijakan eviction KV harus secara eksplisit memperhitungkan stabilitas routing expert agar kualitas generasi tetap terjaga di bawah kompresi agresif.
Mengubah Penilaian Basis Data menjadi Reward RL: Post-Training Agen dengan ThinkingBox
Microsoft dan Hugging Face merilis ThinkingBox-Training, yang menggunakan pemeriksaan eksekutabel atas keadaan akhir basis data sebagai reward GRPO; setelah 50 langkah fine-tuning Qwen3.8-27B, tingkat keberhasilan rata-rata naik dari 51,70% menjadi 60,78%.
- pass@1 Qwen3.8-27B naik dari 5.242 percobaan (51,70%) menjadi 6.163 percobaan (60,78%), naik 9,08 poin.
- Tugas yang lulus pada semua 20 percobaan naik dari 38 (7,50%) menjadi 107 (21,10%), bertambah 69 tugas.
- pass@20 (tugas yang diselesaikan setidaknya sekali) turun dari 453 (89,35%) menjadi 446 (87,97%), berkurang 7 tugas.
- Pelatihan menggunakan 187 tugas, GRPO token-mean, 50 langkah, 24 H100, laju pembelajaran 1e-6, dan AdamW tanpa weight decay.
Bagi tim yang membangun agen, pemeriksaan keadaan akhir yang eksekutabel dapat berfungsi sebagai penilai sekaligus sinyal reward, tetapi peningkatan konsistensi dapat disertai sedikit penurunan cakupan.
Pembelajaran Kernel Spektral Berbasis Aliran untuk Attention Nonstasioner
Makalah ini mengusulkan flow-based spectral kernel attention (FSKA), sebuah kerangka yang merumuskan attention ter-kernelisasi melalui pembelajaran densitas spektral dan memparameterkan densitas spektral bivariat yang dihasilkan dengan normalizing flow untuk mempelajari kernel attention nonstasioner.
- FSKA merumuskan attention ter-kernelisasi melalui pembelajaran densitas spektral dan memparameterkan densitas spektral bivariat yang dihasilkan dengan normalizing flow.
- Desain ini memungkinkan arsitektur attention yang disederhanakan dengan proyeksi query–key dihapus dan proyeksi value ortogonal tetap, sehingga lebih hemat parameter.
- Makalah melaporkan pengurangan parameter terlatih terkait proyeksi sekitar 40%–47% dibandingkan sebagian besar baseline, sambil mempertahankan penskalaan memori linear-attention yang menguntungkan.
- Eksperimen terkontrol pada klasifikasi, ablasi, dan profiling skalabilitas melaporkan bahwa FSKA mencapai performa kompetitif atau lebih baik dibandingkan mekanisme attention yang ada; kode tersedia.
Bagi para pembangun, FSKA menunjukkan bahwa mempelajari kernel nonstasioner dengan normalizing flow dapat memangkas parameter terlatih terkait proyeksi sekitar 40%–47% sambil mempertahankan penskalaan memori linear-attention.
Membawa model fondasi ke garis depan penyaringan TB
Google Research memaparkan di IDWeek 2026 jalur penyaringan TB mereka, dari algoritma sinar-X dada hingga alat klinis bersertifikat CE dan model fondasi terbuka MedGemma serta MedSigLIP untuk penerapan lokal.
- Google Research menyatakan tuberkulosis merenggut sekitar 1,23 juta nyawa setiap tahun.
- Perangkat Nexus AI menyaring sinar-X dada untuk penyakit paru seperti TB dalam waktu sesingkat 45 detik.
- Alat ini beroperasi di sekitar 40 fasilitas kesehatan di enam negara, tempat lebih dari 90 klinisi mengevaluasi lebih dari 25.000 radiograf dada.
- MedGemma adalah keluarga model multimodal berbobot terbuka dengan konfigurasi 4B dan 27B parameter dan lebih dari 10 juta unduhan sejak diluncurkan.
Bagi pengembang AI kesehatan, bobot terbuka dan eksekusi di perangkat memungkinkan alat penyaringan berdaulat yang disesuaikan dengan radiograf dalam negeri.
Latent Space Jam: sintesis video terpandu tata letak tanpa pelatihan
Makalah ini mengusulkan metode dua tahap tanpa pelatihan yang memakai model difusi video terlatih: cross-attention terpandu prompt mengarahkan penempatan spasiotemporal objek untuk menghasilkan panduan visual kasar, lalu panduan itu mengondisikan model yang sama untuk menghasilkan video berkualitas tinggi yang konsiste...
- Pendekatan ini tidak memerlukan pelatihan tambahan, data, atau perubahan arsitektur dan menggunakan model difusi video terlatih.
- Metode berjalan dalam dua tahap: tahap pertama menghasilkan panduan visual kasar melalui cross-attention terpandu prompt, tahap kedua mengondisikan model yang sama pada panduan tersebut.
- Makalah melaporkan metode ini secara konsisten mengungguli karya sebelumnya dalam akurasi tumpang tindih dan lintasan serta kualitas visual pada adegan statis, dinamis, dan multi-objek.
Bagi para pembangun, kontrol tata letak dan gerak dapat ditambahkan ke model difusi video yang ada tanpa biaya pelatihan, sehingga menurunkan hambatan untuk pembuatan video yang terkendali.
CiteAnchor: Grounding Sadar Sumber untuk Deteksi dan Resolusi Sitasi Halusinasi
Makalah ini memperkenalkan CiteResolve, tolok ukur berisi 423 sitasi halusinasi dunia nyata yang dianotasi untuk keterpulihan sumber, dan mengusulkan CiteAnchor, kerangka grounding sadar sumber yang menyesuaikan pengambilan dan verifikasi tingkat bidang untuk setiap jenis sumber serta menentukan secara terpisah validit...
- CiteResolve adalah tolok ukur berisi 423 sitasi halusinasi dunia nyata yang dianotasi untuk keterpulihan sumber.
- Pada tolok ukur deteksi yang sudah ada, CiteAnchor mencapai 0,841 F1 dengan GPT-5.6 Luna dan 0,784 F1 dengan backbone berbobot terbuka.
- Makalah melaporkan mengungguli baseline dengan backbone yang sama sebesar 7,9 dan 36,8 poin.
- Pada CiteResolve, ia mencapai 74,7% dan 70,7% keberhasilan tugas end-to-end, yang dilaporkan makalah sebagai 16,3 dan 65,3 poin persentase di atas baseline pencarian web terkait.
Bagi pengembang sistem verifikasi literatur dan retrieval-augmented, karya ini memisahkan validitas sitasi dari keterpulihan sumber serta menyediakan kode dan data.
TauIndianBankBench: Evaluasi Berorientasi Tindakan dan Sadar Prosedur untuk Agen Percakapan yang Menggunakan Alat
Makalah ini menyajikan TauIndianBankBench, tolok ukur berorientasi tindakan berisi 1.000 tugas perbankan ritel India yang memeriksa, selain catatan akhir, apakah asisten menjalankan setiap langkah wajib dan tidak melakukan perubahan yang tidak diminta. Makalah melaporkan bahwa ketika hanya catatan akhir yang diperiksa,...
- Tolok ukur berisi 1.000 tugas perbankan ritel India tempat asisten membantu pelanggan simulasi.
- Evaluasi memeriksa catatan akhir, pelaksanaan setiap langkah wajib, dan ada tidaknya perubahan yang tidak diminta.
- Makalah melaporkan bahwa dengan pemeriksaan hanya catatan akhir, 6,5-12,0% sesi per model dinilai berhasil meski ada langkah wajib yang dilewati atau perubahan yang tidak diminta.
- Makalah ini 15 halaman dengan 6 gambar dan 14 tabel, serta menyediakan tautan kode dan data.
Bagi tim yang membangun agen perbankan, tolok ukur ini menunjukkan bahwa penilaian hanya pada keadaan akhir melebih-lebihkan kepatuhan prosedur, sehingga langkah wajib dan tindakan tak sah harus dievaluasi.
Bangun aplikasi yang lebih responsif dengan Decisions API
OpenAI News menerbitkan Decisions API, yang diposisikan untuk memberi keputusan cepat, terfokus, dan berbiaya rendah bagi aplikasi apa pun.
- Sumbernya adalah OpenAI News; judul item adalah “Build more responsive apps with the Decisions API”.
- Deskripsi satu barisnya berbunyi: “Fast, focused, low-cost decisions for any application.”
- Item ini dikategorikan sebagai developer dengan jenis perubahan cost_collapse.
Jika API ini benar memberi keputusan terfokus dengan biaya rendah seperti yang dijelaskan, pengembang dapat menaruh panggilan keputusan langsung di alur interaktif alih-alih bergantung pada pemanggilan model yang lebih berat.