Today’s frontier report
Research Pool → Multi-Scout → Editor → Edition
3qk7 · AI LOCAL LABS TECHNICAL SCOUTING

AI FRONTIER

Signals worth understanding before they become obvious.

2026-11-21
01
testinferenceincremental

Mengapa CNN Visi di Bawah 4 Bit Kolaps dan di Mana Pemulihan Presisi Campuran Berhenti

Makalah ini secara sistematis menganalisis kolaps kuantisasi pada CNN visi standar, termasuk backbone ResNet dan EfficientNet, yang dievaluasi pada seluruh set validasi ImageNet-1k berisi 50.000 gambar, dan memperkenalkan waterfall pemulihan multi-langkah.

  • Kolaps bersifat sangat non-linear dan terkonsentrasi pada proyeksi pointwise tahap akhir dan lapisan depthwise.
  • Menjaga kurang dari 5% aktivasi lapisan kritis dalam presisi 8-bit memulihkan hingga 92% akurasi yang hilang selama kompresi agresif di bawah 4 bit.
  • Pada arsitektur CPU ARM dan x86 standar, bit-unpacking perangkat lunak runtime standar menyebabkan perlambatan eksekusi 1,48x hingga 21,5x tergantung ukuran batch.

Bagi pengembang visi edge, bobot di bawah 4 bit memangkas penyimpanan alih-alih throughput, sehingga pemulihan presisi campuran harus menyasar proyeksi pointwise tahap akhir dan lapisan depthwise sambil mengukur overhead unpacking.

arXiv cs.AI
02
testmodelscapability unlock

thinkingmachines/Inkling-2-Mini: transformer loop multimodal 26,4B dengan bobot terbuka

Thinking Machines Lab merilis Inkling 2 Mini, transformer loop yang secara native multimodal dengan 26,4B parameter total dan 3,4B aktif, di bawah Apache 2.0 dengan bobot terbuka. Model ini menerima input teks dan gambar serta mendukung jendela konteks hingga 1M token.

  • 26,4B parameter total dan 3,4B aktif; 12 lapisan tengah dijalankan tiga kali dengan bobot bersama, menghasilkan 48 penerapan lapisan per token dan 5,4B parameter aktif efektif.
  • Arsitekturnya adalah MoE sparse decoder-only 24 lapisan yang merutekan setiap token ke 8 dari 128 pakar per lapisan, dengan atensi hibrida lokal dan global.
  • Didistribusikan sebagai satu checkpoint sekitar 20GB dalam presisi campuran NVFP4 dan MXFP8, dengan inferensi lokal yang didukung pada 1x NVIDIA DGX Spark dan perangkat Apple silicon dengan memori 32GB atau lebih.
  • Kartu model melaporkan SWEBench Verified (hanya bash) 79,2%, SWEBench Pro v2 (Hard) 77,9%, MMMU Pro Standard 10 74,9%, dan OmniDocBench v1.6 92,8%.

Pengembang mendapatkan model multimodal berbobot terbuka yang muat di perangkat lokal kelas 32GB, tetapi kartu model menyatakan daya ingat faktualnya lebih lemah dari Inkling 2 Small dan dapat melakukan tindakan agentik destruktif tanpa kon...

Hugging Face Trending
03
testdeveloperopen source unlock

Hugging Face meluncurkan harness adapters: menyesuaikan model dengan harness agen Anda lewat RL

Hugging Face menerbitkan resep yang dapat digunakan ulang untuk melatih satu adapter LoRA per harness agen bagi Qwen3.8-27B dengan RL di dalam Pi, OpenCode, dan Hermes Agent, lalu menggabungkan ketiga LoRA menjadi satu super adapter yang berjalan tanpa perubahan di ketiga harness.

  • Setiap adapter dilatih pada GPU NVIDIA 2×B200, satu GPU untuk server vLLM dan satu untuk proses pelatihan.
  • Campuran data akhir menggabungkan 750 tugas dari lingkungan RL harness-adapters dengan 300 tugas dari termgrade.
  • Dataset harness-hub/agentic-coding-envs berisi 871 tugas dari 35 repositori, dan 171 di antaranya membentuk subset qualified untuk pelatihan GRPO.

Bagi pembangun agen, ini menunjukkan bahwa fine-tuning RL di dalam harness yang benar-benar diterapkan dapat menaikkan tingkat kelulusan sekaligus menekan penggunaan token tanpa mengganti model dasar.

Hugging Face Blog
04
watchresearchcapability unlock

Melatih Model Bahasa untuk Pengawasan Introspektif

Makalah ini memperkenalkan pengawasan introspektif: peran pengamat orang ketiga yang terpisah ditambahkan ke model untuk menjawab pertanyaan tentang asisten, dengan imbalan bagi jawaban yang diverifikasi terhadap perilaku asisten yang sebenarnya. Pada lima evaluasi pengawasan held-out, pengamat yang dilatih pada Qwen3....

  • Pengamat yang dilatih pada Qwen3.6-27B memperoleh AUROC rata-rata 0,907 pada lima evaluasi pengawasan held-out.
  • Baseline: pelatihan kejujuran 0,864, pemantauan transkrip 0,828, oracle aktivasi 0,796.
  • Makalah melaporkan bahwa melatih pengamat membuat asisten itu sendiri lebih mudah dipantau, dengan setiap metode baseline meningkat rata-rata pada asisten yang telah disesuaikan.
  • Makalah ini terdiri dari 31 halaman, 13 gambar, dan 8 tabel, dikirim pada 17 November 2026.

Bagi para pembangun, ini menunjukkan peran pengamat yang dapat dilatih terpisah dari asisten dan hanya untuk akurasi, sebagai jalur pengawasan di luar pemantauan transkrip eksternal dan dekoder aktivasi.

arXiv cs.AI
05
testresearchincremental

Watch Where You Linearize: Memprediksi dan Memperbaiki Interferensi Model Merging

Makalah ini menunjukkan bahwa turunan arah orde pertama dari keluaran tugas A sepanjang vektor tugas B dapat memprediksi interferensi, tetapi hanya jika dievaluasi pada model penerima, dan membangun LR-Merge untuk mengoptimalkan koefisien melalui pencocokan guru konveks tanpa label.

  • Pada model penerima, turunan ini memprediksi merge di sekitar per tugas dan per contoh, memangkas separuh galat akurasi baseline tanpa perubahan, dan mengidentifikasi sebagian besar contoh yang prediksinya berbalik.
  • Merge multi-tugas penuh memerlukan dua evaluasi di sepanjang jalur merge; satu evaluasi tidak cukup.
  • Pada backbone praterlatih bersama, turunan ini hampir ortogonal terhadap perubahan yang terwujud dalam eksperimen visi dan hanya sebagian prediktif pada pilot model bahasa LoRA.

Pengembang dapat mengevaluasi turunan arah pada model penerima untuk memprediksi interferensi merge dengan biaya rendah dan menggunakan pencocokan guru konveks tanpa label dari LR-Merge alih-alih pencarian koefisien yang mahal.

arXiv cs.LG
06
watchagentsincremental

Where the Tokens Go: Panas, Entropi, dan Galat dalam Coding Agentik

Makalah ini memperkenalkan teori termodinamika perangkat lunak yang menghitung token yang dihasilkan agen coding sebagai biaya dan membagi biaya itu menjadi kerja dan panas. Teori diuji dengan membuat agen berulang kali mengubah lalu membatalkan perubahan repositori sambil menghitung token setiap panggilan model.

  • Makalah melaporkan bahwa sekitar 80 persen token dari eksekusi yang berhasil dihasilkan pada panggilan model yang membiarkan perubahan yang diminta tetap di tempatnya, yang oleh penulis disebut panas.
  • Makalah melaporkan bahwa energi bebas suatu perubahan, yang diperkirakan dengan analogi terhadap kesetaraan Jarzynski, adalah 14 hingga 22 persen dari biaya rata-rata eksekusi coding yang berhasil.
  • Makalah melaporkan bahwa coding berbiaya 1,1 hingga 1,5 kali lebih besar daripada membatalkan coding.
  • Makalah melaporkan bahwa sebaran biaya pada siklus berulang mendefinisikan suhu perangkat lunak, yang naik seiring suhu sampling model.

Kerangka ini memungkinkan pengembang memisahkan pengeluaran token agen menjadi kerja berguna dan panas terbuang, sehingga dapat menyasar panggilan model yang tidak memajukan perubahan yang diminta.

arXiv cs.AI
07
watchresearchbenchmark jump

RFBench: Benchmark Multimodal Berbasis Simulator untuk Desain dan Pemahaman Layout RF Pasif

Makalah ini memperkenalkan RFBench, dataset dan benchmark berbasis simulator untuk mengevaluasi model bahasa multimodal pada desain dan pemahaman layout RF pasif melalui tujuh tugas.

  • Dataset berisi 10.000 layout planar dua-port yang disimulasikan menggunakan ADS Momentum.
  • Setiap layout mencakup primitif geometris yang dapat diedit, gambar raster, grid okupansi 16x16, parameter-S kompleks pada 201 titik frekuensi, kategori struktural, dan label respons RF.
  • Tujuh tugas didefinisikan: generasi layout terkondisi spesifikasi, terjemahan representasi, prediksi respons, validasi berbasis simulator, diagnosis dan perbaikan desain, pemahaman struktural, dan klasifikasi respons.
  • Makalah melaporkan bahwa fine-tuning khusus RF meningkatkan validitas struktural T1a dari 0,0% menjadi 83,2% dan tingkat dalam 2 dB untuk input primitif T3 dari 17,7% menjadi 62,8%.

Fine-tuning khusus RF secara signifikan meningkatkan validitas struktural dan prediksi respons, tetapi hasil yang dilaporkan menunjukkan masih ada ruang besar untuk menghasilkan layout yang akurat secara elektromagnetik.

arXiv cs.AI
08
testinferencecost collapse

Estimasi Kepentingan Global untuk Eviksi Cache KV

Makalah ini memperkenalkan PRKV, metode eviksi cache KV tanpa pelatihan yang mengestimasi kepentingan token global multi-hop dengan menerapkan Personalized PageRank pada graf transisi yang diinduksi atensi, sehingga memungkinkan propagasi kepentingan melampaui rekensi atau atensi sesaat tanpa memodifikasi model.

  • PRKV tanpa pelatihan dan tidak memodifikasi model.
  • Metode ini menurunkan penggunaan memori puncak dengan overhead end-to-end yang rendah.
  • Makalah ini diterima di NeurIPS 2026, oleh Seojin Kim dan Noseong Park.

Bagi pengembang inferensi konteks panjang, PRKV menunjukkan bahwa mengganti penilaian rekensi atau atensi sesaat dengan estimasi pengaruh global multi-hop dapat mempertahankan kinerja tugas pada rasio kompresi tinggi sekaligus menurunkan me...

arXiv cs.CL