AI FRONTIER
Signals worth understanding before they become obvious.
Cara Spesialisasi Kosakata SLM Memangkas Biaya Inferensi 77% di Aplikasi Nyata
VocabX dari Dharma-AI membangun ulang kosakata model berdasarkan biaya setiap token, bukan frekuensinya, tanpa mengubah model dasar, data, atau resep pelatihan, dan melaporkan penurunan biaya inferensi terukur sebesar 77,0% pada penilai esai bahasa Portugis.
- Penilai ini dibangun di atas Qwen3-4B, dan lapisan outputnya turun dari sekitar 152.000 menjadi sekitar 65.000 baris.
- Tujuh versi penilai dilatih dengan model dasar, data, resep, dan seed yang sama; satu-satunya perbedaan adalah tokenizer, dan semuanya menjalankan 500 permintaan yang sama di RTX 5090 dengan vLLM.
- Respons model turun dari 350 menjadi 101 token rata-rata, biaya turun 77,0%, dan skor bench naik dari 0,703 menjadi 0,810.
- Makalah melaporkan VocabX memampatkan lebih banyak daripada metode referensi terkuat pada kelima belas kombinasi lima domain publik dan tiga keluarga model, sebesar 1,2 hingga 9,3 poin.
Untuk model kecil satu domain, tokenizer adalah tuas biaya yang ditetapkan sebelum langkah pelatihan apa pun, dan membangunnya ulang berdasarkan biaya sisi generasi menekan pengeluaran penyajian tanpa mengganti model dasar.
Transformer Mempelajari Dua Algoritma Pengurutan yang Bersaing, dan Hanya Satu Menggeneralisasi Panjang
Makalah melaporkan bahwa Transformer dua lapis yang dilatih hingga loss mendekati nol pada tugas pengurutan konvergen ke salah satu dari dua kelas solusi yang berbeda secara mekanistik bergantung pada inisialisasinya. Satu kelas tidak menggunakan lapisan attention kedua untuk mengurutkan dan gagal menggeneralisasi panj...
- Makalah melaporkan bahwa dengan memilih inisialisasi bobot secara cermat, penulis dapat mengarahkan model untuk mempelajari salah satu solusi atau solusi lainnya.
- Makalah mengidentifikasi jenis input yang jarang pada panjang pelatihan tetapi semakin umum pada panjang sekuens yang lebih panjang sebagai sumber perbedaan dalam generalisasi panjang ini.
- Makalah menemukan bahwa spesialisasi per lapisan pada kelas solusi kedua memungkinkan mereka menangani sekuens langka ini dengan lebih akurat.
Bagi pembangun model sekuens, inisialisasi dapat menentukan apakah pelatihan menghasilkan algoritma yang menggeneralisasi panjang atau yang gagal menggeneralisasi, sehingga inisialisasi dan spesialisasi per lapisan menjadi variabel desain u...
NVIDIA Kumo Relational Melampaui Pembelajaran Mesin Terawasi pada Data Relasional, Tanpa Pelatihan
NVIDIA merilis Kumo Relational, model fondasi relasional pra-terlatih yang membuat prediksi langsung pada basis data perusahaan: dengan kueri prediktif, model mengumpulkan hingga 10.000 contoh historis sebagai konteks dan memprediksi dalam satu forward pass, tanpa pelatihan khusus tugas, rekayasa fitur, atau perataan t...
- Pada tugas klasifikasi RelBench V1, Kumo Relational mengalahkan pohon gradient-boosted pada fitur hasil rekayasa ahli dengan rata-rata hampir 4 poin AUROC.
- Pada benchmark perusahaan SAP SALT, model ini melampaui ansambel AutoGluon sebesar 8% dalam mean reciprocal rank (MRR), dan fine-tuning memperluas keunggulan menjadi 16%.
- Model tetap berkinerja baik dengan hanya 0,2% data pelatihan sebagai konteks, tetap stabil saat hingga 75% tautan foreign-key dihapus, dan hampir tidak menurun saat banyak kolom berisik ditambahkan.
- Kode dirilis di bawah lisensi Apache 2.0 dan bobot model di bawah OpenMDW License Agreement, versi 1.1; tersedia melalui pustaka structured-data-models atau sebagai NVIDIA NIM.
Bagi tim yang membangun prediksi perusahaan, Kumo Relational menawarkan alternatif tanpa pelatihan terhadap pipeline fitur XGBoost, meskipun model terawasi khusus tugas masih dapat mengungguli prediksi in-context pada set pelatihan yang san...
Melampaui Papan Peringkat Skalar: Pengambilan Sampel Adaptif untuk Identifikasi Frontier Pareto di Arena LLM Multi-Tujuan
Makalah ini menyajikan Vector-Borda Empirical-Gap Elimination (VB-EGE), algoritma pengambilan sampel adaptif dengan keyakinan tetap untuk mengidentifikasi secara efisien model pada frontier Pareto dalam evaluasi bergaya arena, di mana setiap perbandingan mengevaluasi sepasang model pada sebuah prompt terhadap dimensi k...
- Makalah ini juga menetapkan batas bawah kasus terburuk yang menunjukkan VB-EGE bersifat minimax-optimal hingga faktor logaritmik.
- Simulasi dan eksperimen pada tiga kumpulan data Arena dunia nyata (Arena, SearchArena, dan VisionArena) menunjukkan efektivitas empiris VB-EGE.
- Makalah ini terdiri dari 51 halaman termasuk referensi dan lampiran, dikirim pada 20 Oktober 2026.
Untuk evaluasi LLM yang bergantung pada umpan balik manusia yang mahal, VB-EGE menawarkan strategi pengambilan sampel yang mengurangi perbandingan sekaligus mengidentifikasi frontier tradeoff multi-tujuan dengan keyakinan tetap.
MIT^3: Internalisasi Memori melalui Test-Time Training untuk Pemahaman Video Panjang
Makalah ini memperkenalkan MIT^3, kerangka adaptasi per-video yang menulis setiap video panjang ke dalam parameter adaptif ringkas yang spesifik video untuk tanya jawab tanpa video dan hanya teks. Penelusuran kausal memilih lokasi adaptasi, dan distilasi memori visual melatih memori hanya-teks untuk mereproduksi peruba...
- Makalah melaporkan tanya jawab tanpa video yang hemat data pada LVBench, LongVideoBench, dan Video-MME.
- Makalah menyatakan menggunakan sampel sintetis yang jauh lebih sedikit daripada metode memori video terparameterisasi sebelumnya.
- Metode ini menggunakan penelusuran kausal di bawah supervisi multi-skala ringkas untuk mengukur kegunaan memori kausal setiap lapisan model untuk jawaban berbasis video.
- Distilasi memori visual melatih memori hanya-teks untuk mereproduksi perubahan representasi yang diinduksi oleh klip video terkait.
Bagi pengembang sistem tanya jawab video panjang, karya ini menunjukkan bahwa internalisasi bergantung pada tempat pengetahuan video ditulis dan cara bukti visual didistilasi, bukan hanya menambahkan teks sintetis.
Rubrik Berpanduan Pakar sebagai Sinyal Reward Padat untuk Reinforcement Learning di Domain yang Tidak Dapat Diverifikasi
Makalah ini memperkenalkan metode yang mengubah investasi kecil dan tetap dari penilaian pakar menjadi reward padat dan menggabungkannya dengan metrik berbasis retrieval untuk membentuk sinyal pelatihan hibrida yang kompatibel dengan GRPO, untuk tugas retrieval yang tidak dapat diverifikasi seperti layanan keuangan.
- Makalah melaporkan peningkatan hingga 6% pada Recall@3 dan 6,7% pada MRR@3 dibandingkan baseline sparse-reward.
- Makalah menyatakan bahwa dengan GRPO, reward sparse tidak menghasilkan sinyal pembelajaran yang berguna ketika semua output yang disampel dalam satu grup menerima hasil yang sama, sehingga optimisasi terhenti.
- Metode ini mengubah investasi kecil dan tetap dari penilaian SME menjadi reward padat dan menggabungkannya dengan metrik berbasis retrieval untuk membentuk sinyal pelatihan hibrida.
- Makalah dikirim pada 17 Oktober 2026, terdiri dari 11 halaman dan 4 gambar, serta merupakan bagian dari RL4LLM-Agents workshop ICAIF ACM.
Bagi tim yang membangun agen di domain yang tidak dapat diverifikasi, hasil ini menunjukkan bahwa mengubah sejumlah kecil rubrik pakar menjadi reward padat dapat mengurangi terhentinya optimisasi GRPO di bawah reward sparse.
Generasi Kode RTL Pareto-Optimal melalui Reinforcement Learning Multi-Objektif dengan Large Language Model
Makalah ini mengusulkan metode pembelajaran untuk generasi sirkuit berbasis LLM yang mengoptimalkan kualitas dan keragaman seluruh himpunan sirkuit yang diperoleh melalui beberapa generasi dalam ruang objektif PPA, bukan kualitas satu sirkuit. Metode ini terdiri dari pipeline pelatihan berbasis generasi dan fungsi rewa...
- Makalah melaporkan +13,3 poin persentase Hypervolume relatif dibandingkan baseline tanpa optimasi PPA pada benchmark RTLLM v2.
- Makalah melaporkan +14,4 poin persentase Hypervolume relatif dibandingkan metode reinforcement learning satu objektif.
- Makalah menyatakan metode ini juga menunjukkan keunggulan dalam keragaman sirkuit.
- Makalah diterima di COLM 2026 dan dikirim pada 16 Oktober 2026.
Bagi pembangun AI, memperlakukan trade-off PPA sebagai masalah cakupan Pareto tingkat himpunan menghasilkan kandidat RTL yang beragam dan dapat dipilih secara a posteriori saat kendala desain berubah.