AI FRONTIER
Signals worth understanding before they become obvious.
Peretasan Papan Peringkat: Evaluasi Model Berbasis Preferensi Rentan terhadap Manipulasi
Makalah melaporkan bahwa peringkat bergaya Arena, yang mengagregasi perbandingan berpasangan model anonim melalui model Bradley-Terry, rentan terhadap pemungutan suara strategis, prompting strategis, dan nominasi strategis.
- Makalah mendemonstrasikan pemungutan suara strategis, prompting strategis, dan nominasi strategis pada data papan peringkat publik.
- Makalah melaporkan setiap serangan dapat menaikkan model hingga 15-20 peringkat dalam suatu peringkat dan, jika digabungkan, hingga 45 peringkat.
- Makalah menyatakan masalah ini berlaku untuk setiap evaluasi berbasis preferensi yang menggunakan model Bradley-Terry dan mengizinkan prompting, pemungutan suara, atau pengajuan model secara terbuka.
Tim yang membangun atau mengandalkan papan peringkat bergaya Arena perlu perlindungan anti-manipulasi pada pemungutan suara, prompting, dan pengajuan model, atau penyedia dapat menaikkan peringkat secara strategis.
Estimasi Keadaan Sadar-Tugas yang Tangguh dari Persepsi Terlatih
Makalah ini mengusulkan Himpunan Keyakinan Minimal θ-keyakinan (MBS_θ), yang dibangun dari probabilitas yang sudah dihasilkan model persepsi, seperti distribusi token lapisan keluaran VLM, sebagai himpunan bagian keadaan minimal yang probabilitas kumulatifnya memenuhi ambang massa keyakinan yang ditentukan pengguna, be...
- Makalah ini ditulis oleh Guy Azran dan Sarah Keren dan terbit di NeurIPS 2026.
- MBS_θ didefinisikan sebagai himpunan bagian keadaan minimal yang probabilitas kumulatifnya memenuhi ambang massa keyakinan yang ditentukan pengguna.
- PRaVaSS membangun MBS_θ dengan jaminan kebenaran dan kompleksitas polinomial pada kasus tanpa kendala.
- Dengan VLM sebagai tulang punggung estimator keadaan, penulis memvalidasi sifat teoretis, skalabilitas terhadap ukuran masalah, dan peningkatan pengambilan keputusan hilir dalam pipeline perencanaan tugas.
Bagi pengembang agen, mempertahankan probabilitas model persepsi alih-alih menentukannya menjadi satu tebakan terbaik dapat meningkatkan ketangguhan keputusan tanpa memelihara distribusi keadaan simbolik secara penuh.
Together Compiler: Kompilasi Berkelanjutan untuk Inferensi AI
Together AI memperkenalkan Together Compiler (TKCC), loop agen berkelanjutan untuk optimasi inferensi AI yang menggabungkan Tiered Persistent Engine dengan model biaya untuk memilih konfigurasi paralelisme guna mengurangi trade-off throughput-fidelitas.
- Makalah melaporkan TKCC mengungguli Megakernels tulisan tangan yang sangat dioptimalkan pada beban kerja Llama 1B hingga 1,7x.
- Makalah melaporkan hingga 2,6x TPS lebih tinggi daripada mesin open source terbaik pada benchmark InferenceX di berbagai platform perangkat keras untuk model Kimi K3, GLM 5.3, MiniMax M3.1 Flash, dan DeepSeek v4.1 Flash.
- Makalah melaporkan kinerja state-of-the-art pada batch size 1, yaitu 1111 TPS pada M3.1 Flash dan 1205 TPS pada DeepSeek v4.1 Flash.
- Makalah menyatakan TKCC melayani triliunan token di fleet produksi Together AI.
Bagi tim serving inferensi, TKCC memposisikan kompilasi sebagai loop online berkelanjutan alih-alih tuning kernel offline, namun angka percepatannya dilaporkan makalah dan belum diverifikasi secara independen.
Membersihkan riwayat agen merugikan saat dunia masih menyimpan kesalahan
Makalah ini membekukan agen di tengah tugas dengan keadaan dunia yang persis di AgentCE-Bench dan AppWorld, menyunting riwayat atau dunia, lalu membiarkan model penerima melanjutkan, dan menemukan bahwa efek suntingan riwayat bergantung pada dunia yang digambarkannya.
- AgentCE-Bench: menambahkan tindakan agen sendiri yang telah selesai justru menurunkan pemulihan di bawah riwayat tanpa suntingan, dari 50% menjadi 44%.
- AppWorld: setelah penulisan basis data, tanda terima sukses menurunkan keberhasilan seluruh tugas dari 45% menjadi 28% saat efeknya tidak ada dan menaikkannya dari 38% menjadi 49% saat efeknya ada.
- Makalah melaporkan kedua efek berbeda 27 poin jika digabung pada dua penerima, positif pada enam dari delapan penerima di tingkat 97,5% dan tujuh di tingkat 95%.
Pembangun sistem pemadatan atau serah-terima riwayat agen harus menyelaraskan suntingan riwayat dengan keadaan dunia yang sebenarnya, karena riwayat yang tampak bersih sementara dunia masih menyimpan kesalahan dapat membuat agen lebih buruk...
SynthCorp: Platform untuk Membuat Benchmark bagi Agen Data
Makalah ini memperkenalkan SynthCorp, platform yang membuat estate data dan benchmark yang dapat disesuaikan dengan menyimulasikan bagaimana peristiwa bisnis menghasilkan dan mengubah data perusahaan seiring waktu, dan menggunakannya untuk menghasilkan benchmark awal tujuh estate data dan 256 tugas.
- Setiap estate data SynthCorp menggabungkan basis data relasional, penyimpanan dokumen, dan katalog data, disertai tugas evaluasi dan program gold yang dapat dieksekusi.
- Benchmark awal mencakup tujuh estate data (hingga 1K tabel operasional) dan 256 tugas di lima domain.
- Makalah melaporkan evaluasi tiga model pada empat pengaturan konteks data, menunjukkan benchmark memisahkan konteks data dan tingkatan model.
Bagi tim yang membangun agen data perusahaan, SynthCorp menawarkan jalur pembuatan benchmark yang dapat disesuaikan dan memverifikasi program gold tanpa anotasi manual.
Yao Shunyu dan Yang Zhilin merilis makalah bersama pertama: tidak ada AI yang memecahkan satu pun dari 30 masalah matematika tingkat dunia secara mandiri
Makalah bersama pertama Yao Shunyu dan Yang Zhilin melaporkan bahwa tidak ada satu pun dari 30 masalah matematika tingkat dunia yang dipecahkan secara mandiri oleh AI.
- Makalah ini adalah publikasi bersama pertama Yao Shunyu dan Yang Zhilin.
- Makalah ini mencakup 30 masalah matematika tingkat dunia.
- Makalah melaporkan bahwa tidak ada satu pun dari 30 masalah itu yang dipecahkan secara mandiri oleh AI.
Bagi pengembang AI, hasil yang dilaporkan ini menunjukkan celah jelas pada model saat ini untuk masalah matematika yang harus dipecahkan secara mandiri.