AI FRONTIER
Signals worth understanding before they become obvious.
StateBench: Menguji bagaimana model bahasa melacak perubahan status pada dokumen panjang
Ai2 memperkenalkan StateBench, tolok ukur pelacakan status konteks panjang dengan empat tingkat kesulitan, yang mengevaluasi seberapa baik model bahasa melacak informasi entitas saat berkembang dalam dokumen panjang.
- StateBench memiliki empat tingkat kesulitan: r-trivial (penetapan tak berubah), aperiodic (penetapan ulang berdasarkan nilai), soluble (pembaruan swa-rujuk), dan general finite (penetapan berdasarkan referensi).
- Dalam pengujian model terpralatih, hampir semua berkinerja baik pada r-trivial, kehilangan akurasi pada aperiodic seiring input bertambah panjang, dan tetap pada tingkat kebetulan pada masalah general finite.
Pengembang sistem konteks panjang harus mengevaluasi arsitektur secara terpisah menurut kompleksitas pelacakan status, karena transformer gagal pada tingkat tersulit bahkan dengan pelatihan langsung sementara Gated DeltaNet dan desain hibri...
Biaya per tugas: memakai classifier murah untuk merutekan antar model Gemini dan tingkat thinking
Posting blog Google for Developers membahas perutean dari sudut biaya per tugas, dengan memakai classifier murah untuk merutekan antar model Gemini dan tingkat thinking.
- Sumbernya adalah blog Google for Developers, dengan topik biaya per tugas.
- Pendekatannya memakai classifier murah untuk merutekan antar model Gemini dan tingkat thinking.
Bagi pembangun AI, menyerahkan keputusan perutean kepada classifier berbiaya rendah memungkinkan alokasi komputasi per tugas di antara model dan tingkat thinking.
Anthropic melaporkan kemajuan inferensi yang dapat dibuktikan untuk model bahasa besar
Anthropic menerbitkan pembaruan riset tentang kemajuan menuju inferensi yang dapat dibuktikan untuk model bahasa besar.
- Sumbernya adalah Anthropic; kategorinya riset.
- Topiknya adalah kemajuan inferensi yang dapat dibuktikan untuk model bahasa besar.
Kemajuan dalam inferensi yang dapat dibuktikan dapat memberi pengembang jaminan lebih kuat atas kebenaran penalaran, sehingga layak dipantau.
Agentic World Modeling untuk Test-time Scaling Agen tanpa Replika Lingkungan
Makalah ini memperkenalkan Agentic World Modeling (AWM) yang merumuskan ulang prediksi observasi berikutnya sebagai tugas perolehan bukti multi-putaran: simulator agentik menanyakan lingkungan nyata melalui antarmuka hanya-baca yang aman, menalar atas bukti yang dikembalikan, dan memakai komputasi yang dapat dieksekusi...
- Makalah melaporkan AWM mengungguli baseline simulasi sekali-jalan sebesar 40,07% secara rata-rata pada τ-bench, AppWorld, dan OfficeBench.
- Makalah melaporkan AWM melampaui baseline world model yang dilatih sebesar 12,36% secara rata-rata.
- AWM menanyakan lingkungan nyata melalui antarmuka hanya-baca yang aman dan menyatakan tidak mengubah status bersama.
Bagi pembangun agen, AWM menawarkan jalur eksplorasi trajektori paralel pada satu lingkungan bersama tanpa mereplikasinya, yang penting saat status produksi tidak dapat direset.
CWE-bench v2: Cakupan, kualitas, dan transparansi yang lebih luas
Collinear AI merilis CWE-bench v2, kumpulan publik berisi 100 tugas yang mencakup 91 CWE dengan penilaian programatik deterministik, plus kumpulan held-out untuk melacak kemajuan.
- Kumpulan publik berisi 100 tugas yang mencakup 91 CWE berbeda.
- Dari 11 model yang dievaluasi, Gemini 4 Argon memimpin dengan 67,8% pass@1 dan 81,0% pass@4, di depan Claude Opus 5.5 dengan 67,3% pass@1 dan 78,0% pass@4.
- 95 tugas diselesaikan oleh setidaknya satu model, tetapi bahkan pemimpinnya gagal pada 19% kumpulan di setiap percobaan.
- DeepSeek V4.1 Flash mencapai 57,0% pass@1 pada $0,04 per rollout, Opus pada $1,83, dan Gemini pada $3,92.
Pengembang dapat menjalankan benchmark deterministik ini langsung dari repo Hugging Face dan menggunakan kembali lingkungan serta verifier yang sama sebagai reward RL untuk melatih agen defensif.
DeepSeek meluncurkan Creator Mode, berencana melakukan pra-pelatihan model besar generasi berikutnya di chip Huawei Ascend
Menurut ThePaper.cn, DeepSeek meluncurkan Creator Mode dan berencana melakukan pra-pelatihan model besar generasi berikutnya di chip Huawei Ascend.
- ThePaper.cn melaporkan bahwa DeepSeek meluncurkan Creator Mode.
- ThePaper.cn melaporkan bahwa DeepSeek berencana melakukan pra-pelatihan model besar generasi berikutnya di chip Huawei Ascend.
Jika model generasi berikutnya benar-benar dilatih awal di Ascend, pengembang AI harus menilai biaya migrasi dan kematangan toolchain untuk stack pelatihan non-NVIDIA.
Menskalakan Git di OpenAI: backend Pando
OpenAI membangun Pando, backend yang kompatibel dengan Git dan dirancang untuk skala pengembangan yang dimungkinkan oleh Codex.
- Pando dijelaskan sebagai backend yang kompatibel dengan Git.
- OpenAI menyatakan Pando dirancang untuk skala pengembangan yang dimungkinkan oleh Codex.
Bagi pembangun AI, ini menandakan bahwa adopsi agen pengkodean mendorong perancangan ulang infrastruktur kontrol versi internal.
baidu/Unlimited-OCR-2: model OCR multimodal 3,3B parameter dengan SR-SWA untuk parsing dokumen tanpa batas panjang
Baidu merilis Unlimited-OCR-2, yang menggunakan Sparse Reference Sliding Window Attention (SR-SWA) untuk memampatkan interaksi atensi teks-visual menjadi sekumpulan referensi berukuran tetap (misalnya 512 token), sehingga latensi dekode per langkah dan penggunaan memori hampir konstan terlepas dari panjang dokumen. Mod...
- Model ini memiliki 3,3B parameter, menggunakan tipe tensor I64 dan BF16, serta dirilis dengan lisensi MIT.
- SR-SWA memampatkan interaksi atensi teks-visual menjadi sekumpulan referensi berukuran tetap (misalnya 512 token), sehingga latensi dekode per langkah dan penggunaan memori hampir konstan.
- Makalah melaporkan performa state-of-the-art pada tolok ukur puluhan halaman seperti MPDocBench dan tolok ukur ekstrem ratusan halaman seperti MarathonDocBench.
- Transformers diuji dengan Python 3.10, torch 2.13.0, dan transformers 4.52.1 pada NVIDIA A800-80GB; SGLang direkomendasikan untuk serving.
Bagi pengembang pipeline parsing dokumen, SR-SWA mengubah biaya atensi dokumen panjang dari bergantung pada panjang menjadi hampir konstan, sehingga dokumen ratusan halaman dapat di-parsing dalam satu permintaan di dalam jendela konteks yan...