AI FRONTIER
Signals worth understanding before they become obvious.
DaisyRose-27B: Mendorong Batas Efisiensi Pasca-Pelatihan
RadixArk merilis DaisyRose-27B, model pertamanya, dibangun di atas Qwen3.8-27B dan dilatih dengan pembelajaran penguatan menggunakan Miles pada tugas agen berhorizon panjang, dengan sesi hingga 1M token, hanya dari 1.200 tugas terkurasi dalam 18 hari pada 144 GPU H200.
- pass@1 Terminal-Bench 4.1 meningkat dari 5,6% menjadi 12,0%.
- Checkpoint tersedia di bawah Apache 2.0 dalam BF16, FP8, dan NVFP4.
- Model mempertahankan arsitektur, tokenizer, template chat, pemahaman gambar, dan jendela konteks 256K token milik Qwen3.8-27B.
- Pelatihan berlangsung selama berminggu-minggu pada 144 H200, total 63.000 GPU-jam.
Bagi pembangun agen, DaisyRose-27B menunjukkan bahwa sekitar 1.200 tugas terkurasi dan 18 hari pelatihan dapat menggandakan skor benchmark terminal sekaligus merilis checkpoint Apache 2.0.
Bagaimana Performance Factory OpenAI menjaga ChatGPT tetap cepat
OpenAI membangun Performance Factory, sistem alur kerja berbasis Codex yang menemukan dan memperbaiki masalah performa untuk membantu menjaga ChatGPT tetap cepat.
- Performance Factory adalah sistem alur kerja berbasis Codex.
- Sistem ini menemukan dan memperbaiki masalah performa.
- OpenAI menyatakan tujuannya adalah membantu menjaga ChatGPT tetap cepat.
Bagi tim yang membangun produk AI, ini menunjukkan bagaimana alur kerja pembuatan kode dapat mengotomatiskan diagnosis dan perbaikan performa alih-alih hanya mengandalkan penyetelan manual.
Teori Diferensial Trade-off Kualitas-Sumber Daya untuk Pemilihan Model AI: Frontier Multisumber Daya dan Harga Minimax-nya
Makalah ini mengembangkan teori diferensial yang merepresentasikan frontier kualitas-sumber daya sebagai kurva bidang independen harga, menghubungkan jumlah efektif kanal sumber daya aktif, N_eff = s²/κ, dengan kedalaman galat logaritmik yang tersisa, ΔS = ln(ε/ε∞). Ketika masing-masing dari N sumber daya menyumbang sa...
- Makalah melaporkan mengevaluasi teori ini pada 117 frontier yang telah dipublikasikan.
- Teori menurunkan harga sumber daya minimax λ*_i = α_i/(N+1) dengan penyesalan kasus terburuk yang eksak sebesar ln(N+1) nat.
- Ketika masing-masing dari N sumber daya menyumbang satu kanal aktif, teori memberikan aturan operasi tanpa parameter N_eff = 1 dalam satuan yang dikirimkan.
- Teori ini diimplementasikan dalam paket open-source nn-rank, yang menurunkan harga dari kualitas dan biaya terukur, memberi peringkat kandidat, dan melaporkan pilihan yang didukung serta penyesalan minimax.
Pembangun AI dapat menggunakan nn-rank untuk menurunkan harga sumber daya dari kualitas dan biaya terukur serta memberi peringkat kandidat tanpa nilai tukar yang dipilih secara manual, sekaligus memperoleh jaminan penyesalan minimax yang te...
Bits, Not Boxes: Pemilihan Lapisan Tanpa Label untuk Lokalisasi Visual pada VLM
Makalah ini memperkenalkan WhereBits, yang mengubah bit where-to-look yang diukur pada pertanyaan tanpa label menjadi prior lapisan dan menggabungkannya dengan skor kontrastif per-head untuk memilih lapisan yang melokalisasi objek yang ditanyakan, tanpa anotasi kotak atau aturan tetap.
- Makalah melaporkan WhereBits mencapai akurasi pointing COCO 0,72, dibandingkan 0,22 untuk mean attention.
- Pada delapan VLM, WhereBits menyamai akurasi pointing lapisan yang disetel dengan kotak pada COCO dan RefCOCO serta memberi peringkat token target lebih baik.
- Keunggulan ini bertahan pada keluarga model yang disisihkan dan pada resolusi lebih tinggi.
- Dalam zoom-in tanpa pelatihan, crop-nya menaikkan akurasi V* sebesar 6,0 poin pada evaluasi pilihan paksa.
Bagi pengembang pipeline lokalisasi VLM, pemilihan lapisan dapat dikalibrasi ulang untuk model atau resolusi baru hanya dengan pertanyaan tanpa label, sehingga anotasi kotak tidak lagi diperlukan.
Tencent merilis Hy4-flash: model MoE multimodal 220B parameter dengan 12B aktif
Hy4-flash dari Tencent memakai arsitektur Mixture-of-Experts dengan 220B parameter total dan 12B aktif per token, menerima input teks dan gambar secara native, mendukung jendela konteks hingga 1M token, dan dirilis di bawah Tencent Hy License.
- 220B parameter total (termasuk 64B parameter Engram) dengan 12B parameter aktif per token; backbone bahasa 42 lapis terdiri dari satu lapisan dense dan 41 lapisan MoE.
- Panjang konteks 1M (1.048.576 token); encoder visi diadaptasi dari SigLIP2-So400m-Patch16-Res512 dan terhubung ke backbone melalui proyektor MLP.
- Drafter bawaan 5 lapis, DFly2 (0,85B parameter), memakai ulang cache KV dan indeks sparse model target untuk decoding spekulatif konteks panjang.
- Bobot terbuka dirilis di bawah Tencent Hy License sebagai Hy4 flash, Hy4 flash-FP8, dan model pra-latih Hy4 flash-base.
Bagi pengembang, Hy4-flash menggabungkan 12B parameter aktif dengan konteks 1M token dan input gambar native, dan penurunan cache KV yang dilaporkan serta decoding di atas 150 tokens/s dapat menekan tekanan memori dan biaya pada penyajian k...
Model OpenAI memajukan desain chip: mengoptimalkan sirkuit silikon Jalapeño dan meningkatkan desain inti RISC-V
OpenAI menyatakan modelnya mengoptimalkan sirkuit yang digunakan pada silikon Jalapeño dan meningkatkan desain inti RISC-V, menunjukkan kemajuan dalam desain chip berbantuan AI dengan GPT-6 Astra.
- Model OpenAI mengoptimalkan sirkuit yang digunakan pada silikon Jalapeño.
- Model OpenAI meningkatkan desain inti RISC-V.
- OpenAI menyajikan ini sebagai kemajuan dalam desain chip berbantuan AI dengan GPT-6 Astra.
Bagi tim desain chip, ini menandakan bahwa model OpenAI diterapkan pada pekerjaan nyata sirkuit silikon dan desain inti RISC-V, bukan sekadar demonstrasi konseptual.
Makalah: Pengendalian Chain-of-Thought Dapat Menurunkan Kemampuan Pemantauan Chain-of-Thought
Makalah ini menguji risiko pemantauan chain-of-thought melalui pelatihan kendali persona: fine-tuning terawasi pada jejak penalaran matematika yang ditulis ulang dalam suara berbagai persona. Ini memunculkan kemampuan mengendalikan CoT yang lebih luas meskipun pelatihan tidak memuat contoh penghindaran pemantau. Dalam ...
- Pelatihan berupa fine-tuning terawasi pada jejak penalaran matematika yang ditulis ulang dalam suara berbagai persona, tanpa contoh penghindaran pemantau dalam data pelatihan.
- Dalam evaluasi intervensi, penyembunyian eksplisit sering mendorong keterpantauan mendekati nol.
Tim yang membangun pemantau agen harus memperlakukan fine-tuning persona sebagai faktor yang dapat melemahkan keterpantauan CoT dan menguji prompt transparansi tertarget sebagai mitigasi.
Mengapa pekerjaan fine-tuning Anda lebih lama daripada perkiraan FLOPs
Dharma-AI membandingkan estimasi analitis berbasis FLOP dengan prediktor terlatih pada 272 pekerjaan SFT produksi (sekitar 7.382 GPU-jam pada NVIDIA H200): baseline FLOP hanya mencapai R² 0,31, sedangkan regresor CatBoost yang hanya memakai informasi sebelum dispatch mencapai R² 0,98.
- 272 eksekusi SFT dengan total sekitar 7.382 GPU-jam, dijalankan pada 1, 2, atau 4 GPU H200 di 1 hingga 4 node, dengan durasi 1,6 hingga 172,4 jam.
- Baseline FLOP (MFU 30%) memperoleh R² 0,31 dan MAE 12,41 jam; pada MFU 45% R² sebesar 0,18 dan pada MFU 60% R² sebesar 0,01.
- CatBoost mencapai R² 0,98, MAE 1,71 jam, dan galat median 0,51 jam dalam validasi silang 5 lipatan, hanya memakai fitur konfigurasi sebelum dispatch.
- Model analitis Calculon menghasilkan estimasi yang setara dengan median hanya 11% dari waktu nyata yang teramati.
Bagi penjadwal di kluster GPU bersama, prediktor gradient boosting berbasis konfigurasi dapat memberi estimasi durasi yang dapat dipakai sebelum dispatch, yang tidak bisa dilakukan perhitungan FLOP semata.