AI FRONTIER
Signals worth understanding before they become obvious.
FairStress: Evaluasi lebih mendalam tentang keadilan dalam pengambilan keputusan LLM
Ai2 memperkenalkan FairStress, tolok ukur berisi 300 skenario keputusan dua kandidat di 29 domain yang menguji apakah model mengubah keputusan secara asimetris di bawah prefiks adversarial; menggabungkan variasi identitas dan prefiks memperluasnya menjadi lebih dari 13 juta kasus uji.
- FairStress berisi 300 skenario keputusan dua kandidat yang realistis di 29 domain, termasuk perekrutan, layanan kesehatan, pinjaman, pendidikan, perumahan, dan peradilan pidana.
- Menggabungkan identitas demografis dan variasi prefiks adversarial memperluas 300 skenario menjadi lebih dari 13 juta kasus uji.
- FairStress-Core adalah subset 50 ribu item yang dipilih menggunakan item response theory agar evaluasi lebih cepat dan lebih hemat komputasi.
- Makalah melaporkan rata-rata selisih dalam meninggalkan jawaban benar pada 15 model sebesar 6,9 poin persentase dengan identitas tersirat dan 9,3 poin dengan label eksplisit.
Pengembang perlu memperluas evaluasi keadilan melampaui pilihan akhir ke stabilitas keputusan, karena penilaian opsi tetap saja dapat melewatkan koreksi berlebih pada keputusan yang dihasilkan.
ALTK-Evolve: memori yang dipelajari memuncaki papan peringkat τ²-bench pada tugas layanan pelanggan tanpa model frontier
ALTK-Evolve dari IBM Research mengekstrak pedoman perilaku dari upaya tugas agen itu sendiri dan menambahkannya ke prompt sistem, meningkatkan agen layanan pelanggan tanpa memperbarui bobot model. Agen ReAct dengan GPT-4.1 mencapai 67,5% Pass^4 pada τ²-bench retail, di atas semua entri retail.
- Retail: Pass^4 baseline adalah 57,5%; konfigurasi lossless (292 pedoman) menaikkannya ke 67,5% (+10,0 poin), dan akurasi rata-rata naik dari 78,1% ke 82,5% (+4,4).
- Airline: Pass^4 baseline adalah 35,0%; konfigurasi sup3 (14 pedoman) menaikkannya ke 45,0% (+10,0), dan akurasi rata-rata lossless naik dari 57,5% ke 65,0% (+7,5).
- Papan peringkat retail: Pass^4 = 67,5%, di depan RAFT-30B-A3B (61,4%), model yang di-fine-tune pada data retail τ²-bench sintetis, sebesar 6,1 poin.
- Papan peringkat airline: agen dengan gpt-5.5 mencapai 82,0% Pass^4, melampaui setiap entri frontier (66–72%); konfigurasi sup3 dengan gpt-4.1 mencapai 44%, peringkat ke-8.
Memori yang dipelajari pada tingkat prompt dapat mengangkat agen bermodel standar ke tingkat frontier tanpa fine-tuning bobot, dengan biaya terutama pada token input yang dapat di-cache.
Ant Ling membuka sumber terbuka seri suara Ming-3.0: lima model mencakup sintesis, pengenalan, dan pemahaman
Ant Ling telah membuka sumber terbuka seri suara Ming-3.0, terdiri dari lima model yang mencakup sintesis suara, pengenalan suara, dan pemahaman suara.
- Rilis ini berasal dari Ant Ling.
- Seri suara Ming-3.0 terdiri dari lima model.
- Cakupannya meliputi sintesis, pengenalan, dan pemahaman suara.
Bagi pengembang, mendapatkan lima model suara terbuka yang mencakup sintesis, pengenalan, dan pemahaman dalam satu rilis mengurangi biaya menggabungkan model dari berbagai sumber dalam pipeline suara.
Kunci API yang Bocor di LLM: Bagaimana Agen AI Mengekspos Rahasia
Sebuah abstrak makalah membahas kunci API yang bocor di LLM, dibingkai seputar pertanyaan kemampuan, evaluasi, atau penyelarasan model bahasa besar dan ditujukan bagi pembaca yang mengikuti metode serta hasil eksperimen.
- Sumbernya adalah GitGuardian Blog, berjudul “Leaked API Keys in LLMs: How AI Agents Expose Secrets”.
- Abstrak menyatakan bahwa karya ini membahas pertanyaan kemampuan, evaluasi, atau penyelarasan model bahasa besar.
- Abstrak menyatakan bahwa karya ini cocok bagi pembaca yang tertarik pada metode dan hasil eksperimen.
Pembuat agen LLM harus memperlakukan kunci API sebagai rahasia yang dapat terekspos dan merancang pertahanan berdasarkan asumsi tersebut.
NVIDIA Cosmos3-H-Dreams: Menghidupkan Bedah Klinis melalui Simulasi Generatif
NVIDIA merilis Cosmos3-H-Dreams, simulator bedah generatif waktu nyata yang dibangun di atas Cosmos3-H-Embodied-Nano berparameter 16 miliar dan dilatih pada video kolesistektomi klinis serta kinematika robot, berjalan secara interaktif pada satu GPU NVIDIA RTX PRO 6000.
- Dibangun di atas Cosmos3-H-Embodied-Nano, model berparameter 16 miliar yang dipralatih pada Open-H-Embodiment.
- Pelatihan menggunakan video 832 x 480 dengan aksi yang diselaraskan pada 10 Hz dan 28 dimensi aksi.
- Model guru mula-mula diadaptasi pada 24 frame masa depan, lalu diperluas ke 72 frame, yaitu 2,4 dan 7,2 detik pada 10 Hz.
- Checkpoint denoising empat langkah dan dua langkah dirilis; model dua langkah dilatih secara terpisah, bukan model empat langkah yang dijalankan dengan langkah sampling lebih sedikit.
Pengembang dapat mengadaptasi model dunia bedah waktu nyata ini ke video dan data pengontrol mereka sendiri menggunakan resep fine-tuning guru dan distilasi Self-Forcing yang disediakan.
AnyLanguageModel 1.0: Satu Tahun Model Lokal di Platform Apple
AnyLanguageModel 1.0 dirilis sebagai pengganti langsung framework Foundation Models milik Apple, sehingga kode sesi yang sama dapat memakai model sistem, model berbobot terbuka lewat llama.cpp, MLX, dan Core ML, serta beberapa penyedia terkelola.
- Mengganti import FoundationModels menjadi import AnyLanguageModel membuat kode sesi yang sama berjalan dengan model sistem, llama.cpp, MLX, Core ML, dan penyedia terkelola.
- Pemanggilan tool dan generasi terpandu kini berfungsi di semua penyedia, termasuk tipe @Generable bersarang dan array-nya.
- Penyedia terkelola mencakup API Chat Completions dan Responses dari OpenAI, Open Responses, Messages API dari Anthropic, Gemini API dari Google, Ollama, Private Cloud Compute, dan Hugging Face Inference Providers.
Bagi pengembang platform Apple, mengganti satu baris import membuat inferensi lokal dan terkelola berbagi satu jalur kode sesi, sehingga pekerjaan integrasi per penyedia berkurang.
OpenMOSS-Team merilis MOSS-Image-SFT, model text-to-image 5,1B dengan lisensi Apache-2.0
MOSS-Image-SFT adalah model text-to-image yang di-fine-tuning secara terawasi dalam keluarga MOSS-Image dari OpenMOSS, diturunkan dari MOSS-Image-Base dengan arsitektur dan pipeline inferensi yang sama, serta mendukung prompt bahasa alami, urutan tag, dan layout JSON untuk mengendalikan penempatan teks dan susunan obje...
- Model ini memiliki 5B parameter, dan bobot serta kode inferensi bawaannya dirilis di bawah Lisensi Apache, versi 2.0.
- Kartu model menyatakan bahwa SFT menghasilkan pengelompokan teks yang lebih jelas dan tata letak papan tulis yang lebih teratur dibandingkan MOSS-Image-Base.
- Menjalankannya memerlukan Python 3.10 atau lebih baru, GPU NVIDIA dengan dukungan CUDA, dan build PyTorch 2.9 atau lebih baru.
- Pengaturan sampling default adalah Flow-matching Euler, 50 langkah, CFG 3, Shift 5, dengan cabang negatif melewati layer indeks 22.
Bagi pengembang, model text-to-image 5B berlisensi Apache-2.0 dengan kendali layout JSON dapat langsung dipakai di pipeline kreatif yang membutuhkan penempatan teks dan objek yang presisi.