AI FRONTIER
Signals worth understanding before they become obvious.
MoEZip: Nén bộ đệm KV nhận biết định tuyến cho LLM Mixture-of-Experts thưa
MoEZip đề xuất nén bộ đệm KV nhận biết định tuyến, chấm điểm ngữ cảnh bằng cách kết hợp trọng số attention với một thước đo độ nhạy dựa trên ma trận thông tin Fisher của các phân phối định tuyến, nhằm giải quyết việc loại bỏ KV có thể thay đổi lựa chọn expert trong suy luận ngữ cảnh dài của MoE.
- Bài báo báo cáo rằng ở tỷ lệ giữ lại KV 10%, MoEZip cải thiện so với baseline SoTA trung bình +24 và +20 điểm trên LongBench và RULER, tương ứng điểm cao hơn 2,3 lần và 4,9 lần.
- MoEZip giới thiệu một thước đo dựa trên ma trận thông tin Fisher của các phân phối định tuyến để ước lượng độ nhạy của định tuyến expert trước nhiễu.
- Phương pháp kết hợp thước đo này với trọng số attention để chấm điểm ngữ cảnh nhận biết định tuyến và tạo hệ thống chấm điểm bổ trợ kết hợp các phương pháp loại bỏ cho kiến trúc dense và sparse-MoE.
- Bài báo được chấp nhận tại NeurIPS 2026 và là arXiv:2610.30206, gửi ngày 21 tháng 10 năm 2026.
Với các nhóm triển khai mô hình MoE thưa trên ngữ cảnh dài, MoEZip cho thấy chính sách loại bỏ KV cần tính đến ổn định định tuyến expert để giữ chất lượng sinh dưới nén mạnh.
Chuyển chấm điểm cơ sở dữ liệu thành phần thưởng RL: Hậu huấn luyện tác tử với ThinkingBox
Microsoft và Hugging Face phát hành ThinkingBox-Training, dùng các kiểm tra thực thi trạng thái cơ sở dữ liệu cuối cùng làm phần thưởng GRPO; sau 50 bước tinh chỉnh Qwen3.8-27B, tỷ lệ thành công trung bình tăng từ 51,70% lên 60,78%.
- pass@1 của Qwen3.8-27B tăng từ 5.242 lượt (51,70%) lên 6.163 lượt (60,78%), tăng 9,08 điểm.
- Số tác vụ đạt cả 20 lượt tăng từ 38 (7,50%) lên 107 (21,10%), tăng 69 tác vụ.
- pass@20 (tác vụ giải được ít nhất một lần) giảm từ 453 (89,35%) xuống 446 (87,97%), giảm 7 tác vụ.
- Huấn luyện dùng 187 tác vụ, GRPO token-mean, 50 bước, 24 H100, tốc độ học 1e-6 và AdamW không suy giảm trọng số.
Với các nhóm xây dựng tác tử, kiểm tra trạng thái cuối có thể thực thi vừa là bộ chấm điểm vừa là tín hiệu phần thưởng, nhưng cải thiện độ lặp lại có thể đi kèm mất mát nhỏ về độ phủ.
Học kernel phổ dựa trên luồng cho attention không dừng
Bài báo đề xuất flow-based spectral kernel attention (FSKA), một khung hình thức hóa attention được kernel hóa thông qua học mật độ phổ và tham số hóa mật độ phổ hai biến thu được bằng normalizing flow để học các kernel attention không dừng.
- FSKA hình thức hóa attention được kernel hóa thông qua học mật độ phổ và tham số hóa mật độ phổ hai biến thu được bằng normalizing flow.
- Thiết kế này cho phép một kiến trúc attention đơn giản hóa với các phép chiếu query–key bị loại bỏ và các phép chiếu value trực giao cố định, khiến nó tiết kiệm tham số hơn.
- Bài báo báo cáo giảm các tham số huấn luyện liên quan đến phép chiếu khoảng 40%–47% so với hầu hết các baseline, đồng thời duy trì khả năng mở rộng bộ nhớ thuận lợi của linear-attention.
- Các thí nghiệm có kiểm soát về phân loại, ablation và profiling khả năng mở rộng báo cáo rằng FSKA đạt hiệu năng cạnh tranh hoặc cải thiện so với các cơ chế attention hiện có; mã nguồn đã có sẵn.
Đối với nhà xây dựng, FSKA cho thấy việc học kernel không dừng bằng normalizing flow có thể cắt giảm tham số huấn luyện liên quan đến phép chiếu khoảng 40%–47% trong khi vẫn giữ khả năng mở rộng bộ nhớ của linear-attention.
Đưa các mô hình nền tảng ra tuyến đầu sàng lọc bệnh lao
Google Research đã trình bày tại IDWeek 2026 hành trình sàng lọc bệnh lao, từ thuật toán X-quang ngực đến công cụ lâm sàng được chứng nhận CE và các mô hình nền tảng mở MedGemma cùng MedSigLIP cho triển khai cục bộ.
- Google Research cho biết bệnh lao cướp đi khoảng 1,23 triệu sinh mạng mỗi năm.
- Thiết bị của Nexus AI sàng lọc X-quang ngực cho các bệnh phổi như lao chỉ trong 45 giây.
- Công cụ này hoạt động tại khoảng 40 cơ sở y tế ở sáu quốc gia, nơi hơn 90 bác sĩ lâm sàng đã đánh giá hơn 25.000 phim X-quang ngực.
- MedGemma là họ mô hình đa phương thức trọng số mở với cấu hình 4B và 27B tham số, đạt hơn 10 triệu lượt tải xuống kể từ khi ra mắt.
Với các nhà phát triển AI y tế, trọng số mở và khả năng chạy trên thiết bị cho phép các công cụ sàng lọc có chủ quyền được tinh chỉnh trên phim X-quang trong nước.
Latent Space Jam: tổng hợp video dẫn dắt bố cục không cần huấn luyện
Bài báo đề xuất phương pháp hai lượt không cần huấn luyện, dùng mô hình khuếch tán video đã huấn luyện trước: cross-attention dẫn dắt bằng prompt điều khiển vị trí không-thời gian của vật thể để tạo hướng dẫn thị giác thô, sau đó hướng dẫn này điều kiện hóa chính mô hình đó để sinh video chất lượng cao nhất quán với bố...
- Phương pháp không cần huấn luyện thêm, dữ liệu hay thay đổi kiến trúc và dùng các mô hình khuếch tán video đã huấn luyện trước.
- Phương pháp chạy hai lượt: lượt đầu tạo hướng dẫn thị giác thô qua cross-attention dẫn dắt bằng prompt, lượt hai điều kiện hóa cùng mô hình trên hướng dẫn đó.
- Bài báo báo cáo phương pháp liên tục vượt các công trình trước về độ chính xác chồng lấp và quỹ đạo cũng như chất lượng thị giác trong cảnh tĩnh, động và nhiều vật thể.
Với nhà phát triển, điều này nghĩa là có thể bổ sung điều khiển bố cục và chuyển động lên các mô hình khuếch tán video hiện có mà không tốn chi phí huấn luyện, hạ thấp rào cản cho sinh video có kiểm soát.
CiteAnchor: Grounding nhận biết nguồn cho phát hiện và xử lý trích dẫn ảo giác
Bài báo giới thiệu CiteResolve, một benchmark gồm 423 trích dẫn ảo giác thực tế được gán nhãn về khả năng phục hồi nguồn, và đề xuất CiteAnchor, một khung grounding nhận biết nguồn điều chỉnh truy xuất và xác minh ở cấp trường cho từng loại nguồn, đồng thời xác định riêng tính hợp lệ của trích dẫn và liệu một nguồn duy...
- CiteResolve là một benchmark gồm 423 trích dẫn ảo giác thực tế được gán nhãn về khả năng phục hồi nguồn.
- Trên một benchmark phát hiện hiện có, CiteAnchor đạt 0,841 F1 với GPT-5.6 Luna và 0,784 F1 với backbone trọng số mở.
- Bài báo báo cáo vượt baseline dùng cùng backbone lần lượt 7,9 và 36,8 điểm.
- Trên CiteResolve, nó đạt 74,7% và 70,7% thành công tác vụ end-to-end, được bài báo báo cáo cao hơn baseline tìm kiếm web tương ứng 16,3 và 65,3 điểm phần trăm.
Với người xây dựng hệ thống xác minh tài liệu và tăng cường truy xuất, công trình này tách tính hợp lệ của trích dẫn khỏi khả năng phục hồi nguồn và phát hành cả mã lẫn dữ liệu.
TauIndianBankBench: Đánh giá hướng hành động, nhận biết quy trình cho các tác nhân hội thoại dùng công cụ
Bài báo giới thiệu TauIndianBankBench, một chuẩn đánh giá hướng hành động gồm 1.000 tác vụ ngân hàng bán lẻ Ấn Độ, kiểm tra ngoài hồ sơ cuối cùng xem trợ lý có thực hiện mọi bước bắt buộc và không thực hiện thay đổi không được yêu cầu hay không. Bài báo báo cáo rằng khi chỉ kiểm tra hồ sơ cuối cùng, 6,5-12,0% phiên trê...
- Chuẩn đánh giá gồm 1.000 tác vụ ngân hàng bán lẻ Ấn Độ, trong đó trợ lý hỗ trợ một khách hàng mô phỏng.
- Đánh giá kiểm tra hồ sơ cuối cùng, việc thực hiện mọi bước bắt buộc và việc không có thay đổi không được yêu cầu.
- Bài báo báo cáo rằng khi chỉ kiểm tra hồ sơ cuối cùng, 6,5-12,0% phiên trên mỗi mô hình được đánh giá là thành công dù bỏ qua bước bắt buộc hoặc có thay đổi không được yêu cầu.
- Bài báo dài 15 trang với 6 hình và 14 bảng, đồng thời cung cấp liên kết mã và dữ liệu.
Với các nhóm xây dựng tác nhân ngân hàng, chuẩn đánh giá này cho thấy chấm điểm chỉ theo trạng thái cuối sẽ đánh giá quá cao mức tuân thủ quy trình, nên cần đánh giá các bước bắt buộc và hành động không được phép.
Xây dựng ứng dụng phản hồi nhanh hơn với Decisions API
OpenAI News đã công bố Decisions API, được định vị là cung cấp các quyết định nhanh, tập trung và chi phí thấp cho mọi ứng dụng.
- Nguồn là OpenAI News; tiêu đề mục là “Build more responsive apps with the Decisions API”.
- Mô tả một dòng ghi: “Fast, focused, low-cost decisions for any application.”
- Mục này được phân loại là developer với kiểu thay đổi cost_collapse.
Nếu API này cung cấp các quyết định tập trung với chi phí thấp như mô tả, nhà phát triển có thể đặt lệnh gọi quyết định trực tiếp trong luồng tương tác thay vì phụ thuộc vào các lệnh gọi mô hình nặng hơn.