AI FRONTIER
Signals worth understanding before they become obvious.
One Model to Loop Them All: tái hồi tiềm ẩn đàn hồi cho mô hình ngôn ngữ
Bài báo trình bày Elastic Latent Recurrence (ELR), một công thức huấn luyện mô hình ngôn ngữ dạng vòng lặp mà ở một vòng lặp có chi phí phục vụ bằng mô hình không tái hồi cùng kích thước và đạt độ chính xác tương tự, còn mỗi vòng lặp thêm đổi thêm tính toán suy luận lấy độ chính xác cao hơn.
- Trên mô hình lai 4B dense và 30B-A3B MoE, ELR ở một vòng lặp thấp hơn 0,52 điểm và cao hơn 1,04 điểm so với baseline tương ứng trên trung bình mười tác vụ, và bốn vòng lặp cộng thêm 7,25 và 4,75 điểm.
- Trong mô hình MoE, tái sử dụng tuyến chuyên gia của vòng lặp đầu ở các vòng sau giảm 11,7% thời gian cập nhật độ sâu hỗn hợp mà không có thay đổi độ chính xác đo được.
- Khi suy luận, chỉ giữ cache KV attention của vòng lặp cuối giữ bộ nhớ KV attention ở mức một vòng lặp đồng thời giữ phần lớn lợi ích của các vòng lặp thêm.
- Kéo dài đến hậu huấn luyện, công thức này tạo ra Koi-4B, một checkpoint duy nhất đạt ước tính 18 trên Artificial Analysis Intelligence Index ở một vòng lặp, ngang Qwen3.5-4B, và 29 ở bốn vòng lặp.
Vì một checkpoint có thể đánh đổi số vòng lặp lấy độ trễ và độ chính xác, mô hình dạng vòng lặp trở nên khả thi cho phục vụ nhạy cảm với độ trễ.
SpireBench: Đánh giá khả năng chơi chiến lược dài hạn của các mô hình tác nhân với Slay the Spire
Bài báo giới thiệu SpireBench, trong đó các mô hình chơi trò chơi xây dựng bộ bài thương mại hoàn chỉnh Slay the Spire ở độ khó cao nhất để đánh giá suy luận chiến lược dài hạn trên 20 mô hình ngôn ngữ lớn.
- Bài báo đánh giá 20 mô hình ngôn ngữ lớn ở độ khó cao nhất của Slay the Spire.
- Bài báo báo cáo rằng các mô hình tiên tiến đánh bại đường cơ sở heuristic và ngang bằng người chơi trung bình, nhưng vẫn kém xa các chuyên gia.
- Bài báo báo cáo rằng các mô hình mạnh nhất thắng màn đầu thường xuyên như chuyên gia, rồi tụt lại khi ván chơi kéo dài.
Với nhà phát triển tác nhân, SpireBench cung cấp một chuẩn đánh giá dài hạn giúp định vị nơi tác nhân thất bại và chỉ ra điểm yếu cụ thể trong phán đoán rủi ro và sử dụng ký ức.
Vượt qua phần thưởng xác minh nhị phân: Tự thưởng theo hành vi cho các tác nhân SWE
Bài báo giới thiệu Behavioral Self-Rewarding (BSR), một phương pháp tinh chỉnh phần thưởng tái sử dụng policy để so sánh hành vi gỡ lỗi quan sát được giữa các quỹ đạo từ cùng một tác vụ với cùng kết quả verifier, tổng hợp sở thích theo cặp thành điểm cục bộ theo tác vụ và chuyển chúng thành phần thưởng bổ trợ có giới h...
- BSR báo cáo cải thiện nhất quán trên SWE-bench Verified và SWE-bench-Live ở các cấu hình Qwen3-14B và Qwen3-32B được đánh giá.
- Phương pháp tái sử dụng policy để so sánh hành vi gỡ lỗi quan sát được giữa các quỹ đạo từ cùng một tác vụ với cùng kết quả verifier, không cần mô hình phần thưởng được huấn luyện riêng.
- BSR tổng hợp sở thích theo cặp thành điểm cục bộ theo tác vụ và chuyển chúng thành phần thưởng bổ trợ có giới hạn, tạo ra độ tương phản phần thưởng trong khi vẫn giữ thứ tự đạt/không đạt do verifier xác định.
- BSR cung cấp giám sát bổ sung từ các quỹ đạo đã thu thập mà không cần tương tác môi trường mới.
Đối với các nhóm xây dựng tác nhân SWE, BSR cho thấy các phán đoán so sánh của chính policy có thể đóng vai trò tín hiệu học bổ trợ ngoài kết quả đạt/không đạt nhị phân của kiểm thử, mà không cần tương tác môi trường mới hay mô hình phần th...
Kairos: Hướng tới mô hình nền tảng cấp byte cho mọi phương thức
Kairos kết hợp attention tuyến tính gated-DeltaNet hai chiều với attention cửa sổ trượt trên các phép chiếu chia sẻ (LiZAttention2), tổng hợp Attention-Residual theo khối, lớp feed-forward Mixture-of-Experts thưa và codec cấp byte đa tỉ lệ, được huấn luyện bằng mục tiêu khử nhiễu nhiễu đồng nhất trên một không gian byt...
- Trong kiểm tra overfitting trên một câu 440 byte, với 1–15M tham số và chỉ văn bản, LiZAttention2 và attention cửa sổ đơn lẻ đạt loss tối thiểu gần 10^-3 ở 3.000 bước.
- Sau 600 bước, loss tối thiểu trung bình nằm trong khoảng 0,018 (codec patch) đến 0,354 (codec tích chập depthwise), với thứ hạng giống nhau trên ba seed.
- Phần thảo luận ước tính phân tích mục tiêu 200M tổng/25M hoạt động, nhưng không có số liệu thông lượng nào được đo; mã nguồn và gói Python đã có sẵn.
Với nhà phát triển, Kairos hiện chỉ là kiểm tra hội tụ có thể tái lập, và thiết kế đa phương thức cấp byte của nó vẫn cần lần tiền huấn luyện đã dự kiến để chứng minh khả năng tổng quát hóa.
ForcingBooster: Khử nhiễu thích ứng theo từng patch cho khuếch tán video tự hồi quy nhanh
Bài báo giới thiệu ForcingBooster, một khung phân bổ động số bước khử nhiễu cho từng patch video, dừng sớm các patch dễ và dành nhiều bước tinh chỉnh hơn cho các patch khó. Bài báo báo cáo giảm khoảng 50% tổng số bước khử nhiễu áp dụng trên các patch video trong khi vẫn duy trì chất lượng hình ảnh tương đương với đường...
- Bài báo báo cáo giảm khoảng 50% tổng số bước khử nhiễu áp dụng trên các patch video.
- Bài báo báo cáo chất lượng hình ảnh tương đương với đường cơ sở bốn bước.
- Phương pháp này tương thích với hầu hết các mô hình khuếch tán tự hồi quy ít bước hiện có và chỉ cần một mô-đun định tuyến nhẹ với huấn luyện vừa phải.
- Bài báo được gửi ngày 8 tháng 10 năm 2026 với mã arXiv:2610.12625 bởi Zekai Gu, Peng Wang, Jiahao Lu, Yongsen Mao, Cheng Lin và Yuan Liu.
Đối với các nhóm xây dựng tạo video tương tác thời gian thực và mô hình thế giới video, ngân sách khử nhiễu theo từng patch có thể chuyển tính toán từ vùng dễ sang vùng khó mà không thay đổi backbone khuếch tán tự hồi quy ít bước.
Google DeepMind phát hành EmbeddingGemma 2, mô hình embedding đa phương thức mở 740M tham số
EmbeddingGemma 2 ánh xạ văn bản (bao gồm mã), hình ảnh, video và âm thanh vào một không gian vector thống nhất 768 chiều theo giấy phép Apache 2.0, được thiết kế để chạy trên phần cứng tiêu dùng như điện thoại và laptop.
- Tổng 740M tham số: backbone văn bản 270M (130M transformer + 140M embedder), encoder thị giác 170M và encoder âm thanh 300M.
- Bài báo báo cáo MTEB đa ngôn ngữ v2 đạt 61,36 và MTEB mã v1 đạt 78,68, cải thiện khoảng 14% so với 68,76 của EmbeddingGemma 1 trên tác vụ mã.
- Matryoshka Representation Learning hỗ trợ cắt ngắn xuống 128d, 256d, 512d và 768d, cho phép giảm tới 6x chi phí lưu trữ vector.
- Cửa sổ ngữ cảnh 8.192 token, hỗ trợ hơn 100 ngôn ngữ, giấy phép Apache 2.0.
Nhà phát triển có thể phục vụ truy xuất văn bản, hình ảnh, video và âm thanh từ một không gian embedding 768 chiều trên phần cứng tiêu dùng, và tải encoder có chọn lọc để giảm dấu chân hiệu dụng từ 740M xuống 270M.
MagicBeanStalk: Thoát khỏi bẫy lợi thế bằng không của RLVR bằng tổng hợp dữ liệu đệ quy
Bài báo giới thiệu MagicBeanStalk, thuật toán phân rã từ trên xuống và tổng hợp dữ liệu đệ quy từ dưới lên, phát triển các bài toán hạt giống thành các họ bài toán huấn luyện được hiệu chỉnh theo chính sách và ngân sách, đồng thời giữ nguyên bản thiết kế suy luận của hạt giống.
- Bài báo báo cáo rằng trên 8 benchmark toán, RLVR liên tục trên các bài toán MagicBeanStalk cải thiện gpt-oss-120b từ 61,2 lên 69,8 (+8,6) và DeepSeek v4Flash từ 72,4 lên 77,9 (+5,4) với ngân sách 16K token.
- Bài báo báo cáo rằng huấn luyện trên toàn bộ kho ngữ liệu nguồn 78K chỉ cải thiện +1,1, và tập con dữ liệu thực được lọc tốt nhất của nó +5,8.
- Bài báo báo cáo rằng trong lĩnh vực tài chính, hơn 14K bài toán kiểm chứng được tổng hợp chỉ từ 340 lời giải và cải thiện so với cơ sở lần lượt 6,9 và 2,4 điểm trên SecQue và FinanceBench.
Với người xây dựng dữ liệu RLVR, tín hiệu hữu ích là liệu một bài toán có tạo ra lợi thế khác không dưới chính sách mục tiêu và ngân sách rollout hay không, chứ không phải kích thước kho ngữ liệu; tổng hợp đệ quy có thể hiệu chỉnh độ khó mà...