AI FRONTIER
Signals worth understanding before they become obvious.
TRACE: Mã hóa codebook kích hoạt phần dư Transformer cho suy luận biên phân tán tiết kiệm truyền thông
Bài báo giới thiệu TRACE, một khung đặt Vector Quantizer (VQ) tại phần dư sau attention của mỗi lớp Transformer và tính trước các biểu diễn key/value được đánh chỉ mục theo codebook, cho phép bên nhận khôi phục key và value bằng tra cứu bảng thay vì thực thi các phép chiếu hạ nguồn.
- So với suy luận song song theo chuỗi không nén, TRACE giảm chi phí truyền thông tới 22.624x.
- Phân cụm phân cấp cấu trúc codebook đã học thành hệ thống phân cấp đa độ phân giải, cho phép điều chỉnh tốc độ bit truyền thông lúc chạy mà không cần huấn luyện lại.
- Khung hỗ trợ hai biến thể vận hành: một ưu tiên độ chính xác và một cân bằng độ chính xác với hiệu quả thông qua lượng tử hóa tương thích bộ đệm.
Với người xây dựng suy luận biên phân tán, tính trước key và value dưới dạng chỉ mục codebook loại bỏ tính toán hạ nguồn ở bên nhận và cho phép chồng lấn truyền thông-tính toán, dù lợi ích được báo cáo gắn với các mô hình và tập dữ liệu đã ...
Structured Authority Injection: Kiểm soát con người liên tục cho tác nhân LLM qua các ghi đè MCP có kiểu
Bài báo đề xuất Structured Authority Injection (SAI), một giao thức định tuyến các chỉnh sửa của người vận hành qua các lệnh gọi công cụ Model Context Protocol (MCP) có kiểu và được xác thực theo schema, đồng thời duy trì một ngữ cảnh thẩm quyền được xếp hạng đặt trước mỗi prompt LLM, không cần fine-tuning mô hình hay ...
- SAI định nghĩa ba lớp ghi đè, Constraint, Priority và Strategy, với ngữ nghĩa liên tục khác nhau và thứ tự ưu tiên rõ ràng được thực thi qua một kênh thẩm quyền có hướng mà quá trình lập kế hoạch không thể truy cập.
- Bài báo báo cáo đánh giá trên chín LLM và tám kịch bản nhắm vào các chế độ thất bại của tác nhân, cho thấy giảm diễn giải chỉ thị mơ hồ và giảm suy giảm thẩm quyền qua các vòng lặp lập kế hoạch.
- Bài báo báo cáo chi phí prompt thấp hơn ở các mô hình mạnh nhất, lên tới 38% tùy theo mô hình và kịch bản, dù lợi ích thay đổi đáng kể giữa các mô hình.
- Phương pháp này không yêu cầu fine-tuning mô hình hay truy cập trọng số mô hình và áp dụng cho các LLM được tinh chỉnh theo chỉ thị hỗ trợ sử dụng công cụ MCP.
Đối với người xây dựng bộ điều phối tác nhân, SAI cung cấp một mẫu ở cấp giao thức cho các ghi đè con người liên tục, có kiểu mà không cần huấn luyện lại mô hình, nhưng lợi ích được báo cáo thay đổi đáng kể theo mô hình.
Nơi việc giảm expert trong prefill gây hại cho mô hình MoE: một vài token prompt mang phần lớn tổn thất F1 câu trả lời ngắn
Bằng các can thiệp ở mức token, layer và đường attention trên bốn họ MoE, bài báo xác định vị trí tổn thất khi cho token prompt đi qua ít routed expert hơn trong prefill: ở Qwen3-30B-A3B tổn thất xảy ra tại hai token chat-template trước câu trả lời, và ở DeepSeek-V2-Lite tại 8-32 token prompt đầu tiên nơi đặt instructi...
- Khi chỉ còn một nửa số expert, tổn thất F1 của ba họ chủ yếu là hình thức câu trả lời: mô hình vẫn tìm ra đáp án nhưng không còn trả lời ngắn gọn.
- Ở Qwen3-30B-A3B tổn thất xảy ra tại hai token chat-template trước câu trả lời; ở DeepSeek-V2-Lite tại 8-32 token prompt đầu tiên, nơi đặt instruction của nó.
- Theo answer likelihood, các vị trí này chiếm khoảng một nửa và một phần năm tổn thất.
- Việc giảm expert thay đổi attention mass, norm và activation lớn nhất của token đầu tiên dưới 4%, và khôi phục super experts hay massive activations thu hồi nhiều nhất khoảng một phần tư tổn thất.
Với serving MoE, giữ routing expert đầy đủ ở hai đầu prompt, đặc biệt tại vị trí chat-template và instruction, bảo toàn F1 câu trả lời ngắn tốt hơn so với khôi phục super experts hay massive activations.
RealCLI: Chuẩn đánh giá thống nhất cho cộng tác người-agent với các agent CLI
Bài báo giới thiệu REALCLI, một chuẩn đánh giá ghép cặp thống nhất việc đánh giá thực thi tác vụ và chất lượng cộng tác người-agent trên các tác vụ CLI thực tế, gồm khung năm chiều, 22 chiều con, 51 mẫu kịch bản tương tác và hai chế độ ghép cặp: REALCLI-EXEC và REALCLI-COLLAB.
- REALCLI xây dựng khung cộng tác năm chiều, được cụ thể hóa thành 22 chiều con và 51 mẫu kịch bản tương tác.
- REALCLI-EXEC cung cấp đặc tả đầy đủ từ trước, trong khi REALCLI-COLLAB đưa vào một người dùng theo kịch bản cung cấp thông tin dần dần, chỉnh sửa, sửa đổi ràng buộc và quyết định cấp quyền.
- Bài báo báo cáo rằng cấu hình tốt nhất chỉ đạt điểm trung bình 49,2%, và hiệu suất cao nhất trên điểm cộng tác chung J_collab chỉ đạt 37,6%.
- Bài báo báo cáo rằng các mô hình liên tục gặp khó khăn về khả năng điều hướng, hiệu chỉnh tin cậy và quản lý ranh giới an toàn.
Với các nhà phát triển agent CLI, sự khác biệt rõ rệt giữa hiệu quả tác vụ và chất lượng cộng tác cho thấy chỉ tối ưu hoàn thành tác vụ sẽ không đủ để vượt qua đánh giá trong điều kiện tương tác thực tế.
FlashControl: Bộ sinh điều khiển được một bước nhờ teacher luồng đơn thân thiện với chưng cất
Bài báo giới thiệu DeltaControl, tinh chỉnh một tập con lớp được chọn trong mô hình khuếch tán văn bản sang ảnh gốc để trực tiếp cho phép sinh có điều kiện không gian mà không thêm nhánh điều kiện bổ sung. Chưng cất theo bước trên teacher này tạo ra FlashControl, mô hình một bước có khả năng sinh điều khiển được theo k...
- Bài báo được chấp nhận tại NeurIPS 2026 và được gửi ngày 15 tháng 10 năm 2026.
- DeltaControl là mô hình khuếch tán luồng đơn nhiều bước mà bài báo báo cáo là đạt hiệu năng tương đương các phương pháp hai nhánh.
- FlashControl thu được bằng cách áp dụng chưng cất theo bước lên DeltaControl và hỗ trợ sinh điều khiển được theo không gian với một lượt truyền xuôi.
- Bài báo nêu rằng các mô hình điều khiển được hiện có như ControlNet dựa trên thiết kế hai nhánh khiến việc chưng cất trở nên khó khăn.
Đối với nhà phát triển AI, điều này cho thấy có thể thu được teacher điều khiển được thân thiện với chưng cất mà không cần kiến trúc hai nhánh, hạ thấp rào cản cho sinh ảnh điều khiển được một bước.
Trust but Verify: Thiết kế động lực forward không đồng nhất theo vùng cho diffusion rời rạc
Bài báo kết hợp hạt nhân hấp thụ và trộn đều với tốc độ phụ thuộc vùng: các vị trí thiếu tuân theo động lực hấp thụ, còn ngữ cảnh chịu thay thế ngẫu nhiên tốc độ thấp, khiến mô hình tiếp xúc với các token đã quan sát nhưng không chắc chắn trong quá trình huấn luyện. Khi suy luận, một sampler heuristic tái đưa nhiễu vào...
- Tinh chỉnh 8.000 bước một mô hình diffusion có mặt nạ đã tiền huấn luyện 170M tham số mất dưới năm giờ trên GPU laptop 6 GB.
- Mô hình cơ sở gán khoảng 50% xác suất cho các token đã quan sát ngay cả khi chúng là rác ngẫu nhiên đều.
- Với hỏng hóc ngẫu nhiên đều, tinh chỉnh phát hiện ngữ cảnh bị hỏng với recall 0,96 và precision 0,91, cải thiện token-F1 infill 3,8 điểm ở mức hỏng 10% và 6,4 điểm ở mức 20%.
- Điều kiện sạch không cho thấy suy giảm đo được, với tỷ lệ false-edit dưới 0,4%; lợi ích cho hỏng hóc hợp lý yếu hơn, khoảng 0,5 điểm F1 ở mức hỏng 10%, không có ý nghĩa thống kê.
Kết quả gợi ý rằng niềm tin trung gian đạt được bằng cách thay đổi động lực forward thay vì kiến trúc trong mô hình diffusion rời rạc 170M, với khả năng phát hiện và thiệt hại phụ thuộc đồng thời vào khoảng cách so với điều kiện dữ liệu.