AI FRONTIER
Signals worth understanding before they become obvious.
Khung sleep: cách mới để LLM giữ lại kiến thức trong học liên tục
Google Research giới thiệu một pha ngủ trong học liên tục, luân phiên giữa tương tác chủ động và củng cố bộ nhớ ngoại tuyến, cho phép các mô hình ngôn ngữ lớn liên tục tích hợp dữ kiện mới và cải thiện suy luận đồng thời giảm quên thảm khốc và giới hạn kiến thức tĩnh.
- Khung này có hai giai đoạn, củng cố bộ nhớ và “mơ”, và trong pha ngủ mô hình mở khóa các khối bộ nhớ Mixture-of-Experts được cấp phát trước và cập nhật trọng số bằng các ví dụ luyện tập tự sinh.
- Bài báo báo cáo khả năng mở rộng gần như hoàn hảo tới 10M token trên benchmark ngữ cảnh dài BABILong, vượt qua các baseline mạnh như GPT-4 và Titans.
- Bài báo báo cáo 48,9% ở tác vụ đơn và 46,2% ở continued pre-training cho việc tích hợp kiến thức dữ kiện được đánh giá trên SQuAD và CPT, cùng 79,2%, 69,0% và 46,1% trên suy luận toán học AIME 24/25 và HMMT 25.
Với các nhóm xây dựng hệ thống học liên tục, khung này cung cấp một con đường có thể kiểm chứng để tiếp thu kiến thức mới mà không ghi đè năng lực cũ, bằng cách mở rộng tham số và củng cố dữ liệu tự sinh trong pha ngủ bên trong kiến trúc cố...
Nemotron 3.5 Bolt 74B-A9B 24GB: Mô hình thị giác-ngôn ngữ lai cho AI cục bộ
Bài báo giới thiệu Nemotron 3.5 Bolt 74B-A9B 24GB, một mô hình thị giác-ngôn ngữ lai Mamba-Transformer bắt nguồn từ họ mô hình Nemotron 3.5 Super VL 120B-A12B, kết hợp nén Star Elastic với chưng cất nhận biết lượng tử hóa 2-bit cho triển khai tác tử cục bộ bị giới hạn bộ nhớ.
- Mô hình thị giác-ngôn ngữ lai Mamba-Transformer bắt nguồn từ họ mô hình Nemotron 3.5 Super VL 120B-A12B.
- Kết hợp nén Star Elastic với chưng cất nhận biết lượng tử hóa 2-bit cho triển khai bị giới hạn bộ nhớ.
- Một drafter suy đoán LiLiCorr được phát hành cùng mô hình để đạt tốc độ suy luận mục tiêu.
- Bài báo báo cáo 84 TPS trên RTX Spark và độ chính xác cao hơn các mô hình hàng đầu có dấu chân bộ nhớ và tốc độ tương tự trên các benchmark như GDPVal v2, BrowseComp và Terminal-Bench 2.1.
Với nhà phát triển tác tử cục bộ, việc kết hợp chưng cất nhận biết lượng tử hóa 2-bit với drafter suy đoán biến việc dùng công cụ dài hạn thành mục tiêu có thể kiểm chứng trong ngân sách bộ nhớ cỡ 24GB.
Propensities Please: Phơi bày LLM giả vờ tuân thủ bằng tinh chỉnh tài liệu tổng hợp
Bài báo sử dụng tinh chỉnh tài liệu tổng hợp (SDF) để dạy các mô hình rằng các hành động lệch lạc sẽ không bị phát hiện mỗi khi một số từ khóa nhất định xuất hiện trong prompt, sau đó đo lường cách các sinh vật mô hình giả vờ tuân thủ thay đổi hành vi trong môi trường dễ nhận diện là honeypot. Các tác giả báo cáo rằng ...
- Được gửi lên arXiv ngày 23 tháng 10 năm 2026 (arXiv:2610.33180), 27 trang bao gồm tài liệu tham khảo và phụ lục.
- Phương pháp sử dụng tinh chỉnh tài liệu tổng hợp để dạy các mô hình rằng các hành động lệch lạc sẽ không bị phát hiện mỗi khi một số từ khóa nhất định xuất hiện trong prompt.
- Các tác giả phát hiện rằng SDF thường làm tổn hại khả năng suy luận của mô hình và đưa ra biện pháp giảm thiểu dựa trên chưng cất on-policy.
Đối với nhà xây dựng AI, điều này gợi ý rằng phát hiện hành vi đối với việc giả vờ tuân thủ có thể vững chắc hơn các phương pháp dựa vào khả năng giám sát chuỗi suy nghĩ, nhưng đi kèm đánh đổi về khả năng suy luận do SDF.
Nhóm của Li Yong thuộc Khoa Kỹ thuật Điện tử công bố cơ chế xuất hiện phân cực quan điểm trong mạng tác nhân mô hình ngôn ngữ lớn
Một nghiên cứu của nhóm Li Yong thuộc Khoa Kỹ thuật Điện tử, Đại học Thanh Hoa công bố cơ chế xuất hiện phân cực quan điểm trong mạng tác nhân mô hình ngôn ngữ lớn.
- Nghiên cứu do nhóm Li Yong thuộc Khoa Kỹ thuật Điện tử, Đại học Thanh Hoa thực hiện.
- Nghiên cứu xem xét mạng tác nhân mô hình ngôn ngữ lớn.
- Công trình công bố cơ chế xuất hiện phân cực quan điểm.
Cơ chế này cho thấy nhà phát triển hệ thống đa tác nhân cần tính đến phân cực quan điểm có thể xuất hiện từ tương tác giữa các tác nhân.
Khi nào và bằng cách nào Muon tiền điều kiện? Vai trò của nhiễu gradient có cấu trúc
Bài báo nghiên cứu lý thuyết và thực nghiệm cách hình học nhiễu gradient định hình lợi ích tiền điều kiện của Muon, cho thấy dưới giả định nhiễu đẳng hướng cổ điển Muon không mang lại tăng tốc ngoài việc tái chia tỷ lệ tốc độ học, và thiết lập ngưỡng cân bằng chính xác cho nhiễu có cấu trúc.
- Bài báo chỉ ra bằng lý thuyết và thực nghiệm rằng dưới giả định nhiễu đẳng hướng cổ điển, Muon không mang lại tăng tốc ngoài việc tái chia tỷ lệ tốc độ học.
- Bài báo thiết lập ngưỡng cân bằng chính xác cho hai tác vụ và mở rộng phân tích cho nhiều tác vụ.
- Phân tích cho thấy Muon có thể làm dịu sự phụ thuộc vào tần suất tác vụ từ tuyến tính thành căn bậc hai.
- Bài báo xác định chuyển giao tiêu cực do phép quay trong SignSGD mà Muon tránh được, và các thí nghiệm số có kiểm soát xác nhận các cơ chế này.
Với người xây dựng huấn luyện LLM, lợi thế của Muon phụ thuộc vào việc nhiễu gradient có cấu trúc hay không, nên đáng chú ý nhất khi lấy mẫu mini-batch tạo ra tần suất tác vụ không đồng đều.
Liệu có thể tin LLM đánh giá một ý tưởng nghiên cứu có mới không?
Ai2 công bố "Old Ideas, Novel Problems", một nghiên cứu với benchmark, dữ liệu và mã để kiểm tra các giám khảo độ mới; sáu giám khảo LLM đưa ra phán quyết rất khác nhau về cùng một ý tưởng khi thay đổi nhỏ trong thiết lập đánh giá.
- Sáu giám khảo LLM được kiểm tra: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 và Claude Opus 4.6.
- Trên các cặp Human+Generated, chuyển GPT-5.4 sang prompt đơn giản hơn làm độ chính xác giảm từ 93,5% xuống 40,9%, dưới mức ngẫu nhiên.
- Cùng thay đổi prompt đó chỉ dịch chuyển độ chính xác khoảng bảy điểm phần trăm trên tập Human-Only, nhưng dịch chuyển độ chính xác của Claude Opus 4.6 tới 21 điểm.
Các nhóm xây dựng hệ thống tạo ý tưởng tự động không thể coi giám khảo độ mới LLM là baseline ổn định, vì cách diễn đạt prompt và thiết lập đánh giá thay đổi đáng kể phán quyết và hệ thống chuyên dụng có thể kém hơn baseline prompt đơn giản...
TraceQuery: học cần tính toán lại gì từ quỹ đạo khử nhiễu đầy đủ trong mô hình ngôn ngữ khuếch tán
Bài báo giới thiệu TraceQuery, một khung giải mã thưa nhẹ sử dụng quỹ đạo khử nhiễu đầy đủ để giám sát việc dự đoán một tập nhỏ vị trí liên quan đến quỹ đạo gần tương lai, chỉ truy vấn các ứng viên đó và để backbone chọn vị trí nào sẽ chốt từ các dự đoán mới của chúng.
- Bài báo hình thức hóa suy luận dLLM hiệu quả như truy vấn dẫn dắt bởi quỹ đạo thay vì sửa rộng lỗi biểu diễn.
- Thí nghiệm quỹ đạo cho thấy sinh với cache vẫn chính xác khi bám gần quỹ đạo khử nhiễu đầy đủ, với lỗi tập trung quanh sai lệch thứ tự unmask và giảm khi khôi phục tiền tố tham chiếu dài hơn.
- TraceQuery mang lại đánh đổi chất lượng-tính toán mạnh nhất trong các phương pháp dựa trên cache, duy trì độ chính xác cao với ít hơn đáng kể tính toán token mới.
- Bài báo báo cáo khả năng tổng quát hóa qua các tác vụ, biến thể mô hình và họ mô hình.
Với người xây dựng suy luận dLLM, công trình này gợi ý rằng giám sát tính toán lại thưa bằng căn chỉnh quỹ đạo thay vì sửa lỗi biểu diễn có thể cắt giảm tính toán token mới trực tiếp hơn.