AI FRONTIER
Signals worth understanding before they become obvious.
Cách chuyên biệt hóa từ vựng của SLM có thể cắt 77% chi phí suy luận trong ứng dụng thực tế
VocabX của Dharma-AI xây dựng lại từ vựng của mô hình dựa trên chi phí của từng token thay vì tần suất, giữ nguyên mô hình nền, dữ liệu và công thức huấn luyện, và báo cáo mức giảm chi phí suy luận đo được là 77,0% trên một hệ thống chấm bài luận tiếng Bồ Đào Nha.
- Hệ thống chấm bài dựa trên Qwen3-4B, và lớp đầu ra giảm từ khoảng 152.000 xuống còn khoảng 65.000 hàng.
- Bảy phiên bản của hệ thống chấm bài được huấn luyện với cùng mô hình nền, dữ liệu, công thức và seed; khác biệt duy nhất là tokenizer, và tất cả chạy cùng 500 yêu cầu trên RTX 5090 với vLLM.
- Phản hồi của mô hình giảm từ 350 xuống 101 token trung bình, chi phí giảm 77,0%, và điểm bench tăng từ 0,703 lên 0,810.
- Bài báo báo cáo VocabX nén nhiều hơn phương pháp tham chiếu mạnh nhất trong cả mười lăm tổ hợp của năm lĩnh vực công khai và ba họ mô hình, từ 1,2 đến 9,3 điểm.
Với một mô hình nhỏ đơn lĩnh vực, tokenizer là đòn bẩy chi phí được cố định trước mọi bước huấn luyện, và xây dựng lại nó theo chi phí phía sinh giúp giảm chi phí phục vụ mà không đổi mô hình nền.
Transformer học hai thuật toán sắp xếp cạnh tranh, và chỉ một thuật toán tổng quát hóa theo độ dài
Bài báo báo cáo rằng Transformer hai lớp được huấn luyện đến mất mát gần bằng không trên một tác vụ sắp xếp hội tụ về một trong hai lớp nghiệm khác biệt về mặt cơ chế tùy theo khởi tạo. Một lớp không dùng lớp attention thứ hai để sắp xếp và thất bại trong việc tổng quát hóa theo độ dài, trong khi lớp còn lại dùng cả ha...
- Bài báo báo cáo rằng bằng cách chọn khởi tạo trọng số một cách cẩn thận, các tác giả có thể hướng mô hình học nghiệm này hay nghiệm kia.
- Bài báo xác định các loại đầu vào hiếm gặp ở độ dài huấn luyện nhưng ngày càng phổ biến ở độ dài chuỗi lớn hơn là nguồn gốc của sự khác biệt trong tổng quát hóa theo độ dài.
- Bài báo nhận thấy rằng chuyên môn hóa theo từng lớp của lớp nghiệm thứ hai cho phép chúng xử lý các chuỗi hiếm gặp này chính xác hơn.
Đối với người xây dựng mô hình chuỗi, khởi tạo có thể quyết định liệu huấn luyện tạo ra thuật toán tổng quát hóa theo độ dài hay thuật toán không tổng quát hóa, khiến khởi tạo và chuyên môn hóa theo từng lớp trở thành biến thiết kế cho tổng...
NVIDIA Kumo Relational vượt qua học máy có giám sát trên dữ liệu quan hệ, không cần huấn luyện
NVIDIA phát hành Kumo Relational, một mô hình nền tảng quan hệ đã được tiền huấn luyện, dự đoán trực tiếp trên cơ sở dữ liệu doanh nghiệp: khi nhận một truy vấn dự đoán, mô hình thu thập tối đa 10.000 ví dụ lịch sử làm ngữ cảnh và dự đoán trong một lượt lan truyền xuôi duy nhất, không cần huấn luyện theo tác vụ, kỹ thu...
- Trên các tác vụ phân loại RelBench V1, Kumo Relational vượt cây tăng cường gradient trên các đặc trưng do chuyên gia thiết kế trung bình gần 4 điểm AUROC.
- Trên benchmark doanh nghiệp SAP SALT, mô hình vượt các tập hợp AutoGluon 8% về thứ hạng nghịch đảo trung bình (MRR), và tinh chỉnh mở rộng lợi thế lên 16%.
- Bài báo báo cáo rằng trên bảng xếp hạng RelArena-α, Kumo Relational đạt khoảng 17 giây và Elo 1.842, trong khi mục có điểm cao nhất rt-plurel đạt Elo 1.878 ở khoảng 7.300 giây, chậm hơn khoảng 430 lần.
- Mô hình vẫn hoạt động tốt khi chỉ dùng 0,2% dữ liệu huấn luyện làm ngữ cảnh, ổn định khi loại bỏ tới 75% liên kết khóa ngoại và hầu như không suy giảm khi thêm nhiều cột nhiễu.
Đối với các nhóm xây dựng dự đoán doanh nghiệp, Kumo Relational mang lại lựa chọn không cần huấn luyện thay thế các pipeline đặc trưng XGBoost, dù mô hình có giám sát theo tác vụ vẫn có thể vượt dự đoán trong ngữ cảnh trên tập huấn luyện rấ...
Vượt qua bảng xếp hạng vô hướng: Lấy mẫu thích ứng để nhận diện biên Pareto trong các đấu trường LLM đa mục tiêu
Bài báo trình bày Vector-Borda Empirical-Gap Elimination (VB-EGE), một thuật toán lấy mẫu thích ứng với độ tin cậy cố định để nhận diện hiệu quả các mô hình trên biên Pareto trong đánh giá kiểu đấu trường, nơi mỗi so sánh đánh giá một cặp mô hình trên một prompt theo một chiều hiệu năng được chọn.
- Dưới mô hình Bradley-Terry đa mục tiêu, bài báo cho thấy VB-EGE trả về biên Pareto đúng với xác suất cao và rút ra cận trên phụ thuộc thể hiện cho độ phức tạp mẫu của nó.
- Bài báo còn thiết lập cận dưới trong trường hợp xấu nhất cho thấy VB-EGE là tối ưu minimax sai khác chỉ bởi các nhân tố logarit.
- Mô phỏng và thực nghiệm trên ba tập dữ liệu đấu trường thực tế (Arena, SearchArena và VisionArena) chứng minh hiệu quả thực nghiệm của VB-EGE.
- Bài báo dài 51 trang bao gồm tài liệu tham khảo và phụ lục, được gửi ngày 20 tháng 10 năm 2026.
Đối với đánh giá LLM dựa trên phản hồi con người tốn kém, VB-EGE cung cấp chiến lược lấy mẫu giúp giảm số so sánh đồng thời nhận diện các biên đánh đổi đa mục tiêu với độ tin cậy cố định.
MIT^3: Nội hóa bộ nhớ bằng huấn luyện tại thời điểm kiểm thử cho hiểu video dài
Bài báo giới thiệu MIT^3, một khung thích ứng theo từng video ghi mỗi video dài vào các tham số thích ứng gọn, riêng cho video, để trả lời câu hỏi không cần video và chỉ dùng văn bản. Truy vết nhân quả chọn vị trí thích ứng, và chưng cất bộ nhớ thị giác huấn luyện bộ nhớ chỉ-văn-bản tái tạo thay đổi biểu diễn do đoạn v...
- Bài báo báo cáo khả năng trả lời câu hỏi không cần video, tiết kiệm dữ liệu, trên LVBench, LongVideoBench và Video-MME.
- Bài báo nêu rằng phương pháp dùng ít mẫu tổng hợp hơn đáng kể so với các phương pháp bộ nhớ video tham số hóa trước đó.
- Phương pháp dùng truy vết nhân quả dưới giám sát đa tỉ lệ gọn để đo tính hữu ích bộ nhớ nhân quả của từng tầng mô hình cho trả lời dựa trên video.
- Chưng cất bộ nhớ thị giác huấn luyện bộ nhớ chỉ-văn-bản tái tạo thay đổi biểu diễn do đoạn video liên quan gây ra.
Với người xây dựng hệ hỏi đáp video dài, công trình này cho thấy nội hóa phụ thuộc cả vào nơi ghi tri thức video lẫn cách chưng cất bằng chứng thị giác, chứ không chỉ thêm văn bản tổng hợp.
Rubric do chuyên gia hướng dẫn làm tín hiệu thưởng dày đặc cho học tăng cường trong các lĩnh vực không thể kiểm chứng
Bài báo giới thiệu một phương pháp chuyển đổi một khoản đầu tư nhỏ, cố định về đánh giá của chuyên gia thành phần thưởng dày đặc và kết hợp với các chỉ số truy xuất để tạo thành tín hiệu huấn luyện lai tương thích với GRPO, dành cho các tác vụ truy xuất không thể kiểm chứng như dịch vụ tài chính.
- Bài báo báo cáo mức cải thiện lên tới 6% ở Recall@3 và 6,7% ở MRR@3 so với các baseline sparse-reward.
- Bài báo nêu rằng với GRPO, phần thưởng sparse không tạo ra tín hiệu học hữu ích khi tất cả đầu ra được lấy mẫu trong một nhóm nhận cùng một kết quả, khiến quá trình tối ưu hóa bị đình trệ.
- Phương pháp này chuyển đổi một khoản đầu tư nhỏ, cố định về đánh giá SME thành phần thưởng dày đặc và kết hợp với các chỉ số truy xuất để tạo thành tín hiệu huấn luyện lai.
- Bài báo được gửi vào ngày 17 tháng 10 năm 2026, gồm 11 trang và 4 hình, thuộc RL4LLM-Agents workshop ICAIF ACM.
Đối với các nhóm xây dựng tác nhân trong lĩnh vực không thể kiểm chứng, kết quả này cho thấy việc biến một số ít rubric chuyên gia thành phần thưởng dày đặc có thể giảm tình trạng đình trệ tối ưu hóa GRPO dưới phần thưởng sparse.
Sinh mã RTL tối ưu Pareto bằng học tăng cường đa mục tiêu với mô hình ngôn ngữ lớn
Bài báo đề xuất một phương pháp học cho sinh mạch dựa trên LLM nhằm tối ưu chất lượng và tính đa dạng của toàn bộ tập mạch thu được qua nhiều lần sinh trong không gian mục tiêu PPA, thay vì chất lượng của một mạch đơn lẻ. Phương pháp gồm pipeline huấn luyện dựa trên sinh và hàm thưởng dựa trên Hypervolume Contribution ...
- Bài báo báo cáo +13,3 điểm phần trăm Hypervolume tương đối so với baseline không tối ưu PPA trên benchmark RTLLM v2.
- Bài báo báo cáo +14,4 điểm phần trăm Hypervolume tương đối so với phương pháp học tăng cường đơn mục tiêu.
- Bài báo nêu rằng phương pháp cũng thể hiện ưu thế về tính đa dạng của mạch.
- Bài báo được chấp nhận tại COLM 2026 và gửi ngày 16 tháng 10 năm 2026.
Với các nhà xây dựng AI, xem các đánh đổi PPA như bài toán bao phủ Pareto ở cấp tập hợp mang lại các ứng viên RTL đa dạng có thể chọn hậu nghiệm khi ràng buộc thiết kế thay đổi.