AI FRONTIER
Signals worth understanding before they become obvious.
StateBench: Kiểm tra cách mô hình ngôn ngữ theo dõi thay đổi trạng thái trong tài liệu dài
Ai2 giới thiệu StateBench, một bộ đánh giá theo dõi trạng thái trong ngữ cảnh dài với bốn mức độ khó, nhằm đánh giá mức độ mô hình ngôn ngữ theo dõi thông tin về thực thể khi chúng biến đổi trong tài liệu dài.
- StateBench có bốn mức độ khó: r-trivial (gán bất biến), aperiodic (gán lại theo giá trị), soluble (cập nhật tự tham chiếu) và general finite (gán theo tham chiếu).
- Trong thử nghiệm mô hình tiền huấn luyện, gần như tất cả đạt kết quả tốt ở r-trivial, mất độ chính xác ở aperiodic khi đầu vào dài hơn, và chỉ ở mức ngẫu nhiên ở các bài toán general finite.
Người xây dựng hệ thống ngữ cảnh dài nên đánh giá kiến trúc riêng theo từng mức độ phức tạp của theo dõi trạng thái, vì transformer thất bại ở mức khó nhất ngay cả khi huấn luyện trực tiếp, trong khi Gated DeltaNet và thiết kế lai có thể họ...
Chi phí mỗi tác vụ: dùng bộ phân loại rẻ để định tuyến giữa các mô hình Gemini và mức thinking
Một bài trên blog Google for Developers bàn về định tuyến theo góc nhìn chi phí mỗi tác vụ, dùng bộ phân loại rẻ để định tuyến giữa các mô hình Gemini và mức thinking.
- Nguồn là blog Google for Developers, với chủ đề chi phí mỗi tác vụ.
- Cách tiếp cận dùng bộ phân loại rẻ để định tuyến giữa các mô hình Gemini và mức thinking.
Với người xây dựng AI, giao quyết định định tuyến cho bộ phân loại chi phí thấp cho phép phân bổ tính toán theo từng tác vụ giữa các mô hình và mức thinking.
Anthropic báo cáo tiến bộ về suy luận có thể chứng minh cho mô hình ngôn ngữ lớn
Anthropic đã công bố bản cập nhật nghiên cứu về tiến bộ hướng tới suy luận có thể chứng minh cho các mô hình ngôn ngữ lớn.
- Nguồn là Anthropic; danh mục là nghiên cứu.
- Chủ đề là tiến bộ về suy luận có thể chứng minh cho mô hình ngôn ngữ lớn.
Tiến bộ về suy luận có thể chứng minh có thể mang lại cho nhà phát triển bảo đảm mạnh hơn về tính đúng đắn của lập luận, nên đáng theo dõi.
Agentic World Modeling cho mở rộng test-time của tác tử không cần bản sao môi trường
Bài báo giới thiệu Agentic World Modeling (AWM), định hình lại việc dự đoán quan sát kế tiếp thành tác vụ thu thập bằng chứng nhiều lượt: một bộ mô phỏng tác tử truy vấn môi trường thật qua các giao diện chỉ đọc an toàn, suy luận trên bằng chứng trả về và dùng tính toán khả thi để dựng quan sát kết quả mà không thay đổ...
- Bài báo báo cáo AWM vượt baseline mô phỏng một lần trung bình 40,07% trên τ-bench, AppWorld và OfficeBench.
- Bài báo báo cáo AWM vượt baseline world model đã huấn luyện trung bình 12,36%.
- AWM truy vấn môi trường thật qua các giao diện chỉ đọc an toàn và nêu rõ không thay đổi trạng thái chia sẻ.
Với người xây dựng tác tử, AWM mở đường khám phá quỹ đạo song song trên một môi trường chia sẻ duy nhất mà không cần nhân bản, điều này quan trọng khi trạng thái sản xuất không thể đặt lại.
CWE-bench v2: Độ phủ, chất lượng và tính minh bạch cao hơn
Collinear AI phát hành CWE-bench v2, một bộ công khai gồm 100 tác vụ bao phủ 91 CWE với chấm điểm lập trình tất định, cùng một bộ held-out để theo dõi tiến độ.
- Bộ công khai gồm 100 tác vụ bao phủ 91 CWE khác nhau.
- Trong 11 mô hình được đánh giá, Gemini 4 Argon dẫn đầu với 67,8% pass@1 và 81,0% pass@4, trên Claude Opus 5.5 với 67,3% pass@1 và 78,0% pass@4.
- 95 tác vụ được ít nhất một mô hình giải quyết, nhưng ngay cả mô hình dẫn đầu cũng thất bại 19% bộ này trong mọi lần thử.
- DeepSeek V4.1 Flash đạt 57,0% pass@1 với 0,04 USD mỗi rollout, Opus với 1,83 USD và Gemini với 3,92 USD.
Nhà phát triển có thể chạy benchmark tất định này trực tiếp từ repo Hugging Face và tái sử dụng cùng môi trường và trình xác minh làm phần thưởng RL để huấn luyện các tác nhân phòng thủ.
DeepSeek ra mắt Creator Mode, dự định tiền huấn luyện mô hình lớn thế hệ tiếp theo trên chip Huawei Ascend
Theo ThePaper.cn, DeepSeek đã ra mắt Creator Mode và dự định tiền huấn luyện mô hình lớn thế hệ tiếp theo trên chip Huawei Ascend.
- ThePaper.cn đưa tin DeepSeek đã ra mắt Creator Mode.
- ThePaper.cn đưa tin DeepSeek dự định tiền huấn luyện mô hình lớn thế hệ tiếp theo trên chip Huawei Ascend.
Nếu mô hình thế hệ tiếp theo thực sự được tiền huấn luyện trên Ascend, nhà phát triển AI phải cân nhắc chi phí chuyển đổi và độ chín của toolchain cho stack huấn luyện phi NVIDIA.
Mở rộng Git tại OpenAI: backend Pando
OpenAI đã xây dựng Pando, một backend tương thích với Git được thiết kế cho quy mô phát triển mà Codex có thể mang lại.
- Pando được mô tả là một backend tương thích với Git.
- OpenAI nêu rằng Pando được thiết kế cho quy mô phát triển mà Codex có thể mang lại.
Đối với các nhà xây dựng AI, điều này cho thấy việc áp dụng tác nhân lập trình đang thúc đẩy việc thiết kế lại hạ tầng kiểm soát phiên bản nội bộ.
baidu/Unlimited-OCR-2: mô hình OCR đa phương thức 3,3B tham số với SR-SWA cho phân tích tài liệu không giới hạn độ dài
Baidu đã phát hành Unlimited-OCR-2, sử dụng Sparse Reference Sliding Window Attention (SR-SWA) để nén tương tác chú ý văn bản-hình ảnh thành một tập tham chiếu có kích thước cố định (ví dụ 512 token), giữ độ trễ giải mã mỗi bước và mức sử dụng bộ nhớ gần như không đổi bất kể độ dài tài liệu. Mô hình hỗ trợ suy luận bằn...
- Mô hình có 3,3B tham số, dùng kiểu tensor I64 và BF16, phát hành theo giấy phép MIT.
- SR-SWA nén tương tác chú ý văn bản-hình ảnh thành một tập tham chiếu có kích thước cố định (ví dụ 512 token), giữ độ trễ giải mã mỗi bước và mức sử dụng bộ nhớ gần như không đổi.
- Bài báo báo cáo hiệu năng state-of-the-art trên cả benchmark hàng chục trang như MPDocBench và benchmark cực đoan hàng trăm trang như MarathonDocBench.
- Transformers được thử nghiệm với Python 3.10, torch 2.13.0 và transformers 4.52.1 trên NVIDIA A800-80GB; SGLang được khuyến nghị cho việc phục vụ.
Với những người xây dựng pipeline phân tích tài liệu, SR-SWA biến chi phí chú ý của tài liệu dài từ phụ thuộc độ dài thành gần như không đổi, cho phép phân tích tài liệu hàng trăm trang trong một yêu cầu duy nhất trong cửa sổ ngữ cảnh hữu h...