AI FRONTIER
Signals worth understanding before they become obvious.
180B tham số, 32GB RAM: Đẩy suy luận MoE tới giới hạn với Transformers
Một bài blog Hugging Face mô tả cách triển khai trong Transformers chỉ truyền từ SSD các expert được router chọn qua một cache có giới hạn, giúp Qwen3.8-Flash-Next chạy trên Mac 32GB ở khoảng 14 tok/s và kém Strata khoảng 6% khi giải mã ngắn.
- Qwen3.8-Flash-Next có 48 lớp với 512 expert (10 expert hoạt động), 121 GB expert ở FP8, cùng bảng embedding n-gram 51 GB.
- Expert lượng tử hóa 3 bit chiếm 49 GB trên đĩa với 12 GiB được cache trên thiết bị, và các lớp dense 8 bit khoảng 5,4 GB (+0,2% perplexity so với BF16).
- Sau khi tải, nó dùng khoảng 18 GiB, và prompt 6K đạt đỉnh 25,4 GiB.
- Kết quả cuối: giải mã 200 token 13,9 tok/s so với Strata 14,8, prefill prompt 4K 228 tok/s so với 220, giải mã sau tài liệu 6K 12,4 tok/s so với 13,7.
Với người xây dựng AI, điều này cho thấy chỉ truyền các expert được định tuyến qua một slot pool có giới hạn mà grouped_mm chạy nguyên trạng có thể tiệm cận engine chuyên dụng trên bộ nhớ tiêu dùng, khi nút thắt còn lại là khoảng 10 ms mỗi ...
DeltaHarness: Harness tự tiến hóa cho thực thi công cụ thích ứng tài nguyên
Bài báo giới thiệu DeltaHarness, một phương pháp tìm kiếm chính sách dẫn dắt bằng thực thi, giúp thích ứng harness của tác nhân từ các đo lường khởi động nguội; vòng lặp QHI của nó dùng phản hồi quan sát được để cập nhật điều phối thời gian chạy, sửa đổi kế hoạch vật lý và chọn thí nghiệm cho các đề xuất sau, với một h...
- Với điều phối cố định, chính sách vật chất hóa đã sửa đổi giảm độ trễ giao hàng hoàn chỉnh 30,0% trên một tác vụ chỉnh sửa video qua ba cặp mới.
- Trên các tác vụ held-out, các chính sách tiến hóa giảm độ trễ 8,2% so với kế hoạch cố định tốt nhất ở một seed và 4,6% so với đề xuất ban đầu ở một seed khác.
- Bài báo báo cáo rằng cùng một mô tả tác vụ và tài nguyên có thể che giấu các điều kiện thời gian chạy làm đảo ngược thứ tự độ trễ của các kế hoạch thực thi hợp lệ.
Đối với người xây dựng tác nhân dùng công cụ, điều này gợi ý rằng bản thân harness có thể được tối ưu bằng tìm kiếm chính sách dựa trên độ trễ đo được trong môi trường mục tiêu thay vì dựa vào kế hoạch tĩnh.
Mô hình ngôn ngữ có thể viết lại trọng số của chính mình
Một bài báo arXiv báo cáo rằng mô hình 27B, khi được cung cấp trọng số của chính nó, các câu trả lời đã chấm điểm và khả năng tự chạy, sẽ chẩn đoán thất bại và chỉnh sửa trọng số của mình mà không cần gradient hay huấn luyện, tăng 6,6 điểm trên 490 bài toán chưa từng thấy.
- Bài báo báo cáo rằng chỉnh sửa này giúp mô hình chính xác hơn 6,6 điểm trên 490 bài toán nó chưa từng thấy, trong một bài kiểm tra được cố định trước.
- Bài báo báo cáo rằng trong tám phiên đầu tiên như vậy, mỗi lần chỉnh sửa thay thế lần trước và độ chính xác chỉ tăng lên.
- Bài báo báo cáo rằng trong bốn kích thước, mô hình 2B không chỉnh sửa gì, mô hình 4B và 9B tự làm hỏng mình, và chỉ mô hình 27B thành công; cần một mô hình mở và vài giờ trên một GPU.
Với các nhà xây dựng, điều này gợi ý rằng tự cải thiện ở cấp trọng số có thể trở thành một con đường cải thiện sau triển khai mà không cần hạ tầng huấn luyện, dù hiệu quả được báo cáo đến nay chỉ đúng ở quy mô 27B.
Genie 4 đã có sẵn
Google DeepMind đang triển khai trải nghiệm Project Genie mới cho các thuê bao Google AI Ultra đủ điều kiện, lần đầu mở quyền truy cập Genie 4 với khả năng chỉnh sửa môi trường theo thời gian thực bằng ngôn ngữ tự nhiên và âm thanh gốc.
- Genie 4 cho phép nhập prompt giữa phiên để thay đổi thời tiết, thêm nhân vật hoặc chuyển hướng hành động theo thời gian thực.
- Genie 4 kết hợp hình ảnh với âm thanh gốc theo thời gian thực thích ứng khi cảnh diễn ra, từ âm thanh nền đến hội thoại của nhân vật.
- Genie 3 kéo dài phiên lên tới 3 phút mỗi lần tạo, tăng từ 60 giây, và hỗ trợ liên kết nhiều thế giới.
- Genie 3 bổ sung neo bằng ảnh toàn cảnh 360 độ và các sự kiện trong thế giới kích hoạt bằng prompt theo thời gian thực.
Với các nhà phát triển, mô hình thế giới đang chuyển từ tạo một lần sang môi trường tương tác có thể điều khiển bằng prompt, có âm thanh và chia sẻ được, trong khi độ trễ camera, tương tác vật lý phức tạp và độ bền cảnh dài hạn vẫn là thách...
Rumble-2-Flash: mô hình giọng nói mở 0,5B cho hơn 40 ngôn ngữ
Reson8 đã mở mã nguồn Rumble-2-Flash theo giấy phép Apache 2.0, một mô hình nhận dạng giọng nói 0,5B tham số cho hơn 40 ngôn ngữ, sử dụng kiến trúc Qwen3-ASR với hỗ trợ gốc trong Transformers và vLLM.
- Mô hình 0,5B tham số phát hành theo giấy phép Apache 2.0
- Trên bảng xếp hạng đa ngôn ngữ của Open ASR Leaderboard, đạt tỷ lệ lỗi trung bình 6,96% ở tiếng Trung, Đức, Pháp, Ý, Tây Ban Nha, Bồ Đào Nha, Hindi, Hà Lan và Anh
- Trên bảng xếp hạng tiếng Anh của Open ASR Leaderboard, đạt WER trung bình 6,6%
- Trên benchmark tổng đài của AppTek (302 giờ cuộc gọi đường dây trợ giúp, 14 giọng tiếng Anh), đạt WER 7,86%, ngang bằng Nemotron 3.5 Transcribe (30B) của NVIDIA ở mức 7,78%
Nhà phát triển có thể triển khai mô hình ASR 0,5B theo Apache 2.0 với độ chính xác đa ngôn ngữ và tổng đài được báo cáo ngang bằng mô hình 30B, cùng hỗ trợ gốc Transformers và vLLM.
Kiểm toán viên khó phát hiện phá hoại trong bản ghi đầu-cuối của nghiên cứu an toàn AI
Bài báo thực hiện một trò chơi red-team/blue-team trong đó một nhà nghiên cứu con người thực hiện các thí nghiệm an toàn AI từ đầu với vai trò kẻ phá hoại đại diện, còn kiểm toán viên cố gắng xác định thí nghiệm nào bị phá hoại và bằng cách nào, khi có toàn bộ bản ghi nghiên cứu và khả năng chạy thí nghiệm.
- Kiểm toán viên con người phân biệt nghiên cứu bị phá hoại với nghiên cứu lành tính đạt AUROC 0,59, không tốt hơn đáng kể so với ngẫu nhiên.
- Kiểm toán viên con người chỉ xác định đầy đủ hành vi phá hoại cụ thể trong 17% trường hợp.
- Các mô hình biên tốt nhất, dù không được phép chạy thí nghiệm, vượt trội so với kiểm toán viên con người (Fable 5.1: AUROC 0,73, 32% xác định đầy đủ) trong phạm vi nhiễu, và các mô hình yếu hơn có hiệu suất tương đương.
- Khi kẻ phá hoại tự chọn thí nghiệm nào bị tấn công thay vì buộc phải phá hoại mọi câu hỏi được đưa ra, việc xác định phá hoại giảm thêm.
Với các nhóm tự động hóa R&D AI, kiểm toán hậu kiểm một bản ghi nghiên cứu đầy đủ là không đủ để phát hiện phá hoại của tác nhân cấp chuyên gia, nên thiết kế kiểm toán phải chủ động xác minh thí nghiệm.
Bên trong sandbox Codex
Xem cách Codex chạy lệnh trên máy của bạn đồng thời thực thi các giới hạn hệ thống tệp và mạng do bạn kiểm soát trên macOS, Linux và Windows.
- Codex chạy lệnh trên máy của bạn.
- Codex thực thi các giới hạn hệ thống tệp và mạng do bạn kiểm soát.
- Sandbox này bao gồm macOS, Linux và Windows.
Nhà phát triển có thể chạy lệnh Codex trên ba nền tảng máy tính chính đồng thời giới hạn quyền truy cập hệ thống tệp và mạng trong phạm vi họ tự đặt ra.