Today’s frontier report
Research Pool → Multi-Scout → Editor → Edition
3qk7 · AI LOCAL LABS TECHNICAL SCOUTING

AI FRONTIER

Signals worth understanding before they become obvious.

2026-11-12
01
watchresearchcapability unlock

Lazare: Lập trình lại nơ-ron không hoạt động để cài backdoor vào tác nhân AI

Các nhà nghiên cứu Microsoft đã phát hiện Lazarus, một kỹ thuật backdoor lập trình lại chưa đến 10 nơ-ron không hoạt động trong một LLM để tác nhân xây dựng trên đó thực thi lệnh độc hại khi một kích hoạt ẩn xuất hiện, mà không cần huấn luyện.

  • Lập trình lại trọng số của chưa đến 10 nơ-ron không hoạt động trong một LLM là đủ để cài backdoor vào tác nhân xây dựng trên đó, và không cần huấn luyện.
  • Kích hoạt có thể tầm thường như thay đổi ngày: khi đồng hồ qua nửa đêm sang năm 2027, tác nhân giữa một tác vụ thông thường phát ra lệnh tải xuống và chạy mã của kẻ tấn công.
  • Bài báo báo cáo rằng một bộ phân loại tuyến tính được khớp trên khoảng 50 ví dụ có thể phân biệt đầu vào có kích hoạt với đầu vào không có kích hoạt.
  • Cuộc tấn công chỉ cần tính toán suy luận: nếu máy có đủ RAM để chạy một mô hình, máy đó đủ để cài backdoor trong không gian trọng số.

Nhà phát triển nên coi tính toàn vẹn của trọng số như tính toàn vẹn của mã: nếu không so sánh với trọng số gốc chưa sửa đổi, không có quét nào chứng minh được mô hình an toàn, khiến nguồn gốc và xác minh trước triển khai trở nên thiết yếu.

Microsoft Research
02
testagentsopen source unlock

BotPsy: Trợ lý cá nhân trên thiết bị với mô hình ngôn ngữ tác tử dưới một tỷ tham số

Tether AI Research giới thiệu BotPsy, mô hình 0,8 tỷ tham số được xây dựng trên Qwen3.5-0.8B và thiết kế cho gọi hàm cùng các quy trình tác tử, phù hợp để triển khai trên thiết bị.

  • BFCL v4 tăng từ 23,4 lên 44,0, ACEBench từ 30,1 lên 58,7 và τ-bench từ 23,2 lên 51,5.
  • Mô hình vượt Qwen3.5-2B-Think trên BFCL v4, ACEBench, τ-bench, ToolSandbox và BrowseComp-Plus; chỉ trên Claw-Eval Qwen3.5-2B-Think dẫn trước (48,9 so với 46,5).
  • IFEval tăng từ 59,7 lên 90,8 và IFBench từ 22,0 lên 55,9.
  • Mô hình sẽ được phát hành với trọng số mở theo giấy phép Apache 2.0 ở ba độ chính xác (bf16, Q8, Q4) dưới dạng tệp safetensors và GGUF.

Với người xây dựng tác tử trên thiết bị, BotPsy cho thấy một mô hình 0,8 tỷ tham số có thể vượt mô hình lớn gấp 2,5 lần trên các bài kiểm tra sử dụng công cụ, trong khi tác vụ kiến thức vẫn phụ thuộc vào số tham số.

Hugging Face Blog
03
testmodelscapability unlock

Mô hình mới trên OpenRouter: Baidu ERNIE-5.5-Flash-Preview (miễn phí)

ERNIE-5.5-Flash-Preview của Baidu có sẵn miễn phí trên OpenRouter với 280 tỷ tham số tổng, 14 tỷ tham số được kích hoạt mỗi token và cửa sổ ngữ cảnh 1 triệu token.

  • 280 tỷ tham số tổng, với 14 tỷ tham số được kích hoạt mỗi token.
  • Cửa sổ ngữ cảnh 1.024.000 token, hỗ trợ tối đa 1.024.000 token hoàn thành.
  • Trang cho biết kiến trúc mới mang lại tốc độ sinh văn bản hơn 200 token mỗi giây.
  • Được một nhà cung cấp duy nhất là Baidu Qianfan lưu trữ với giá bằng không; các endpoint miễn phí bị giới hạn tốc độ.

Ngữ cảnh miễn phí một triệu token kết hợp kích hoạt thưa phù hợp để tạo nguyên mẫu cho tài liệu dài và quy trình tác tử, nhưng cần tính đến nhà cung cấp duy nhất và giới hạn tốc độ.

OpenRouter Models
04
watchresearchcapability unlock

AlphaGenome 2: Giải mã cách tế bào đọc DNA để hiểu rõ hơn về bệnh tật

Google DeepMind công bố AlphaGenome 2, mô hình trình tự DNA thế hệ mới sử dụng kiến trúc điều kiện để dự đoán tác động của biến thể đối với từng loại hoặc trạng thái tế bào cụ thể và thích ứng với dữ liệu đơn bào mới mà không cần huấn luyện lại.

  • Trên bộ dữ liệu TenK10K, AlphaGenome 2 xác định được gần gấp đôi số biến thể nhân quả (30% so với 16%) và hiệu ứng gen có hướng (43% so với 23%) so với AlphaGenome gốc được tinh chỉnh trên dữ liệu đơn bào.
  • Mô hình được huấn luyện trên hơn 107 triệu hồ sơ tế bào riêng lẻ thuộc 68 mô.
  • Mô hình dự đoán biểu hiện gen, biến đổi histone, khả năng tiếp cận chromatin và methyl hóa DNA.
  • AlphaGenome 2 có sẵn hôm nay cho nghiên cứu phi thương mại qua AlphaGenome API và ở chế độ xem trước riêng tư cho nghiên cứu thương mại.

Mô hình hóa đơn bào có điều kiện cho phép nhà nghiên cứu xác định tác động của biến thể trong các loại tế bào liên quan đến bệnh mà không cần huấn luyện lại mô hình cho từng bộ dữ liệu mới.

Google DeepMind
05
testinferencecost collapse

HOPE: Cắt tỉa chuyên gia bậc cao trong các mô hình ngôn ngữ Mixture-of-Experts

HOPE là phương pháp cắt tỉa chuyên gia bậc hai, xây dựng ma trận tương tác theo cặp giữa các chuyên gia F trên tập hiệu chuẩn và giải một quy hoạch toàn phương để chọn tập cắt tỉa, thay vì chấm điểm từng chuyên gia độc lập như các phương pháp bậc một.

  • Qwen3.5-122B có 256 chuyên gia trong mỗi lớp trong số 48 lớp MoE, và khoảng 95% dung lượng bộ nhớ tham số ~250 GB của nó bị chiếm bởi các MLP chuyên gia, trong khi chỉ 8 chuyên gia mỗi lớp được dùng cho bất kỳ token nào.
  • Ở mức cắt tỉa 50%, HOPE đạt thứ hạng trung bình 1,58 so với 2,42 của phương pháp tốt thứ hai, REAP.
  • Trên Qwen3.5-35B-A3B ở mức cắt tỉa 50%, HOPE đạt 42,3 trên SWE-Bench Pro, ngang bằng 41,8 của mô hình chưa cắt tỉa, trong khi REAP giảm xuống 36,2.
  • Đường chéo của ma trận F khôi phục gần như hoàn hảo thứ hạng chuyên gia của REAP (Spearman ρ = 0,988), do đó lợi thế của HOPE so với REAP đến từ các số hạng tương tác ngoài đường chéo.

Đối với các nhóm triển khai MoE lớn dưới ràng buộc bộ nhớ, HOPE cho thấy việc mô hình hóa sự hợp tác theo cặp giữa các chuyên gia duy trì khả năng lập trình tác tử ở mức cắt tỉa mạnh, nơi chấm điểm chuyên gia độc lập suy giảm rõ rệt.

Hugging Face Blog
06
testdocumentsincremental

Huấn luyện nhận biết Token Pooling cho mô hình embedding đa vector

Bài blog Hugging Face giải thích huấn luyện nhận biết pooling trong Sentence Transformers, áp dụng loss truy xuất cho cả embedding tài liệu gốc lẫn embedding nén để encoder giữ lại thông tin quan trọng sau khi các vector token được gộp.

  • Với pool_factor=4, mô hình huấn luyện thông thường giữ 94,6% nDCG@10 NanoBEIR khi chưa pooling, với số vector tài liệu giảm 4 lần.
  • Huấn luyện nhận biết pooling nâng mức giữ lại đó lên 97,8% với cùng ngân sách lưu trữ.
  • Loss là L = 1/2 L_unpooled + 1/2 L_pooled, cả hai mục tiêu cùng cập nhật một encoder.
  • HierarchicalTokenPooling dùng phân cụm phân cấp Ward và trong huấn luyện dùng straight-through estimator để truyền gradient từ vector đã pool về các token thành viên.

Với hệ thống truy xuất đa vector, huấn luyện nhận biết pooling giúp khôi phục chất lượng truy xuất bị mất do nén thông qua việc căn chỉnh mục tiêu huấn luyện mà không tăng lưu trữ vector.

Hugging Face Blog
07
watchresearchincremental

Huấn luyện ở prefill, giám sát ở decode: Dùng sparse autoencoder để giám sát chủ đề

Bài báo giới thiệu TopicScope, một khung để huấn luyện bộ phân loại chủ đề nhân quả trên các đặc trưng SAE, gán chủ đề cho từng token để nhãn có thể thay đổi giữa chừng trong câu trả lời. Trên Gemma-3 1B và 4B, các bộ giám sát được huấn luyện trên đặc trưng trích xuất từ hidden state prefill đã tổng quát hóa sang giai ...

  • Ba kiến trúc bộ phát hiện được huấn luyện trên các cuộc hội thoại tổng hợp đa chủ đề bao gồm bảy chủ đề.
  • Trên Gemma-3 1B và 4B, các bộ giám sát được huấn luyện trên đặc trưng trích xuất từ hidden state prefill đã tổng quát hóa sang giai đoạn decode.
  • Các bộ phân loại bền vững trước nhiễu loạn, mất tối đa 5 điểm macro-F1 khi chèn nội dung lạc đề, loại bỏ chủ đề hoặc sắp xếp lại các phần.
  • Các thí nghiệm ablation về đóng góp của SAE cho thấy các bộ phân loại đạt hiệu năng cơ sở mà không có nó thì lớn hơn vài lần.

Điều này cho thấy các bộ giám sát chủ đề nhỏ gọn có thể được huấn luyện với chi phí thấp ở prefill và triển khai trong quá trình sinh, đồng thời chỉ ra nơi SAE hữu ích ngoài phân loại an toàn.

arXiv cs.AI