Today’s frontier report
Research Pool → Multi-Scout → Editor → Edition
3qk7 · AI LOCAL LABS TECHNICAL SCOUTING

AI FRONTIER

Signals worth understanding before they become obvious.

2026-11-21
01
testinferenceincremental

Vì sao CNN thị giác dưới 4 bit sụp đổ và phục hồi độ chính xác hỗn hợp dừng ở đâu

Bài báo phân tích một cách hệ thống sự sụp đổ lượng tử hóa trên các CNN thị giác tiêu chuẩn, gồm các backbone ResNet và EfficientNet, được đánh giá trên toàn bộ tập xác thực ImageNet-1k gồm 50.000 ảnh, và giới thiệu một thác phục hồi nhiều bước.

  • Sự sụp đổ có tính phi tuyến cao và tập trung ở các phép chiếu pointwise giai đoạn cuối và các lớp depthwise.
  • Giữ dưới 5% hoạt hóa của các lớp quan trọng ở độ chính xác 8 bit phục hồi tới 92% độ chính xác bị mất trong quá trình nén dưới 4 bit mạnh.
  • Trên kiến trúc CPU ARM và x86 tiêu chuẩn, việc giải nén bit bằng phần mềm của runtime tiêu chuẩn gây chậm thực thi từ 1,48x đến 21,5x tùy theo kích thước lô.

Với nhà phát triển thị giác biên, trọng số dưới 4 bit giảm dung lượng lưu trữ chứ không giảm thông lượng, nên phục hồi độ chính xác hỗn hợp cần nhắm vào các phép chiếu pointwise giai đoạn cuối và lớp depthwise đồng thời đo chi phí giải nén.

arXiv cs.AI
02
testmodelscapability unlock

thinkingmachines/Inkling-2-Mini: transformer vòng đa phương thức 26,4B với trọng số mở

Thinking Machines Lab phát hành Inkling 2 Mini, một transformer vòng đa phương thức gốc với 26,4B tham số tổng và 3,4B tham số hoạt động, theo giấy phép Apache 2.0 cùng trọng số mở. Mô hình nhận đầu vào văn bản và hình ảnh, hỗ trợ cửa sổ ngữ cảnh tối đa 1M token.

  • 26,4B tham số tổng và 3,4B tham số hoạt động; 12 lớp giữa chạy ba lần với trọng số chia sẻ, tạo ra 48 lần áp dụng lớp mỗi token và 5,4B tham số hoạt động hiệu dụng.
  • Kiến trúc là MoE thưa decoder-only 24 lớp, định tuyến mỗi token tới 8 trong 128 chuyên gia ở mỗi lớp, với attention kết hợp cục bộ và toàn cục.
  • Phân phối dưới dạng một checkpoint khoảng 20GB ở độ chính xác hỗn hợp NVFP4 và MXFP8, hỗ trợ suy luận cục bộ trên 1x NVIDIA DGX Spark và thiết bị Apple silicon có 32GB bộ nhớ trở lên.
  • Thẻ mô hình báo cáo SWEBench Verified (chỉ bash) 79,2%, SWEBench Pro v2 (Hard) 77,9%, MMMU Pro Standard 10 74,9% và OmniDocBench v1.6 92,8%.

Nhà phát triển có một mô hình đa phương thức trọng số mở chạy được trên phần cứng cục bộ hạng 32GB, nhưng thẻ mô hình nêu khả năng hồi tưởng sự kiện yếu hơn Inkling 2 Small và có thể thực hiện hành động tác nhân phá hoại mà không xác nhận, ...

Hugging Face Trending
03
testdeveloperopen source unlock

Hugging Face ra mắt harness adapters: tinh chỉnh mô hình cho harness agent của bạn bằng RL

Hugging Face công bố một công thức tái sử dụng, huấn luyện một adapter LoRA cho mỗi harness agent đối với Qwen3.8-27B bằng RL bên trong Pi, OpenCode và Hermes Agent, sau đó hợp nhất ba LoRA thành một super adapter chạy nguyên trạng trên cả ba harness.

  • Bài báo cáo rằng Qwen3.8-27B đạt 39% trên Terminal-Bench 2.1 với harness pi, trung bình 2,9K token mỗi tác vụ; thêm adapter LoRA huấn luyện bằng RL trên trọng số đóng băng đạt 55% pass@1 với trung bình 1,5K token.
  • Mỗi adapter được huấn luyện trên GPU NVIDIA 2×B200, một GPU cho máy chủ vLLM và một cho tiến trình huấn luyện.
  • Hỗn hợp dữ liệu cuối cùng kết hợp 750 tác vụ từ các môi trường RL harness-adapters với 300 tác vụ từ termgrade.
  • Bộ dữ liệu harness-hub/agentic-coding-envs chứa 871 tác vụ từ 35 kho mã, trong đó 171 tác vụ tạo thành tập con qualified cho huấn luyện GRPO.

Với những người xây dựng agent, điều này cho thấy tinh chỉnh RL bên trong harness thực sự triển khai có thể tăng tỷ lệ vượt qua và giảm lượng token dùng mà không cần đổi mô hình nền.

Hugging Face Blog
04
watchresearchcapability unlock

Huấn luyện mô hình ngôn ngữ cho giám sát nội quan

Bài báo giới thiệu giám sát nội quan: một vai trò quan sát viên ngôi thứ ba riêng biệt được thêm vào mô hình để trả lời các câu hỏi về trợ lý, với phần thưởng cho các câu trả lời được xác minh dựa trên hành vi thực tế của trợ lý. Trên năm đánh giá giám sát giữ lại, một quan sát viên được huấn luyện trên Qwen3.6-27B đạt...

  • Một quan sát viên được huấn luyện trên Qwen3.6-27B đạt AUROC trung bình 0,907 trên năm đánh giá giám sát giữ lại.
  • Đường cơ sở: huấn luyện trung thực 0,864, giám sát bản ghi 0,828, oracle kích hoạt 0,796.
  • Bài báo báo cáo rằng huấn luyện một quan sát viên giúp bản thân trợ lý dễ giám sát hơn, với mọi phương pháp đường cơ sở đều cải thiện trung bình trên trợ lý đã tinh chỉnh.
  • Bài báo dài 31 trang, 13 hình và 8 bảng, được gửi vào ngày 17 tháng 11 năm 2026.

Đối với nhà phát triển, điều này gợi ý một vai trò quan sát viên có thể huấn luyện tách biệt khỏi trợ lý và chỉ nhằm độ chính xác, như một con đường giám sát ngoài việc giám sát bản ghi bên ngoài và bộ giải mã kích hoạt.

arXiv cs.AI
05
testresearchincremental

Watch Where You Linearize: Dự đoán và sửa chữa nhiễu trong hợp nhất mô hình

Bài báo cho thấy đạo hàm có hướng bậc nhất của đầu ra tác vụ A dọc theo vector tác vụ B có thể dự đoán nhiễu, nhưng chỉ khi được đánh giá tại mô hình nhận, và xây dựng LR-Merge để tối ưu hệ số qua khớp giáo viên lồi không nhãn.

  • Tại mô hình nhận, đạo hàm này dự đoán các hợp nhất lân cận theo tác vụ và theo mẫu, giảm một nửa sai số độ chính xác của đường cơ sở không thay đổi, và xác định hầu hết các mẫu có dự đoán bị đảo.
  • Hợp nhất đa tác vụ đầy đủ cần hai lần đánh giá dọc theo đường hợp nhất; một lần đánh giá là không đủ.
  • Tại backbone tiền huấn luyện dùng chung, đạo hàm này gần như trực giao với các thay đổi thực tế trong thí nghiệm thị giác và chỉ dự đoán một phần trong các thử nghiệm mô hình ngôn ngữ LoRA.

Nhà phát triển có thể đánh giá đạo hàm có hướng tại mô hình nhận để dự đoán nhiễu hợp nhất với chi phí thấp và dùng khớp giáo viên lồi không nhãn của LR-Merge thay cho tìm kiếm hệ số tốn kém.

arXiv cs.LG
06
watchagentsincremental

Where the Tokens Go: Nhiệt, Entropy và Lỗi trong Lập trình Tác tử

Bài báo giới thiệu một lý thuyết nhiệt động lực học phần mềm, coi token do tác tử lập trình tạo ra là chi phí và chia chi phí đó thành công và nhiệt. Lý thuyết được kiểm chứng bằng cách cho tác tử liên tục thay đổi rồi hoàn tác các thay đổi trong kho mã, đồng thời đếm token của mọi lần gọi mô hình.

  • Bài báo báo cáo rằng khoảng 80 phần trăm token của một lần chạy thành công được tạo ra trong các lần gọi mô hình để nguyên thay đổi được yêu cầu, mà tác giả gọi là nhiệt.
  • Bài báo báo cáo rằng năng lượng tự do của một thay đổi, ước lượng theo tương tự với đẳng thức Jarzynski, là 14 đến 22 phần trăm chi phí trung bình của một lần chạy lập trình thành công.
  • Bài báo báo cáo rằng lập trình tốn chi phí gấp 1,1 đến 1,5 lần so với hoàn tác lập trình.
  • Bài báo báo cáo rằng độ phân tán chi phí qua các chu kỳ lặp lại định nghĩa một nhiệt độ phần mềm, và nhiệt độ này tăng theo nhiệt độ lấy mẫu của mô hình.

Khung này cho phép nhà phát triển tách chi tiêu token của tác tử thành công hữu ích và nhiệt lãng phí để nhắm vào các lần gọi mô hình không đưa thay đổi được yêu cầu tiến lên.

arXiv cs.AI
07
watchresearchbenchmark jump

RFBench: Benchmark đa phương thức dựa trên trình mô phỏng cho thiết kế và hiểu bố cục RF thụ động

Bài báo giới thiệu RFBench, một bộ dữ liệu và benchmark dựa trên trình mô phỏng để đánh giá các mô hình ngôn ngữ đa phương thức về thiết kế và hiểu bố cục RF thụ động qua bảy tác vụ.

  • Bộ dữ liệu chứa 10.000 bố cục phẳng hai cổng được mô phỏng bằng ADS Momentum.
  • Mỗi bố cục bao gồm các hình học nguyên thủy có thể chỉnh sửa, ảnh raster, lưới chiếm dụng 16x16, tham số S phức tại 201 điểm tần số, một loại cấu trúc và một nhãn phản hồi RF.
  • Bảy tác vụ được định nghĩa: tạo bố cục theo điều kiện đặc tả, chuyển đổi biểu diễn, dự đoán phản hồi, xác thực dựa trên trình mô phỏng, chẩn đoán và cải thiện thiết kế, hiểu cấu trúc và phân loại phản hồi.
  • Bài báo báo cáo rằng tinh chỉnh chuyên biệt RF tăng tính hợp lệ cấu trúc T1a từ 0,0% lên 83,2% và tỷ lệ trong 2 dB cho đầu vào nguyên thủy T3 từ 17,7% lên 62,8%.

Tinh chỉnh chuyên biệt RF cải thiện đáng kể tính hợp lệ cấu trúc và dự đoán phản hồi, nhưng kết quả được báo cáo cho thấy vẫn còn nhiều dư địa để tạo ra các bố cục trung thực về điện từ.

arXiv cs.AI
08
testinferencecost collapse

Ước lượng mức quan trọng toàn cục cho việc loại bỏ KV cache

Bài báo giới thiệu PRKV, một phương pháp loại bỏ KV cache không cần huấn luyện, ước lượng mức quan trọng toàn cục của token theo nhiều bước bằng cách áp dụng Personalized PageRank trên đồ thị chuyển tiếp do attention tạo ra, cho phép lan truyền mức quan trọng vượt ra ngoài tính gần đây hoặc attention tức thời mà không ...

  • PRKV không cần huấn luyện và không sửa đổi mô hình.
  • Ở các tỷ lệ nén từ trung bình đến mạnh, bao gồm tới 90%, PRKV đạt hiệu năng tác vụ cạnh tranh so với các baseline loại bỏ đã được thiết lập trên hiểu ngữ cảnh dài, truy xuất thưa và suy luận chuỗi suy nghĩ.
  • Phương pháp này giảm mức sử dụng bộ nhớ đỉnh với chi phí đầu-cuối thấp.
  • Bài báo đã được chấp nhận tại NeurIPS 2026, bởi Seojin Kim và Noseong Park.

Đối với người xây dựng suy luận ngữ cảnh dài, PRKV cho thấy việc thay thế chấm điểm theo tính gần đây hoặc attention tức thời bằng ước lượng ảnh hưởng toàn cục nhiều bước có thể giữ hiệu năng tác vụ ở tỷ lệ nén cao đồng thời giảm bộ nhớ đỉn...

arXiv cs.CL