Today’s frontier report
Research Pool → Multi-Scout → Editor → Edition
3qk7 · AI LOCAL LABS TECHNICAL SCOUTING

AI FRONTIER

Signals worth understanding before they become obvious.

2026-11-15
01
watchresearchincremental

Hack bảng xếp hạng: Đánh giá mô hình dựa trên sở thích dễ bị thao túng

Bài báo báo cáo rằng các bảng xếp hạng kiểu Arena, vốn tổng hợp so sánh từng cặp giữa các mô hình ẩn danh bằng mô hình Bradley-Terry, dễ bị tổn thương trước bỏ phiếu chiến lược, gợi ý chiến lược và đề cử chiến lược.

  • Bài báo chứng minh bỏ phiếu chiến lược, gợi ý chiến lược và đề cử chiến lược trên dữ liệu bảng xếp hạng công khai.
  • Bài báo báo cáo mỗi cuộc tấn công có thể nâng một mô hình lên tới 15-20 bậc trong bảng xếp hạng và khi kết hợp có thể nâng lên tới 45 bậc.
  • Bài báo nêu rằng những vấn đề này đúng với mọi đánh giá dựa trên sở thích sử dụng mô hình Bradley-Terry cho phép gợi ý, bỏ phiếu hoặc gửi mô hình mở.

Các nhóm xây dựng hoặc dựa vào bảng xếp hạng kiểu Arena cần biện pháp chống thao túng ở khâu bỏ phiếu, gợi ý và gửi mô hình, nếu không nhà cung cấp có thể nâng thứ hạng một cách chiến lược.

arXiv cs.AI
02
watchresearchincremental

Ước lượng trạng thái nhận biết nhiệm vụ mạnh mẽ từ nhận thức tiền huấn luyện

Bài báo đề xuất Tập Niềm Tin Tối Thiểu θ-tin cậy (MBS_θ), được xây dựng từ các xác suất mà mô hình nhận thức đã tạo ra, chẳng hạn phân phối token ở lớp đầu ra của VLM, là tập con trạng thái tối thiểu có xác suất tích lũy đạt ngưỡng khối lượng niềm tin do người dùng chỉ định, cùng với thuật toán PRaVaSS.

  • Bài báo của Guy Azran và Sarah Keren, xuất hiện tại NeurIPS 2026.
  • MBS_θ được định nghĩa là tập con trạng thái tối thiểu có xác suất tích lũy đạt ngưỡng khối lượng niềm tin do người dùng chỉ định.
  • PRaVaSS xây dựng MBS_θ với bảo đảm tính đúng đắn và độ phức tạp đa thức trong trường hợp không ràng buộc.
  • Dùng VLM làm xương sống của bộ ước lượng trạng thái, các tác giả kiểm chứng các tính chất lý thuyết, khả năng mở rộng theo kích thước bài toán và cải thiện ra quyết định hạ nguồn trong pipeline lập kế hoạch nhiệm vụ.

Với người xây dựng tác tử, giữ lại xác suất của mô hình nhận thức thay vì quyết định hóa thành một phỏng đoán tốt nhất duy nhất có thể tăng độ mạnh mẽ của quyết định mà không cần duy trì phân phối trạng thái biểu tượng đầy đủ.

arXiv cs.AI
03
testinferenceincremental

Together Compiler: Biên dịch liên tục cho suy luận AI

Together AI giới thiệu Together Compiler (TKCC), một vòng lặp tác tử liên tục để tối ưu suy luận AI, kết hợp Tiered Persistent Engine với mô hình chi phí để chọn cấu hình song song nhằm giảm đánh đổi giữa thông lượng đo lường và độ trung thực.

  • Bài báo báo cáo TKCC nhanh hơn tới 1,7x so với Megakernels viết tay được tối ưu hóa cao trên khối lượng công việc Llama 1B.
  • Bài báo báo cáo TPS cao hơn tới 2,6x so với các engine mã nguồn mở tốt nhất trên benchmark InferenceX, trên nhiều nền tảng phần cứng, với các mô hình Kimi K3, GLM 5.3, MiniMax M3.1 Flash và DeepSeek v4.1 Flash.
  • Bài báo báo cáo hiệu năng state-of-the-art ở batch size 1 với 1111 TPS trên M3.1 Flash và 1205 TPS trên DeepSeek v4.1 Flash.
  • Bài báo nêu TKCC phục vụ hàng nghìn tỷ token trên đội máy chủ production của Together AI.

Với các nhóm serving suy luận, TKCC định vị biên dịch như một vòng lặp trực tuyến liên tục thay vì tinh chỉnh kernel ngoại tuyến, nhưng các con số tăng tốc là do bài báo báo cáo và chưa được xác minh độc lập.

arXiv cs.AI
04
watchagentsincremental

Dọn lịch sử của agent gây hại khi thế giới vẫn còn lỗi

Bài báo đóng băng một agent giữa tác vụ với trạng thái thế giới chính xác trên AgentCE-Bench và AppWorld, chỉnh sửa lịch sử hoặc thế giới rồi để một mô hình nhận tiếp tục, và nhận thấy tác động của việc chỉnh sửa lịch sử phụ thuộc vào thế giới mà nó mô tả.

  • AgentCE-Bench: sau khi agent ghi một giá trị sai, giữ nguyên thế giới và thêm ghi chú trung thực bên cạnh lỗi được giữ lại nâng tỷ lệ phục hồi từ 51% dưới ghi chú trung tính tương ứng lên 66%.
  • AgentCE-Bench: thay vào đó thêm hành động đã hoàn thành của chính agent lại hạ tỷ lệ phục hồi xuống dưới lịch sử chưa chỉnh sửa, từ 50% xuống 44%.
  • AppWorld: sau một lần ghi cơ sở dữ liệu, biên nhận thành công hạ tỷ lệ thành công toàn tác vụ từ 45% xuống 28% khi hiệu ứng vắng mặt và nâng từ 38% lên 49% khi hiệu ứng hiện diện.
  • Bài báo báo cáo hai hiệu ứng chênh nhau 27 điểm khi gộp trên hai mô hình nhận, dương ở sáu trong tám mô hình nhận tại mức 97,5% và bảy tại mức 95%.

Người xây dựng hệ thống nén hoặc bàn giao lịch sử agent phải giữ chỉnh sửa lịch sử khớp với trạng thái thực tế của thế giới, vì lịch sử trông sạch trong khi thế giới vẫn còn lỗi có thể khiến agent tệ hơn cả khi không chỉnh sửa gì.

arXiv cs.AI
05
testdeveloperincremental

SynthCorp: Nền tảng tạo benchmark cho các tác nhân dữ liệu

Bài báo giới thiệu SynthCorp, một nền tảng tạo ra các tập dữ liệu và benchmark có thể tùy chỉnh bằng cách mô phỏng cách các sự kiện kinh doanh tạo ra và sửa đổi dữ liệu doanh nghiệp theo thời gian, và dùng nó để tạo benchmark ban đầu gồm bảy tập dữ liệu và 256 tác vụ.

  • Mỗi tập dữ liệu SynthCorp kết hợp cơ sở dữ liệu quan hệ, kho tài liệu và danh mục dữ liệu, đi kèm các tác vụ đánh giá và chương trình chuẩn có thể thực thi.
  • Benchmark ban đầu gồm bảy tập dữ liệu (tối đa 1K bảng vận hành) và 256 tác vụ trên năm lĩnh vực.
  • Bài báo báo cáo rằng các tập dữ liệu vượt qua kiểm tra pipeline tất định như vi phạm khóa ngoại, ghi không khai báo, vi phạm tái diễn và lỗi thực thi cơ sở dữ liệu với tỷ lệ lỗi gần bằng không.
  • Bài báo báo cáo đánh giá ba mô hình trên bốn thiết lập ngữ cảnh dữ liệu, cho thấy benchmark phân tách ngữ cảnh dữ liệu và các tầng mô hình.

Đối với các nhóm xây dựng tác nhân dữ liệu doanh nghiệp, SynthCorp cung cấp con đường tạo benchmark có thể tùy chỉnh, xác minh chương trình chuẩn mà không cần chú thích thủ công.

arXiv cs.AI
06
watchresearchincremental

Yao Shunyu và Yang Zhilin công bố bài báo chung đầu tiên: không AI nào tự giải được một trong 30 bài toán tầm cỡ thế giới

Bài báo chung đầu tiên của Yao Shunyu và Yang Zhilin báo cáo rằng không bài toán nào trong 30 bài toán tầm cỡ thế giới được AI giải độc lập.

  • Bài báo là công bố chung đầu tiên của Yao Shunyu và Yang Zhilin.
  • Bài báo đề cập 30 bài toán tầm cỡ thế giới.
  • Bài báo báo cáo rằng không bài toán nào trong 30 bài đó được AI giải độc lập.

Với các nhà phát triển AI, kết quả được báo cáo này cho thấy khoảng trống rõ ràng của các mô hình hiện tại với các bài toán phải giải độc lập.

智源社区