3qk7
Today’s frontier report
Research Pool → Multi-Scout → Editor → Edition
3qk7 · AI LOCAL LABS TECHNICAL SCOUTING

AI FRONTIER

Signals worth understanding before they become obvious.

2026-10-17
01
testmodelsnew architecture

TurboMamba: Suy luận nhanh hơn, huấn luyện nhanh hơn và dự đoán tốt hơn nhờ bộ nhớ từ vựng

Bài báo giới thiệu TurboMamba, một kiến trúc mô hình ngôn ngữ trong đó mô hình Mamba-3 toàn cục chạy một lần cho mỗi khối token đã hoàn thành và một Transformer nhỏ dùng ngữ cảnh toàn cục đó cùng các token trước đó trong khối để dự đoán token tiếp theo.

  • Trên mười hai triển khai quy mô nhỏ với FineWeb-Edu công khai, có số tham số tương đương và giới hạn ngân sách huấn luyện chung, TurboMamba đạt tổn thất dự đoán kiểm thử trung bình (NLL) thấp nhất.
  • NLL trung bình của nó được báo cáo thấp hơn 9,4% so với Mamba-3, thấp hơn 7,3% so với phiên bản Jamba và thấp hơn 18,3% so với phiên bản Zamba.
  • Thông lượng huấn luyện đầu-cuối được báo cáo gấp 2,60 lần Mamba-3, gấp 2,81 lần phiên bản Jamba và gấp 4,82 lần phiên bản Zamba.

Vì mức cải thiện tổn thất và thông lượng được báo cáo đạt được với số tham số và ngân sách huấn luyện tương đương, cần tái lập trên khối lượng công việc ngữ cảnh dài hoặc thông lượng cao trước khi áp dụng.

arXiv cs.LG
02
testmodelsopen source unlock

Mô hình mới trên OpenRouter: Reflection Beam 1.0 501B A23B

Beam 1.0 là mô hình suy luận trọng số mở của Reflection cho lập trình và các luồng công việc tác tử dài hạn; mô hình dùng kiến trúc sparse mixture-of-experts với 501B tham số tổng và 23B tham số hoạt động mỗi token, cửa sổ ngữ cảnh 1M token và phát hành theo Apache 2.0.

  • Kiến trúc sparse mixture-of-experts: 501B tham số tổng, 23B tham số hoạt động mỗi token
  • Cửa sổ ngữ cảnh 1.048.576 token, hỗ trợ tối đa 131.072 token hoàn thành
  • Giá 0,25 USD mỗi 1M token đầu vào và 1,00 USD mỗi 1M token đầu ra
  • Phát hành ngày 16 tháng 10 năm 2026, knowledge cutoff ngày 30 tháng 6 năm 2026, theo Apache 2.0

Với các nhóm xây dựng tác tử lập trình, Beam 1.0 kết hợp trọng số mở Apache 2.0, ngữ cảnh 1M token và chỉ 23B tham số hoạt động mỗi token, giúp suy luận dài hạn khả dụng dưới dạng tự lưu trữ hoặc trả theo mức dùng.

OpenRouter Models
03
testresearchnew architecture

Expanding Attention: Con đường chuỗi Taylor tới Transformer thời gian tuyến tính với số trạng thái hồi quy cố định

Bài báo khai triển hạt nhân hàm mũ của attention thành chuỗi Taylor bị cắt với n số hạng và phân tích mỗi số hạng thành tích trong lũy thừa tensor, qua đó nén lịch sử nhân quả thành đúng n trạng thái hồi quy, mỗi trạng thái được cập nhật bằng một tích ngoài hạng một cho mỗi token và độc lập với độ dài ngữ cảnh N.

  • Phép đệ quy là không mất mát đối với hạt nhân bị cắt ở mức 2,2 × 10^-16 trong float64, và các trạng thái có tính cộng giữa các đoạn ở mức 5,7 × 10^-14, nên prefill cho phép quét song song.
  • Bài báo báo cáo số mũ đo được là t ∝ N^2,28 cho softmax so với N^0,91 cho các trạng thái, với điểm giao nhau tại N ≈ 728 và 20,8× tại N = 8192.
  • Độ trễ giải mã mỗi token không đổi ở 7,3 μs so với N^1,04 cho softmax, cho mức 76,0× tại N = 65536.
  • Chuẩn hóa query và key là điều kiện tiên quyết: nếu không có nó, đối số vượt quá bán kính hội tụ và việc thêm số hạng không còn giúp ích.

Đối với người xây dựng, điều này cho thấy attention tuyến tính trạng thái cố định chỉ có lợi trên khoảng 728 token và đòi hỏi chuẩn hóa query và key, nếu không thì thêm số hạng Taylor trở nên vô hiệu.

arXiv cs.LG
04
testmodelsopen source unlock

Mô hình mới trên OpenRouter: XingChen Xing4.0 29B A4B (miễn phí)

Xing4.0-29B-A4B là mô hình ngôn ngữ mixture-of-experts trọng số mở của nhóm AI China Telecom (TeleAI) và là phiên bản kế tiếp của dòng TeleChat, với 29B tham số tổng, 4B kích hoạt mỗi token và cửa sổ ngữ cảnh gốc 256K token.

  • 29B tham số tổng với 4B kích hoạt mỗi token và cửa sổ ngữ cảnh gốc 256K token; OpenRouter ghi ngữ cảnh là 262.144 token.
  • Được huấn luyện hoàn toàn trên NPU Ascend với framework MindSpore.
  • Được tinh chỉnh cho công việc kỹ thuật phức tạp và tác nhân: gọi công cụ, lập kế hoạch nhiều bước và thực thi ngữ cảnh dài; suy luận bật mặc định và có thể tắt.
  • Miễn phí trên OpenRouter, phát hành ngày 16 tháng 10 năm 2026, hỗ trợ tools và tool_choice cho gọi hàm cùng đầu ra có cấu trúc qua JSON schema trong response_format.

Với người xây dựng tác nhân, đây là endpoint MoE trọng số mở 29B miễn phí với ngữ cảnh 256K và gọi công cụ, phù hợp để thử nghiệm pipeline lập kế hoạch nhiều bước trên ngữ cảnh dài.

OpenRouter Models
05
testagentsbenchmark jump

The World Won't Wait: Đánh giá và dạy tác tử dưới đồng hồ thời gian thực

Bài báo giới thiệu RealtimeBench gồm 180 nhiệm vụ thuộc sáu loại trò chơi để đánh giá tác tử trong khi trò chơi vẫn tiếp tục chạy trong lúc suy luận, và đề xuất TORSI, trong đó một giáo viên chậm nghiên cứu thất bại và kiểm thử chỉnh sửa giữa các lần thử rồi viết hướng dẫn tái sử dụng cho một học sinh nhanh.

  • RealtimeBench gồm 180 nhiệm vụ thuộc sáu loại trò chơi, với trò chơi vẫn tiếp tục chạy trong lúc suy luận.
  • Đánh giá theo cặp cho thấy GPT-6.1-sol vượt Jev nhanh hơn khi trò chơi bị tạm dừng, nhưng tụt lại khi trò chơi tiếp tục chạy.
  • Trong TORSI, học sinh hành động mà không gọi giáo viên trong lúc chơi, và điểm xác thực quyết định cập nhật nào được chấp nhận.
  • Bài báo báo cáo hai vòng nâng điểm kiểm tra trung bình của Jev từ 13,51 lên 24,19 trên thang tiến độ 0–100, cải thiện cả sáu loại trò chơi.

Với người xây dựng tác tử, kết quả này cho thấy độ trễ có thể đảo ngược thứ hạng mô hình, nên cần tách học ngoại tuyến chậm khỏi thực thi trực tuyến nhanh thay vì chỉ tối ưu suy luận một lượt.

arXiv cs.AI
06
watchresearchincremental

Cùng câu trả lời, hộp mới: Bao nhiêu phần lợi ích ngoài miền của RLVR là định dạng câu trả lời?

Bài báo chấm lại cùng các đầu ra bằng các bộ trích xuất câu trả lời sao chép từ mã công khai và bằng bộ trích xuất của chính tác giả: trên bốn cặp base-RL 7B SimpleRL đã phát hành, 82% lợi ích trắc nghiệm ngoài miền mà các bộ trích xuất đó báo cáo biến mất dưới bộ trích xuất của tác giả, tức là lợi ích về định dạng câu...

  • Trên bốn cặp base-RL 7B SimpleRL đã phát hành, 82% lợi ích trắc nghiệm ngoài miền do các bộ trích xuất sao chép từ mã công khai báo cáo biến mất dưới bộ trích xuất của tác giả.
  • Các trình đọc LLM độc lập thay cho bộ trích xuất của tác giả đưa ra con số 77%, và một prompt tự yêu cầu hộp đưa ra con số 79% với bộ trích xuất của tác giả.
  • Các mô hình nền đã nêu phần lớn câu trả lời bằng văn bản, và RL chuyển chúng vào hộp \boxed{}, nơi các bộ trích xuất này nhìn trước tiên.

Nhà phát triển nên chấm lại các đầu ra đã lưu bằng bộ trích xuất thứ hai trước khi đọc lợi ích ngoài miền của RLVR, vì lợi ích được báo cáo một phần là thuộc tính của bộ trích xuất đã đọc nó.

arXiv cs.LG