AI FRONTIER

TurboMamba: استدلال أسرع وتدريب أسرع وتنبؤ أفضل بفضل الذاكرة المعجمية

تقدم الورقة TurboMamba، وهي معمارية لنموذج لغوي يعمل فيها نموذج Mamba-3 عالمي مرة واحدة لكل كتلة رموز مكتملة، ويستخدم Transformer صغير هذا السياق العالمي والرموز السابقة داخل الكتلة للتنبؤ بالرمز التالي.

• على اثنتي عشرة تطبيقًا صغير النطاق على FineWeb-Edu العام، بأعداد معاملات قابلة للمقارنة وحدود ميزانية تدريب مشتركة، حقق TurboMamba أدنى متوسط خسارة تنبؤ في الاختبار (NLL).
• متوسط NLL لديه أقل بنسبة 9.4% من Mamba-3، و7.3% من نسخة Jamba، و18.3% من نسخة Zamba.
• إنتاجية التدريب من البداية إلى النهاية تبلغ 2.60 ضعف Mamba-3، و2.81 ضعف نسخة Jamba، و4.82 ضعف نسخة Zamba.
• على دفعة من 32 تسلسلًا، كل منها بمطالبة من 256 رمزًا و128 رمزًا مولّدًا، زمن الاستجابة للدفعة من البداية إلى النهاية أسرع 3.12 ضعف من Mamba-3، و3.53 ضعف من نسخة Jamba، و6.21 ضعف من نسخة Zamba.

بما أن التحسينات المبلّغ عنها في الخسارة والإنتاجية تتحقق بأعداد معاملات وميزانية تدريب قابلتين للمقارنة، ينبغي إعادة إنتاجها على أحمال عمل ذات سياق طويل أو إنتاجية عالية قبل تبنّيها.

نموذج جديد على OpenRouter: Reflection Beam 1.0 501B A23B

Beam 1.0 هو نموذج الاستدلال مفتوح الأوزان من Reflection للبرمجة وسير العمل الوكيلي الطويل الأمد؛ يستخدم بنية sparse mixture-of-experts بإجمالي 501B ومعاملات نشطة 23B لكل رمز، ونافذة سياق تبلغ 1M رمز، وصدر بموجب Apache 2.0.

• بنية sparse mixture-of-experts: إجمالي 501B معامل، و23B معاملات نشطة لكل رمز
• نافذة سياق تبلغ 1,048,576 رمزًا، وتدعم حتى 131,072 رمز إكمال
• السعر 0.25 دولار لكل مليون رمز إدخال و1.00 دولار لكل مليون رمز إخراج
• صدر في 16 أكتوبر 2026، مع حد معرفي بتاريخ 30 يونيو 2026، بموجب Apache 2.0

بالنسبة للفرق التي تبني وكلاء برمجة، يجمع Beam 1.0 بين أوزان مفتوحة بموجب Apache 2.0 وسياق 1M رمز و23B معاملات نشطة فقط لكل رمز، ما يجعل الاستدلال الطويل الأمد متاحًا إما بالاستضافة الذاتية أو بالدفع حسب الاستخدام.

Expanding Attention: مسار متسلسلة تايلور نحو محوّلات زمن خطي بعدد ثابت من الحالات التكرارية

يوسّع البحث نواة الأسي في الانتباه إلى متسلسلة تايلور مبتورة من n حدًا، ويحلل كل حد إلى جداء داخلي لقوى الموترات، ما يختصر التاريخ السببي إلى n حالة تكرارية بالضبط، تُحدَّث كل منها بجداء خارجي من الرتبة الأولى لكل رمز ومستقلة عن طول السياق N.

• التكرار بلا فقدان بالنسبة للنواة المبتورة عند 2.2 × 10^-16 في float64، والحالات قابلة للجمع بين الكتل عند 5.7 × 10^-14، لذا يسمح التعبئة المسبقة بمسح متوازٍ.
• يذكر البحث أُسسًا مقيسة مقدارها t ∝ N^2.28 لـ softmax مقابل N^0.91 للحالات، مع تقاطع عند N ≈ 728 و20.8× عند N = 8192.
• زمن فك الترميز لكل رمز ثابت عند 7.3 μs مقابل N^1.04 لـ softmax، ما يعطي 76.0× عند N = 65536.
• تتحسن الدقة أسيًّا مع n بينما تنمو الكلفة توافقيًّا، لأن عرض الحالة رقم m هو C(d+m-1, m)، وهو حد أكده SVD، لذا فإن الأمثل من الرتبة الثانية، n = 3، بخطأ 6.5 × 10^-4 و9,945 عنصرًا لكل رأس.

بالنسبة للمطورين، يشير هذا إلى أن الانتباه الخطي ثابت الحالات لا يكون مجديًا إلا فوق نحو 728 رمزًا ويتطلب تطبيع الاستعلام والمفتاح، وبدونه لا يكون إضافة حدود تايلور فعالًا.

نموذج جديد على OpenRouter: XingChen Xing4.0 29B A4B (مجاني)

Xing4.0-29B-A4B هو نموذج لغوي مفتوح الأوزان من نوع mixture-of-experts من فريق الذكاء الاصطناعي في China Telecom (TeleAI) وخليفة سلسلة TeleChat، بإجمالي 29B معامل و4B نشطة لكل رمز ونافذة سياق أصلية تبلغ 256K رمزًا.

• إجمالي 29B معامل مع 4B نشطة لكل رمز ونافذة سياق أصلية تبلغ 256K رمزًا؛ وتذكر OpenRouter أن السياق 262,144 رمزًا.
• تم تدريبه بالكامل على وحدات NPU من Ascend باستخدام إطار MindSpore.
• مضبوط للأعمال الهندسية المعقدة وعمل الوكلاء: استدعاء الأدوات والتخطيط متعدد الخطوات والتنفيذ بسياق طويل؛ والاستدلال مفعّل افتراضيًا ويمكن إيقافه.
• مجاني على OpenRouter، وصدر في 16 أكتوبر 2026، ويدعم tools وtool_choice لاستدعاء الدوال والمخرجات المنظمة عبر مخطط JSON في response_format.

لمن يبنون الوكلاء، هذه نقطة نهاية MoE مفتوحة الأوزان بحجم 29B دون تكلفة مع سياق 256K واستدعاء الأدوات، ما يجعلها عملية لاختبار مسارات التخطيط متعدد الخطوات بسياق طويل.

The World Won't Wait: تقييم الوكلاء وتعليمهم تحت ساعة حية

تقدم الورقة RealtimeBench، وهو 180 مهمة عبر ستة أنواع من الألعاب لتقييم الوكلاء بينما تستمر الألعاب في العمل أثناء الاستدلال، وتقترح TORSI حيث يدرس معلّم بطيء الإخفاقات ويختبر التصحيحات بين المحاولات ثم يكتب تعليمات قابلة لإعادة الاستخدام لطالب سريع.

• يضم RealtimeBench 180 مهمة عبر ستة أنواع من الألعاب، مع استمرار الألعاب في العمل أثناء الاستدلال.
• تُظهر التقييمات المزدوجة أن GPT-6.1-sol يتفوق على Jev الأسرع عندما تكون الألعاب متوقفة مؤقتًا، لكنه يتخلف عندما تستمر في العمل.
• في TORSI يتصرف الطالب دون استدعاء المعلّم أثناء اللعب، وتحدد درجات التحقق أي التحديثات تُعتمد.
• تذكر الورقة أن جولتين ترفعان متوسط درجة اختبار Jev من 13.51 إلى 24.19 على مقياس تقدم من 0 إلى 100، مع تحسين الأنواع الستة كلها.

بالنسبة لبناة الوكلاء، تُظهر النتيجة أن زمن الاستجابة قد يقلب ترتيب النماذج، لذا ينبغي فصل التعلّم البطيء دون اتصال عن التنفيذ السريع المتصل بدل تحسين الاستدلال بمرور واحد فقط.

الإجابة نفسها، صندوق جديد: كم من مكسب RLVR خارج النطاق هو تنسيق الإجابة؟

تعيد الورقة تقييم المخرجات نفسها بمستخرِجات إجابات منسوخة من كود عام وبمستخرِج خاص بالمؤلفين: على أربعة أزواج base-RL من 7B SimpleRL منشورة، يختفي 82% من مكسب الاختيار من متعدد خارج النطاق الذي أبلغت عنه تلك المستخرِجات عند استخدام مستخرِج المؤلفين، أي إنه مكسب في تنسيق الإجابة لا في الإجابة.

• على أربعة أزواج base-RL من 7B SimpleRL منشورة، يختفي 82% من مكسب الاختيار من متعدد خارج النطاق الذي أبلغت عنه مستخرِجات منسوخة من كود عام عند استخدام مستخرِج المؤلفين.
• قرّاء LLM مستقلون بدلًا من مستخرِج المؤلفين يضعون الرقم عند 77%، وطلبٌ يطلب الصندوق نفسه يضعه عند 79% مع مستخرِج المؤلفين.
• النماذج الأساسية تذكر بالفعل معظم إجاباتها في النص، ويحرّكها RL إلى صندوق \boxed{} حيث تنظر هذه المستخرِجات أولًا.
• على زوج 32B مدرَّب بوصفة أخرى، لا يكاد أي من المكاسب المبلَّغ عنها يكون مكسب تنسيق: نموذجه الأساسي يضع إجاباته في الصندوق عند الطلب، ونموذج RL الخاص به نادرًا ما يفعل ذلك دون طلب.

ينبغي للبناة إعادة تقييم المخرجات المخزَّنة بمستخرِج ثانٍ قبل قراءة مكاسب RLVR خارج النطاق، لأن المكسب المبلَّغ عنه هو جزئيًا خاصية للمستخرِج الذي قرأه.

Diminishing Returns of Data in Sparse Autoencoders: Functional Behavior does not Guarantee Feature R...

论文摘要：Sparse autoencoders (SAEs) are typically trained on hundreds of millions to billions of activation tokens, yet little work has tested whether this scale is necessary. We study...

This is a useful technical direction to keep on the radar, even if it does not require immediate action.