AI FRONTIER
Signals worth understanding before they become obvious.
One Model to Loop Them All: تكرار كامن مرن لنماذج اللغة
تقدم الورقة Elastic Latent Recurrence (ELR)، وهي وصفة لتدريب نماذج لغوية حلقية بحيث تكون كلفة تقديمها بحلقة واحدة مساوية لنموذج غير تكراري بالحجم نفسه مع دقة مماثلة، بينما تشتري كل حلقة إضافية دقة أعلى مقابل مزيد من حساب الاستدلال.
- على نموذجي 4B dense و30B-A3B MoE الهجينين، يكون ELR بحلقة واحدة أقل بـ 0.52 نقطة وأعلى بـ 1.04 نقطة من خط الأساس المطابق في متوسط عشر مهام، وتضيف أربع حلقات 7.25 و4.75 نقطة.
- في نماذج MoE، تؤدي إعادة استخدام مسارات الخبراء من الحلقة الأولى في الحلقات اللاحقة إلى خفض زمن تحديث العمق المختلط بنسبة 11.7% دون تغير قابل للقياس في الدقة.
- عند الاستدلال، يحافظ الاحتفاظ فقط بذاكرة KV للانتباه من الحلقة الأخيرة على ذاكرة KV للانتباه عند مستوى حلقة واحدة مع الاحتفاظ بمعظم المكسب من الحلقات الإضافية.
- عند تمريرها عبر التدريب اللاحق، تنتج الوصفة Koi-4B، وهو نقطة تحقق واحدة تحصل على تقدير 18 في Artificial Analysis Intelligence Index بحلقة واحدة، بما يعادل Qwen3.5-4B، و29 بأربع حلقات.
لأن نقطة تحقق واحدة يمكنها مقايضة عدد الحلقات بزمن الاستجابة والدقة، تصبح النماذج الحلقية قابلة للاستخدام في التقديم الحساس لزمن الاستجابة.
SpireBench: تقييم اللعب الاستراتيجي طويل الأمد للنماذج الوكيلية عبر Slay the Spire
تقدم الورقة SpireBench، حيث تلعب النماذج لعبة بناء المجموعة التجارية الكاملة Slay the Spire عند أعلى مستوى صعوبة لتقييم الاستدلال الاستراتيجي طويل الأمد لدى 20 نموذجًا لغويًا كبيرًا.
- تقيّم الورقة 20 نموذجًا لغويًا كبيرًا عند أعلى مستوى صعوبة في Slay the Spire.
- تفيد الورقة بأن النماذج المتقدمة تتغلب على خطوط الأساس الاستكشافية وتضاهي اللاعب البشري المتوسط، لكنها تبقى متأخرة كثيرًا عن الخبراء.
- تفيد الورقة بأن أقوى النماذج تفوز بالفصل الأول بمعدل مماثل للخبراء، ثم تتخلف مع طول الجولة.
- تفيد الورقة بأن إعادة تسمية شاملة ومتسقة لكل مصطلح في اللعبة تُظهر أن جزءًا من الأداء يعتمد على معرفة مسبقة باللعبة، وأن النماذج لا تتحسن من الذكريات التي تكتبها بين الجولات.
بالنسبة لمطوري الوكلاء، يوفر SpireBench معيارًا طويل الأمد يحدد مواضع فشل الوكلاء ويكشف نقاط ضعف محددة في تقدير المخاطر واستخدام الذاكرة.
ما بعد المكافآت الثنائية القابلة للتحقق: المكافأة الذاتية السلوكية لوكلاء SWE
تقدم الورقة Behavioral Self-Rewarding (BSR)، وهي طريقة لتنقيح المكافأة تعيد استخدام السياسة لمقارنة سلوك التنقيح الملاحَظ بين المسارات من المهمة نفسها وبنتيجة المدقق نفسها، وتجمع التفضيلات الزوجية في درجات محلية للمهمة وتحولها إلى مكافآت مساعدة محدودة.
- يُبلّغ BSR عن تحسينات متسقة على SWE-bench Verified وSWE-bench-Live عبر تهيئتي Qwen3-14B وQwen3-32B المقيَّمتين.
- تعيد الطريقة استخدام السياسة لمقارنة سلوك التنقيح الملاحَظ بين المسارات من المهمة نفسها وبنتيجة المدقق نفسها، دون نموذج مكافأة مدرَّب بشكل منفصل.
- يجمع BSR التفضيلات الزوجية في درجات محلية للمهمة ويحولها إلى مكافآت مساعدة محدودة، مما يُدخل تباينًا في المكافأة مع الحفاظ على ترتيب النجاح/الفشل الذي يحدده المدقق.
- يوفر BSR إشرافًا إضافيًا من مسارات جُمعت مسبقًا دون الحاجة إلى تفاعلات بيئية جديدة.
بالنسبة للفرق التي تبني وكلاء SWE، يشير BSR إلى أن أحكام السياسة المقارنة نفسها يمكن أن تكون إشارة تعلّم تكميلية تتجاوز نتيجة النجاح/الفشل الثنائية للاختبارات، دون تفاعلات بيئية جديدة أو نموذج مكافأة منفصل.
Kairos: نحو نموذج أساسي على مستوى البايت لكل الوسائط
يجمع Kairos بين انتباه خطي ثنائي الاتجاه من نوع gated-DeltaNet وانتباه نافذة منزلقة على إسقاطات مشتركة (LiZAttention2)، وتجميع Attention-Residual على مستوى الكتل، وطبقة تغذية أمامية متناثرة من نوع Mixture-of-Experts، ومرمّز متعدد المقاييس على مستوى البايت، ويُدرَّب بهدف إزالة ضوضاء موحّدة على فضاء بايت واحد تشترك فيه ا...
- في اختبارات فرط التخصيص على جملة واحدة من 440 بايت، بنطاق 1–15M معامل ونص فقط، بلغ LiZAttention2 وانتباه النافذة وحدهما أدنى خسارة قرب 10^-3 عند 3,000 خطوة.
- بعد 600 خطوة، تراوح متوسط أدنى خسارة بين 0.018 (مرمّز patch) و0.354 (مرمّز التفاف depthwise)، مع ترتيب متطابق عبر ثلاث بذور.
- الميزة الظاهرة للإسقاطات المشتركة على المنفصلة تتلاشى مع مزيد من الخطوات أو بيانات أكثر تنوعاً وتنعكس عند تجميد الإسقاطات؛ وهو أثر سرعة تقارب لا أثر سعة.
- تقدّر المناقشة هدفاً تحليلياً بـ200M إجمالي و25M نشط، لكن لا يُقاس أي من أرقام الإنتاجية؛ الكود وحزمة Python متاحان.
بالنسبة للمطورين، يبقى Kairos حالياً فحص تقارب قابلاً لإعادة الإنتاج، ويحتاج تصميمه متعدد الوسائط على مستوى البايت إلى جولة التدريب المسبق المخطط لها لإثبات التعميم أو القيمة متعددة الوسائط.
ForcingBooster: إزالة ضوضاء تكيفية على مستوى الرقع لانتشار فيديو انحداري سريع
تقدم الورقة ForcingBooster، وهو إطار يخصص خطوات إزالة الضوضاء ديناميكيًا لكل رقعة فيديو، فيوقف الرقع السهلة مبكرًا ويمنح الرقع الصعبة خطوات تنقية إضافية. وتفيد الورقة بتقليل إجمالي عدد خطوات إزالة الضوضاء المطبقة على رقع الفيديو بنحو 50% مع الحفاظ على جودة بصرية مماثلة لخط الأساس رباعي الخطوات.
- تفيد الورقة بتقليل إجمالي عدد خطوات إزالة الضوضاء المطبقة على رقع الفيديو بنحو 50%.
- تفيد الورقة بجودة بصرية مماثلة لخط الأساس رباعي الخطوات.
- الطريقة متوافقة مع معظم نماذج الانتشار الانحداري الحالية قليلة الخطوات وتتطلب فقط وحدة توجيه خفيفة مع تدريب محدود.
- قُدمت الورقة في 8 أكتوبر 2026 بالمعرف arXiv:2610.12625 من قبل Zekai Gu وPeng Wang وJiahao Lu وYongsen Mao وCheng Lin وYuan Liu.
بالنسبة للفرق التي تبني توليد فيديو تفاعليًا في الوقت الفعلي ونماذج عالم الفيديو، يمكن لميزانية إزالة الضوضاء على مستوى الرقع نقل الحوسبة من المناطق السهلة إلى الصعبة دون تغيير العمود الفقري للانتشار الانحداري قليل الخطوات.
Google DeepMind تطلق EmbeddingGemma 2، نموذج تضمين متعدد الوسائط مفتوح بـ 740M معامل
يقوم EmbeddingGemma 2 بتعيين النص (بما في ذلك الشيفرة) والصور والفيديو والصوت إلى فضاء متجهي موحّد واحد بأبعاد 768 تحت رخصة Apache 2.0، وهو مصمم للعمل على أجهزة المستهلك مثل الهواتف المحمولة والحواسيب المحمولة.
- إجمالي 740M معامل: العمود الفقري النصي 270M (130M transformer + 140M embedder)، ومشفّر الرؤية 170M، ومشفّر الصوت 300M.
- تذكر الورقة نتيجة 61.36 على MTEB متعدد اللغات v2 و78.68 على MTEB للشيفرة v1، بتحسّن يقارب 14% مقارنة بـ 68.76 لدى EmbeddingGemma 1 في الشيفرة.
- يدعم Matryoshka Representation Learning الاقتطاع إلى 128d و256d و512d و768d، ما يتيح خفض تكاليف تخزين المتجهات حتى 6x.
- نافذة سياق 8,192 رمزًا، ودعم أكثر من 100 لغة، ورخصة Apache 2.0.
يمكن للمطورين تقديم استرجاع النص والصور والفيديو والصوت من فضاء تضمين واحد بأبعاد 768 على أجهزة المستهلك، وتحميل المشفّرات بشكل انتقائي لخفض البصمة الفعلية من 740M إلى 270M.
MagicBeanStalk: الهروب من فخ الميزة الصفرية في RLVR عبر التركيب العودي للبيانات
تقدم الورقة MagicBeanStalk، وهي خوارزمية تفكيك من الأعلى إلى الأسفل وتركيب عودي للبيانات من الأسفل إلى الأعلى، تنمّي مسائل البذور إلى عائلات من مسائل التدريب المعايرة للسياسة والميزانية مع الحفاظ على مخططات الاستدلال الخاصة بالبذور.
- تذكر الورقة أنه في ظل سياسة هدف وميزانية rollout ثابتتين، فإن نحو 88% من مدونة رياضيات مفتوحة المصدر كبيرة جُمعت من مجموعات بيانات RLVR شائعة الاستخدام تُحل في كل rollout أو تفشل في كل rollout.
- تذكر الورقة أنه عبر 8 معايير رياضية، يؤدي RLVR المستمر على مسائل MagicBeanStalk إلى تحسين gpt-oss-120b من 61.2 إلى 69.8 (+8.6) وDeepSeek v4Flash من 72.4 إلى 77.9 (+5.4) بميزانية 16K رمزًا.
- تذكر الورقة أن التدريب على مدونة المصدر الكاملة البالغة 78K يحسّن بنسبة +1.1 فقط، وأفضل مجموعة فرعية مُرشّحة من البيانات الحقيقية بنسبة +5.8.
- تذكر الورقة أنه في مجال التمويل تُركّب أكثر من 14K مسألة قابلة للتحقق من 340 حلًا فقط، وتحسّن الأساس بمقدار 6.9 و2.4 نقطة على SecQue وFinanceBench على التوالي.
بالنسبة لبناة بيانات RLVR، الإشارة المفيدة هي ما إذا كانت المسألة تنتج ميزة غير صفرية في ظل سياسة الهدف وميزانية rollout، وليس حجم المدونة؛ فالتركيب العودي يمكنه معايرة الصعوبة مع الحفاظ على بنية الاستدلال.