AI FRONTIER
Signals worth understanding before they become obvious.
TRACE: ترميز دفتر الشفرات لتنشيطات Transformer المتبقية لاستدلال حوسبة حافّية موزّع بكفاءة اتصال
تقدم الورقة إطار TRACE الذي يضع مُكمِّمًا متجهيًا (VQ) عند البقايا بعد الانتباه في كل طبقة Transformer ويحسب مسبقًا تمثيلات المفتاح/القيمة المفهرسة بدفتر الشفرات، ما يتيح للمستقبِلين استرجاع المفاتيح والقيم عبر البحث في الجدول بدلًا من تنفيذ حسابات الإسقاط اللاحقة.
- تذكر الورقة أن TRACE على ViT-Base (ImageNet-1K وCIFAR-100) وViViT-B (UCF-101) يحقق دقة أعلى تصل إلى 1.89% وتسريعًا للاستدلال من الطرف إلى الطرف يصل إلى 1.27x مقارنةً بإطار الاستدلال الموزّع القائم على VQ الأحدث.
- مقارنةً بالاستدلال المتوازي التسلسلي غير المضغوط، يقلل TRACE حمل الاتصال بما يصل إلى 22,624x.
- تنظّم التجميعات الهرمية دفتر الشفرات المُتعلَّم في هرمية متعددة الدقات، ما يتيح تكييف معدل بت الاتصال وقت التشغيل دون إعادة تدريب.
- يدعم الإطار متغيرين تشغيليين: أحدهما يعطي الأولوية للدقة والآخر يوازن بين الدقة والكفاءة عبر تكميم متوافق مع المخزن المؤقت.
بالنسبة لمن يبنون الاستدلال الحافّي الموزّع، فإن حساب المفاتيح والقيم مسبقًا كفهارس دفتر شفرات يزيل الحساب اللاحق لدى المستقبِل ويمكّن من تداخل الاتصال مع الحساب، لكن المكاسب المذكورة مرتبطة بالنماذج ومجموعات البيانات المختبرة تحديدًا.
Structured Authority Injection: تحكم بشري مستمر لوكلاء LLM عبر تجاوزات MCP المكتوبة
تقترح الورقة Structured Authority Injection (SAI)، وهو بروتوكول يوجّه تصحيحات المشغّل عبر استدعاءات أدوات Model Context Protocol (MCP) المكتوبة والمُتحقق من مخططها، ويحافظ على سياق سلطة مُرتَّب يُضاف قبل كل موجّه LLM، دون الحاجة إلى الضبط الدقيق للنموذج أو الوصول إلى أوزانه.
- يعرّف SAI ثلاث فئات للتجاوز، Constraint وPriority وStrategy، بخصائص استمرارية متمايزة وترتيب أسبقية صريح يُفرض عبر قناة سلطة موجّهة لا تستطيع عملية التخطيط الوصول إليها.
- تذكر الورقة تقييماً على تسعة نماذج LLM وثمانية سيناريوهات تستهدف أنماط فشل الوكلاء، وأظهرت انخفاضاً في التفسير الغامض للتوجيهات وتخفيفاً لتآكل السلطة عبر تكرارات التخطيط.
- تذكر الورقة انخفاض الحمل الزائد للموجّه في أقوى النماذج، حتى 38% حسب النموذج والسيناريو، لكن الفائدة تتفاوت بشكل كبير بين النماذج.
- لا تتطلب الطريقة ضبطاً دقيقاً للنموذج أو الوصول إلى أوزانه، وتنطبق على نماذج LLM المضبوطة بالتعليمات التي تدعم استخدام أدوات MCP.
لمن يبنون منظّمات الوكلاء، يقدّم SAI نمطاً على مستوى البروتوكول لتجاوزات بشرية مستمرة ومكتوبة دون إعادة تدريب النماذج، لكن الفائدة المذكورة تتفاوت بشكل كبير حسب النموذج.
أين يضر تقليل الخبراء في مرحلة prefill بنماذج MoE: بضعة رموز prompt تحمل معظم خسارة F1 في الإجابات القصيرة
من خلال تدخلات على مستوى الرموز والطبقات ومسارات الانتباه في أربع عائلات MoE، يحدد البحث موقع الضرر الناتج عن تمرير رموز prompt عبر خبراء موجهين أقل أثناء prefill: في Qwen3-30B-A3B تحدث الخسارة عند رمزي chat-template قبل الإجابة، وفي DeepSeek-V2-Lite عند أول 8-32 رمز prompt حيث تقع تعليماته.
- عند خفض الخبراء إلى النصف، تكون خسارة F1 في ثلاث عائلات في معظمها شكل الإجابة: لا يزال النموذج يجد الإجابة لكنه يتوقف عن الإجابة بإيجاز.
- في Qwen3-30B-A3B تحدث الخسارة عند رمزي chat-template قبل الإجابة؛ وفي DeepSeek-V2-Lite عند أول 8-32 رمز prompt حيث تقع تعليماته.
- بحسب answer likelihood تفسر هذه المواضع نحو نصف الضرر وخمسه.
- يغيّر التقليل كتلة الانتباه والمعيار وأكبر تنشيط للرمز الأول بأقل من 4%، واستعادة super experts أو massive activations تستعيد على الأكثر نحو ربع الخسارة.
في خدمة MoE، الحفاظ على توجيه الخبراء الكامل عند طرفي الـ prompt، خصوصاً مواضع chat-template والتعليمات، يحفظ F1 للإجابات القصيرة أفضل من استعادة super experts أو massive activations.
RealCLI: معيار موحّد لتقييم التعاون بين الإنسان والوكيل في وكلاء سطر الأوامر
تقدم الورقة REALCLI، وهو معيار مزدوج يوحّد تقييم تنفيذ المهام وجودة التعاون بين الإنسان والوكيل في مهام CLI الواقعية، ويتضمن إطارًا خماسي الأبعاد و22 بُعدًا فرعيًا و51 قالب سيناريو تفاعل ووضعين مزدوجين: REALCLI-EXEC وREALCLI-COLLAB.
- يبني REALCLI إطارًا خماسي الأبعاد للتعاون، مُفعَّلًا في 22 بُعدًا فرعيًا و51 قالب سيناريو تفاعل.
- يوفر REALCLI-EXEC المواصفات الكاملة مسبقًا، بينما يقدّم REALCLI-COLLAB مستخدمًا مكتوبًا يسلّم معلومات تدريجية وتصحيحات ومراجعات للقيود وقرارات تفويض.
- تفيد الورقة بأن أفضل تهيئة تحقق متوسط درجة 49.2% فقط، وأن أعلى أداء في درجة التعاون المشترك J_collab يبلغ 37.6% فقط.
- تفيد الورقة بأن النماذج تواجه صعوبة مستمرة في قابلية التوجيه ومعايرة الثقة وإدارة حدود الأمان.
بالنسبة لمطوري وكلاء CLI، يعني التباعد الحاد بين فعالية المهام وجودة التعاون أن تحسين إتمام المهام وحده لن يكفي لاجتياز التقييم في ظروف تفاعلية واقعية.
FlashControl: مولّد قابل للتحكم بخطوة واحدة عبر معلّمين أحاديّي المسار ملائمين للتقطير
تقدم الورقة DeltaControl، الذي يضبط بدقة مجموعة فرعية مختارة من الطبقات في نموذج الانتشار النصي إلى الصوري الأصلي لتمكين التوليد المشروط مكانيًا مباشرة دون إضافة فروع شرطية إضافية. ويؤدي تقطير الخطوات على هذا المعلّم إلى FlashControl، وهو نموذج بخطوة واحدة قادر على التوليد القابل للتحكم مكانيًا في تمريرة أمامية واحدة.
- قُبلت الورقة في NeurIPS 2026 وقُدّمت في 15 أكتوبر 2026.
- DeltaControl نموذج انتشار أحاديّ المسار متعدد الخطوات، وتذكر الورقة أنه يضاهي أداء الأساليب ثنائية الفرع.
- يُستخلص FlashControl بتطبيق تقطير الخطوات على DeltaControl، ويدعم التوليد القابل للتحكم مكانيًا بتمريرة أمامية واحدة.
- تذكر الورقة أن النماذج القابلة للتحكم الحالية مثل ControlNet تعتمد على تصميم ثنائي الفرع يجعل التقطير صعبًا.
بالنسبة لبناة الذكاء الاصطناعي، يُظهر هذا إمكانية الحصول على معلّم قابل للتحكم ملائم للتقطير دون معمارية ثنائية الفرع، ما يخفض حاجز توليد الصور القابل للتحكم بخطوة واحدة.
Trust but Verify: تصميم ديناميكيات أمامية غير متجانسة إقليمياً للانتشار المنفصل
تجمع الورقة بين نوى الامتصاص والخلط المنتظم بمعدلات معتمدة على المنطقة: تتبع المواضع المفقودة ديناميكيات امتصاصية، بينما يخضع السياق لاستبدال عشوائي منخفض المعدل، مما يعرّض النموذج لرموز مرصودة لكن غير مؤكدة أثناء التدريب. عند الاستدلال، يعيد مُعيّن استكشافي حقن الضوضاء في السياق المشبوه بشدة متلدنة ويجمّد تحديثات السي...
- تستغرق إعادة ضبط دقيقة بـ8,000 خطوة لنموذج انتشار مقنّع مُدرَّب مسبقاً بـ170 مليون معامل أقل من خمس ساعات على وحدة معالجة رسومات حاسوب محمول بسعة 6 GB.
- يمنح النموذج الأساسي الرموز المرصودة نحو 50% احتمال حتى عندما تكون بيانات عشوائية موحّدة عديمة المعنى.
- مع التلف العشوائي الموحّد، يكتشف الضبط الدقيق السياق المتلف باستدعاء 0.96 ودقة 0.91، ويحسّن token-F1 للتعبئة بـ3.8 نقطة عند تلف 10% و6.4 نقطة عند 20%.
- لا يُظهر الإشراط النظيف تراجعاً قابلاً للقياس، مع معدل تحرير خاطئ أقل من 0.4%؛ والمكاسب من التلف المعقول أضعف، نحو 0.5 نقطة F1 عند تلف 10% دون دلالة إحصائية.
تشير النتائج إلى أن الثقة المتوسطة تُبلغ بتغيير الديناميكيات الأمامية بدلاً من المعمارية في نموذج انتشار منفصل بـ170 مليون معامل، مع اعتماد قابلية الكشف والضرر معاً على البعد عن الشرط البياني للبيانات.