AI FRONTIER
Signals worth understanding before they become obvious.
كيف يمكن لتخصيص مفردات نماذج SLM أن يخفض تكلفة الاستدلال بنسبة 77% في التطبيقات الواقعية
تعيد طريقة VocabX من Dharma-AI بناء مفردات النموذج وفق تكلفة كل رمز بدلًا من تكراره، مع الإبقاء على النموذج الأساسي والبيانات ووصفة التدريب نفسها، وتُبلغ عن انخفاض مقيس في تكلفة الاستدلال بنسبة 77.0% في مصحّح مقالات بالبرتغالية.
- يعتمد المصحّح على Qwen3-4B، وقد انخفضت طبقة مخرجه من نحو 152,000 إلى نحو 65,000 صف.
- دُرّبت سبع نسخ من المصحّح بالنموذج الأساسي والبيانات والوصفة والبذرة نفسها؛ وكان الفرق الوحيد هو المُرمِّز، وشغّلت جميعها الطلبات الـ500 نفسها على RTX 5090 مع vLLM.
- انخفض رد النموذج من 350 إلى 101 رمز في المتوسط، وانخفضت التكلفة بنسبة 77.0%، وارتفعت نتيجة bench من 0.703 إلى 0.810.
- تذكر الورقة أن VocabX ضغط أكثر من أقوى طريقة مرجعية في جميع التوليفات الخمس عشرة من خمسة مجالات عامة وثلاث عائلات نماذج، بمقدار 1.2 إلى 9.3 نقطة.
بالنسبة إلى نموذج صغير مخصص لمجال واحد، يُعدّ المُرمِّز رافعة تكلفة تُحدَّد قبل أي خطوة تدريب، وإعادة بنائه وفق تكلفة جانب التوليد تخفض نفقات الخدمة دون تغيير النموذج الأساسي.
المحوّلات تتعلم خوارزميتي فرز متنافستين، وواحدة فقط تعمّم على الطول
تذكر الورقة أن محوّلات ذات طبقتين دُرّبت حتى خسارة قريبة من الصفر في مهمة فرز تتقارب إلى واحدة من فئتي حلول مختلفتين ميكانيكيًا حسب التهيئة الأولية. إحدى الفئتين لا تستخدم طبقة الانتباه الثانية للفرز وتفشل في التعميم على الطول، بينما الأخرى تستخدم طبقتي الانتباه وتعمّم على الطول بشكل مثالي رغم تدريبها فقط على تسلسلات ذ...
- تذكر الورقة أنه باختيار تهيئة الأوزان بعناية، يستطيع المؤلفون توجيه النموذج نحو تعلم أحد الحلين أو الآخر.
- تحدد الورقة أنواع المدخلات النادرة عند طول التدريب لكنها تصبح أكثر شيوعًا عند أطوال تسلسل أطول كمصدر لهذا التفاوت في التعميم على الطول.
- تجد الورقة أن التخصص حسب الطبقة في فئة الحلول الثانية يسمح لها بمعالجة هذه التسلسلات النادرة بدقة أكبر.
بالنسبة لمن يبنون نماذج التسلسلات، قد تحدد التهيئة الأولية ما إذا كان التدريب ينتج خوارزمية تعمّم على الطول أم خوارزمية تفشل في التعميم، مما يجعل التهيئة والتخصص حسب الطبقة متغيرين تصميميين للتعميم على الطول.
NVIDIA Kumo Relational يتفوق على التعلم الآلي المُوجَّه في البيانات العلائقية دون تدريب
أطلقت NVIDIA نموذج Kumo Relational، وهو نموذج أساس علائقي مُدرَّب مسبقًا يتنبأ مباشرة على قواعد بيانات المؤسسات: عند إعطائه استعلامًا تنبؤيًا، يجمع حتى 10,000 مثال تاريخي كسياق ويتنبأ في تمريرة أمامية واحدة، دون تدريب خاص بالمهمة أو هندسة ميزات أو تسطيح الجداول.
- في مهام التصنيف على RelBench V1، يتفوق Kumo Relational على أشجار التعزيز التدريجي المعتمدة على ميزات مهندسة من خبراء بنحو 4 نقاط AUROC في المتوسط.
- على معيار المؤسسات SAP SALT، يتجاوز تجميعات AutoGluon بنسبة 8% في متوسط الرتبة العكسية (MRR)، ويمدد الضبط الدقيق التقدم إلى 16%.
- تذكر الورقة أن Kumo Relational على لوحة RelArena-α يسجل نحو 17 ثانية وElo 1,842، بينما يبلغ أعلى مشاركة rt-plurel قيمة Elo 1,878 عند نحو 7,300 ثانية، أي أبطأ بنحو 430 مرة.
- يؤدي أداءً جيدًا باستخدام 0.2% فقط من بيانات التدريب كسياق، ويبقى مستقرًا عند إزالة ما يصل إلى 75% من روابط المفاتيح الأجنبية، وبالكاد يتدهور عند إضافة أعمدة كثيرة مشوّشة.
بالنسبة للفرق التي تبني تنبؤات مؤسسية، يقدم Kumo Relational بديلًا بلا تدريب لخطوط أنابيب ميزات XGBoost، وإن كانت النماذج المُوجَّهة الخاصة بالمهمة قد تتفوق على التنبؤات السياقية عند مجموعات تدريب ضخمة جدًا.
ما وراء لوحات الصدارة العددية: أخذ عينات تكيفي لتحديد حدود باريتو في ساحات نماذج اللغة الكبيرة متعددة الأهداف
تقدم الورقة Vector-Borda Empirical-Gap Elimination (VB-EGE)، وهي خوارزمية أخذ عينات تكيفية بثقة ثابتة لتحديد النماذج الواقعة على حدود باريتو بكفاءة في التقييم على غرار الساحات، حيث تقيّم كل مقارنة زوجًا من النماذج على موجّه وفق بُعد أداء مختار.
- في ظل نموذج Bradley-Terry متعدد الأهداف، تُظهر الورقة أن VB-EGE يعيد حدود باريتو الصحيحة باحتمال مرتفع، وتستنتج حدًا أعلى معتمدًا على الحالة لتعقيد العينات لديه.
- كما تُثبت الورقة حدًا أدنى في أسوأ الحالات يُظهر أن VB-EGE أمثل بمعيار minimax حتى عوامل لوغاريتمية.
- تُظهر المحاكاات والتجارب على ثلاث مجموعات بيانات ساحات واقعية (Arena وSearchArena وVisionArena) الفعالية التجريبية لـ VB-EGE.
- تتألف الورقة من 51 صفحة بما في ذلك المراجع والملاحق، وقد قُدّمت في 20 أكتوبر 2026.
بالنسبة لتقييم نماذج اللغة الكبيرة الذي يعتمد على ملاحظات بشرية مكلفة، يقدم VB-EGE استراتيجية أخذ عينات تقلل المقارنات مع تحديد حدود المقايضات متعددة الأهداف بثقة ثابتة.
MIT^3: استيعاب الذاكرة عبر التدريب عند وقت الاختبار لفهم الفيديو الطويل
تقدم الورقة MIT^3، وهو إطار تكييف لكل فيديو يكتب كل فيديو طويل في معاملات تكيفية مدمجة خاصة بالفيديو للإجابة عن الأسئلة دون فيديو وبالنص فقط. يختار التتبع السببي مواضع التكييف، ويدرّب تقطير الذاكرة البصرية الذاكرة النصية فقط على إعادة إنتاج تغيّر التمثيل الناتج عن مقطع الفيديو ذي الصلة.
- تذكر الورقة تحقيق إجابة عن الأسئلة دون فيديو بكفاءة في البيانات على LVBench وLongVideoBench وVideo-MME.
- تذكر الورقة استخدام عينات مُصنّعة أقل بكثير من طرق ذاكرة الفيديو المُعاملات السابقة.
- تستخدم الطريقة التتبع السببي تحت إشراف متعدد المقاييس مدمج لقياس المنفعة الذاكرية السببية لكل طبقة من طبقات النموذج للإجابة المستندة إلى الفيديو.
- يدرّب تقطير الذاكرة البصرية الذاكرة النصية فقط على إعادة إنتاج تغيّر التمثيل الناتج عن مقطع الفيديو ذي الصلة.
لمن يبنون أنظمة أسئلة وأجوبة للفيديو الطويل، يبيّن هذا العمل أن الاستيعاب يعتمد على مكان كتابة معرفة الفيديو وعلى كيفية تقطير الدليل البصري، لا على إضافة نص مُصنّع وحده.
معايير التقييم الموجهة بالخبراء كإشارات مكافأة كثيفة للتعلم المعزز في المجالات غير القابلة للتحقق
تقدم الورقة طريقة تحوّل استثمارًا صغيرًا وثابتًا من حكم الخبراء إلى مكافأة كثيفة، وتدمجها مع مقاييس الاسترجاع لتكوين إشارة تدريب هجينة متوافقة مع GRPO، موجهة لمهام الاسترجاع غير القابلة للتحقق مثل الخدمات المالية.
- تذكر الورقة تحسينات تصل إلى 6% في Recall@3 و6.7% في MRR@3 مقارنة بخطوط الأساس ذات المكافأة المتناثرة.
- تذكر الورقة أنه مع GRPO، لا تنتج المكافآت المتناثرة إشارة تعلم مفيدة عندما تحصل جميع المخرجات المُعيّنة داخل مجموعة على النتيجة نفسها، ما يؤدي إلى توقف التحسين.
- تحوّل الطريقة استثمارًا صغيرًا وثابتًا من حكم SME إلى مكافأة كثيفة وتدمجها مع مقاييس الاسترجاع لتكوين إشارة تدريب هجينة.
- قُدّمت الورقة في 17 أكتوبر 2026، وتتكون من 11 صفحة و4 أشكال، وهي جزء من RL4LLM-Agents workshop ICAIF ACM.
بالنسبة للفرق التي تبني وكلاء في مجالات غير قابلة للتحقق، تشير هذه النتيجة إلى أن تحويل مجموعة صغيرة من معايير الخبراء إلى مكافآت كثيفة قد يخفف توقف تحسين GRPO في ظل المكافآت المتناثرة.
توليد كود RTL الأمثل وفق Pareto عبر التعلم المعزز متعدد الأهداف مع النماذج اللغوية الكبيرة
تقترح الورقة طريقة تعلم لتوليد الدوائر المعتمد على LLM تُحسّن جودة وتنوع مجموعة الدوائر الكاملة الناتجة عن عمليات توليد متعددة في فضاء أهداف PPA، بدلاً من جودة دائرة واحدة. تتكون الطريقة من خط أنابيب تدريب قائم على التوليد ودالة مكافأة مبنية على Hypervolume Contribution (HVC).
- تذكر الورقة تحقيق +13.3 نقطة مئوية في Hypervolume النسبي مقارنة بخط أساس دون تحسين PPA على معيار RTLLM v2.
- تذكر الورقة تحقيق +14.4 نقطة مئوية في Hypervolume النسبي مقارنة بطريقة تعلم معزز أحادية الهدف.
- تذكر الورقة أن الطريقة تُظهر تفوقاً أيضاً في تنوع الدوائر.
- قُبلت الورقة في COLM 2026 وقُدمت في 16 أكتوبر 2026.
بالنسبة لبناة الذكاء الاصطناعي، فإن معالجة مقايضات PPA كمسألة تغطية Pareto على مستوى المجموعة يوفر مرشحات RTL متنوعة يمكن اختيارها لاحقاً عند تغير قيود التصميم.