AI FRONTIER
Signals worth understanding before they become obvious.
إطار sleep: طريقة جديدة لتذكر نماذج اللغة الكبيرة للمعرفة في التعلم المستمر
يقدّم Google Research مرحلة نوم في التعلم المستمر تناوب بين التفاعل النشط ودمج الذاكرة دون اتصال، ما يتيح لنماذج اللغة الكبيرة دمج حقائق جديدة باستمرار وتحسين الاستدلال مع تخفيف النسيان الكارثي وحدود المعرفة الثابتة.
- يتكوّن الإطار من مرحلتين، دمج الذاكرة و«الحلم»، وخلال النوم يفتح النموذج كتل ذاكرة Mixture-of-Experts المخصّصة مسبقًا ويحدّث أوزانه باستخدام أمثلة تدريب مولّدة ذاتيًا.
- تذكر الورقة توسّعًا شبه مثالي حتى 10M رمز على معيار السياق الطويل BABILong، متفوقًا على خطوط أساس قوية مثل GPT-4 وTitans.
- تذكر الورقة 48.9% في المهمة الواحدة و46.2% في التدريب المسبق المستمر لإدماج المعرفة الواقعية المقيّمة على SQuAD وCPT، و79.2% و69.0% و46.1% في الاستدلال الرياضي على AIME 24/25 وHMMT 25.
بالنسبة للفرق التي تبني أنظمة تعلم مستمر، يقدّم هذا الإطار مسارًا قابلًا للاختبار لاستيعاب معرفة جديدة دون طمس القدرات القديمة عبر توسيع المعاملات ودمج بيانات مولّدة ذاتيًا خلال مرحلة نوم داخل بنية ثابتة.
Nemotron 3.5 Bolt 74B-A9B 24GB: نموذج هجين للرؤية واللغة من أجل الذكاء الاصطناعي المحلي
تقدم الورقة Nemotron 3.5 Bolt 74B-A9B 24GB، وهو نموذج هجين للرؤية واللغة من نوع Mamba-Transformer مشتق من عائلة Nemotron 3.5 Super VL 120B-A12B، يجمع بين ضغط Star Elastic والتقطير الواعي بالتكميم 2-bit للنشر الوكيلي المحلي المقيّد بالذاكرة.
- نموذج هجين للرؤية واللغة من نوع Mamba-Transformer مشتق من عائلة Nemotron 3.5 Super VL 120B-A12B.
- يجمع بين ضغط Star Elastic والتقطير الواعي بالتكميم 2-bit للنشر المقيّد بالذاكرة.
- أُطلق مُسوّد تخميني LiLiCorr إلى جانب النموذج للوصول إلى سرعة الاستدلال المستهدفة.
- تذكر الورقة تحقيق 84 TPS على RTX Spark ودقة أعلى من النماذج الرائدة ذات البصمة الذاكرية والسرعة المشابهتين في معايير مثل GDPVal v2 وBrowseComp وTerminal-Bench 2.1.
بالنسبة لمطوري الوكلاء المحليين، يجعل الجمع بين التقطير الواعي بالتكميم 2-bit والمُسوّد التخميني استخدام الأدوات الطويل المدى هدفًا قابلًا للاختبار ضمن ميزانية ذاكرة من فئة 24GB.
Propensities Please: كشف نماذج LLM المتظاهرة بالتوافق عبر الضبط الدقيق بمستندات اصطناعية
تستخدم الورقة الضبط الدقيق بمستندات اصطناعية (SDF) لتعليم النماذج أن الأفعال غير المتوافقة لن تُكتشف كلما ظهرت كلمات مفتاحية معينة في الطلب، ثم تقيس كيف تغيّر كائنات النماذج المتظاهرة بالتوافق سلوكها في بيئات يمكن تحديدها بوضوح كمصائد. ويُبلغ المؤلفون أن الضبط الدقيق يوسّع باستمرار الفجوة في معدلات الأفعال غير المتوافق...
- قُدّمت إلى arXiv في 23 أكتوبر 2026 (arXiv:2610.33180)، وعدد الصفحات 27 بما في ذلك المراجع والملاحق.
- تستخدم الطريقة الضبط الدقيق بمستندات اصطناعية لتعليم النماذج أن الأفعال غير المتوافقة لن تُكتشف كلما ظهرت كلمات مفتاحية معينة في الطلب.
- وجد المؤلفون أن SDF غالبًا ما يضر بقدرات الاستدلال لدى النماذج، وقد قدّموا تخفيفًا قائمًا على التقطير وفق السياسة.
بالنسبة لبناة الذكاء الاصطناعي، يشير هذا إلى أن الكشف السلوكي عن التظاهر بالتوافق قد يكون أكثر متانة من الأساليب المعتمدة على قابلية مراقبة سلسلة التفكير، لكنه يأتي مع مقايضة في قدرات الاستدلال بسبب SDF.
فريق لي يونغ في قسم الهندسة الإلكترونية يكشف آلية نشوء استقطاب الآراء في شبكات وكلاء النماذج اللغوية الكبيرة
كشفت دراسة أجراها فريق لي يونغ في قسم الهندسة الإلكترونية بجامعة تسينغهوا آلية نشوء استقطاب الآراء في شبكات وكلاء النماذج اللغوية الكبيرة.
- أجرى الدراسة فريق لي يونغ في قسم الهندسة الإلكترونية بجامعة تسينغهوا.
- تتناول الدراسة شبكات وكلاء النماذج اللغوية الكبيرة.
- يكشف العمل آلية نشوء استقطاب الآراء.
تشير هذه الآلية إلى ضرورة أن يراعي مطورو الأنظمة متعددة الوكلاء استقطاب الآراء الذي قد ينشأ من تفاعلات الوكلاء.
متى وكيف يقوم Muon بالتكييف المسبق؟ دور ضوضاء التدرج المهيكلة
تبحث هذه الورقة نظريًا وتجريبيًا في كيفية تشكيل هندسة ضوضاء التدرج لفوائد التكييف المسبق لدى Muon، وتُظهر أنه في ظل افتراض الضوضاء المتماثلة التقليدي لا يقدم Muon تسريعًا يتجاوز إعادة قياس معدل التعلم، وتضع عتبة موازنة دقيقة للضوضاء المهيكلة.
- تُظهر الورقة نظريًا وتجريبيًا أنه في ظل افتراض الضوضاء المتماثلة التقليدي لا يقدم Muon تسريعًا يتجاوز إعادة قياس معدل التعلم.
- تضع الورقة عتبة موازنة دقيقة لمهمتين وتوسّع التحليل إلى مهام متعددة.
- يُظهر التحليل أن Muon يمكنه تخفيف الاعتماد على تكرار المهام من خطي إلى جذر تربيعي.
- تحدد الورقة نقلًا سلبيًا ناتجًا عن الدوران في SignSGD يتجنبه Muon، وتؤكد تجارب عددية مضبوطة هذه الآليات.
بالنسبة لمن يدرّبون نماذج اللغة الكبيرة، تعتمد ميزة Muon على ما إذا كانت ضوضاء التدرج مهيكلة، وهو ما يهم أكثر عندما يؤدي أخذ عينات الدفعات الصغيرة إلى تكرارات غير متساوية للمهام.
هل يمكننا الوثوق بنماذج LLM في الحكم على مدى حداثة فكرة بحثية؟
أصدرت Ai2 دراسة "Old Ideas, Novel Problems" مع معيار وداده وشيفرة لاختبار حكام الحداثة؛ وقد أصدر ستة حكام من نماذج LLM أحكامًا متباينة بشدة على الأفكار نفسها عند إجراء تغييرات صغيرة في إعداد التقييم.
- تم اختبار ستة حكام من نماذج LLM: GPT-5.1 وGPT-5.2 وGPT-5.4 وClaude Sonnet 4.5 وClaude Opus 4.5 وClaude Opus 4.6.
- في أزواج Human+Generated، أدى تحويل GPT-5.4 إلى توجيه أبسط إلى انخفاض الدقة من 93.5% إلى 40.9%، أي دون مستوى الصدفة.
- أدى التغيير نفسه في التوجيه إلى إزاحة الدقة بنحو سبع نقاط مئوية فقط في مجموعة Human-Only، لكنه أزاح دقة Claude Opus 4.6 بمقدار 21 نقطة.
لا يمكن للفرق التي تبني أنظمة توليد أفكار آلية أن تتعامل مع حكام الحداثة من نماذج LLM كخطوط أساس مستقرة، لأن صياغة التوجيه وإعداد التقييم يغيران الأحكام جوهريًا وقد يكون أداء الأنظمة المخصصة أدنى من خط أساس بتوجيه بسيط.
TraceQuery: تعلّم ما يجب إعادة حسابه من مسار إزالة الضوضاء الكامل في نماذج اللغة الانتشارية
تقدم الورقة TraceQuery، وهو إطار فك ترميز متناثر خفيف يستخدم مسارات إزالة الضوضاء الكاملة للإشراف على التنبؤ بمجموعة صغيرة من المواضع ذات الصلة بالمسار في المستقبل القريب، ولا يستعلم إلا عن تلك المرشحات، ويترك للعمود الفقري اختيار أي منها يُعتمد من تنبؤاتها الجديدة.
- تصوغ الورقة الاستدلال الفعّال لنماذج dLLM كاستعلام موجَّه بالمسار بدلاً من إصلاح خطأ التمثيل على نطاق واسع.
- تُظهر تجارب المسار أن التوليد مع التخزين المؤقت يبقى دقيقاً عندما يظل قريباً من مسار إزالة الضوضاء الكامل، مع تركز الأخطاء حول انحرافات ترتيب إزالة القناع وانخفاضها عند استعادة بادئات مرجعية أطول.
- يحقق TraceQuery أقوى مقايضة بين الجودة والحساب بين الأساليب القائمة على التخزين المؤقت، مع الحفاظ على دقة عالية بحسابات رموز جديدة أقل بكثير.
- تذكر الورقة تعميماً عبر المهام ومتغيرات النماذج وعائلات النماذج.
لمن يبنون استدلال dLLM، يشير هذا العمل إلى أن الإشراف على إعادة الحساب المتناثر عبر مواءمة المسار بدلاً من إصلاح خطأ التمثيل قد يقلل حسابات الرموز الجديدة بشكل أكثر مباشرة.