AI FRONTIER
Signals worth understanding before they become obvious.
Lazare: إعادة برمجة الخلايا العصبية الخاملة لزرع أبواب خلفية في وكلاء الذكاء الاصطناعي
اكتشف باحثون في Microsoft تقنية باب خلفي تُسمى Lazarus تعيد برمجة أقل من 10 خلايا عصبية خاملة في نموذج لغوي كبير، بحيث ينفذ وكيل مبني عليه أوامر ضارة عند ظهور مُحفِّز خفي، دون الحاجة إلى تدريب.
- إعادة برمجة أوزان أقل من 10 خلايا عصبية خاملة في نموذج لغوي كبير تكفي لزرع باب خلفي في وكيل مبني عليه، ولا تتطلب تدريبًا.
- قد يكون المُحفِّز بسيطًا مثل تغيّر التاريخ: فبمجرد أن تتجاوز الساعة منتصف الليل إلى عام 2027، يصدر الوكيل في منتصف مهمة عادية أمرًا ينزّل رمز المهاجم ويشغّله.
- تذكر الورقة أن مصنّفًا خطيًا مُلائمًا على نحو 50 مثالًا يستطيع التمييز بين المدخلات التي تحمل المُحفِّز وتلك التي لا تحمله.
- تهاجم هذه التقنية تحتاج إلى حوسبة استدلال فقط: فإذا كانت الآلة تملك ذاكرة RAM كافية لتشغيل نموذج، فهي تملك ما يكفي لزرع باب خلفي في فضاء الأوزان.
ينبغي للبُناة التعامل مع سلامة الأوزان كما يتعاملون مع سلامة الشيفرة: فمن دون مقارنتها بالأوزان الأصلية غير المعدّلة لا يمكن لأي فحص أن يثبت أن النموذج آمن، ما يجعل المصدر والتحقق قبل النشر أمرين ضروريين.
BotPsy: مساعد شخصي على الجهاز بنموذج لغوي وكيلي دون مليار معامل
تقدم Tether AI Research نموذج BotPsy البالغ 0.8 مليار معامل، والمبني على Qwen3.5-0.8B والمصمم لاستدعاء الدوال وسير العمل الوكيلي، وهو مناسب للنشر على الجهاز.
- يرتفع BFCL v4 من 23.4 إلى 44.0، وACEBench من 30.1 إلى 58.7، وτ-bench من 23.2 إلى 51.5.
- يتفوق على Qwen3.5-2B-Think في BFCL v4 وACEBench وτ-bench وToolSandbox وBrowseComp-Plus؛ وفي Claw-Eval فقط يتقدم Qwen3.5-2B-Think (48.9 مقابل 46.5).
- يرتفع IFEval من 59.7 إلى 90.8 وIFBench من 22.0 إلى 55.9.
- سيُصدر بأوزان مفتوحة بموجب ترخيص Apache 2.0 بثلاث دقات (bf16 وQ8 وQ4) كملفات safetensors وGGUF.
لمن يبنون وكلاء على الجهاز، يُظهر BotPsy أن نموذجًا بـ0.8 مليار معامل يمكن أن يتجاوز نموذجًا أكبر منه 2.5 مرة في اختبارات استخدام الأدوات، بينما تظل مهام المعرفة مرتبطة بعدد المعاملات.
نموذج جديد على OpenRouter: Baidu ERNIE-5.5-Flash-Preview (مجاني)
يتوفر ERNIE-5.5-Flash-Preview من Baidu مجانًا على OpenRouter بإجمالي 280 مليار معامل، مع تنشيط 14 مليار معامل لكل رمز ونافذة سياق تبلغ مليون رمز.
- إجمالي 280 مليار معامل، مع تنشيط 14 مليار معامل لكل رمز.
- نافذة سياق تبلغ 1,024,000 رمز، وتدعم حتى 1,024,000 رمز إكمال.
- تذكر الصفحة أن البنية الجديدة توفر سرعات توليد تتجاوز 200 رمز في الثانية.
- يستضيفه مزوّد واحد هو Baidu Qianfan بسعر صفر، ونقاط النهاية المجانية محدودة المعدل.
سياق مجاني بمليون رمز مع تنشيط متفرق يناسب النماذج الأولية للمستندات الطويلة وسير عمل الوكلاء، لكن على المطورين مراعاة المزوّد الواحد وحدود المعدل.
AlphaGenome 2: فك شفرة كيفية قراءة الخلايا للحمض النووي لفهم الأمراض بشكل أفضل
أعلنت Google DeepMind عن AlphaGenome 2، وهو نموذج تسلسل حمض نووي من الجيل التالي يستخدم بنية شرطية للتنبؤ بتأثيرات المتغيرات في أنواع أو حالات خلوية محددة، ويتكيف مع بيانات الخلية الواحدة الجديدة دون إعادة تدريب.
- على مجموعة بيانات TenK10K، حدد AlphaGenome 2 ما يقرب من ضعف عدد المتغيرات السببية (30% مقابل 16%) والتأثيرات الجينية الاتجاهية (43% مقابل 23%) مقارنةً بـ AlphaGenome الأصلي المضبوط على بيانات الخلية الواحدة.
- تم تدريب النموذج على أكثر من 107 ملايين ملف خلوي فردي عبر 68 نسيجًا.
- يتنبأ النموذج بالتعبير الجيني وتعديلات الهيستون وإمكانية الوصول إلى الكروماتين ومثيلة الحمض النووي.
- يتوفر AlphaGenome 2 اليوم للبحث غير التجاري عبر AlphaGenome API وفي معاينة خاصة للبحث التجاري.
تتيح النمذجة الشرطية للخلية الواحدة للباحثين تحديد تأثيرات المتغيرات في أنواع الخلايا المرتبطة بالأمراض دون إعادة تدريب النموذج لكل مجموعة بيانات جديدة.
HOPE: تقليم الخبراء عالي الرتبة في نماذج اللغة Mixture-of-Experts
HOPE طريقة لتقليم الخبراء من الرتبة الثانية تبني مصفوفة تفاعل زوجي بين الخبراء F على مجموعة معايرة وتحل برنامجًا تربيعيًا لاختيار مجموعة التقليم، بدلًا من تقييم كل خبير بشكل مستقل كما تفعل طرق الرتبة الأولى.
- يمتلك Qwen3.5-122B عدد 256 خبيرًا في كل طبقة من طبقات MoE البالغ عددها 48، ويشغل خبراء MLP نحو 95% من بصمة ذاكرة المعاملات البالغة نحو 250 GB، بينما يُستخدم 8 خبراء فقط لكل طبقة لأي رمز.
- عند تقليم بنسبة 50%، يحقق HOPE متوسط رتبة 1.58 مقابل 2.42 لأفضل طريقة تالية، REAP.
- على Qwen3.5-35B-A3B عند تقليم بنسبة 50%، حقق HOPE نتيجة 42.3 على SWE-Bench Pro، مماثلًا 41.8 للنموذج غير المقلَّم، بينما انخفض REAP إلى 36.2.
- يستعيد قطر مصفوفة F ترتيب الخبراء لدى REAP بشكل شبه كامل (Spearman ρ = 0.988)، لذا تأتي مكاسب HOPE على REAP من حدود التفاعل خارج القطر.
بالنسبة للفرق التي تنشر نماذج MoE كبيرة تحت قيود الذاكرة، يُظهر HOPE أن نمذجة التعاون الزوجي بين الخبراء تحافظ على قدرة البرمجة الوكيلية عند معدلات تقليم عدوانية، حيث يتدهور التقييم المستقل للخبراء بشكل حاد.
تدريب واعٍ بـ Token Pooling لنماذج التضمين متعددة المتجهات
تشرح مدونة Hugging Face التدريب الواعي بالتجميع في Sentence Transformers، حيث تُطبَّق خسارة استرجاع على تضمينات المستندات الأصلية والمضغوطة معًا كي يحافظ المُرمِّز على المعلومات المهمة بعد دمج متجهات الرموز.
- مع pool_factor=4، يحتفظ نموذج مُدرَّب بالطريقة العادية بنسبة 94.6% من NanoBEIR nDCG@10 دون تجميع، مع تقليل متجهات المستندات بمقدار 4 أضعاف.
- يرفع التدريب الواعي بالتجميع نسبة الاحتفاظ إلى 97.8% عند الميزانية التخزينية نفسها.
- الخسارة هي L = 1/2 L_unpooled + 1/2 L_pooled، ويحدّث الهدفان المُرمِّز نفسه.
- يستخدم HierarchicalTokenPooling التجميع الهرمي Ward، وأثناء التدريب يستخدم مُقدِّرًا مباشرًا لتمرير التدرجات من المتجهات المُجمَّعة إلى الرموز الأعضاء.
بالنسبة لأنظمة الاسترجاع متعددة المتجهات، يتيح التدريب الواعي بالتجميع استعادة جودة الاسترجاع المفقودة بسبب الضغط عبر مواءمة هدف التدريب دون زيادة تخزين المتجهات.
التدريب على prefill والمراقبة عند decode: استخدام المشفّرات التلقائية المتناثرة لمراقبة الموضوعات
تقدم الورقة إطار TopicScope لتدريب مصنّفات موضوعات سببية على ميزات SAE تُسند موضوعًا لكل رمز، بحيث يمكن أن تتغير التسمية في منتصف الاستجابة. على Gemma-3 1B و4B، تمكنت أدوات المراقبة المدرَّبة على ميزات مستخرجة من حالات prefill المخفية من التعميم إلى مرحلة decode.
- دُرِّبت ثلاث معماريات كاشف على محادثات اصطناعية متعددة الموضوعات تغطي سبعة موضوعات.
- على Gemma-3 1B و4B، تعممت أدوات المراقبة المدرَّبة على ميزات مستخرجة من حالات prefill المخفية إلى مرحلة decode.
- المصنّفات صامدة أمام الاضطرابات، إذ تفقد 5 نقاط macro-F1 على الأكثر عند إدراج استطرادات خارج الموضوع أو حذف موضوعات أو إعادة ترتيب أقسام.
- أظهرت تجارب الاستئصال حول مساهمة SAE أن المصنّفات التي بلغت الأداء الأساسي بدونه كانت أكبر عدة مرات.
يوضح هذا أن أدوات مراقبة الموضوعات المدمجة يمكن تدريبها بتكلفة منخفضة في prefill ونشرها أثناء التوليد، ويشير إلى أين تكون SAE مفيدة خارج تصنيف السلامة.