AI FRONTIER
Signals worth understanding before they become obvious.
Lazare: AI एजेंट में बैकडोर डालने के लिए सुप्त न्यूरॉन्स का पुनःप्रोग्रामिंग
Microsoft के शोधकर्ताओं ने Lazarus नामक बैकडोर तकनीक खोजी है, जो किसी LLM के 10 से कम सुप्त न्यूरॉन्स को पुनःप्रोग्राम करके उस पर बने एजेंट को छिपे ट्रिगर के प्रकट होने पर दुर्भावनापूर्ण कमांड चलाने पर मजबूर कर देती है, और इसमें प्रशिक्षण की आवश्यकता नहीं होती।
- किसी LLM के 10 से कम सुप्त न्यूरॉन्स के वेट को पुनःप्रोग्राम करना उस पर बने एजेंट में बैकडोर डालने के लिए पर्याप्त है, और इसमें प्रशिक्षण की आवश्यकता नहीं होती।
- ट्रिगर तारीख बदलने जितना सामान्य हो सकता है: जैसे ही घड़ी मध्यरात्रि पार करके 2027 में जाती है, एजेंट सामान्य कार्य के बीच एक कमांड देता है जो हमलावर का कोड डाउनलोड और चलाता है।
- पेपर रिपोर्ट करता है कि लगभग 50 उदाहरणों पर फिट किया गया एक रैखिक क्लासिफायर ट्रिगर वाले इनपुट को बिना ट्रिगर वाले इनपुट से अलग पहचान सकता है।
- इस हमले को केवल इन्फरेंस कंप्यूट की आवश्यकता होती है: यदि मशीन में मॉडल चलाने लायक RAM है, तो वह वेट-स्पेस में बैकडोर डालने के लिए भी पर्याप्त है।
बिल्डरों को वेट की अखंडता को कोड की अखंडता की तरह मानना चाहिए: मूल अपरिवर्तित वेट से तुलना किए बिना कोई स्कैन मॉडल को सुरक्षित साबित नहीं कर सकता, इसलिए प्रोवेनेंस और तैनाती-पूर्व सत्यापन आवश्यक हैं।
BotPsy: सब-बिलियन-पैरामीटर एजेंटिक भाषा मॉडल वाला ऑन-डिवाइस पर्सनल असिस्टेंट
Tether AI Research ने BotPsy पेश किया है, जो Qwen3.5-0.8B पर आधारित 0.8B-पैरामीटर मॉडल है और फ़ंक्शन कॉलिंग तथा एजेंटिक वर्कफ़्लो के लिए बनाया गया है, जो ऑन-डिवाइस डिप्लॉयमेंट के लिए उपयुक्त है।
- BFCL v4 23.4 से बढ़कर 44.0, ACEBench 30.1 से 58.7 और τ-bench 23.2 से 51.5 हो गया।
- यह BFCL v4, ACEBench, τ-bench, ToolSandbox और BrowseComp-Plus पर Qwen3.5-2B-Think से आगे है; केवल Claw-Eval पर Qwen3.5-2B-Think आगे है (48.9 बनाम 46.5)।
- IFEval 59.7 से बढ़कर 90.8 और IFBench 22.0 से 55.9 हो गया।
- इसे Apache 2.0 लाइसेंस के तहत खुले वेट के साथ तीन प्रिसिज़न (bf16, Q8, Q4) में safetensors और GGUF फ़ाइलों के रूप में जारी किया जाएगा।
ऑन-डिवाइस एजेंट बनाने वालों के लिए BotPsy दिखाता है कि 0.8B मॉडल टूल-उपयोग बेंचमार्क में 2.5 गुना बड़े मॉडल से आगे निकल सकता है, जबकि ज्ञान कार्य अभी भी पैरामीटर संख्या के साथ बढ़ते हैं।
OpenRouter पर नया मॉडल: Baidu ERNIE-5.5-Flash-Preview (मुफ़्त)
Baidu का ERNIE-5.5-Flash-Preview OpenRouter पर मुफ़्त उपलब्ध है, जिसमें कुल 280 अरब पैरामीटर हैं, प्रति टोकन 14 अरब सक्रिय होते हैं और 10 लाख टोकन का कॉन्टेक्स्ट विंडो है।
- कुल 280 अरब पैरामीटर, जिनमें प्रति टोकन 14 अरब सक्रिय होते हैं।
- 1,024,000 टोकन का कॉन्टेक्स्ट विंडो, जो 1,024,000 तक कम्प्लीशन टोकन सपोर्ट करता है।
- पेज के अनुसार नई आर्किटेक्चर 200 टोकन प्रति सेकंड से अधिक की जनरेशन गति देती है।
- एक ही प्रोवाइडर Baidu Qianfan द्वारा होस्ट किया गया, कीमत शून्य; मुफ़्त एंडपॉइंट पर रेट लिमिट लागू है।
मुफ़्त, दस लाख टोकन कॉन्टेक्स्ट और स्पार्स एक्टिवेशन का संयोजन लंबे दस्तावेज़ों और एजेंटिक वर्कफ़्लो के प्रोटोटाइप के लिए उपयुक्त है, पर एकल प्रोवाइडर और रेट लिमिट का ध्यान रखना होगा।
AlphaGenome 2: बीमारियों को बेहतर समझने के लिए कोशिकाएं DNA कैसे पढ़ती हैं, इसका विश्लेषण
Google DeepMind ने AlphaGenome 2 पेश किया, एक अगली पीढ़ी का DNA अनुक्रम मॉडल जो कंडीशनल आर्किटेक्चर का उपयोग करके विशिष्ट कोशिका प्रकारों या अवस्थाओं के लिए वैरिएंट प्रभावों की भविष्यवाणी करता है और बिना पुनः प्रशिक्षण नए सिंगल-सेल डेटा के अनुकूल होता है।
- TenK10K डेटासेट पर, AlphaGenome 2 ने मूल AlphaGenome की तुलना में लगभग दोगुने कारणात्मक वैरिएंट (30% बनाम 16%) और दिशात्मक जीन प्रभाव (43% बनाम 23%) की पहचान की।
- मॉडल को 68 ऊतकों में 10.7 करोड़ से अधिक व्यक्तिगत कोशिका प्रोफाइल पर प्रशिक्षित किया गया।
- यह जीन अभिव्यक्ति, हिस्टोन संशोधन, क्रोमेटिन एक्सेसिबिलिटी और DNA मिथाइलेशन की भविष्यवाणी करता है।
- AlphaGenome 2 आज से AlphaGenome API के माध्यम से गैर-व्यावसायिक अनुसंधान के लिए उपलब्ध है और व्यावसायिक अनुसंधान के लिए निजी पूर्वावलोकन में है।
कंडीशनल सिंगल-सेल मॉडलिंग शोधकर्ताओं को हर नए डेटासेट के लिए मॉडल को पुनः प्रशिक्षित किए बिना रोग-संबंधित कोशिका प्रकारों में वैरिएंट प्रभावों का पता लगाने देती है।
HOPE: Mixture-of-Experts भाषा मॉडलों में उच्च-क्रम विशेषज्ञ प्रूनिंग
HOPE एक द्वितीय-क्रम विशेषज्ञ प्रूनिंग विधि है जो कैलिब्रेशन सेट पर विशेषज्ञों के जोड़े-वार अंतःक्रिया मैट्रिक्स F का निर्माण करती है और प्रून-सेट चुनने के लिए एक द्विघात प्रोग्राम हल करती है, बजाय पहले-क्रम की विधियों की तरह प्रत्येक विशेषज्ञ को स्वतंत्र रूप से स्कोर करने के।
- 50% प्रूनिंग पर, HOPE का औसत रैंक 1.58 है, जबकि अगली सर्वश्रेष्ठ विधि REAP का 2.42 है।
- Qwen3.5-35B-A3B पर 50% प्रूनिंग के साथ, HOPE ने SWE-Bench Pro पर 42.3 प्राप्त किया, जो बिना प्रून किए मॉडल के 41.8 के बराबर है, जबकि REAP 36.2 पर गिर गया।
- F मैट्रिक्स का विकर्ण REAP की विशेषज्ञ रैंकिंग को लगभग पूरी तरह पुनःप्राप्त करता है (Spearman ρ = 0.988), इसलिए REAP पर HOPE का लाभ ऑफ-डायगोनल अंतःक्रिया पदों से आता है।
- HOPE को पहले-क्रम की विधियों जैसा ही एकल कैलिब्रेशन फॉरवर्ड पास चाहिए, और एकमात्र अतिरिक्त कार्य प्रति परत लगभग 1–2 सेकंड में हल होने वाला द्विघात प्रोग्राम है।
मेमोरी बाधाओं के तहत बड़े MoE तैनात करने वाली टीमों के लिए, HOPE दिखाता है कि जोड़े-वार विशेषज्ञ सहयोग को मॉडल करना आक्रामक प्रूनिंग दरों पर एजेंटिक कोडिंग क्षमता बनाए रखता है, जहाँ स्वतंत्र विशेषज्ञ स्कोरिंग तेजी से गिरती है।
मल्टी-वेक्टर एम्बेडिंग मॉडल के लिए Token Pooling-जागरूक ट्रेनिंग
Hugging Face ब्लॉग पोस्ट Sentence Transformers में पूलिंग-जागरूक ट्रेनिंग समझाता है, जो मूल और संपीड़ित दस्तावेज़ एम्बेडिंग दोनों पर रिट्रीवल लॉस लगाती है ताकि टोकन वेक्टर मर्ज होने के बाद भी एनकोडर ज़रूरी जानकारी बनाए रखे।
- pool_factor=4 के साथ, सामान्य रूप से ट्रेन किया गया मॉडल अपने बिना-पूलिंग वाले NanoBEIR nDCG@10 का 94.6% बनाए रखता है, और दस्तावेज़ वेक्टर 4 गुना घट जाते हैं।
- पूलिंग-जागरूक ट्रेनिंग उसी स्टोरेज बजट पर यह रिटेंशन 97.8% तक बढ़ा देती है।
- लॉस L = 1/2 L_unpooled + 1/2 L_pooled है, और दोनों उद्देश्य एक ही एनकोडर को अपडेट करते हैं।
- HierarchicalTokenPooling Ward पदानुक्रमित क्लस्टरिंग का उपयोग करता है और ट्रेनिंग के दौरान straight-through estimator से पूल किए गए वेक्टर के ग्रेडिएंट उनके सदस्य टोकन तक पहुँचाता है।
मल्टी-वेक्टर रिट्रीवल सिस्टम के लिए, पूलिंग-जागरूक ट्रेनिंग वेक्टर स्टोरेज बढ़ाए बिना ट्रेनिंग-उद्देश्य के संरेखण से संपीड़न के कारण खोई रिट्रीवल गुणवत्ता वापस पाने में मदद करती है।
प्रीफ़िल पर प्रशिक्षण, डिकोड पर निगरानी: विषय निगरानी के लिए स्पार्स ऑटोएन्कोडर का उपयोग
पेपर TopicScope प्रस्तुत करता है, जो SAE फ़ीचर पर कारणात्मक विषय वर्गीकरणकर्ता प्रशिक्षित करने का ढाँचा है और प्रत्येक टोकन को विषय सौंपता है, जिससे प्रतिक्रिया के बीच में लेबल बदल सकता है। Gemma-3 1B और 4B पर, प्रीफ़िल हिडन स्टेट से निकाले गए फ़ीचर पर प्रशिक्षित मॉनिटर डिकोडिंग तक सामान्यीकृत हुए।
- सात विषयों को कवर करने वाली सिंथेटिक बहु-विषय बातचीत पर तीन डिटेक्टर आर्किटेक्चर प्रशिक्षित किए गए।
- Gemma-3 1B और 4B पर, प्रीफ़िल हिडन स्टेट से निकाले गए फ़ीचर पर प्रशिक्षित मॉनिटर डिकोडिंग तक सामान्यीकृत हुए।
- वर्गीकरणकर्ता गड़बड़ियों के प्रति मज़बूत हैं, विषय से हटकर जोड़े गए अंश, विषय हटाए जाने या अनुभागों के पुनर्क्रमण पर अधिकतम 5 macro-F1 अंक खोते हैं।
- SAE के योगदान पर किए गए एब्लेशन से पता चला कि इसके बिना बेसलाइन प्रदर्शन तक पहुँचने वाले वर्गीकरणकर्ता कई गुना बड़े थे।
यह दर्शाता है कि संक्षिप्त विषय मॉनिटर प्रीफ़िल में कम लागत पर प्रशिक्षित किए जा सकते हैं और जनरेशन के दौरान तैनात किए जा सकते हैं, तथा SAE सुरक्षा वर्गीकरण से आगे कहाँ उपयोगी हैं।