AI FRONTIER
Signals worth understanding before they become obvious.
MoEZip: स्पार्स Mixture-of-Experts LLM के लिए रूटिंग-जागरूक KV कैश संपीड़न
MoEZip एक रूटिंग-जागरूक KV कैश संपीड़न प्रस्तावित करता है जो रूटिंग वितरणों के Fisher सूचना मैट्रिक्स से प्राप्त संवेदनशीलता मीट्रिक को अटेंशन भार के साथ जोड़कर संदर्भों को स्कोर करता है, ताकि MoE लंबे-संदर्भ अनुमान में KV निष्कासन से विशेषज्ञ चयन बदलने की समस्या का समाधान हो सके।
- पेपर रिपोर्ट करता है कि 10% KV रिटेंशन अनुपात पर MoEZip LongBench और RULER पर SoTA बेसलाइन से औसतन +24 और +20 अंक बेहतर है, जो क्रमशः 2.3 गुना और 4.9 गुना अधिक स्कोर के बराबर है।
- MoEZip विशेषज्ञ रूटिंग की गड़बड़ी के प्रति संवेदनशीलता आंकने के लिए रूटिंग वितरणों के Fisher सूचना मैट्रिक्स पर आधारित एक नई मीट्रिक पेश करता है।
- यह विधि इस मीट्रिक को अटेंशन भार के साथ जोड़कर संदर्भों की रूटिंग-जागरूक स्कोरिंग करती है और डेंस तथा स्पार्स-MoE आर्किटेक्चर के लिए निष्कासन विधियों को मिलाकर एक पूरक स्कोरिंग प्रणाली बनाती है।
- पेपर NeurIPS 2026 में स्वीकृत हुआ है और arXiv:2610.30206 है, जो 21 अक्टूबर 2026 को जमा किया गया।
लंबे संदर्भों पर स्पार्स MoE मॉडल परोसने वाली टीमों के लिए MoEZip दर्शाता है कि आक्रामक संपीड़न में जनरेशन गुणवत्ता बनाए रखने के लिए KV निष्कासन नीतियों में विशेषज्ञ रूटिंग स्थिरता को स्पष्ट रूप से शामिल करना आवश्यक है।
डेटाबेस ग्रेडिंग को RL रिवॉर्ड में बदलना: ThinkingBox के साथ एजेंट पोस्ट-ट्रेनिंग
Microsoft और Hugging Face ने ThinkingBox-Training जारी किया, जो अंतिम डेटाबेस स्थिति की निष्पादन योग्य जाँचों को GRPO रिवॉर्ड के रूप में उपयोग करता है; Qwen3.8-27B के 50 चरणों के फाइन-ट्यूनिंग के बाद औसत सफलता दर 51.70% से 60.78% हो गई।
- Qwen3.8-27B का pass@1 5,242 प्रयासों (51.70%) से बढ़कर 6,163 प्रयास (60.78%) हो गया, यानी 9.08 अंक की वृद्धि।
- सभी 20 प्रयासों में पास होने वाले कार्य 38 (7.50%) से बढ़कर 107 (21.10%) हो गए, यानी 69 कार्यों की वृद्धि।
- pass@20 (कम से कम एक बार हल किए गए कार्य) 453 (89.35%) से घटकर 446 (87.97%) हो गए, यानी 7 कार्यों की कमी।
- ट्रेनिंग में 187 कार्य, token-mean GRPO, 50 चरण, 24 H100, 1e-6 लर्निंग रेट और शून्य वेट डिके के साथ AdamW का उपयोग किया गया।
एजेंट बनाने वाली टीमों के लिए, निष्पादन योग्य अंतिम-स्थिति जाँचें ग्रेडर और रिवॉर्ड सिग्नल दोनों का काम कर सकती हैं, लेकिन दोहराव में सुधार के साथ कवरेज में मामूली कमी आ सकती है।
असंस्थिर अटेंशन के लिए फ्लो-आधारित स्पेक्ट्रल कर्नेल लर्निंग
यह पेपर flow-based spectral kernel attention (FSKA) प्रस्तावित करता है, जो स्पेक्ट्रल डेंसिटी लर्निंग के माध्यम से kernelized attention को सूत्रबद्ध करता है और परिणामी bivariate spectral density को normalizing flows से पैरामीटराइज़ करता है ताकि nonstationary attention kernels सीखे जा सकें।
- FSKA स्पेक्ट्रल डेंसिटी लर्निंग के माध्यम से kernelized attention को सूत्रबद्ध करता है और परिणामी bivariate spectral density को normalizing flows से पैरामीटराइज़ करता है।
- यह डिज़ाइन query–key प्रोजेक्शन हटाकर और fixed orthogonal value प्रोजेक्शन रखकर एक सरलीकृत attention आर्किटेक्चर को संभव बनाता है, जिससे यह अधिक parameter-efficient बनता है।
- पेपर रिपोर्ट करता है कि अधिकांश baselines की तुलना में projection-संबंधित trainable parameters लगभग 40%–47% कम होते हैं और linear-attention memory scaling अनुकूल बनी रहती है।
- classification, ablation और scalability profiling पर नियंत्रित प्रयोग रिपोर्ट करते हैं कि FSKA मौजूदा attention mechanisms की तुलना में प्रतिस्पर्धी या बेहतर प्रदर्शन देता है; कोड उपलब्ध है।
बिल्डरों के लिए FSKA दर्शाता है कि normalizing flows से nonstationary kernels सीखने पर linear-attention memory scaling बनाए रखते हुए projection-संबंधित trainable parameters लगभग 40%–47% घटाए जा सकते हैं।
टीबी स्क्रीनिंग की अग्रिम पंक्ति तक फाउंडेशनल मॉडल पहुंचाना
Google Research ने IDWeek 2026 में टीबी स्क्रीनिंग की अपनी यात्रा प्रस्तुत की, जो छाती के एक्स-रे एल्गोरिदम से लेकर CE-प्रमाणित क्लिनिकल टूल और स्थानीय परिनियोजन के लिए ओपन फाउंडेशन मॉडल MedGemma और MedSigLIP तक फैली है।
- Google Research के अनुसार तपेदिक हर साल अनुमानित 12.3 लाख लोगों की जान लेता है।
- Nexus AI का डिवाइस छाती के एक्स-रे को टीबी जैसी फेफड़ों की बीमारियों के लिए केवल 45 सेकंड में स्क्रीन करता है।
- यह टूल छह देशों की लगभग 40 स्वास्थ्य सुविधाओं में संचालित है, जहां 90 से अधिक क्लिनिशियन ने 25,000 से अधिक छाती के रेडियोग्राफ का मूल्यांकन किया।
- MedGemma ओपन-वेट मल्टीमॉडल मॉडल परिवार है, जिसमें 4B और 27B पैरामीटर कॉन्फ़िगरेशन हैं और लॉन्च के बाद से 1 करोड़ से अधिक डाउनलोड हुए हैं।
स्वास्थ्य AI बनाने वाले डेवलपर्स के लिए, ओपन वेट और डिवाइस पर चलने वाले मॉडल देशी रेडियोग्राफ पर फाइन-ट्यून किए गए संप्रभु स्क्रीनिंग टूल संभव बनाते हैं।
Latent Space Jam: बिना ट्रेनिंग लेआउट-निर्देशित वीडियो सिंथेसिस
यह पेपर एक बिना ट्रेनिंग वाली दो-पास विधि प्रस्तावित करता है जो प्रीट्रेन्ड वीडियो डिफ्यूज़न मॉडल का उपयोग करती है: प्रॉम्प्ट-निर्देशित क्रॉस-अटेंशन से ऑब्जेक्ट की स्थान-कालिक स्थिति नियंत्रित करके एक मोटा विज़ुअल गाइड बनाया जाता है, फिर वही मॉडल उस गाइड पर कंडीशन होकर लेआउट-संगत उच्च-गुणवत्ता वीडियो बनाता है।
- इस दृष्टिकोण में अतिरिक्त ट्रेनिंग, डेटा या आर्किटेक्चर बदलाव की आवश्यकता नहीं है और यह प्रीट्रेन्ड वीडियो डिफ्यूज़न मॉडल का उपयोग करता है।
- यह दो पास में चलता है: पहला पास प्रॉम्प्ट-निर्देशित क्रॉस-अटेंशन से मोटा विज़ुअल गाइड बनाता है, दूसरा पास उसी मॉडल को उस गाइड पर कंडीशन करता है।
- पेपर बताता है कि यह विधि स्टैटिक, डायनामिक और मल्टी-ऑब्जेक्ट दृश्यों में ओवरलैप और ट्रैजेक्टरी सटीकता तथा विज़ुअल गुणवत्ता में पिछले कामों से लगातार बेहतर है।
बिल्डरों के लिए इसका अर्थ है कि लेआउट और मोशन नियंत्रण बिना ट्रेनिंग लागत के मौजूदा वीडियो डिफ्यूज़न मॉडल पर जोड़ा जा सकता है, जिससे नियंत्रित वीडियो जनरेशन की बाधा कम होती है।
CiteAnchor: भ्रमित उद्धरणों की पहचान और समाधान के लिए स्रोत-जागरूक ग्राउंडिंग
यह पेपर CiteResolve नामक बेंचमार्क पेश करता है, जिसमें स्रोत-पुनर्प्राप्ति के आधार पर एनोटेट किए गए 423 वास्तविक भ्रमित उद्धरण शामिल हैं, और CiteAnchor नामक स्रोत-जागरूक ग्राउंडिंग फ्रेमवर्क प्रस्तावित करता है जो प्रत्येक स्रोत प्रकार के लिए रिट्रीवल और फ़ील्ड-स्तरीय सत्यापन को अनुकूलित करता है तथा उद्धरण की वैधता और क...
- CiteResolve एक बेंचमार्क है जिसमें स्रोत-पुनर्प्राप्ति के आधार पर एनोटेट किए गए 423 वास्तविक भ्रमित उद्धरण शामिल हैं।
- एक मौजूदा डिटेक्शन बेंचमार्क पर, CiteAnchor GPT-5.6 Luna के साथ 0.841 F1 और ओपन-वेट बैकबोन के साथ 0.784 F1 प्राप्त करता है।
- पेपर रिपोर्ट करता है कि समान बैकबोन वाले बेसलाइन को 7.9 और 36.8 अंकों से पीछे छोड़ा गया।
- CiteResolve पर यह 74.7% और 70.7% एंड-टू-एंड टास्क सफलता प्राप्त करता है, जिसे पेपर संबंधित वेब सर्च बेसलाइन से 16.3 और 65.3 प्रतिशत अंक अधिक बताता है।
साहित्य सत्यापन और रिट्रीवल-ऑगमेंटेड सिस्टम बनाने वालों के लिए यह काम उद्धरण की वैधता को स्रोत-पुनर्प्राप्ति से अलग करता है और कोड तथा डेटा उपलब्ध कराता है।
TauIndianBankBench: टूल का उपयोग करने वाले संवादी एजेंटों का प्रक्रिया-जागरूक, क्रिया-उन्मुख मूल्यांकन
यह पेपर TauIndianBankBench प्रस्तुत करता है, जो 1,000 भारतीय रिटेल-बैंकिंग कार्यों का क्रिया-उन्मुख बेंचमार्क है और अंतिम रिकॉर्ड के अलावा यह भी जाँचता है कि सहायक ने हर आवश्यक चरण पूरा किया और कोई अनुरोध न किया गया बदलाव नहीं किया। पेपर बताता है कि केवल अंतिम रिकॉर्ड जाँचने पर, प्रत्येक मॉडल के 6.5-12.0% सत्र सफल माने...
- बेंचमार्क में 1,000 भारतीय रिटेल-बैंकिंग कार्य शामिल हैं जिनमें सहायक एक सिम्युलेटेड ग्राहक की मदद करता है।
- मूल्यांकन अंतिम रिकॉर्ड, हर आवश्यक चरण पूरा होने और कोई अनुरोध न किया गया बदलाव न होने की जाँच करता है।
- पेपर बताता है कि केवल अंतिम रिकॉर्ड जाँचने पर, प्रत्येक मॉडल के 6.5-12.0% सत्र सफल माने जाते हैं, भले ही आवश्यक चरण छोड़ा गया हो या अनुरोध न किया गया बदलाव किया गया हो।
- पेपर 15 पृष्ठों, 6 आकृतियों और 14 तालिकाओं का है, और कोड तथा डेटा लिंक देता है।
बैंकिंग एजेंट बनाने वाली टीमों के लिए यह बेंचमार्क दिखाता है कि केवल अंतिम स्थिति पर स्कोर करना प्रक्रिया-पालन को बढ़ा-चढ़ाकर दर्शाता है, इसलिए आवश्यक चरणों और अनधिकृत कार्यों का मूल्यांकन ज़रूरी है।
Decisions API से अधिक रिस्पॉन्सिव ऐप्स बनाएं
OpenAI News ने Decisions API प्रकाशित किया है, जिसे किसी भी एप्लिकेशन के लिए तेज़, केंद्रित और कम लागत वाले निर्णय देने वाली सेवा के रूप में पेश किया गया है।
- स्रोत OpenAI News है; आइटम का शीर्षक “Build more responsive apps with the Decisions API” है।
- एक पंक्ति का विवरण है: “Fast, focused, low-cost decisions for any application.”
- आइटम को developer श्रेणी में रखा गया है और बदलाव का प्रकार cost_collapse है।
अगर यह API बताए अनुसार कम लागत में केंद्रित निर्णय देती है, तो डेवलपर्स भारी मॉडल कॉल पर निर्भर रहने के बजाय निर्णय कॉल को सीधे इंटरैक्टिव फ्लो में रख सकते हैं।