AI FRONTIER
Signals worth understanding before they become obvious.
TRACE: संचार-कुशल वितरित एज अनुमान के लिए Transformer रेसिडुअल एक्टिवेशन कोडबुक एन्कोडिंग
यह पेपर TRACE फ्रेमवर्क प्रस्तुत करता है, जो हर Transformer लेयर के पोस्ट-अटेंशन रेसिडुअल पर एक वेक्टर क्वांटाइज़र (VQ) रखता है और कोडबुक-इंडेक्स्ड key/value प्रतिनिधित्व पहले से गणना करता है, जिससे प्राप्तकर्ता डाउनस्ट्रीम प्रोजेक्शन गणना चलाने के बजाय टेबल लुकअप से key और value सीधे पुनः प्राप्त कर सकते हैं।
- असंपीड़ित सीक्वेंस-पैरेलल अनुमान की तुलना में, TRACE संचार ओवरहेड को अधिकतम 22,624x तक घटाता है।
- पदानुक्रमित क्लस्टरिंग सीखे गए कोडबुक को मल्टी-रेज़ोल्यूशन पदानुक्रम में संरचित करती है, जिससे पुनः प्रशिक्षण के बिना रनटाइम पर संचार बिटरेट को अनुकूलित किया जा सकता है।
- फ्रेमवर्क दो ऑपरेटिंग वेरिएंट का समर्थन करता है: एक सटीकता को प्राथमिकता देता है और दूसरा बफर-संगत क्वांटाइज़ेशन के माध्यम से सटीकता और दक्षता को संतुलित करता है।
वितरित एज अनुमान बनाने वालों के लिए, key और value को कोडबुक इंडेक्स के रूप में पहले से गणना करना प्राप्तकर्ता-पक्ष की डाउनस्ट्रीम गणना को हटाकर संचार-गणना ओवरलैप सक्षम करता है, हालांकि रिपोर्ट किए गए लाभ परीक्षण किए गए विशिष्ट मॉडलों और डेट...
Structured Authority Injection: टाइप्ड MCP ओवरराइड के ज़रिए LLM एजेंट्स के लिए स्थायी मानव नियंत्रण
यह पेपर Structured Authority Injection (SAI) प्रस्तावित करता है, एक प्रोटोकॉल जो ऑपरेटर सुधारों को टाइप्ड, स्कीमा-सत्यापित Model Context Protocol (MCP) टूल कॉल के ज़रिए रूट करता है और हर LLM प्रॉम्प्ट के आगे एक रैंक किया गया अथॉरिटी कॉन्टेक्स्ट जोड़ता है, जिसमें मॉडल फाइन-ट्यूनिंग या मॉडल वेट तक पहुँच की ज़रूरत नहीं हो...
- पेपर एजेंट विफलता मोड को लक्षित नौ LLM और आठ परिदृश्यों में मूल्यांकन की रिपोर्ट करता है, जिसमें निर्देशों की अस्पष्ट व्याख्या कम हुई और प्लानिंग पुनरावृत्तियों में अथॉरिटी क्षय कम हुआ।
- पेपर सबसे मज़बूत मॉडलों में कम प्रॉम्प्ट ओवरहेड की रिपोर्ट करता है, मॉडल और परिदृश्य के आधार पर 38% तक, हालाँकि लाभ मॉडलों के बीच काफी भिन्न होता है।
- इस विधि में मॉडल फाइन-ट्यूनिंग या मॉडल वेट तक पहुँच की ज़रूरत नहीं होती और यह MCP टूल उपयोग का समर्थन करने वाले इंस्ट्रक्शन-ट्यून्ड LLM पर लागू होती है।
एजेंट ऑर्केस्ट्रेटर बनाने वाले डेवलपर्स के लिए, SAI मॉडलों को दोबारा प्रशिक्षित किए बिना स्थायी, टाइप्ड मानव ओवरराइड का प्रोटोकॉल-स्तरीय पैटर्न देता है, लेकिन रिपोर्ट किया गया लाभ मॉडल के अनुसार काफी भिन्न होता है।
Prefill में expert कमी MoE मॉडलों को कहाँ नुकसान पहुँचाती है: कुछ प्रॉम्प्ट टोकन ही short-answer F1 हानि का अधिकांश हिस्सा लेते हैं
चार MoE परिवारों में token-, layer- और attention-path हस्तक्षेपों के ज़रिए यह पेपर बताता है कि prefill के दौरान प्रॉम्प्ट टोकन को कम routed experts से गुज़ारने का नुकसान कहाँ होता है: Qwen3-30B-A3B में हानि उत्तर से पहले के दो chat-template टोकन पर होती है, और DeepSeek-V2-Lite में पहले 8-32 प्रॉम्प्ट टोकन पर, जहाँ उसका...
- आधे experts पर तीन परिवारों की F1 हानि मुख्यतः उत्तर के रूप में होती है: मॉडल उत्तर अब भी ढूँढ लेता है पर संक्षेप में उत्तर देना बंद कर देता है।
- Qwen3-30B-A3B में हानि उत्तर से पहले के दो chat-template टोकन पर होती है; DeepSeek-V2-Lite में पहले 8-32 प्रॉम्प्ट टोकन पर, जहाँ उसका instruction बैठता है।
- answer likelihood के अनुसार ये स्थान नुकसान का लगभग आधा और पाँचवाँ हिस्सा समझाते हैं।
- कमी पहले टोकन की attention mass, norm और सबसे बड़ी activation को 4% से कम बदलती है, और super experts या massive activations बहाल करने पर हानि का अधिकतम लगभग एक चौथाई ही वापस मिलता है।
MoE serving के लिए, प्रॉम्प्ट के सिरों पर—विशेषकर chat-template और instruction स्थानों पर—पूरे experts का routing बनाए रखना short-answer F1 को super experts या massive activations बहाल करने से बेहतर बचाता है।
RealCLI: CLI एजेंट के लिए मानव-एजेंट सहयोग का एकीकृत मूल्यांकन
यह पेपर REALCLI प्रस्तुत करता है, एक पेयर्ड बेंचमार्क जो वास्तविक CLI कार्यों पर कार्य-निष्पादन और मानव-एजेंट सहयोग गुणवत्ता के मूल्यांकन को एकीकृत करता है, जिसमें पाँच-आयामी ढाँचा, 22 उप-आयाम, 51 इंटरैक्शन परिदृश्य टेम्पलेट और दो पेयर्ड मोड REALCLI-EXEC तथा REALCLI-COLLAB शामिल हैं।
- REALCLI सहयोग मापने के लिए पाँच-आयामी ढाँचा बनाता है, जिसे 22 उप-आयामों और 51 इंटरैक्शन परिदृश्य टेम्पलेट में संचालित किया गया है।
- REALCLI-EXEC पूर्ण विशिष्टताएँ पहले से देता है, जबकि REALCLI-COLLAB एक स्क्रिप्टेड उपयोगकर्ता जोड़ता है जो क्रमिक जानकारी, सुधार, बाधा संशोधन और प्राधिकरण निर्णय देता है।
- पेपर रिपोर्ट करता है कि सर्वोत्तम कॉन्फ़िगरेशन का औसत स्कोर केवल 49.2% है, और संयुक्त सहयोग स्कोर J_collab पर शीर्ष प्रदर्शन मात्र 37.6% तक पहुँचता है।
- पेपर रिपोर्ट करता है कि मॉडल स्टीयरेबिलिटी, विश्वास अंशांकन और सुरक्षा सीमा प्रबंधन में लगातार संघर्ष करते हैं।
CLI एजेंट बनाने वालों के लिए, कार्य-प्रभावशीलता और सहयोग गुणवत्ता के बीच तीव्र अंतर का अर्थ है कि केवल कार्य पूर्णता को अनुकूलित करना वास्तविक इंटरैक्टिव परिस्थितियों में मूल्यांकन पास करने के लिए पर्याप्त नहीं होगा।
FlashControl: डिस्टिलेशन-अनुकूल सिंगल-स्ट्रीम टीचर के ज़रिए एक-चरणीय नियंत्रणीय जनरेटर
यह पेपर DeltaControl पेश करता है, जो मूल टेक्स्ट-टू-इमेज डिफ्यूज़न मॉडल की चुनी हुई परतों का फाइनट्यून करके बिना अतिरिक्त कंडीशनल ब्रांच जोड़े स्थानिक-कंडीशन जनरेशन सीधे सक्षम करता है। इस टीचर पर स्टेप-डिस्टिलेशन लागू करके FlashControl प्राप्त होता है, जो एक ही फ़ॉरवर्ड पास में स्थानिक रूप से नियंत्रणीय जनरेशन कर सकता ...
- यह पेपर NeurIPS 2026 में स्वीकृत हुआ और 15 अक्टूबर 2026 को सबमिट किया गया।
- DeltaControl एक सिंगल-फ़्लो, मल्टी-स्टेप डिफ्यूज़न मॉडल है, जिसके बारे में पेपर बताता है कि यह ड्यूअल-ब्रांच तरीकों के प्रदर्शन की बराबरी करता है।
- FlashControl, DeltaControl पर स्टेप-डिस्टिलेशन लागू करके प्राप्त होता है और एक ही फ़ॉरवर्ड पास में स्थानिक नियंत्रणीय जनरेशन का समर्थन करता है।
- पेपर कहता है कि ControlNet जैसे मौजूदा नियंत्रणीय मॉडल ड्यूअल-ब्रांच डिज़ाइन पर निर्भर हैं, जिससे डिस्टिलेशन कठिन हो जाता है।
AI बिल्डरों के लिए यह दर्शाता है कि ड्यूअल-ब्रांच आर्किटेक्चर के बिना डिस्टिलेशन-अनुकूल नियंत्रणीय टीचर प्राप्त किया जा सकता है, जिससे एक-चरणीय नियंत्रणीय इमेज जनरेशन की बाधा कम होती है।
Trust but Verify: डिस्क्रीट डिफ्यूज़न के लिए क्षेत्र-असमान फ़ॉरवर्ड डायनैमिक्स का डिज़ाइन
यह पेपर अवशोषक और यूनिफ़ॉर्म-मिक्सिंग कर्नेल को क्षेत्र-निर्भर दरों के साथ जोड़ता है: अनुपस्थित स्थान अवशोषक डायनैमिक्स का पालन करते हैं, जबकि कॉन्टेक्स्ट पर कम दर वाला यादृच्छिक प्रतिस्थापन होता है, जिससे ट्रेनिंग के दौरान मॉडल देखे गए पर अनिश्चित टोकन के संपर्क में आता है। इनफ़रेंस पर एक ह्यूरिस्टिक सैंपलर एनिल्ड तीव...
- प्रीट्रेंड 170M-पैरामीटर मास्क्ड डिफ्यूज़न मॉडल का 8,000-स्टेप फ़ाइनट्यून 6 GB लैपटॉप GPU पर पाँच घंटे से कम में पूरा होता है।
- बेस मॉडल देखे गए टोकन को लगभग 50% प्रायिकता देता है, तब भी जब वे यूनिफ़ॉर्म-रैंडम कचरा हों।
- यूनिफ़ॉर्म-रैंडम करप्शन पर फ़ाइनट्यून 0.96 रिकॉल और 0.91 प्रिसिज़न के साथ करप्टेड कॉन्टेक्स्ट का पता लगाता है, 10% करप्शन पर infill token-F1 में 3.8 अंक और 20% करप्शन पर 6.4 अंक सुधार करता है।
- क्लीन कंडीशनिंग में कोई मापनीय गिरावट नहीं दिखती, फ़ॉल्स-एडिट दर 0.4% से नीचे है; विश्वसनीय करप्शन पर लाभ कमज़ोर है, 10% करप्शन पर लगभग 0.5 F1 अंक, सांख्यिकीय महत्व के बिना।
नतीजे संकेत देते हैं कि 170M डिस्क्रीट डिफ्यूज़न मॉडल में आर्किटेक्चर के बजाय फ़ॉरवर्ड डायनैमिक्स बदलकर मध्यवर्ती भरोसा प्राप्त किया जा सकता है, और पहचान-क्षमता तथा क्षति दोनों डेटा कंडीशनल से दूरी पर निर्भर करते हैं।