AI FRONTIER
Signals worth understanding before they become obvious.
सब-4-बिट विज़न CNN क्यों ढहते हैं और मिश्रित-परिशुद्धता रिकवरी कहाँ रुकती है
यह पेपर पूरे 50,000-छवि ImageNet-1k वैलिडेशन सेट पर मूल्यांकित मानक विज़न CNN, जिनमें ResNet और EfficientNet बैकबोन शामिल हैं, में क्वांटाइज़ेशन पतन का व्यवस्थित विश्लेषण करता है और एक बहु-चरणीय रिकवरी वॉटरफ़ॉल प्रस्तुत करता है।
- पतन अत्यधिक अरैखिक है और देर-चरणीय पॉइंटवाइज़ प्रोजेक्शन तथा डेप्थवाइज़ लेयरों में केंद्रित है।
- महत्वपूर्ण लेयर एक्टिवेशन के 5% से कम को 8-बिट परिशुद्धता में रखने से आक्रामक सब-4-बिट संपीड़न के दौरान खोई सटीकता का 92% तक वापस पाया जाता है।
- मानक ARM और x86 CPU आर्किटेक्चर पर, मानक रनटाइम सॉफ़्टवेयर बिट-अनपैकिंग बैच आकार के आधार पर 1.48x से 21.5x निष्पादन मंदता लाती है।
एज विज़न बिल्डरों के लिए, सब-4-बिट वेट थ्रूपुट के बजाय स्टोरेज घटाते हैं, इसलिए मिश्रित-परिशुद्धता रिकवरी को देर-चरणीय पॉइंटवाइज़ प्रोजेक्शन और डेप्थवाइज़ लेयरों पर लक्षित करना चाहिए और अनपैकिंग ओवरहेड मापना चाहिए।
thinkingmachines/Inkling-2-Mini: 26.4B का मल्टीमॉडल लूप्ड ट्रांसफॉर्मर, ओपन वेट्स के साथ
Thinking Machines Lab ने Inkling 2 Mini जारी किया है, जो मूल रूप से मल्टीमॉडल लूप्ड ट्रांसफॉर्मर है और इसमें कुल 26.4B तथा सक्रिय 3.4B पैरामीटर हैं; इसे Apache 2.0 के तहत ओपन वेट्स के साथ जारी किया गया है। यह टेक्स्ट और इमेज इनपुट लेता है और 1M टोकन तक का कॉन्टेक्स्ट विंडो सपोर्ट करता है।
- कुल 26.4B और सक्रिय 3.4B पैरामीटर; बीच की 12 लेयर साझा वेट्स के साथ तीन बार चलती हैं, जिससे प्रति टोकन 48 लेयर एप्लिकेशन और 5.4B प्रभावी सक्रिय पैरामीटर बनते हैं।
- आर्किटेक्चर 24-लेयर decoder-only स्पार्स MoE है, जो प्रत्येक लेयर में प्रत्येक टोकन को 128 में से 8 एक्सपर्ट्स पर रूट करता है, और अटेंशन लोकल तथा ग्लोबल का हाइब्रिड है।
- लगभग 20GB का एकल चेकपॉइंट मिश्रित NVFP4 और MXFP8 प्रिसिजन में वितरित किया जाता है, और 1x NVIDIA DGX Spark तथा 32GB या अधिक मेमोरी वाले Apple silicon डिवाइस पर लोकल इन्फरेंस समर्थित है।
- मॉडल कार्ड के अनुसार SWEBench Verified (केवल bash) 79.2%, SWEBench Pro v2 (Hard) 77.9%, MMMU Pro Standard 10 74.9% और OmniDocBench v1.6 92.8% है।
बिल्डर्स को 32GB श्रेणी के लोकल हार्डवेयर पर चलने वाला मल्टीमॉडल ओपन-वेट मॉडल मिलता है, लेकिन मॉडल कार्ड के अनुसार तथ्यात्मक रिकॉल में यह Inkling 2 Small से कमजोर है और एजेंटिक कार्यों में बिना पुष्टि विनाशकारी कार्रवाई कर सकता है, इसलिए सै...
Hugging Face ने harness adapters पेश किए: RL से मॉडल को अपने agent harness के अनुकूल बनाएं
Hugging Face ने एक दोबारा इस्तेमाल होने वाली विधि प्रकाशित की है जो Qwen3.8-27B के लिए Pi, OpenCode और Hermes Agent के अंदर RL से प्रत्येक agent harness हेतु एक LoRA adapter प्रशिक्षित करती है, फिर तीनों LoRA को एक super adapter में मिला देती है जो तीनों harness में बिना बदलाव चलता है।
- पेपर के अनुसार Qwen3.8-27B का pi harness के साथ Terminal-Bench 2.1 स्कोर 39% है, प्रति कार्य औसतन 2.9K tokens के साथ; फ्रोज़न weights पर RL-प्रशिक्षित LoRA adapter जोड़ने से 55% pass@1 मिलता है, औसत token उपयोग 1.5K।
- प्रत्येक adapter को NVIDIA 2×B200 GPUs पर प्रशिक्षित किया गया, एक GPU vLLM सर्वर के लिए और एक प्रशिक्षण प्रक्रिया के लिए।
- अंतिम डेटा मिश्रण में harness-adapters RL वातावरण के 750 कार्य और termgrade के 300 कार्य शामिल हैं।
- डेटासेट harness-hub/agentic-coding-envs में 35 रिपॉज़िटरी के 871 कार्य हैं, जिनमें से 171 GRPO प्रशिक्षण के लिए qualified उपसमुच्चय बनाते हैं।
agent बनाने वालों के लिए यह दर्शाता है कि जिस harness पर वे वास्तव में तैनाती करते हैं, उसी के अंदर RL fine-tuning से base model बदले बिना pass दर बढ़ सकती है और token खपत घट सकती है।
आत्मनिरीक्षणीय निगरानी के लिए भाषा मॉडल का प्रशिक्षण
पेपर आत्मनिरीक्षणीय निगरानी पेश करता है: मॉडल में एक अलग तृतीय-पुरुष पर्यवेक्षक भूमिका जोड़ी जाती है जो सहायक के बारे में प्रश्नों का उत्तर देती है, और सहायक के वास्तविक व्यवहार के विरुद्ध सत्यापित उत्तरों को पुरस्कृत किया जाता है। पाँच होल्ड-आउट निगरानी मूल्यांकनों पर Qwen3.6-27B पर प्रशिक्षित पर्यवेक्षक का औसत AUROC ...
- Qwen3.6-27B पर प्रशिक्षित पर्यवेक्षक पाँच होल्ड-आउट निगरानी मूल्यांकनों पर औसत AUROC 0.907 प्राप्त करता है।
- तुलना आधार: ईमानदारी प्रशिक्षण 0.864, ट्रांसक्रिप्ट निगरानी 0.828, एक्टिवेशन ऑरेकल 0.796।
- पेपर बताता है कि पर्यवेक्षक का प्रशिक्षण सहायक को स्वयं अधिक आसानी से निगरानी योग्य बनाता है, और फाइन-ट्यून किए गए सहायक पर हर आधार विधि औसतन सुधरती है।
- पेपर 31 पृष्ठों, 13 आकृतियों और 8 तालिकाओं के साथ 17 नवंबर 2026 को जमा किया गया।
बिल्डरों के लिए यह संकेत देता है कि सहायक से अलग और केवल सटीकता के लिए प्रशिक्षित पर्यवेक्षक भूमिका बाहरी ट्रांसक्रिप्ट निगरानी और एक्टिवेशन डिकोडर से आगे एक निगरानी मार्ग हो सकती है।
Watch Where You Linearize: मॉडल-मर्जिंग हस्तक्षेप की भविष्यवाणी और सुधार
यह पेपर दिखाता है कि टास्क A के आउटपुट का टास्क B के वेक्टर के अनुदिश प्रथम-कोटि दिशात्मक अवकलज हस्तक्षेप की भविष्यवाणी कर सकता है, लेकिन केवल रिसीवर मॉडल पर मूल्यांकन करने पर, और इसी पर LR-Merge बनाया गया है जो लेबल-रहित उत्तल शिक्षक मिलान से गुणांक अनुकूलित करता है।
- रिसीवर मॉडल पर, यह अवकलज प्रति टास्क और प्रति उदाहरण निकटवर्ती मर्ज की भविष्यवाणी करता है, नो-चेंज बेसलाइन की सटीकता त्रुटि को आधा कर देता है, और उन अधिकांश उदाहरणों की पहचान करता है जिनकी भविष्यवाणियाँ पलट जाती हैं।
- पूर्ण बहु-टास्क मर्ज के लिए मर्ज पथ पर दो मूल्यांकन आवश्यक हैं; एकल मूल्यांकन पर्याप्त नहीं है।
- साझा प्रीट्रेन्ड बैकबोन पर, यह अवकलज विज़न प्रयोगों में प्राप्त परिवर्तनों के लगभग लंबवत है और LoRA भाषा-मॉडल पायलटों में केवल आंशिक रूप से भविष्यवाणीकारी है।
बिल्डर रिसीवर मॉडल पर दिशात्मक अवकलज का मूल्यांकन करके मर्ज हस्तक्षेप को कम लागत में पूर्वानुमानित कर सकते हैं और महँगी गुणांक खोज के बजाय LR-Merge के लेबल-रहित उत्तल शिक्षक मिलान का उपयोग कर सकते हैं।
Where the Tokens Go: एजेंटिक कोडिंग में ऊष्मा, एन्ट्रॉपी और त्रुटि
यह पेपर सॉफ़्टवेयर थर्मोडायनामिक्स का सिद्धांत प्रस्तुत करता है जो कोडिंग एजेंट द्वारा उत्पन्न टोकन को लागत मानता है और उस लागत को कार्य और ऊष्मा में बाँटता है। यह सिद्धांत को इस तरह परखा जाता है कि एजेंट बार-बार रिपॉज़िटरी में बदलाव करता और हटाता है, और हर मॉडल कॉल के टोकन गिने जाते हैं।
- पेपर बताता है कि एक सफल रन के लगभग 80 प्रतिशत टोकन ऐसे मॉडल कॉल में उत्पन्न होते हैं जो अनुरोधित बदलाव को जहाँ था वहीं छोड़ देते हैं, जिसे लेखक ऊष्मा कहते हैं।
- पेपर बताता है कि Jarzynski की समानता के अनुरूप अनुमानित बदलाव की मुक्त ऊर्जा एक सफल कोडिंग रन की औसत लागत का 14 से 22 प्रतिशत है।
- पेपर बताता है कि कोडिंग की लागत अनकोडिंग से 1.1 से 1.5 गुना अधिक है।
- पेपर बताता है कि दोहराए गए चक्रों में लागत का प्रसार एक सॉफ़्टवेयर तापमान को परिभाषित करता है, जो मॉडल के सैंपलिंग तापमान के साथ बढ़ा।
यह ढाँचा बिल्डरों को एजेंट के टोकन खर्च को उपयोगी कार्य और बर्बाद ऊष्मा में बाँटकर उन मॉडल कॉलों की पहचान करने देता है जो अनुरोधित बदलाव को आगे नहीं बढ़ातीं।
RFBench: पैसिव RF लेआउट डिज़ाइन और समझ के लिए सिम्युलेटर-आधारित मल्टीमॉडल बेंचमार्क
यह पेपर RFBench पेश करता है, जो सिम्युलेटर-आधारित डेटासेट और बेंचमार्क है और सात कार्यों में पैसिव RF लेआउट डिज़ाइन व समझ पर मल्टीमॉडल भाषा मॉडल का मूल्यांकन करता है।
- डेटासेट में ADS Momentum से सिम्युलेट किए गए 10,000 दो-पोर्ट प्लानर लेआउट शामिल हैं।
- प्रत्येक लेआउट में संपादन योग्य ज्यामितीय प्रिमिटिव, एक रास्टर इमेज, 16x16 ऑक्यूपेंसी ग्रिड, 201 फ्रीक्वेंसी बिंदुओं पर जटिल S-पैरामीटर, एक संरचनात्मक श्रेणी और एक RF रिस्पॉन्स लेबल शामिल है।
- सात कार्य परिभाषित हैं: स्पेसिफिकेशन-कंडीशन्ड लेआउट जनरेशन, रिप्रेजेंटेशन ट्रांसलेशन, रिस्पॉन्स प्रेडिक्शन, सिम्युलेटर-आधारित वैलिडेशन, डिज़ाइन डायग्नोसिस और सुधार, संरचनात्मक समझ, और रिस्पॉन्स क्लासिफिकेशन।
- पेपर रिपोर्ट करता है कि RF-विशिष्ट फाइन-ट्यूनिंग T1a संरचनात्मक वैधता को 0.0% से 83.2% तक और T3 प्रिमिटिव-इनपुट 2-dB के भीतर दर को 17.7% से 62.8% तक बढ़ाती है।
RF-विशिष्ट फाइन-ट्यूनिंग संरचनात्मक वैधता और रिस्पॉन्स प्रेडिक्शन को उल्लेखनीय रूप से सुधारती है, लेकिन रिपोर्ट किए गए परिणाम बताते हैं कि विद्युत-चुंबकीय रूप से विश्वसनीय लेआउट बनाने में अभी काफी गुंजाइश है।
KV कैश निष्कासन के लिए वैश्विक महत्व अनुमान
यह पेपर PRKV प्रस्तुत करता है, एक प्रशिक्षण-रहित KV निष्कासन विधि जो ध्यान-प्रेरित संक्रमण ग्राफ़ पर Personalized PageRank लागू करके बहु-हॉप वैश्विक टोकन महत्व का अनुमान लगाती है, जिससे मॉडल को संशोधित किए बिना निकटता या तात्कालिक ध्यान से परे महत्व प्रसार संभव होता है।
- PRKV प्रशिक्षण-रहित है और मॉडल को संशोधित नहीं करता।
- यह विधि कम एंड-टू-एंड ओवरहेड के साथ शिखर मेमोरी उपयोग घटाती है।
- यह पेपर NeurIPS 2026 में स्वीकृत हुआ, लेखक Seojin Kim और Noseong Park हैं।
लंबे-संदर्भ अनुमान बनाने वालों के लिए, PRKV दर्शाता है कि निकटता या तात्कालिक ध्यान स्कोरिंग को बहु-हॉप वैश्विक प्रभाव अनुमान से बदलने पर उच्च संपीड़न अनुपातों पर कार्य प्रदर्शन बना रह सकता है और शिखर मेमोरी घट सकती है।