AI FRONTIER
Signals worth understanding before they become obvious.
SLM की शब्दावली को विशेषीकृत करके वास्तविक अनुप्रयोगों में अनुमान लागत 77% घटाना
Dharma-AI की VocabX विधि बेस मॉडल, डेटा और ट्रेनिंग रेसिपी बदले बिना शब्दावली को टोकन की आवृत्ति के बजाय प्रति-टोकन लागत के आधार पर फिर से बनाती है, और पुर्तगाली निबंध ग्रेडर पर मापी गई अनुमान लागत में 77.0% की कमी बताती है।
- ग्रेडर Qwen3-4B पर आधारित है, और इसकी आउटपुट लेयर लगभग 152,000 से घटकर लगभग 65,000 पंक्तियों की रह गई।
- ग्रेडर के सात संस्करण एक ही बेस मॉडल, डेटा, रेसिपी और सीड के साथ प्रशिक्षित किए गए; एकमात्र अंतर टोकनाइज़र था, और सभी ने RTX 5090 तथा vLLM पर वही 500 अनुरोध चलाए।
- मॉडल का उत्तर औसतन 350 से घटकर 101 टोकन रह गया, लागत 77.0% घटी, और bench स्कोर 0.703 से 0.810 हो गया।
- पेपर के अनुसार पाँच सार्वजनिक डोमेन और तीन मॉडल परिवारों के सभी पंद्रह संयोजनों में VocabX ने सबसे मजबूत संदर्भ विधि से 1.2 से 9.3 अंक अधिक संपीड़न किया।
एकल-डोमेन छोटे मॉडल के लिए टोकनाइज़र किसी भी ट्रेनिंग चरण से पहले तय होने वाला लागत लीवर है, और जनरेशन-पक्ष लागत के आधार पर इसे फिर से बनाने से बेस मॉडल बदले बिना सर्विंग खर्च घटता है।
Transformer दो प्रतिस्पर्धी सॉर्टिंग एल्गोरिद्म सीखते हैं, और केवल एक लंबाई-सामान्यीकरण करता है
पेपर रिपोर्ट करता है कि सॉर्टिंग कार्य पर लगभग शून्य हानि तक प्रशिक्षित दो-परत Transformer अपने आरंभीकरण के आधार पर दो यांत्रिक रूप से भिन्न समाधान वर्गों में से एक में अभिसरित होते हैं। एक वर्ग सॉर्ट करने के लिए दूसरी अटेंशन परत का उपयोग नहीं करता और लंबाई-सामान्यीकरण में विफल रहता है, जबकि दूसरा दोनों अटेंशन परतों का...
- पेपर रिपोर्ट करता है कि वज़न आरंभीकरण को सावधानी से चुनकर लेखक मॉडल को एक या दूसरे समाधान को सीखने की दिशा में निर्देशित कर सकते हैं।
- पेपर उन इनपुट प्रकारों की पहचान करता है जो प्रशिक्षण लंबाई पर दुर्लभ हैं लेकिन लंबी अनुक्रम लंबाई पर अधिक सामान्य होते जाते हैं, इन्हें लंबाई-सामान्यीकरण में इस अंतर के स्रोत के रूप में बताता है।
- पेपर पाता है कि दूसरे समाधान वर्ग की परत-वार विशेषज्ञता उन्हें इन दुर्लभ अनुक्रमों को अधिक सटीकता से संभालने देती है।
अनुक्रम मॉडल बनाने वालों के लिए, आरंभीकरण यह तय कर सकता है कि प्रशिक्षण लंबाई-सामान्यीकरण करने वाला एल्गोरिद्म देता है या न करने वाला, इसलिए आरंभीकरण और परत-वार विशेषज्ञता को लंबाई-सामान्यीकरण के डिज़ाइन चर मानना चाहिए।
NVIDIA Kumo Relational रिलेशनल डेटा पर सुपरवाइज़्ड मशीन लर्निंग से बेहतर, प्रशिक्षण की आवश्यकता नहीं
NVIDIA ने Kumo Relational जारी किया है, एक पूर्व-प्रशिक्षित रिलेशनल फाउंडेशन मॉडल जो एंटरप्राइज़ डेटाबेस पर सीधे भविष्यवाणी करता है: एक प्रेडिक्टिव क्वेरी देने पर यह 10,000 तक ऐतिहासिक उदाहरणों को संदर्भ के रूप में एकत्र करता है और एक ही फ़ॉरवर्ड पास में भविष्यवाणी करता है, बिना किसी कार्य-विशिष्ट प्रशिक्षण, फ़ीचर इंजी...
- RelBench V1 वर्गीकरण कार्यों पर, Kumo Relational विशेषज्ञ-इंजीनियर किए गए फ़ीचर्स पर ग्रेडिएंट-बूस्टेड ट्रीज़ से औसतन लगभग 4 AUROC अंक बेहतर प्रदर्शन करता है।
- SAP SALT एंटरप्राइज़ बेंचमार्क पर, यह AutoGluon एन्सेम्बल्स को मीन रेसिप्रोकल रैंक (MRR) में 8% से पीछे छोड़ता है, और फ़ाइन-ट्यूनिंग बढ़त को 16% तक बढ़ा देती है।
- पेपर रिपोर्ट करता है कि RelArena-α लीडरबोर्ड पर Kumo Relational लगभग 17 सेकंड और Elo 1,842 पर है, जबकि सर्वोच्च स्कोरिंग प्रविष्टि rt-plurel लगभग 7,300 सेकंड में Elo 1,878 तक पहुँचती है, यानी लगभग 430 गुना धीमी।
- यह प्रशिक्षण डेटा के केवल 0.2% को संदर्भ के रूप में उपयोग करने पर भी अच्छा प्रदर्शन करता है, 75% तक फ़ॉरेन-की लिंक हटाए जाने पर स्थिर रहता है, और कई शोर वाले कॉलम जोड़े जाने पर मुश्किल से खराब होता है।
एंटरप्राइज़ भविष्यवाणियाँ बनाने वाली टीमों के लिए, Kumo Relational XGBoost फ़ीचर पाइपलाइनों का प्रशिक्षण-मुक्त विकल्प प्रदान करता है, हालाँकि बहुत बड़े प्रशिक्षण सेट पर कार्य-विशिष्ट सुपरवाइज़्ड मॉडल इन-कॉन्टेक्स्ट भविष्यवाणियों से अभी भी आ...
स्केलर लीडरबोर्ड से आगे: बहु-उद्देश्यीय LLM एरिनाओं में पैरेटो फ्रंटियर की पहचान के लिए अनुकूली सैंपलिंग
यह पेपर Vector-Borda Empirical-Gap Elimination (VB-EGE) प्रस्तुत करता है, जो एरिना-शैली मूल्यांकन में पैरेटो फ्रंटियर पर मौजूद मॉडलों की कुशल पहचान के लिए एक निश्चित-विश्वास अनुकूली सैंपलिंग एल्गोरिदम है, जहाँ प्रत्येक तुलना चयनित प्रदर्शन आयाम के संबंध में एक प्रॉम्प्ट पर मॉडलों की एक जोड़ी का मूल्यांकन करती है।
- बहु-उद्देश्यीय Bradley-Terry मॉडल के अंतर्गत, पेपर दिखाता है कि VB-EGE उच्च प्रायिकता के साथ सही पैरेटो फ्रंटियर लौटाता है और इसकी सैंपल जटिलता पर इंस्टेंस-निर्भर ऊपरी सीमा निकालता है।
- पेपर आगे एक सर्वाधिक-खराब स्थिति निचली सीमा स्थापित करता है, जो दर्शाती है कि VB-EGE लघुगणकीय कारकों तक मिनिमैक्स-इष्टतम है।
- तीन वास्तविक-विश्व एरिना डेटासेट (Arena, SearchArena और VisionArena) पर सिमुलेशन और प्रयोग VB-EGE की प्रायोगिक प्रभावशीलता प्रदर्शित करते हैं।
- पेपर संदर्भों और परिशिष्टों सहित 51 पृष्ठों का है, जो 20 अक्टूबर 2026 को सबमिट किया गया।
महँगे मानव फीडबैक पर निर्भर LLM मूल्यांकन के लिए, VB-EGE एक सैंपलिंग रणनीति प्रदान करता है जो निश्चित विश्वास के अंतर्गत तुलनाओं को घटाते हुए बहु-उद्देश्यीय ट्रेडऑफ फ्रंटियर की पहचान करती है।
MIT^3: लंबे वीडियो समझ के लिए टेस्ट-टाइम ट्रेनिंग द्वारा मेमोरी आंतरिकीकरण
पेपर MIT^3 प्रस्तुत करता है, एक प्रति-वीडियो अनुकूलन फ्रेमवर्क जो प्रत्येक लंबे वीडियो को संक्षिप्त, वीडियो-विशिष्ट अनुकूली पैरामीटर में लिखता है, जिससे वीडियो-रहित, केवल-पाठ प्रश्नोत्तर संभव होता है। कारणात्मक ट्रेसिंग अनुकूलन स्थान चुनती है, और दृश्य मेमोरी डिस्टिलेशन केवल-पाठ मेमोरी को संबंधित वीडियो क्लिप से उत्पन्...
- पेपर LVBench, LongVideoBench और Video-MME पर डेटा-कुशल वीडियो-रहित प्रश्नोत्तर की सूचना देता है।
- पेपर बताता है कि यह पूर्व पैरामीटरीकृत वीडियो-मेमोरी विधियों की तुलना में काफी कम संश्लेषित नमूने उपयोग करता है।
- विधि संक्षिप्त बहु-स्तरीय सुपरविज़न के अंतर्गत कारणात्मक ट्रेसिंग से वीडियो-आधारित उत्तर के लिए प्रत्येक मॉडल परत की कारणात्मक मेमोरी उपयोगिता मापती है।
- दृश्य मेमोरी डिस्टिलेशन केवल-पाठ मेमोरी को संबंधित वीडियो क्लिप से उत्पन्न प्रतिनिधित्व परिवर्तन पुनरुत्पादित करने के लिए प्रशिक्षित करती है।
लंबे वीडियो प्रश्नोत्तर प्रणाली बनाने वालों के लिए यह कार्य दर्शाता है कि आंतरिकीकरण इस पर निर्भर करता है कि वीडियो ज्ञान कहाँ लिखा जाता है और दृश्य साक्ष्य कैसे डिस्टिल किया जाता है, केवल संश्लेषित पाठ जोड़ने पर नहीं।
गैर-सत्यापन योग्य क्षेत्रों में रीइन्फोर्समेंट लर्निंग के लिए विशेषज्ञ-निर्देशित रूब्रिक्स को सघन इनाम संकेत के रूप में उपयोग
यह पेपर एक ऐसी विधि प्रस्तुत करता है जो विषय-विशेषज्ञ निर्णय के एक छोटे, निश्चित निवेश को सघन इनाम में बदलती है और इसे रिट्रीवल-आधारित मेट्रिक्स के साथ जोड़कर GRPO-संगत हाइब्रिड प्रशिक्षण संकेत बनाती है, जो वित्तीय सेवाओं जैसे गैर-सत्यापन योग्य रिट्रीवल कार्यों के लिए है।
- पेपर के अनुसार, स्पार्स-रिवॉर्ड बेसलाइन की तुलना में Recall@3 में 6% तक और MRR@3 में 6.7% सुधार दर्ज किया गया।
- पेपर बताता है कि GRPO में, जब किसी समूह के सभी नमूने किए गए आउटपुट को एक ही परिणाम मिलता है, तो स्पार्स इनाम कोई उपयोगी सीखने का संकेत नहीं देते, जिससे अनुकूलन रुक जाता है।
- यह विधि SME निर्णय के एक छोटे, निश्चित निवेश को सघन इनाम में बदलती है और रिट्रीवल-आधारित मेट्रिक्स के साथ जोड़कर हाइब्रिड प्रशिक्षण संकेत बनाती है।
- पेपर 17 अक्टूबर 2026 को सबमिट किया गया, यह 11 पृष्ठ और 4 चित्रों वाला है, तथा RL4LLM-Agents workshop ICAIF ACM का हिस्सा है।
गैर-सत्यापन योग्य क्षेत्रों में एजेंट बनाने वाली टीमों के लिए, यह परिणाम दर्शाता है कि कुछ विशेषज्ञ रूब्रिक्स को सघन इनाम में बदलने से स्पार्स इनाम के तहत GRPO अनुकूलन का रुकावट कम हो सकता है।
बड़े भाषा मॉडल के साथ बहु-उद्देश्यीय रिइन्फोर्समेंट लर्निंग द्वारा Pareto-इष्टतम RTL कोड जनरेशन
यह पेपर LLM-आधारित सर्किट जनरेशन के लिए एक शिक्षण विधि प्रस्तावित करता है जो एकल सर्किट की गुणवत्ता के बजाय PPA उद्देश्य स्थान में कई जनरेशन से प्राप्त पूरे सर्किट सेट की गुणवत्ता और विविधता को अनुकूलित करती है। विधि में जनरेशन-आधारित प्रशिक्षण पाइपलाइन और Hypervolume Contribution (HVC) पर आधारित रिवॉर्ड फ़ंक्शन शामिल ...
- पेपर RTLLM v2 बेंचमार्क पर PPA अनुकूलन रहित बेसलाइन की तुलना में सापेक्ष Hypervolume में +13.3 प्रतिशत अंक की रिपोर्ट करता है।
- पेपर एकल-उद्देश्यीय रिइन्फोर्समेंट लर्निंग विधि की तुलना में सापेक्ष Hypervolume में +14.4 प्रतिशत अंक की रिपोर्ट करता है।
- पेपर बताता है कि विधि सर्किट विविधता में भी श्रेष्ठता दर्शाती है।
- पेपर COLM 2026 में स्वीकृत हुआ और 16 अक्टूबर 2026 को सबमिट किया गया।
AI बिल्डरों के लिए, PPA ट्रेड-ऑफ़ को सेट-स्तरीय Pareto कवरेज समस्या के रूप में संभालने से विविध RTL उम्मीदवार मिलते हैं जिन्हें डिज़ाइन बाधाओं के बदलने पर बाद में चुना जा सकता है।