AI FRONTIER
Signals worth understanding before they become obvious.
One Model to Loop Them All: भाषा मॉडलों के लिए लचीली लेटेंट रिकरेंस
पेपर Elastic Latent Recurrence (ELR) प्रस्तुत करता है, जो लूप वाले भाषा मॉडलों को प्रशिक्षित करने की विधि है जिसमें एक लूप पर सेवा लागत समान आकार के गैर-रिकरेंट मॉडल के बराबर होती है और सटीकता समान रहती है, तथा हर अतिरिक्त लूप अधिक अनुमान गणना के बदले अधिक सटीकता देता है।
- 4B dense और 30B-A3B MoE हाइब्रिड मॉडलों पर, एक लूप पर ELR दस-कार्य औसत में अपने मिलान बेसलाइन से 0.52 अंक नीचे और 1.04 अंक ऊपर है, तथा चार लूप 7.25 और 4.75 अंक जोड़ते हैं।
- MoE मॉडलों में, बाद के लूपों पर पहले लूप के विशेषज्ञ रूट दोबारा उपयोग करने से मिश्रित-गहराई अद्यतन समय 11.7% घटता है और सटीकता में कोई मापनीय बदलाव नहीं होता।
- अनुमान के समय, केवल अंतिम लूप का अटेंशन KV कैश रखने से अटेंशन KV मेमोरी एक-लूप स्तर पर बनी रहती है और अतिरिक्त लूपों का अधिकांश लाभ बना रहता है।
- पोस्ट-ट्रेनिंग तक ले जाने पर यह विधि Koi-4B देती है, एक ही चेकपॉइंट जो एक लूप पर Artificial Analysis Intelligence Index पर अनुमानित 18 अंक लेता है, Qwen3.5-4B के बराबर, और चार लूप पर 29।
चूंकि एक ही चेकपॉइंट लूप संख्या के बदले विलंबता और सटीकता का व्यापार कर सकता है, लूप वाले मॉडल विलंबता-संवेदनशील परिनियोजन के लिए व्यावहारिक हो जाते हैं।
SpireBench: Slay the Spire के साथ एजेंटिक मॉडलों के दीर्घकालिक रणनीतिक खेल का मूल्यांकन
यह पेपर SpireBench पेश करता है, जिसमें मॉडल पूर्ण वाणिज्यिक डेक-बिल्डिंग गेम Slay the Spire को उसकी उच्चतम कठिनाई पर खेलते हैं, ताकि 20 बड़े भाषा मॉडलों के दीर्घकालिक रणनीतिक तर्क का मूल्यांकन किया जा सके।
- पेपर Slay the Spire की उच्चतम कठिनाई पर 20 बड़े भाषा मॉडलों का मूल्यांकन करता है।
- पेपर बताता है कि फ्रंटियर मॉडल ह्यूरिस्टिक बेसलाइन को हराते हैं और औसत मानव खिलाड़ी की बराबरी करते हैं, लेकिन विशेषज्ञों से बहुत पीछे रहते हैं।
- पेपर बताता है कि सबसे मजबूत मॉडल पहला एक्ट विशेषज्ञों जितनी बार जीतते हैं, फिर रन लंबा होने पर पीछे छूट जाते हैं।
- पेपर बताता है कि हर गेम शब्द के व्यापक और स्वसंगत नाम बदलने से पता चलता है कि प्रदर्शन का कुछ हिस्सा गेम के पूर्व ज्ञान पर निर्भर है, और मॉडल रनों के बीच लिखी गई स्मृतियों से सुधार नहीं करते।
एजेंट डेवलपर्स के लिए SpireBench एक दीर्घकालिक बेंचमार्क देता है जो बताता है कि एजेंट कहाँ विफल होते हैं और जोखिम-निर्णय तथा स्मृति उपयोग की ठोस कमजोरियाँ दर्शाता है।
बाइनरी सत्यापनीय पुरस्कारों से आगे: SWE एजेंट्स के लिए व्यवहारिक स्व-पुरस्कार
यह पेपर Behavioral Self-Rewarding (BSR) पेश करता है, एक रिवॉर्ड-रिफाइनमेंट विधि जो पॉलिसी का पुनः उपयोग करके एक ही कार्य और एक ही वेरिफायर परिणाम वाली ट्रैजेक्टरीज़ के बीच अवलोकनीय डिबगिंग व्यवहार की तुलना करती है, पेयरवाइज़ प्रेफरेंस को टास्क-लोकल स्कोर में समेकित करती है और उन्हें सीमित सहायक पुरस्कारों में बदलती है।
- BSR ने मूल्यांकित Qwen3-14B और Qwen3-32B कॉन्फ़िगरेशन में SWE-bench Verified और SWE-bench-Live पर लगातार सुधार की सूचना दी है।
- यह विधि पॉलिसी का पुनः उपयोग करके एक ही कार्य और एक ही वेरिफायर परिणाम वाली ट्रैजेक्टरीज़ के बीच अवलोकनीय डिबगिंग व्यवहार की तुलना करती है, बिना अलग से प्रशिक्षित रिवॉर्ड मॉडल के।
- BSR पेयरवाइज़ प्रेफरेंस को टास्क-लोकल स्कोर में समेकित करती है और उन्हें सीमित सहायक पुरस्कारों में बदलती है, जिससे वेरिफायर-परिभाषित पास/फेल क्रम बनाए रखते हुए रिवॉर्ड कंट्रास्ट जुड़ता है।
- BSR पहले से एकत्र की गई ट्रैजेक्टरीज़ से अतिरिक्त सुपरविज़न देती है और नए एनवायरनमेंट इंटरैक्शन की आवश्यकता नहीं रखती।
SWE एजेंट बनाने वाली टीमों के लिए BSR दर्शाता है कि बाइनरी टेस्ट पास/फेल से आगे पॉलिसी के स्वयं के तुलनात्मक निर्णय बिना नए एनवायरनमेंट इंटरैक्शन या अलग रिवॉर्ड मॉडल के पूरक लर्निंग सिग्नल के रूप में काम कर सकते हैं।
Kairos: हर मोडैलिटी के लिए बाइट-स्तरीय फाउंडेशन मॉडल की दिशा में
Kairos द्विदिशात्मक gated-DeltaNet रैखिक अटेंशन को साझा प्रोजेक्शन पर स्लाइडिंग-विंडो अटेंशन (LiZAttention2), ब्लॉक-वार Attention-Residual एग्रीगेशन, विरल Mixture-of-Experts फीड-फॉरवर्ड परत और मल्टी-स्केल बाइट-स्तरीय कोडेक के साथ जोड़ता है, और टेक्स्ट, इमेज, ऑडियो, वीडियो, लिडार तथा कंट्रोल स्ट्रीम के साझा एक बाइट स्पे...
- 1–15M पैरामीटर, केवल टेक्स्ट, एक 440-बाइट वाक्य पर ओवरफिटिंग परीक्षण में LiZAttention2 और अकेला विंडो अटेंशन 3,000 स्टेप पर लगभग 10^-3 का न्यूनतम लॉस छूते हैं।
- 600 स्टेप के बाद औसत न्यूनतम लॉस 0.018 (patch कोडेक) से 0.354 (depthwise कन्वोल्यूशनल कोडेक) तक रहा, और तीन सीड्स पर क्रम समान रहा।
- साझा अटेंशन प्रोजेक्शन का अलग प्रोजेक्शन पर स्पष्ट लाभ अधिक स्टेप या अधिक विविध डेटा के साथ समाप्त हो जाता है और प्रोजेक्शन फ्रीज़ होने पर उलट जाता है; यह कन्वर्जेंस-स्पीड प्रभाव है, क्षमता प्रभाव नहीं।
- चर्चा 200M कुल/25M सक्रिय लक्ष्य का विश्लेषणात्मक अनुमान देती है, पर उसके थ्रूपुट आंकड़े मापे नहीं गए; कोड और Python पैकेज उपलब्ध हैं।
बिल्डरों के लिए Kairos फिलहाल एक पुनरुत्पादनीय कन्वर्जेंस जाँच है, और इसके बाइट-स्तरीय मल्टीमॉडल डिज़ाइन की जनरलाइज़ेशन क्षमता नियोजित प्रीट्रेनिंग से ही सिद्ध होगी।
ForcingBooster: तेज़ ऑटोरेग्रेसिव वीडियो डिफ्यूज़न के लिए अनुकूली पैच-वार डीनॉइज़िंग
यह पेपर ForcingBooster पेश करता है, एक ऐसा फ्रेमवर्क जो अलग-अलग वीडियो पैच को डीनॉइज़िंग स्टेप्स गतिशील रूप से आवंटित करता है: आसान पैच जल्दी रुक जाते हैं और कठिन पैच को अधिक रिफ़ाइनमेंट स्टेप्स मिलते हैं। पेपर बताता है कि चार-स्टेप बेसलाइन के बराबर विज़ुअल क्वालिटी बनाए रखते हुए वीडियो पैच पर लागू कुल डीनॉइज़िंग स्टेप...
- पेपर बताता है कि वीडियो पैच पर लागू कुल डीनॉइज़िंग स्टेप्स लगभग 50% कम होते हैं।
- पेपर बताता है कि विज़ुअल क्वालिटी चार-स्टेप बेसलाइन के बराबर है।
- यह विधि अधिकांश मौजूदा कम-स्टेप ऑटोरेग्रेसिव डिफ्यूज़न मॉडलों के साथ संगत है और इसमें केवल एक हल्का रूटिंग मॉड्यूल और सीमित ट्रेनिंग चाहिए।
- पेपर 8 अक्टूबर 2026 को arXiv:2610.12625 के रूप में Zekai Gu, Peng Wang, Jiahao Lu, Yongsen Mao, Cheng Lin और Yuan Liu द्वारा सबमिट किया गया।
रीयल-टाइम इंटरैक्टिव वीडियो जनरेशन और वीडियो वर्ल्ड मॉडल बनाने वाली टीमों के लिए, पैच-वार डीनॉइज़िंग बजट कम-स्टेप ऑटोरेग्रेसिव डिफ्यूज़न बैकबोन बदले बिना गणना को आसान क्षेत्रों से कठिन क्षेत्रों की ओर ले जा सकता है।
Google DeepMind ने 740M पैरामीटर वाला ओपन मल्टीमॉडल एम्बेडिंग मॉडल EmbeddingGemma 2 जारी किया
EmbeddingGemma 2 टेक्स्ट (कोड सहित), इमेज, वीडियो और ऑडियो को एक एकीकृत 768-आयामी वेक्टर स्पेस में मैप करता है, Apache 2.0 लाइसेंस के तहत जारी है और मोबाइल व लैपटॉप जैसे कंज्यूमर हार्डवेयर पर चलने के लिए डिज़ाइन किया गया है।
- कुल 740M पैरामीटर: 270M टेक्स्ट बैकबोन (130M transformer + 140M embedder), 170M विज़न एनकोडर और 300M ऑडियो एनकोडर।
- पेपर के अनुसार MTEB बहुभाषी v2 पर 61.36 और MTEB कोड v1 पर 78.68, जो कोड पर EmbeddingGemma 1 के 68.76 से लगभग 14% सुधार है।
- Matryoshka Representation Learning 128d, 256d, 512d और 768d तक ट्रंकेशन का समर्थन करता है, जिससे वेक्टर स्टोरेज लागत में 6x तक कमी संभव है।
- 8,192 टोकन कॉन्टेक्स्ट विंडो, 100+ भाषाओं का समर्थन, Apache 2.0 लाइसेंस।
डेवलपर कंज्यूमर हार्डवेयर पर एक ही 768-आयामी एम्बेडिंग स्पेस से टेक्स्ट, इमेज, वीडियो और ऑडियो रिट्रीवल दे सकते हैं, और एनकोडर को चुनिंदा लोड करके प्रभावी फुटप्रिंट 740M से घटाकर 270M कर सकते हैं।
MagicBeanStalk: रिकर्सिव डेटा सिंथेसिस से RLVR ज़ीरो एडवांटेज ट्रैप से बाहर निकलना
यह पेपर MagicBeanStalk पेश करता है, जो टॉप-डाउन डीकंपोज़िशन और बॉटम-अप रिकर्सिव डेटा-सिंथेसिस एल्गोरिदम है और सीड समस्याओं को पॉलिसी तथा बजट के अनुसार कैलिब्रेटेड नई ट्रेनिंग समस्याओं के परिवारों में बढ़ाता है, साथ ही सीड्स के रीज़निंग ब्लूप्रिंट सुरक्षित रखता है।
- पेपर रिपोर्ट करता है कि 8 गणित बेंचमार्क पर, MagicBeanStalk प्रश्नों पर निरंतर RLVR, 16K-टोकन बजट पर gpt-oss-120b को 61.2 से 69.8 (+8.6) और DeepSeek v4Flash को 72.4 से 77.9 (+5.4) तक सुधारता है।
- पेपर रिपोर्ट करता है कि पूरे 78K सोर्स कॉर्पस पर ट्रेनिंग केवल +1.1 सुधार देती है, और उसका सर्वश्रेष्ठ फ़िल्टर किया गया वास्तविक डेटा सबसेट +5.8।
- पेपर रिपोर्ट करता है कि फाइनेंस में केवल 340 समाधानों से 14K से अधिक सत्यापन-योग्य प्रश्न संश्लेषित किए जाते हैं और SecQue तथा FinanceBench पर बेस से क्रमशः 6.9 और 2.4 अंक सुधार होता है।
RLVR डेटा बनाने वालों के लिए उपयोगी संकेत यह है कि कोई प्रश्न टारगेट पॉलिसी और रोलआउट बजट के तहत गैर-शून्य एडवांटेज देता है या नहीं, कॉर्पस का आकार नहीं; रिकर्सिव सिंथेसिस कठिनाई कैलिब्रेट करते हुए रीज़निंग संरचना बनाए रख सकता है।