AI FRONTIER

TurboMamba: लेक्सिकल मेमोरी के साथ तेज़ इन्फ़रेंस, तेज़ ट्रेनिंग और बेहतर भविष्यवाणी

पेपर TurboMamba नामक भाषा-मॉडल आर्किटेक्चर पेश करता है, जिसमें एक वैश्विक Mamba-3 मॉडल हर पूर्ण टोकन ब्लॉक पर एक बार चलता है और एक छोटा Transformer उस वैश्विक संदर्भ तथा ब्लॉक के पूर्व टोकनों का उपयोग करके अगला टोकन भविष्यवाणी करता है।

• सार्वजनिक FineWeb-Edu पर तुलनीय पैरामीटर संख्या और साझा ट्रेनिंग-बजट सीमाओं के साथ बारह छोटे पैमाने के कार्यान्वयनों की तुलना में TurboMamba ने सबसे कम औसत टेस्ट भविष्यवाणी हानि (NLL) दर्ज की।
• इसकी औसत NLL, Mamba-3 से 9.4% कम, Jamba संस्करण से 7.3% कम और Zamba संस्करण से 18.3% कम बताई गई है।
• एंड-टू-एंड ट्रेनिंग थ्रूपुट Mamba-3 का 2.60 गुना, Jamba संस्करण का 2.81 गुना और Zamba संस्करण का 4.82 गुना बताया गया है।
• 32 अनुक्रमों के बैच, प्रत्येक में 256-टोकन प्रॉम्प्ट और 128 जनित टोकन, पर एंड-टू-एंड बैच लेटेंसी Mamba-3 से 3.12 गुना, Jamba संस्करण से 3.53 गुना और Zamba संस्करण से 6.21 गुना तेज़ बताई गई है।

चूंकि रिपोर्ट किए गए हानि और थ्रूपुट लाभ तुलनीय पैरामीटर संख्या और ट्रेनिंग बजट पर मिलते हैं, अपनाने से पहले इन्हें अपने लंबे-संदर्भ या उच्च-थ्रूपुट वर्कलोड पर दोहराकर जांचना चाहिए।

OpenRouter का नया मॉडल: Reflection Beam 1.0 501B A23B

Beam 1.0, Reflection का ओपन-वेट रीज़निंग मॉडल है जो कोडिंग और लंबे समय तक चलने वाले एजेंटिक वर्कफ़्लो के लिए बनाया गया है; यह sparse mixture-of-experts आर्किटेक्चर का उपयोग करता है जिसमें कुल 501B और प्रति टोकन 23B सक्रिय पैरामीटर हैं, 1M टोकन का कॉन्टेक्स्ट विंडो है और इसे Apache 2.0 के तहत जारी किया गया है।

• Sparse mixture-of-experts आर्किटेक्चर: कुल 501B पैरामीटर, प्रति टोकन 23B सक्रिय पैरामीटर
• 1,048,576 टोकन का कॉन्टेक्स्ट विंडो, अधिकतम 131,072 कम्प्लीशन टोकन का समर्थन
• कीमत 0.25 डॉलर प्रति 1M इनपुट टोकन और 1.00 डॉलर प्रति 1M आउटपुट टोकन
• 16 अक्टूबर 2026 को जारी, नॉलेज कटऑफ 30 जून 2026, Apache 2.0 लाइसेंस के तहत

कोडिंग एजेंट बनाने वाली टीमों के लिए Beam 1.0 Apache 2.0 ओपन वेट, 1M टोकन कॉन्टेक्स्ट और प्रति टोकन केवल 23B सक्रिय पैरामीटर को जोड़ता है, जिससे लंबे समय तक चलने वाली रीज़निंग सेल्फ-होस्टेड या प्रति-उपयोग उपलब्ध होती है।

Expanding Attention: निश्चित संख्या के आवर्ती स्टेट्स के साथ रैखिक-समय Transformer के लिए टेलर-श्रेणी मार्ग

यह पेपर अटेंशन के एक्सपोनेंशियल कर्नेल को n पदों की ट्रंकेटेड टेलर श्रेणी में विस्तारित करता है और प्रत्येक पद को टेंसर-पावर इनर प्रोडक्ट में फैक्टराइज़ करता है, जिससे कॉज़ल इतिहास ठीक n आवर्ती स्टेट्स में सिमट जाता है, जिनमें से प्रत्येक प्रति टोकन एक रैंक-वन आउटर प्रोडक्ट से अपडेट होता है और कॉन्टेक्स्ट लंबाई N से स्...

• यह रिकर्शन ट्रंकेटेड कर्नेल के सापेक्ष लॉसलेस है, float64 में 2.2 × 10^-16, और स्टेट्स चंक्स के बीच एडिटिव हैं, 5.7 × 10^-14, इसलिए प्रीफिल समानांतर स्कैन की अनुमति देता है।
• पेपर रिपोर्ट करता है कि मापे गए एक्सपोनेंट softmax के लिए t ∝ N^2.28 बनाम स्टेट्स के लिए N^0.91 हैं, क्रॉसओवर N ≈ 728 पर और N = 8192 पर 20.8× है।
• प्रति-टोकन डिकोडिंग लेटेंसी 7.3 μs पर स्थिर है जबकि softmax के लिए N^1.04 है, जो N = 65536 पर 76.0× देता है।
• क्वेरी और की नॉर्मलाइज़ेशन एक पूर्वापेक्षा है: इसके बिना आर्ग्युमेंट कन्वर्जेंस रेडियस से अधिक हो जाता है और पद जोड़ना मदद करना बंद कर देता है।

बिल्डर्स के लिए यह संकेत देता है कि फिक्स्ड-स्टेट रैखिक अटेंशन लगभग 728 टोकन से ऊपर ही लाभदायक है और क्वेरी व की नॉर्मलाइज़ेशन आवश्यक है, जिसके बिना टेलर पद जोड़ना अप्रभावी है।

OpenRouter का नया मॉडल: XingChen Xing4.0 29B A4B (मुफ़्त)

Xing4.0-29B-A4B, China Telecom की AI टीम (TeleAI) का ओपन-वेट mixture-of-experts भाषा मॉडल है और TeleChat श्रृंखला का उत्तराधिकारी है, जिसमें कुल 29B पैरामीटर, प्रति टोकन 4B सक्रिय और मूल 256K-टोकन कॉन्टेक्स्ट विंडो है।

• कुल 29B पैरामीटर, प्रति टोकन 4B सक्रिय और मूल 256K-टोकन कॉन्टेक्स्ट विंडो; OpenRouter पर कॉन्टेक्स्ट 262,144 टोकन दर्शाया गया है।
• पूरी तरह Ascend NPU और MindSpore फ्रेमवर्क पर प्रशिक्षित।
• जटिल इंजीनियरिंग और एजेंट कार्यों के लिए ट्यून किया गया: टूल कॉलिंग, बहु-चरण योजना और लंबे कॉन्टेक्स्ट निष्पादन; रीज़निंग डिफ़ॉल्ट रूप से चालू है और बंद की जा सकती है।
• OpenRouter पर मुफ़्त, 16 अक्टूबर 2026 को जारी, और tools तथा tool_choice से फ़ंक्शन कॉलिंग के साथ response_format में JSON स्कीमा द्वारा संरचित आउटपुट का समर्थन करता है।

एजेंट बनाने वालों के लिए यह 256K कॉन्टेक्स्ट और टूल कॉलिंग वाला शून्य-लागत 29B ओपन-वेट MoE एंडपॉइंट है, जो लंबे कॉन्टेक्स्ट वाली बहु-चरण योजना पाइपलाइनों के परीक्षण के लिए उपयुक्त है।

The World Won't Wait: लाइव क्लॉक के तहत एजेंट का मूल्यांकन और प्रशिक्षण

यह पेपर RealtimeBench पेश करता है, जिसमें छह गेम प्रकारों में 180 कार्य हैं और इन्फ़रेंस के दौरान गेम चलते रहने पर एजेंट का मूल्यांकन किया जाता है, तथा TORSI प्रस्तावित करता है जिसमें एक धीमा शिक्षक विफलताओं का अध्ययन करता है और प्रयासों के बीच सुधारों का परीक्षण करके तेज़ छात्र के लिए पुनःप्रयोग योग्य निर्देश लिखता है...

• RealtimeBench में छह गेम प्रकारों में 180 कार्य हैं, और इन्फ़रेंस के दौरान गेम चलते रहते हैं।
• युग्मित मूल्यांकन बताते हैं कि गेम रोके जाने पर GPT-6.1-sol तेज़ Jev से बेहतर प्रदर्शन करता है, लेकिन गेम चलते रहने पर पीछे रह जाता है।
• TORSI में छात्र गेमप्ले के दौरान शिक्षक को कॉल किए बिना कार्य करता है, और कौन-से अपडेट अपनाए जाएंगे यह सत्यापन स्कोर तय करते हैं।
• पेपर रिपोर्ट करता है कि दो राउंड Jev के औसत टेस्ट स्कोर को 0–100 प्रगति पैमाने पर 13.51 से 24.19 तक बढ़ाते हैं और सभी छह गेम प्रकारों में सुधार करते हैं।

एजेंट बनाने वालों के लिए यह परिणाम दिखाता है कि विलंबता मॉडल रैंकिंग बदल सकती है, इसलिए केवल एक-पास इन्फ़रेंस सुधारने के बजाय धीमी ऑफ़लाइन सीखने और तेज़ ऑनलाइन निष्पादन को अलग रखना चाहिए।

वही उत्तर, नया बॉक्स: RLVR के डोमेन-बाहरी लाभ में कितना हिस्सा उत्तर प्रारूप का है?

यह पेपर उन्हीं आउटपुट को सार्वजनिक कोड से लिए गए उत्तर एक्सट्रैक्टरों और अपने एक्सट्रैक्टर से दोबारा स्कोर करता है: चार जारी 7B SimpleRL बेस-RL जोड़ों पर उन एक्सट्रैक्टरों द्वारा बताए गए डोमेन-बाहरी बहुविकल्पीय लाभ का 82% लेखकों के एक्सट्रैक्टर के तहत गायब हो जाता है, यानी यह उत्तर प्रारूप का लाभ है, उत्तर का नहीं।

• चार जारी 7B SimpleRL बेस-RL जोड़ों पर सार्वजनिक कोड से लिए गए एक्सट्रैक्टरों द्वारा बताए गए डोमेन-बाहरी बहुविकल्पीय लाभ का 82% लेखकों के एक्सट्रैक्टर के तहत गायब हो जाता है।
• लेखकों के एक्सट्रैक्टर की जगह स्वतंत्र LLM पाठक यह आंकड़ा 77% बताते हैं, और ऐसा प्रॉम्प्ट जो स्वयं बॉक्स मांगता है, लेखकों के एक्सट्रैक्टर के तहत इसे 79% बताता है।
• बेस मॉडल पहले ही अपने अधिकांश उत्तर टेक्स्ट में बता देते हैं, और RL उन्हें \boxed{} बॉक्स में ले जाता है, जहां ये एक्सट्रैक्टर पहले देखते हैं।
• किसी अन्य रेसिपी से प्रशिक्षित 32B जोड़े पर बताए गए लाभ का लगभग कोई हिस्सा प्रारूप लाभ नहीं है: उसका बेस मॉडल कहने पर उत्तर बॉक्स में डालता है, और उसका RL मॉडल बिना कहे ऐसा शायद ही करता है।

निर्माताओं को RLVR के डोमेन-बाहरी लाभ पढ़ने से पहले संग्रहीत आउटपुट को दूसरे एक्सट्रैक्टर से दोबारा स्कोर करना चाहिए, क्योंकि बताया गया लाभ आंशिक रूप से उस एक्सट्रैक्टर का गुण है जिसने उसे पढ़ा।

Diminishing Returns of Data in Sparse Autoencoders: Functional Behavior does not Guarantee Feature R...

论文摘要：Sparse autoencoders (SAEs) are typically trained on hundreds of millions to billions of activation tokens, yet little work has tested whether this scale is necessary. We study...

This is a useful technical direction to keep on the radar, even if it does not require immediate action.