AI FRONTIER
Signals worth understanding before they become obvious.
लीडरबोर्ड हैकिंग: प्राथमिकता-आधारित मॉडल मूल्यांकन हेरफेर के प्रति संवेदनशील
पेपर बताता है कि Arena-शैली की रैंकिंग, जो Bradley-Terry मॉडल के ज़रिए अनाम मॉडलों की जोड़ीदार तुलना को एकत्र करती है, रणनीतिक वोटिंग, रणनीतिक प्रॉम्प्टिंग और रणनीतिक नामांकन के प्रति संवेदनशील है।
- पेपर सार्वजनिक लीडरबोर्ड डेटा पर रणनीतिक वोटिंग, रणनीतिक प्रॉम्प्टिंग और रणनीतिक नामांकन प्रदर्शित करता है।
- पेपर के अनुसार प्रत्येक हमला किसी मॉडल को रैंकिंग में 15-20 स्थान तक बढ़ा सकता है, और संयुक्त रूप से 45 स्थान तक बढ़ा सकता है।
- पेपर कहता है कि ये समस्याएँ Bradley-Terry मॉडल का उपयोग करने वाले किसी भी प्राथमिकता-आधारित मूल्यांकन पर लागू होती हैं जो खुली प्रॉम्प्टिंग, वोटिंग या मॉडल सबमिशन की अनुमति देता है।
Arena-शैली के लीडरबोर्ड बनाने या उन पर निर्भर रहने वाली टीमों को वोटिंग, प्रॉम्प्टिंग और मॉडल सबमिशन में हेरफेर-रोधी सुरक्षा उपाय चाहिए, वरना प्रदाता रैंकिंग को रणनीतिक रूप से बढ़ा सकते हैं।
पूर्व-प्रशिक्षित परसेप्शन से मजबूत टास्क-जागरूक स्टेट एस्टिमेशन
यह पेपर θ-विश्वास न्यूनतम विश्वास समुच्चय (MBS_θ) प्रस्तावित करता है, जो किसी परसेप्शन मॉडल द्वारा पहले से उत्पन्न संभावनाओं, जैसे VLM के आउटपुट-लेयर टोकन वितरण, से बनाया जाता है और उन अवस्थाओं के न्यूनतम उपसमुच्चय के रूप में परिभाषित होता है जिनकी संचयी संभावना उपयोगकर्ता-निर्दिष्ट विश्वास-द्रव्यमान सीमा तक पहुँचती है...
- यह पेपर Guy Azran और Sarah Keren का है और NeurIPS 2026 में प्रकाशित होता है।
- MBS_θ को उन अवस्थाओं के न्यूनतम उपसमुच्चय के रूप में परिभाषित किया गया है जिनकी संचयी संभावना उपयोगकर्ता-निर्दिष्ट विश्वास-द्रव्यमान सीमा तक पहुँचती है।
- PRaVaSS बिना बाधा वाले मामले में शुद्धता की गारंटी और बहुपद जटिलता के साथ MBS_θ का निर्माण करता है।
- VLM को स्टेट एस्टिमेटर का बैकबोन बनाकर लेखक सैद्धांतिक गुणों, समस्या आकार के साथ मापनीयता और टास्क-प्लानिंग पाइपलाइन में डाउनस्ट्रीम निर्णय-निर्माण में सुधार की पुष्टि करते हैं।
एजेंट बनाने वालों के लिए, एकल सर्वोत्तम अनुमान में निश्चित करने के बजाय परसेप्शन मॉडल की संभावनाओं को बनाए रखना पूर्ण प्रतीकात्मक अवस्था वितरण बनाए रखे बिना निर्णय की मजबूती बढ़ा सकता है।
Together Compiler: AI इन्फ़रेंस के लिए निरंतर कंपाइलेशन
Together AI ने Together Compiler (TKCC) पेश किया है, जो AI इन्फ़रेंस ऑप्टिमाइज़ेशन के लिए एक निरंतर एजेंट लूप है और Tiered Persistent Engine तथा parallelism कॉन्फ़िगरेशन चुनने वाले cost model को जोड़कर throughput-fidelity ट्रेडऑफ़ को कम करता है।
- पेपर रिपोर्ट करता है कि TKCC, Llama 1B वर्कहॉर्स वर्कलोड पर अत्यधिक ऑप्टिमाइज़्ड हस्तलिखित Megakernels से अधिकतम 1.7x तेज़ है।
- पेपर रिपोर्ट करता है कि batch size 1 पर M3.1 Flash पर 1111 TPS और DeepSeek v4.1 Flash पर 1205 TPS के साथ state-of-the-art प्रदर्शन मिलता है।
- पेपर कहता है कि TKCC, Together AI के प्रोडक्शन फ्लीट में खरबों टोकन सर्व करता है।
इन्फ़रेंस सर्विंग टीमों के लिए TKCC कंपाइलेशन को ऑफ़लाइन कर्नेल ट्यूनिंग के बजाय निरंतर ऑनलाइन लूप के रूप में प्रस्तुत करता है, पर इसकी स्पीडअप संख्याएँ पेपर-रिपोर्टेड हैं, स्वतंत्र रूप से सत्यापित नहीं।
जब दुनिया में त्रुटि बनी रहती है तो एजेंट का इतिहास साफ़ करना नुकसानदेह है
यह पेपर AgentCE-Bench और AppWorld पर एजेंट को उसकी सटीक विश्व-स्थिति के साथ कार्य के बीच में फ़्रीज़ करता है, इतिहास या दुनिया में संपादन करता है और एक रिसीवर मॉडल को जारी रखने देता है, और पाता है कि इतिहास संपादन का असर उस दुनिया पर निर्भर करता है जिसका वह वर्णन करता है।
- AgentCE-Bench: एजेंट द्वारा गलत मान दर्ज करने के बाद, दुनिया को स्थिर रखते हुए संरक्षित त्रुटि के पास सच्चा नोट जोड़ने से रिकवरी मिलान वाले न्यूट्रल नोट के 51% से बढ़कर 66% हो जाती है।
- AgentCE-Bench: इसके बजाय एजेंट की अपनी पूर्ण की गई कार्रवाई जोड़ने से रिकवरी असंपादित इतिहास से नीचे, 50% से 44% पर आ जाती है।
- AppWorld: डेटाबेस लेखन के बाद, सफलता की रसीद प्रभाव अनुपस्थित रहने पर पूरे कार्य की सफलता को 45% से 28% तक घटा देती है और प्रभाव मौजूद होने पर उसे 38% से 49% तक बढ़ा देती है।
- पेपर बताता है कि दो रिसीवरों पर पूल करने पर दोनों प्रभावों में 27 अंकों का अंतर है, जो आठ में से छह रिसीवरों में 97.5% और सात में 95% स्तर पर धनात्मक है।
एजेंट मेमोरी कॉम्पैक्शन या हैंडऑफ़ सिस्टम बनाने वालों को इतिहास संपादन को दुनिया की वास्तविक स्थिति के अनुरूप रखना चाहिए, क्योंकि दुनिया में त्रुटि बनी रहते हुए साफ़ दिखने वाला इतिहास एजेंट को बिना किसी संपादन से भी बदतर छोड़ सकता है।
SynthCorp: डेटा एजेंट के लिए बेंचमार्क बनाने का प्लेटफ़ॉर्म
यह पेपर SynthCorp प्रस्तुत करता है, एक ऐसा प्लेटफ़ॉर्म जो यह सिम्युलेट करके अनुकूलन योग्य डेटा एस्टेट और बेंचमार्क बनाता है कि व्यावसायिक घटनाएँ समय के साथ कॉर्पोरेट डेटा को कैसे उत्पन्न और संशोधित करती हैं, और इसका उपयोग सात डेटा एस्टेट और 256 कार्यों वाले प्रारंभिक बेंचमार्क बनाने के लिए करता है।
- प्रत्येक SynthCorp डेटा एस्टेट रिलेशनल डेटाबेस, एक डॉक्यूमेंट स्टोर और एक डेटा कैटलॉग को मिलाता है, साथ में मूल्यांकन कार्य और निष्पादन योग्य गोल्ड प्रोग्राम होते हैं।
- प्रारंभिक बेंचमार्क में सात डेटा एस्टेट (अधिकतम 1K ऑपरेशनल टेबल) और पाँच डोमेन में 256 कार्य शामिल हैं।
- पेपर रिपोर्ट करता है कि डेटा एस्टेट विदेशी-कुंजी उल्लंघन, अघोषित लेखन, पुनरावृत्ति उल्लंघन और डेटाबेस निष्पादन विफलता जैसी नियतात्मक पाइपलाइन जाँचों को लगभग शून्य त्रुटि दर के साथ पास करते हैं।
- पेपर चार डेटा-संदर्भ सेटिंग्स में तीन मॉडलों के मूल्यांकन की रिपोर्ट करता है, जिससे पता चलता है कि बेंचमार्क डेटा संदर्भों और मॉडल स्तरों को अलग करते हैं।
एंटरप्राइज़ डेटा एजेंट बनाने वाली टीमों के लिए, SynthCorp मैनुअल एनोटेशन के बिना गोल्ड प्रोग्राम सत्यापित करने वाला अनुकूलन योग्य बेंचमार्क-निर्माण मार्ग प्रदान करता है।
याओ शुन्यु और यांग झिलिन का पहला संयुक्त पेपर: 30 विश्व-स्तरीय गणित समस्याओं में से कोई भी AI ने स्वतंत्र रूप से हल नहीं किया
याओ शुन्यु और यांग झिलिन के पहले संयुक्त पेपर में बताया गया है कि 30 विश्व-स्तरीय गणित समस्याओं में से कोई भी AI द्वारा स्वतंत्र रूप से हल नहीं की गई।
- यह पेपर याओ शुन्यु और यांग झिलिन का पहला संयुक्त प्रकाशन है।
- पेपर में 30 विश्व-स्तरीय गणित समस्याएं शामिल हैं।
- पेपर के अनुसार, 30 समस्याओं में से कोई भी AI द्वारा स्वतंत्र रूप से हल नहीं की गई।
AI बिल्डरों के लिए यह रिपोर्ट किया गया परिणाम बताता है कि स्वतंत्र रूप से हल करने योग्य गणित समस्याओं पर मौजूदा मॉडलों में स्पष्ट कमी है।