AI FRONTIER
Signals worth understanding before they become obvious.
StateBench: भाषा मॉडल लंबे दस्तावेज़ों में स्थिति परिवर्तनों को कैसे ट्रैक करते हैं, इसका परीक्षण
Ai2 ने StateBench पेश किया है, जो लंबे संदर्भ में स्थिति ट्रैकिंग के लिए चार कठिनाई स्तरों वाला बेंचमार्क है, जो मूल्यांकन करता है कि भाषा मॉडल लंबे दस्तावेज़ों में विकसित होती इकाई जानकारी को कितनी अच्छी तरह ट्रैक करते हैं।
- StateBench में चार कठिनाई स्तर हैं: r-trivial (अपरिवर्तनीय असाइनमेंट), aperiodic (मान द्वारा पुनः असाइनमेंट), soluble (स्व-संदर्भित अपडेट) और general finite (संदर्भ द्वारा असाइनमेंट)।
- प्रीट्रेन्ड मॉडल परीक्षणों में, लगभग सभी ने r-trivial पर अच्छा प्रदर्शन किया, इनपुट बढ़ने पर aperiodic पर सटीकता खोई, और general finite समस्याओं पर संयोग स्तर पर रहे।
लंबे संदर्भ वाले सिस्टम बनाने वालों को स्थिति-ट्रैकिंग जटिलता के अनुसार आर्किटेक्चर का अलग-अलग मूल्यांकन करना चाहिए, क्योंकि transformer सीधे प्रशिक्षण में भी सबसे कठिन स्तर पर विफल रहते हैं जबकि Gated DeltaNet और हाइब्रिड डिज़ाइन इसे सीख स...
प्रति कार्य लागत: Gemini मॉडल और थिंकिंग स्तरों के बीच रूटिंग के लिए सस्ते क्लासिफायर
Google for Developers ब्लॉग पोस्ट प्रति कार्य लागत के दृष्टिकोण से रूटिंग पर चर्चा करता है, जिसमें सस्ते क्लासिफायर का उपयोग करके Gemini मॉडल और थिंकिंग स्तरों के बीच रूटिंग की जाती है।
- स्रोत Google for Developers ब्लॉग है, विषय प्रति कार्य लागत है।
- यह दृष्टिकोण सस्ते क्लासिफायर का उपयोग करके Gemini मॉडल और थिंकिंग स्तरों के बीच रूटिंग करता है।
AI बिल्डरों के लिए, रूटिंग का निर्णय कम लागत वाले क्लासिफायर को सौंपने से प्रति कार्य कंप्यूट को मॉडल और थिंकिंग स्तरों के बीच आवंटित किया जा सकता है।
Anthropic ने बड़े भाषा मॉडलों के लिए प्रमाणित अनुमान में प्रगति बताई
Anthropic ने बड़े भाषा मॉडलों के लिए प्रमाणित अनुमान (provable inference) की दिशा में प्रगति पर एक शोध अपडेट प्रकाशित किया।
- स्रोत Anthropic है; श्रेणी शोध है।
- विषय बड़े भाषा मॉडलों के लिए प्रमाणित अनुमान में प्रगति है।
प्रमाणित अनुमान में प्रगति बिल्डरों को तर्क की शुद्धता पर मजबूत गारंटी दे सकती है, इसलिए इस पर नजर रखना उचित है।
पर्यावरण प्रतिकृति के बिना एजेंट टेस्ट-टाइम स्केलिंग के लिए Agentic World Modeling
पेपर Agentic World Modeling (AWM) प्रस्तुत करता है, जो अगले अवलोकन की भविष्यवाणी को बहु-चरणीय साक्ष्य-अधिग्रहण कार्य के रूप में पुनर्गठित करता है: एक एजेंटिक सिम्युलेटर सुरक्षित रीड-ओनली इंटरफ़ेस के ज़रिए वास्तविक पर्यावरण से प्रश्न करता है, लौटाए गए साक्ष्य पर तर्क करता है, और साझा स्थिति को बदले बिना निष्पादन योग्य ग...
- पेपर रिपोर्ट करता है कि τ-bench, AppWorld और OfficeBench पर AWM औसतन 40.07% से सिंगल-शॉट सिमुलेशन बेसलाइन को पीछे छोड़ता है।
- पेपर रिपोर्ट करता है कि AWM औसतन 12.36% से प्रशिक्षित वर्ल्ड-मॉडल बेसलाइन को पीछे छोड़ता है।
- AWM सुरक्षित रीड-ओनली इंटरफ़ेस के ज़रिए वास्तविक पर्यावरण से प्रश्न करता है और कहता है कि यह साझा स्थिति को नहीं बदलता।
एजेंट बनाने वालों के लिए AWM एक साझा पर्यावरण पर उसकी प्रतिकृति बनाए बिना समानांतर ट्रैजेक्ट्री खोज का रास्ता देता है, जो तब मायने रखता है जब उत्पादन स्थिति रीसेट न हो सके।
CWE-bench v2: अधिक कवरेज, गुणवत्ता और पारदर्शिता
Collinear AI ने CWE-bench v2 जारी किया है, जिसमें 91 CWE को कवर करने वाले 100 कार्यों का सार्वजनिक सेट और निर्धारक प्रोग्रामेटिक स्कोरिंग है, साथ ही प्रगति ट्रैक करने के लिए एक held-out सेट भी है।
- सार्वजनिक सेट में 100 कार्य हैं जो 91 अलग-अलग CWE को कवर करते हैं।
- मूल्यांकन किए गए 11 मॉडलों में Gemini 4 Argon 67.8% pass@1 और 81.0% pass@4 के साथ आगे है, Claude Opus 5.5 67.3% pass@1 और 78.0% pass@4 के साथ है।
- 95 कार्य कम से कम एक मॉडल द्वारा हल किए गए हैं, लेकिन अग्रणी मॉडल भी हर प्रयास में सेट का 19% विफल करता है।
- DeepSeek V4.1 Flash प्रति rollout $0.04 पर 57.0% pass@1 तक पहुंचता है, Opus $1.83 पर और Gemini $3.92 पर।
बिल्डर इस निर्धारक बेंचमार्क को सीधे Hugging Face रिपॉजिटरी से चला सकते हैं और उन्हीं वातावरणों और सत्यापनकर्ताओं को रक्षात्मक एजेंटों के प्रशिक्षण के लिए RL इनाम के रूप में पुनः उपयोग कर सकते हैं।
DeepSeek ने Creator Mode लॉन्च किया, अगली पीढ़ी का बड़ा मॉडल Huawei Ascend चिप्स पर प्री-ट्रेन करने की योजना
ThePaper.cn की रिपोर्ट के अनुसार, DeepSeek ने Creator Mode लॉन्च किया है और अगली पीढ़ी के बड़े मॉडल को Huawei Ascend चिप्स पर प्री-ट्रेन करने की योजना बनाई है।
- ThePaper.cn की रिपोर्ट के अनुसार DeepSeek ने Creator Mode लॉन्च किया है।
- ThePaper.cn की रिपोर्ट के अनुसार DeepSeek अगली पीढ़ी के बड़े मॉडल को Huawei Ascend चिप्स पर प्री-ट्रेन करने की योजना बना रहा है।
यदि अगली पीढ़ी का मॉडल वास्तव में Ascend पर प्री-ट्रेन होता है, तो AI बिल्डर्स को गैर-NVIDIA ट्रेनिंग स्टैक की माइग्रेशन लागत और टूलचेन परिपक्वता का आकलन करना होगा।
OpenAI में Git का स्केलिंग: Pando बैकएंड
OpenAI ने Pando बनाया, एक Git-संगत बैकएंड जो Codex द्वारा संभव बनाए गए विकास के पैमाने के लिए डिज़ाइन किया गया है।
- Pando को Git-संगत बैकएंड के रूप में वर्णित किया गया है।
- OpenAI कहता है कि Pando उस विकास पैमाने के लिए डिज़ाइन किया गया है जो Codex संभव बनाता है।
AI बिल्डरों के लिए, यह संकेत देता है कि कोडिंग-एजेंट अपनाने से आंतरिक वर्ज़न कंट्रोल इन्फ्रास्ट्रक्चर का पुनर्निर्माण हो रहा है।
baidu/Unlimited-OCR-2: SR-SWA के साथ असीमित-लंबाई दस्तावेज़ पार्सिंग के लिए 3.3B पैरामीटर वाला मल्टीमॉडल OCR मॉडल
Baidu ने Unlimited-OCR-2 जारी किया है, जो Sparse Reference Sliding Window Attention (SR-SWA) का उपयोग करके टेक्स्ट-विज़ुअल अटेंशन इंटरैक्शन को एक निश्चित आकार के संदर्भ सेट (जैसे 512 टोकन) में संपीड़ित करता है, जिससे दस्तावेज़ की लंबाई की परवाह किए बिना प्रति-चरण डिकोडिंग विलंबता और मेमोरी उपयोग लगभग स्थिर रहता है। यह ...
- मॉडल में 3.3B पैरामीटर हैं, यह I64 और BF16 टेंसर प्रकारों का उपयोग करता है, और MIT लाइसेंस के अंतर्गत जारी है।
- SR-SWA टेक्स्ट-विज़ुअल अटेंशन इंटरैक्शन को एक निश्चित आकार के संदर्भ सेट (जैसे 512 टोकन) में संपीड़ित करता है, जिससे प्रति-चरण डिकोडिंग विलंबता और मेमोरी उपयोग लगभग स्थिर रहता है।
- पेपर के अनुसार MPDocBench जैसे दर्जनों-पृष्ठ बेंचमार्क और MarathonDocBench जैसे सौ-पृष्ठ चरम बेंचमार्क दोनों पर अत्याधुनिक प्रदर्शन प्राप्त हुआ है।
- Transformers का परीक्षण Python 3.10, torch 2.13.0 और transformers 4.52.1 के साथ NVIDIA A800-80GB पर किया गया; सर्विंग के लिए SGLang की सिफारिश की जाती है।
दस्तावेज़ पार्सिंग पाइपलाइन बनाने वाले डेवलपर्स के लिए SR-SWA लंबे दस्तावेज़ों की अटेंशन लागत को लंबाई-निर्भर से लगभग स्थिर बना देता है, जिससे सौ-पृष्ठ दस्तावेज़ों को सीमित कॉन्टेक्स्ट विंडो में एक ही अनुरोध में पार्स किया जा सकता है।