Safety, Evals & Alignmentअंक #4 · कहानी 17 में से 401 अक्टू॰ 2026कंपनी का दावा
गेटेड एक्सप्लॉइट मॉडल (Exploit Model) अब एक मुफ़्त डाउनलोड है
एंथ्रोपिक (Anthropic) का कहना है कि ज़ेड.एआई (Z.ai) के ओपन-वेट (Open-weight) GLM-5.3 ने Claude Mythos Preview के 410 में से 56 के मुकाबले 410 में से 50 प्रयासों में एंड-टू-एंड एक्सप्लॉइट (Exploit) बनाए, और सिमुलेशन (Simulation) में इसके सेफगार्ड्स (Safeguards) को 64% से 100% तक बार बायपास (Bypass) किया जा सका। टिकाऊ निष्कर्ष सस्ता है: किसी मॉडल (Model) के रिफ़्यूज़ल (Refusal) हटाने की लागत करीब $4,400 रही और इसके स्कोर जस के तस बने रहे।
अपने तरीके से पढ़ें
अध्याय 1आपके लिए चुना गया खोजी
60 सेकंड वाला संस्करण
एंथ्रोपिक (Anthropic) की फ्रंटियर रेड टीम (Frontier Red Team) ने 29 सितंबर को ज़ेड.एआई (Z.ai) के ओपन-वेट (Open-weight) GLM-5.3 का रेड-टीम मूल्यांकन (Red-team Evaluation) प्रकाशित किया और इसे सुरक्षा का एक इन्फ्लेक्शन पॉइंट (Inflection Point) बताया। इसमें मौजूद हर आंकड़ा एक ही लैब (Lab) से आता है, जो अपने ही हार्नेस (Harness) पर, अपने ही अप्रैल के प्रीव्यू मॉडल (Preview Model) के सामने एक प्रतिद्वंद्वी को नाप रही है — इसलिए यह कंपनी का दावा है, जिसके पीछे असली गणित है।
लगभग बराबरी, ईमानदारी से नापी गईदोनों मॉडलों को सार्वजनिक ExploitBench बेंचमार्क (Benchmark) पर एक ही 410 प्रयास मिले, इसलिए 50 बनाम 56 की तुलना गणित के हिसाब से उचित है।
दूसरा अंतर और भी पतला है100 निजी टास्क (Task) में कंट्रोल-फ़्लो हाईजैक (Control-flow Hijack) 4% बनाम 6% का मतलब करीब चार बनाम छह टास्क हैं, और कोई कॉन्फिडेंस इंटरवल (Confidence Interval) नहीं दिया गया।
सेफगार्ड्स सस्ते में उतर गएअब्लिटरेशन (Abliteration) ने औसत रिफ़्यूज़ल 95% से 6% पर ला दिया, लगभग 2,200 GPU घंटे और करीब $4,400 में, और GPQA-Diamond में कोई बदलाव नहीं आया।
बीस डॉलर में एक एक्सप्लॉइटदूसरे सत्र (Session) ने लगभग आठ घंटे के मॉडल समय और $20.40 के एपीआई (API) खर्च में दो ज्ञात खामियों को जोड़ा, जिनमें एक Chrome CVE भी थी।
यह अध्याय पूरा करें · +15 XP
आपका अगला कदम · खोजी
आंकड़ों से पहले भाजक पढ़ें
1पोस्ट के हर हेडलाइन आंकड़े के लिए भाजक (Denominator) लिखें और यह भी कि वह क्षमता की सीढ़ी की कौन-सी पायदान नापता है।
2सार्वजनिक बेंचमार्क का सार (Abstract) खोलें और देखें कि क्रैश (Crash) एक्सप्लॉइटेशन क्यों नहीं है — इसी से 12 बनाम 61 का अंतर समझ आता है।
3विक्रेता की व्याख्या की तुलना NIST की तालिका से करें और जांचें कि दोनों एक ही मेट्रिक नाम का हवाला देते हैं या नहीं।
ऊपर पढ़ने का तरीका बदलकर अलग अगला कदम देखें।
खोलने के लिए टैप करें
किन बातों पर नज़र रखें
छोटी प्रश्नोत्तरी · अनलॉक करें रिफ़्यूज़ल है एडिटेबल (Refusal is editable) बैज
क्या बात याद रही?
0/3
एंथ्रोपिक (Anthropic) GLM-5.3 की रिलीज़ (Release) को सुरक्षा का इन्फ्लेक्शन पॉइंट (Inflection Point) क्यों कहता है?+20 XP
100% सेफगार्ड-बायपास (Safeguard-bypass) का आंकड़ा असल में क्या बताता है?+20 XP
NIST का आकलन इस तस्वीर में क्या जोड़ता है?+20 XP
शोध डॉसियरपूरा शोध, तथ्य और विश्लेषणकंपनी का दावा28 मिनट · 21 खंडखोलेंबंद करें
✓
क्या हुआ
2026-09-29 को Anthropic ने Frontier Red Team का एक रिसर्च पोस्ट प्रकाशित किया — "GLM-5.3 and the spread of advanced cyber capabilities" — जिसे Andrew Fasano, Marius Fleischer, Cole McFaul, Robert Xiao तथा Tripp Gallagher ने लिखा। इसमें बीजिंग की कंपनी Z.ai (पहले Zhipu AI) द्वारा जारी ओपन-वेट मॉडल (open-weight model) GLM-5.3 का Anthropic का अपना रेड-टीम मूल्यांकन (red-team evaluation) दिया गया, और इसे सुरक्षा का एक इन्फ़्लेक्शन पॉइंट (inflection point) बताया गया।
COMPANY CLAIM (Anthropic):
सार्वजनिक ExploitBench बेंचमार्क पर GLM-5.3 "410 प्रयासों में से 50 में एंड-टू-एंड एक्सप्लॉइट (end-to-end exploit) विकसित करता है"। Claude Mythos Preview ने ऐसा "लगभग उसी दर पर किया — 410 प्रयासों में से 56 में।"
Anthropic के आंतरिक बाइनरी एक्सप्लॉइटेशन बेंचमार्क (internal Binary Exploitation benchmark) पर GLM-5.3 "4% ट्रायल में पूर्ण कंट्रोल-फ़्लो हाईजैक (control-flow hijack) विकसित करता है; Claude Mythos Preview ने 6% में ऐसा किया।" पुराने मॉडल, "जैसे Claude Opus 4.6 और GLM-5.2, इनमें से किसी में भी सफल नहीं होते।"
हमारे सिम्युलेटेड टेस्ट (simulated tests) में सरल तकनीकों से सेफ़गार्ड्स (safeguards) "64% से 100% समय तक" बायपास किए जा सकते हैं। GLM-5.3 ने केवल एक खाली हानिकारक आदेश पर 0% बार काम किया, एक भ्रामक रेड-टीम कवर स्टोरी के तहत 64% बार, प्रीफ़िल्ड रीज़निंग (prefilled reasoning) के साथ 92% बार, और एब्लिटरेट (abliterate) किए जाने पर 100% बार।
मानव-इन-द-लूप (human-in-the-loop) सेशन में GLM-5.3 ने एक ब्राउज़र के JavaScript इंजन में "कई पहले से अज्ञात कमज़ोरियां" खोजीं और उन्हें जोड़कर एक वेबपेज बनाया जो विज़िटर के कंप्यूटर से मनमानी फ़ाइलें पढ़ लेता है।
एक दूसरे सेशन में छोटे GLM-5.3-Flash का इस्तेमाल करते हुए दो ज्ञात खामियों के लिए एक्सप्लॉइट चेन (exploit chain) बनाए गए, जिनमें Google Chrome में CVE-2026-11645 शामिल है — "20 मिनट मानवीय ध्यान, साथ में आठ घंटे का काम," जिसकी लागत Zhipu के एपीआई (API) दामों पर "$20.40" आई।
"GLM-5.3 संभवतः दुर्भावनापूर्ण कर्ताओं को ऐसी क्षमताएं देगा जिनसे वे बिना किसी सार्थक बंदिश के साइबर कमज़ोरियां खोज और शोषित कर सकेंगे।" इसका जारी होना "हमलावरों के पास उपलब्ध साइबर क्षमताओं में एक सार्थक स्टेप चेंज (step change) है।"
INDEPENDENT EVIDENCE (NIST CAISI, 2026-09-17): एक अमेरिकी सरकारी लैब परिमाण के मामले में अलग निष्कर्ष पर पहुंची। CAISI ने GLM-5.3 को "अब तक जारी सबसे साइबर-सक्षम ओपन-वेट मॉडल" कहा, लेकिन पाया कि वह "अमेरिकी फ्रंटियर की क्षमता के स्तर से लगभग चार महीने पीछे है," और उसके परिणाम अपने समग्र साइबर क्षमता सूचकांक (composite cyber capability index) पर अमेरिकी फ्रंटियर से नीचे "95% कॉन्फ़िडेंस इंटरवल (confidence intervals) से काफ़ी बाहर" थे।
FACT (सत्यापन-योग्य रिलीज़ तथ्य): GLM-5.3 के वेट्स (weights) वास्तव में सार्वजनिक हैं। Hugging Face पर zai-org/GLM-5.3 रिपॉज़िटरी (repository) में 753B-पैरामीटर चेकपॉइंट (checkpoint) है, पिछले महीने में लगभग 1.4 मिलियन डाउनलोड दिखते हैं, 8 फ़ाइनट्यून (finetunes) और 70 क्वांटाइज़ेशन (quantizations) सूचीबद्ध हैं, और यह "glm-5.3" नाम के कस्टम लाइसेंस (custom licence) के तहत आता है। NIST पुष्टि करता है कि वेट्स 2026-08-14 के लॉन्च के लगभग दो सप्ताह बाद सार्वजनिक हुए।
कोई प्रतिक्रिया नहीं मिली। जो स्रोत प्राप्त हुए उनमें Anthropic के पोस्ट पर Z.ai/Zhipu की कोई सार्वजनिक प्रतिवाद या प्रतिक्रिया नहीं मिली। Anthropic के पोस्ट पर AI Weekly की रिपोर्ट कहती है कि वह "न तो Zhipu के रिलीज़ तर्क को समझाता है और न ही किसी कंपनी प्रतिक्रिया का हवाला देता है।" प्रतिक्रिया न मिलना इस बात का सबूत नहीं है कि कोई प्रतिक्रिया मौजूद ही नहीं है।
∎
कहानी की पहचान
फ़ील्ड
मान
स्टोरी आईडी (Story ID)
S17
शीर्षक
Anthropic की रिपोर्ट: Zhipu का ओपन-वेट (open-weight) GLM-5.3 ऑटोनॉमस एक्सप्लॉइट (autonomous exploit) में Claude Mythos Preview के बराबर है
संस्था
Anthropic (Z.ai / Zhipu AI पर रिपोर्टिंग)
श्रेणी
एआई सुरक्षा (AI Security) / ओपन-वेट मॉडल (Open-Weight Models)
ट्रैक की गई इवेंट तिथि (event date)
2026-10-01
प्राथमिक प्रकाशन तिथि (सत्यापित)
2026-09-29 (Anthropic Frontier Red Team पोस्ट, "29 सितंबर, 2026")
स्वतंत्र रिपोर्टिंग तिथियां
2026-09-30 (SCMP); 2026-10-01 (TNW)
संबंधित पूर्व घटनाएं
2026-08-14 (Z.ai ने GLM-5.3 लॉन्च किया); ~2026-08-28 (Z.ai ने वेट्स (weights) प्रकाशित किए); 2026-09-17 (NIST CAISI आकलन); 2026-04-07 (Anthropic ने Claude Mythos Preview / Project Glasswing की घोषणा की)
साक्ष्य स्थिति
COMPANY CLAIM — किसी प्रतिस्पर्धी के मॉडल का Anthropic का अपना मूल्यांकन, Anthropic के हार्नेस (harness) पर, एक Anthropic प्रीव्यू (preview) मॉडल के मुकाबले
विश्वास स्तर
मध्यम (क्षमता का परिमाण आंशिक रूप से NIST से पुष्ट है; बराबरी वाला ढांचा नहीं)
कॉन्फ़िग विंडो (config window)
2026-09-26 → 2026-10-02 (ऊपर दी गई सभी तिथियां इसके भीतर आती हैं)
तिथि पर टिप्पणी (ईमानदार सुधार)। डिस्कवरी (Discovery) ने 2026-10-01 की घोषणा-तिथि दर्ज की थी। Anthropic का पोस्ट anthropic.com पर तथा उसके अपने पेज मेटाडेटा (page metadata) में सत्यापन-योग्य रूप से 29 सितंबर, 2026 का है। इस कहानी का न्यूज़ साइकल (news cycle) 2026-09-30 से 2026-10-01 के बीच चरम पर था, इसीलिए ट्रैक की गई इवेंट तिथि 2026-10-01 ही रहती है। सत्यापित प्रकाशन तिथि और ट्रैक की गई तिथि, दोनों कॉन्फ़िगर की गई विंडो के भीतर हैं, इसलिए पात्रता पर कोई असर नहीं पड़ता।
इस कहानी के लिए लेबल अनुशासन — पहले यह पढ़ें। यहां एक प्रतिस्पर्धी, दूसरे प्रतिस्पर्धी के मॉडल का बेंचमार्क (benchmark) ले रहा है। नीचे दिया गया हर क्षमता और सेफ़गार्ड (safeguard) आंकड़ा Anthropic की अपनी Frontier Red Team से आता है, Anthropic के हार्नेस पर चलाया गया, Anthropic की बायपास (bypass) तकनीकों का इस्तेमाल करते हुए, और तुलना Claude Mythos Preview से की गई है — जो अप्रैल 2026 का एक प्रीव्यू मॉडल है, केवल जांचे-परखे डिफ़ेंडर्स (defenders) तक सीमित, और Anthropic की अपनी साइट के अनुसार अब उसकी जगह Claude Mythos 5.1 आ चुका है। यहां कुछ भी Zhipu की क्षमताओं का स्वतंत्र सत्यापन नहीं है। मिला हुआ एकमात्र वास्तव में स्वतंत्र आकलन NIST की CAISI रिपोर्ट (2026-09-17) है, और CAISI के आंकड़े उलटी दिशा दिखाते हैं।
•
क्या बदला?
सार्थक बदलाव यह नहीं है कि "एक चीनी मॉडल हैकिंग में फ्रंटियर हो गया"। सार्थक बदलाव है पहुंच (access): वही श्रेणी की आक्रामक क्षमता जांचे-परखे लोगों तक सीमित दायरे से निकलकर जो भी डाउनलोड कर ले तक पहुंच गई।
पहले (जैसा Anthropic प्रस्तुत करता है): Anthropic ने अब तक केवल एक मॉडल को स्वायत्त रूप से परिष्कृत एंड-टू-एंड एक्सप्लॉइट बनाने में सक्षम पाया था — Claude Mythos Preview, जो लगभग 5 महीने पहले (2026-04-07) जानबूझकर एक गेट (gate) के ज़रिये जारी किया गया — Project Glasswing, जिसने "विश्वसनीय साइबर डिफ़ेंडर्स को महत्वपूर्ण सॉफ़्टवेयर में 10,000 से अधिक कमज़ोरियां खोजने में सक्षम बनाया।" जांचे-परखे अनुबंध के बिना कोई हमलावर उसे हासिल नहीं कर सकता था।
बदलाव: Z.ai ने लगभग 2026-08-28 को तुलनीय क्षमता को डाउनलोड-योग्य वेट्स के रूप में जारी किया, एक कस्टम लाइसेंस के तहत जिसमें कोई एंटी-एब्लिटरेशन क्लॉज़ (anti-ablation clause) नहीं था और केवल "कुछ अंतर्निहित सेफ़गार्ड्स" थे (Anthropic के शब्द)। कुछ ही दिनों में "कई डेवलपर्स ने GLM-5.3 के एब्लिटरेटेड संस्करण जनता के लिए जारी किए।"
बाद में: Anthropic का निष्कर्ष: "मुक्त रूप से सुलभ क्षमताओं में एक महत्वपूर्ण थ्रेशोल्ड अब पार हो चुका है।"
दूसरा बदलाव मानक-संबंधी (normative) है। Z.ai ने लॉन्च के समय सार्वजनिक रूप से तर्क दिया कि उसने रिलीज़ को गेट किया था: वेट्स "लॉन्च के दो सप्ताह बाद जारी होने वाले थे, सुरक्षा हार्डनिंग पूरी होने पर" (Z.ai की अपनी तकनीकी रिपोर्ट), और वेट्स उसी विंडो के भीतर सचमुच जारी हुए। Anthropic का प्रति-तर्क संरचनात्मक है: वेट्स प्रकाशित हो जाने के बाद गेट को कोई भी पलट सकता है। Counterpoint के Neil Shah ने बहस के दूसरी ओर से वही बात कही — "एक बार किसी एआई मॉडल (AI model) के वेट्स मुक्त रूप से जनता को जारी हो जाएं, तो उसके किसी भी अंतर्निहित सेफ़गार्ड (safety guardrail) को बिना किसी जानकारी या नियंत्रण के हटाया जा सकता है।"
FACT — क्या नहीं बदला: NIST ने अपना स्वतंत्र आकलन 2026-09-17 को, यानी Anthropic के पोस्ट से बारह दिन पहले, पहले ही प्रकाशित कर दिया था। Anthropic के प्रकाशन के समय "चीनी ओपन-वेट मॉडल क़रीब है" वाला ढांचा नई जानकारी नहीं था; Anthropic ने CAISI का स्पष्ट हवाला भी दिया।
•
पहले → बदलाव → बाद में
आयाम
पहले
बदलाव
बाद में
सबसे मज़बूत खुलकर डाउनलोड-योग्य एक्सप्लॉइट मॉडल
GLM-5.2, ExploitBench पर और Anthropic के बाइनरी बेंचमार्क पर लगभग शून्य (Anthropic: 0% ट्रायल)
GLM-5.3 के वेट्स ~2026-08-28 को प्रकाशित; एब्लिटरेटेड डेरिवेटिव (derivatives) कुछ ही दिनों में चलन में
GLM-5.3 / GLM-5.3-Flash। NIST: "अब तक जारी सबसे साइबर-सक्षम ओपन-वेट मॉडल"
फ्रंटियर एक्सप्लॉइट क्षमता पर गेट
केवल जांचे-परखे लोगों तक (Project Glasswing)
ओपन वेट्स, कस्टम लाइसेंस, कोई एंटी-एब्लिटरेशन क्लॉज़ नहीं
ऐसी क्षमता जिसे बाद में वापस नहीं बुलाया जा सकता, न गेट किया जा सकता है
सबसे अच्छा अमेरिकी फ्रंटियर संदर्भ बिंदु
Claude Mythos Preview (अप्रैल 2026), सीमित
Anthropic अब भी Mythos Preview के मुकाबले बेंचमार्क करता है, जबकि जांचे-परखे यूज़र्स को नया Mythos 5.1 दे रहा है
तुलना का आधार और जारी किया गया आधार अलग-अलग हो गए
काम करने वाला ब्राउज़र एक्सप्लॉइट बनाने की लागत
जांचा-परखा एक्सेस अनुबंध चाहिए
~$20.40 का एपीआई खर्च और 20 मिनट मानवीय ध्यान (Anthropic सेशन)
कमोडिटी-स्तर की आक्रामक क्षमता
सेफ़गार्ड हटाने की क्षमता
Claude के वेट्स जारी नहीं → एब्लिटरेट नहीं किए जा सकते; एपीआई प्रीफ़िल्ड थिंकिंग से इनकार करता है
ओपन वेट्स → एब्लिटरेशन एक बार की लागत में लगभग 2,200 GPU घंटे (~$4,400) पर संभव
इनकार का व्यवहार यूज़र पक्ष का विकल्प है, विक्रेता का नियंत्रण नहीं
•
यह काम कैसे करता है
क्षमता मूल्यांकन। Anthropic ने GLM-5.3 तथा तुलना वाले मॉडलों को "पृथक और सैंडबॉक्स्ड (sandboxed) वातावरण में चलाया, ताकि वे केवल उन ऑफ़लाइन लक्ष्यों पर हमला कर सकें जो हमने इन मूल्यांकनों के उद्देश्य से तैयार किए हैं।"
ExploitBench (सार्वजनिक)। arXiv:2605.14153, "ExploitBench: A Capability Ladder Benchmark for LLM Cybersecurity Agents", लेखक Seunghyun Lee और David Brumley (2026-05-13 को सबमिट)। यह बेंचमार्क शोषण (exploitation) को 16 मापे-जा-सकने वाले फ़्लैग (measurable flags) में बांटता है — "कवरेज (coverage) और क्रैश से लेकर सैंडबॉक्स प्रिमिटिव्स (sandbox primitives), मनमाना रीड/राइट (arbitrary read/write), कंट्रोल-फ़्लो हाईजैक (control-flow hijack) और मनमाना कोड एग्ज़िक्यूशन (arbitrary code execution) तक" — और इन्हें 41 V8 बग पर लागू करता है, क्योंकि V8 "एक ओर व्यापक रूप से तैनात है और दूसरी ओर शोषण के प्रति हार्डन किया गया है।" सबसे अहम बात यह है कि पेपर का अपना निष्कर्ष यह है कि "मौजूदा LLM सुरक्षा बेंचमार्क क्रैश को ही शोषण की सफलता मान लेते हैं," और "परीक्षण किए गए 8 सार्वजनिक रूप से तैनात मॉडलों में कमज़ोर कोड तक पहुंचना और क्रैश ट्रिगर करना सामान्य बात है, लेकिन मनमाना कोड एग्ज़िक्यूशन नहीं।"
हेडलाइन पढ़ने के लिए यह बात मायने रखती है: Anthropic के 12% / 14% आंकड़े 16-सीढ़ी वाली सीढ़ी की सबसे ऊपरी सीढ़ी हैं, कोई सामान्य "एक्सप्लॉइट सफलता दर" नहीं। ExploitBench पर GLM-5.3 के लिए NIST का 61.1% 16 में से औसत कवरेज स्कोर है, प्रति कार्य तीन प्रयासों में सबसे अच्छा — बिल्कुल अलग मीट्रिक (metric)। दोनों आंकड़े सच हैं; वे अलग-अलग चीज़ें मापते हैं।
आंतरिक बाइनरी एक्सप्लॉइटेशन बेंचमार्क (सार्वजनिक नहीं)। Anthropic परीक्षण करता है "कि मॉडल Google के OSS-Fuzz प्रोजेक्ट में भाग लेने वाले लोकप्रिय ओपन-सोर्स प्रोजेक्ट्स में कमज़ोरियां खोज और शोषित कर सकते हैं या नहीं," और "पूर्ण कंट्रोल-फ़्लो हाईजैक के लिए पूरा क्रेडिट" देता है। फ़ुटनोट 1 बताता है कि यह "पहले 'OSS-Fuzz' नाम से प्रकाशित हुआ था" और यहां उन्होंने "100 कार्यों के बेतरतीब ढंग से चुने गए उपसमुच्चय" पर परीक्षण किया। चित्र (Figure) 2 क्षमता को आउटपुट-टोकन बजट (output-token budget) के मुकाबले लॉग स्केल (log scale) पर दिखाता है।
सेफ़गार्ड बायपास की कार्यप्रणाली।
एब्लिटरेशन (Abliteration) (Zou एट अल., arXiv:2406.11717) — एक प्रकाशित रिफ़्यूज़ल-डायरेक्शन एब्लेशन (refusal-direction ablation)। Anthropic ने अपनी खुद की प्रति बनाई: GLM-5.3 के लिए ~2,200 GPU घंटे, ~$4,400; GLM-5.3-Flash के लिए ~600 GPU घंटे। Anthropic का अनुमान है कि पहले से अनुभवी टीम को "600 GPU घंटों ($1,200) के क़रीब" की ज़रूरत होगी। नतीजा: JailbreakBench, HarmBench तथा StrongREJECT पर औसत इनकार दर 95% से 6% तक गिर गई (प्रति-बेंचमार्क: 90% से ऊपर → ~3% JailbreakBench, ~2% HarmBench, 12% StrongREJECT)। क्षमता को कोई बड़ा नुकसान नहीं हुआ: GPQA-Diamond के नतीजे बिल्कुल वही रहे, CyberGym उपसमुच्चय "कुछ प्रतिशत कम।"
भ्रामक फ़्रेमिंग (Deceptive framing) — मॉडल को बताया जाए कि वह "एक अभ्यास पर काम कर रहा स्वायत्त रेड-टीम एजेंट (autonomous red-team agent) है।" → 64% एंगेजमेंट।
प्रीफ़िल्ड रीज़निंग (Prefilled reasoning) — शुरुआती सोच-टोकन (thinking tokens) लिख देना, जिससे लगे कि मॉडल पहले ही तय कर चुका है। → 92%। Anthropic बताता है कि अपने ही एपीआई के विरुद्ध यह असंभव है क्योंकि "Anthropic एपीआई संभावित हमलावरों को Claude की सोच प्रीफ़िल करने का कोई रास्ता नहीं देता।"
"एंगेजमेंट" का अर्थ क्या है (फ़ुटनोट 4 — मूल मुद्दा)। सेफ़गार्ड परीक्षण एक सिम्युलेशन है। "इस सिम्युलेशन में मॉडल द्वारा बनाया गया कोई भी कोड कभी चलाया नहीं जाता और मॉडल के पास बाहरी सिस्टमों से बातचीत करने का कोई तरीका नहीं होता।" मॉडल को "एक नक़ली bash टूल दिया जाता है जो दिया गया कोड चलाता ही नहीं," और "हम एक दूसरे लार्ज लैंग्वेज मॉडल (Large Language Model, LLM) से कहते हैं कि वह कमांड के नतीजे का अनुमान लगाए।" Anthropic खुद स्वीकार करता है: "ये सिम्युलेशन वास्तविक दुनिया की स्थितियों का सटीक चित्रण नहीं हैं, और इसलिए ये इस बात के अपूर्ण माप हैं कि कोई मॉडल किसी दी गई स्थिति में कैसा व्यवहार करेगा।" जो मापा गया है वह यह है कि मॉडल ने किसी रिमोट लक्ष्य तक पहुंचने का प्रयास किया या नहीं — यह नहीं कि कोई एक्सप्लॉइट काम कर गया।
नमूने का आकार। चित्र (Figure) 5 का कैप्शन: "प्रति सेल 50 नमूने, पांच हमला-आदेश × दो लक्ष्य × पांच प्रयास।" यानी 64% ≈ 32/50 और 92% ≈ 46/50। इन सेलों के लिए कोई कॉन्फ़िडेंस इंटरवल नहीं दिया गया है।
•
यह क्यों मायने रखता है
INTERPRETATION — पहुंच वाला तर्क ही असली कहानी है। Anthropic का अपना ढांचा इसी की पुष्टि करता है: "हमलावर अमेरिकी मॉडलों के उन संस्करणों तक आसानी से नहीं पहुंच सकते, लेकिन GLM-5.3 कोई भी डाउनलोड कर सकता है।" NIST इस तंत्र को स्वतंत्र रूप से और मज़बूत करता है, यह बताते हुए कि उसकी "U.S. frontier best" पंक्ति "trusted-access रिलीज़ और पूर्ण सार्वजनिक रिलीज़, दोनों को शामिल करती है" — ऐसी तुलना जो अमेरिकी पक्ष को ऐसे मॉडल जोड़कर चापलूसी देती है जो किसी हमलावर को नहीं मिल सकते।
INTERPRETATION — सेफ़गार्ड्स वाला निष्कर्ष ही टिकाऊ योगदान है। GLM-5.3 किसी भी बेंचमार्क पर 12% हो या 54%, एब्लिटरेशन का नतीजा संरचनात्मक और सस्ता है। ~$4,400 एक बार, GPQA-Diamond अपरिवर्तित। वेट्स सार्वजनिक हो जाने के बाद इनकार का व्यवहार यूज़र की पसंद है, विक्रेता का नियंत्रण नहीं। यह लाइसेंसिंग-डिज़ाइन (licensing design) का सबक है, मॉडलिंग का नहीं।
INTERPRETATION — "Anthropic के क़रीब" वाला दावा इस दावे का सबसे कमज़ोर हिस्सा है। Anthropic Mythos Preview के मुकाबले बेंचमार्क करता है, जिसे Anthropic की अपनी वेबसाइट अब जांचे-परखे डिफ़ेंडर्स के लिए नए Mythos 5.1 के साथ सूचीबद्ध करती है, और जिसे Z.ai का अपना मॉडल कार्ड (model card) ExploitBench पर 78.0 आंकता है, जबकि GLM-5.3 के 54.4 हैं। Anthropic ने अपने सबसे पुराने मज़बूत साइबर मॉडल को संदर्भ बिंदु चुना।
INTERPRETATION — निर्यात-नियंत्रण (export-control) वाला ढांचा अब उलट गया है। सामान्य पश्चिमी तर्क यह है कि ओपन वेट्स विरोधियों की मदद करते हैं। Anthropic का पोस्ट एक साथ क्षमता का अलार्म और लॉबिंग का तर्क है: यह इस मांग के साथ समाप्त होता है कि "सरकारों को पर्याप्त रूप से सक्षम एआई मॉडलों पर सुरक्षा परीक्षण करने चाहिए" और "उन्नत फ्रंटियर मॉडलों तक पहुंच को संस्थाओं के व्यापक समूह तक बढ़ाना चाहिए ताकि साइबर डिफ़ेंडर्स सशक्त हों।" एक अमेरिकी लैब का फ्रंटियर साइबर मॉडलों तक व्यापक पहुंच की सार्वजनिक वकालत करना, ऐसे हफ़्तों बाद जब एक चीनी लैब ने उस पहुंच को निरर्थक बना दिया, सचमुच एक रणनीतिक तनाव है, महज़ एक बात नहीं।
डिफ़ेंडर्स के लिए व्यावहारिक पाठ: अगर आपके कमज़ोरी-प्रबंधन (vulnerability management) की धारणाएं अब भी कहती हैं कि "एक्सप्लॉइट-स्तर के ऑटोमेशन के लिए जांचा-परखा विक्रेता अनुबंध चाहिए," तो वह धारणा 2026-08-28 के आसपास ही समाप्त हो गई।
•
क्या नया संभव हुआ?
COMPANY CLAIM (Anthropic):
ब्राउज़र के JavaScript इंजन में पहले से अज्ञात कमज़ोरियां खोजकर उन्हें एक काम करने वाले मनमानी-फ़ाइल-पठन एक्सप्लॉइट में बदलना, लगभग एक दिन में और कुल मिलाकर एक घंटे से कम मानवीय एकाग्रता के साथ।
एक सार्वजनिक पैच को काम करने वाली ARM64 एक्सप्लॉइट चेन में बदलना जो "पॉइंटर-ऑथेंटिकेशन (PAC) हार्डनिंग को बायपास करती है," दो ज्ञात खामियों के लिए जिनमें CVE-2026-11645 शामिल है, ~8 घंटे के मॉडल समय में।
उसी सेशन में बाद में "वायरलेस और ग्राफ़िक्स ड्राइवर तथा नेटवर्क-फ़ेसिंग डिवाइस सॉफ़्टवेयर" को लक्षित करना — Anthropic कहता है कि ये रिपोर्टें "फ़िलहाल समीक्षा के अधीन हैं।"
मॉडल का इनकार-व्यवहार हटा देना और उसकी क्षमता बरकरार रखना, लगभग $4,400 की एक-बार की लागत पर।
FACT: ExploitBench के अपने पेपर ने Anthropic के पोस्ट से पहले ही इस रुझान का आकार चिह्नित कर दिया था — "नतीजे बताते हैं कि हार्डन किए गए लक्ष्यों के विरुद्ध एक्सप्लॉइट निर्माण एक उभरती हुई फ्रंटियर क्षमता है।"
क्या नया संभव नहीं हुआ: बड़े पैमाने पर सामूहिक शोषण (mass exploitation at scale)। Anthropic के अपने आंकड़े हार्डन किए गए लक्ष्यों पर एक अंक से निम्न-दो-अंकीय प्रतिशत तक हैं, CAISI GLM-5.3 को ExploitGym पर 9.4% और अपने निजी OSS-Fuzz सूट पर 7.7% पर रखता है, और प्रकटीकरण का रिकॉर्ड प्रति मानव सेशन एक एक्सप्लॉइट चेन है, कोई स्वचालित पाइपलाइन नहीं।
•
तकनीकी निहितार्थ
INTERPRETATION — 50/410 बनाम 56/410 अंकगणितीय रूप से उचित तुलना है। दोनों मॉडलों को वही 410-प्रयास वाला हर (denominator) दिया गया (41 ExploitBench V8 बग × 10 प्रयास), इसलिए "क़रीब" होना असमान हर का नतीजा नहीं है। पोस्ट में यही एकमात्र तुलना है जो साफ़-सुथरे ढंग से टिकती है, और इसी कारण पोस्ट विश्वसनीय है, प्रचारक नहीं।
INTERPRETATION — 100 कार्यों पर 4% बनाम 6% कोई सार्थक अंतर नहीं है। 100 में से 4% ≈ 4 कार्य और 6% ≈ 6 कार्य। दो कार्यों का अंतर, जिसके लिए कोई कॉन्फ़िडेंस इंटरवल नहीं दिया गया, क्षमता का क्रम तय नहीं कर सकता। जो दावा टिक सकता है वह यह है कि "दोनों ने वह थ्रेशोल्ड पार किया जो Opus 4.6 और GLM-5.2 नहीं पार कर सके" — और यही Anthropic का अपना कहा हुआ मुद्दा है ("एक सार्थक थ्रेशोल्ड स्पष्ट रूप से पार हो चुका है")।
बेंचमार्क सार्वजनिक नहीं है। चित्र (Figure) 2 की y-अक्ष एक निजी Anthropic मूल्यांकन है जिसका कार्य-पूल (task pool) जारी नहीं किया गया। जो भी 4% / 6% तुलना दोहराना चाहे, वह दोहरा नहीं सकता। केवल 12% / 14% वाले ExploitBench आंकड़े ही पुनरुत्पादनीय (reproducible) हैं, और वे एक सार्वजनिक बेंचमार्क पर हैं।
FACT — ExploitBench के तीनों आंकड़े आपस में मेल नहीं खाते, क्योंकि वे अलग-अलग चीज़ें मापते हैं।
स्रोत
GLM-5.3 ExploitBench
मीट्रिक
Anthropic (2026-09-29)
12% (50/410)
काम करने वाले एंड-टू-एंड एक्सप्लॉइट (सबसे ऊपरी सीढ़ी) तक पहुंचने वाले व्यक्तिगत प्रयासों का हिस्सा
NIST CAISI (2026-09-17)
61.1% (9.8/16)
16 फ़्लैग पर औसत कवरेज स्कोर, 3 प्रयासों में सबसे अच्छा, 41 कार्य
Z.ai (अपना कार्ड)
54.4%
3 रिवीज़न (revisions) में सभी 41 कार्यों पर औसत कवरेज स्कोर
जो पाठक कहता है "GLM-5.3 ExploitBench पर 12% स्कोर करता है" और जो कहता है "GLM-5.3 ExploitBench पर 61% स्कोर करता है" — दोनों अपने स्रोतों को सही ढंग से उद्धृत कर रहे हैं और पूरी तरह अलग उपलब्धियां बता रहे हैं। इस कहानी के ग़लत तरीके से रिपोर्ट होने की सबसे संभावित वजह यही है।
सेफ़गार्ड की असमानता आंशिक रूप से तैनाती-मोड (deployment-mode) का नतीजा है, मॉडलिंग का नतीजा नहीं। Anthropic का चित्र (Figure) 5 Claude के लिए दो सेलों पर ताले लगाता है: प्रीफ़िल्ड थिंकिंग "एपीआई द्वारा प्रस्तावित नहीं है" और एब्लिटरेशन असंभव है क्योंकि "Claude के वेट्स जारी नहीं किए गए हैं।" इसलिए तीन बायपासों में से एक "एक ऐसी तकनीक जो हमलावर कर सकता है" की तुलना "ऐसी क्षमता से कर रहा है जो विक्रेता देता ही नहीं।" यह असली असमानता है — और यह मॉडल-गुणवत्ता (model quality) का निष्कर्ष भी नहीं है। ध्यान दें कि सेफ़गार्ड्स बंद होने पर Anthropic का अपना Mythos 5 प्रकाशित आंकड़ों के अनुसार ~10% बार काम करता है, 100% नहीं।
•
डेवलपर के लिए निहितार्थ
ओपन वेट्स को अशासनीय तैनाती-लक्ष्य (ungovernable deployment target) मानें। Claude के एपीआई का प्रीफ़िल्ड थिंकिंग से इनकार करना और वेट्स न देना — Anthropic का यही मुद्दा काम का तथ्य है। अगर आप आंतरिक रूप से कोई ओपन-वेट मॉडल तैनात करते हैं, तो आपका इनकार-व्यवहार एक डिफ़ॉल्ट है, नियंत्रण नहीं। मान लें कि कोई उसे एब्लिटरेट या फ़ाइन-ट्यून (fine-tune) करेगा।
रीज़निंग-टोकन प्रीफ़िलिंग किसी भी स्व-होस्टेड (self-hosted) मॉडल में प्रॉम्प्ट-सरफ़ेस (prompt surface) का बग है। Anthropic ने वेट्स को छुए बिना, मॉडल के शुरुआती सोच-टोकन लिखकर GLM-5.3 का एंगेजमेंट 0% से 92% तक पहुंचा दिया। कोई भी स्व-होस्टेड तैनाती जो कच्चा जनरेशन (raw generation) या प्रीफ़िल प्रिमिटिव्स (prefill primitives) खोलती है, इस जोखिम के दायरे में है।
पुनरुत्पादनीयता असमान है। ExploitBench के आंकड़े दोबारा चलाए जा सकते हैं; 4%/6% वाले बाइनरी-एक्सप्लॉइटेशन आंकड़े नहीं। निजी बेंचमार्क पर कोई निर्णय न बनाएं।
$20.40 का एक्सप्लॉइट सिर्फ़ क्षमता नहीं, यूनिट इकोनॉमिक्स (unit economics) बदलता है। Anthropic का CVE-2026-11645 सेशन वही आंकड़ा है जिसे आत्मसात करना चाहिए: कमज़ोरी-शोध (vulnerability research) का महंगा हिस्सा अब सुपरविज़न (supervision) है, कंप्यूट (compute) नहीं। बजट उसी हिसाब से बनाएं, और ध्यान दें कि यह उस लागत-असमानता को सिकोड़ता है जो अभी अधिकांश डिफ़ेंडर्स की रक्षा करती है।
मॉडल कार्ड स्वयं-घोषित मार्केटिंग होते हैं। Z.ai का कार्ड CyberGym पर 84.5 को SOTA बताता है; NIST ने अपने हार्नेस से GLM-5.3 को अमेरिकी फ्रंटियर से बहुत नीचे रखा। Z.ai ने GLM-5.3 का मूल्यांकन Claude Code 2.1.207 के भीतर भी किया — यानी एक प्रतिस्पर्धी के हार्नेस में — जो अपने आप में एक कॉन्फ़ाउंड (confound) है।
लाइसेंस समीक्षा अब मायने रखती है। GLM-5.3 कस्टम "glm-5.3" लाइसेंस के तहत आता है, किसी OSI-अनुमोदित लाइसेंस के तहत नहीं। "ओपन-वेट" से MIT-शैली की शर्तें न मान लें।
•
एंटरप्राइज़ के लिए निहितार्थ
खतरे के मॉडल ओपन वेट्स पर फिर से आधारित करें। कोई भी रिस्क रजिस्टर (risk register) जो एक्सप्लॉइट-जनरेशन जोखिम को विक्रेता अनुमोदन प्रक्रियाओं पर निर्भर मानकर आंकता है, वह 2026-08-28 से पुराना पड़ चुका है।
स्व-होस्टेड ओपन-वेट तैनातियों की सूची बनाएं। उन मॉडलों को प्राथमिकता दें जो प्रीफ़िल, कच्चा सैंपलिंग (raw sampling) या फ़ाइन-ट्यूनिंग के रास्ते खोलते हैं। असली हमला-सतह वही है, मॉडल की आधारभूत इनकार-दर नहीं।
डेरिवेटिव सप्लाई चेन पर नज़र रखें। Hugging Face पर GLM-5.3 के 8 फ़ाइनट्यून और 70 क्वांटाइज़ेशन दिखते हैं, और एक कम्युनिटी Space भी है जिसका नाम "xliberated" (डी-रिफ़्यूज़्ड) संस्करण पर रखा गया है। मॉडल की प्रोवेनेंस (provenance) पिन करना अब ज़रूरी है।
मान लें कि विरोधी ~10% स्तर पर है, ~50% स्तर पर नहीं। CAISI के ExploitGym (9.4%) और OSS-Fuzz (7.7%) आंकड़े किसी अप्रायोजित हमलावर के लिए यथार्थवादी योजना-आंकड़े हैं। Anthropic का 12% उसके क़रीब है; सेफ़गार्ड-अनुपालन वाला 100% आंकड़ा शोषण-सफलता का आंकड़ा नहीं है और उसे कभी किसी रिस्क मॉडल में इस्तेमाल नहीं करना चाहिए।
एक्सेस प्रोग्राम अब विभेदक (differentiator) बनते हैं, किला (moat) नहीं। अगर Anthropic का अपना कहा हुआ रुख यह है कि डिफ़ेंडर्स को "ऐसे फ्रंटियर मॉडल दिए जाने चाहिए जो कम से कम उतने ही अच्छे हों जितने उनके विरोधी इस्तेमाल कर रहे हैं," तो Glasswing या ऐसे ही किसी कार्यक्रम में न होना अब एक मापने-योग्य रक्षात्मक कमी है। यह आवेदन करने का तर्क है, कंधे उचकाने की वजह नहीं।
अपने खुद के एआई टूलिंग (AI tooling) के लिए सप्लाई-चेन प्रोवेनेंस। अगर आपकी सुरक्षा टूलिंग सस्ता होने के कारण GLM-5.3 का इस्तेमाल करने लगी है, तो आपने वही चीज़ अपना ली है जिसकी क्षमता के बारे में Anthropic चेतावनी दे रहा है। यह तर्कसंगत सौदा हो सकता है; इसे एक दर्ज निर्णय बनाइए।
•
रणनीतिक निहितार्थ
अप्रैल 2026 में Anthropic की "क्षमता-विसरण (capability diffusion)" वाली भविष्यवाणी सच हुई, और इससे उन्हें तर्क हारना पड़ा। Anthropic ने डिफ़ेंडर्स को बढ़त दिलाने के लिए Mythos Preview को गेट किया ("10,000 से अधिक कमज़ोरियां")। पांच महीने बाद वह बढ़त बड़ी हद तक खर्च हो चुकी है। गेटिंग एक अंतर के रूप में अब भी काम करती रही — Anthropic ने जांचे-परखे यूज़र्स के लिए Mythos 5.1 रखा — लेकिन पूर्ण स्तर रीसेट हो गया।
अब फ्रंटियर मुक़ाबले की मुख्य धुरी वेट्स की उपलब्धता है, मॉडल की गुणवत्ता नहीं। इस कहानी के तीन सबसे असरदार तथ्यों में से दो लाइसेंसिंग के तथ्य हैं: वेट्स सार्वजनिक, और वेट्स दोबारा संपादन-योग्य।
Anthropic का पोस्ट एक साथ नीति-औज़ार (policy instrument) भी है। यह मांग करता है कि सरकारें "पर्याप्त रूप से सक्षम एआई मॉडलों पर सुरक्षा परीक्षण करें, जिनमें GLM-5.3 के उत्तराधिकारी भी शामिल हों," और साथ ही चेतावनी देता है कि "स्वतंत्र स्रोतों से उच्च-गुणवत्ता वाले मूल्यांकनों के बिना, इन क्षमताओं का असर मॉडल डेवलपर्स को तब तक पूरी तरह स्पष्ट नहीं होगा जब तक बहुत देर न हो जाए।" यह ओपन-वेट फ्रंटियर रिलीज़ों के शासन-तंत्र (governance regime) को आकार देने की कोशिश है।
चीन/अमेरिका वाला ढांचा आंशिक रूप से आधार-चुनाव (baseline choice) का नतीजा है। Z.ai का अपना कार्ड GLM-5.3 को CyberGym पर Anthropic के Fable 5 और OpenAI के GPT-5.6 Sol से आगे रखता है (84.5 बनाम 83.8 / 83.6) और ExploitBench पर पीछे (54.4 बनाम 78.0 / 76.5)। "खोज में आगे, शोषण में पीछे" Z.ai का अपना वर्णन है।
प्रतिस्पर्धी ढांचे में स्वहित (self-interest) की धार है। एक अमेरिकी लैब का सार्वजनिक रूप से यह दिखाना कि एक चीनी लैब का बिना-गेट वाला मॉडल उसके अपने गेट वाले मॉडल के बराबर है, एक साथ सुरक्षा प्रकटीकरण भी है और प्रतिस्पर्धी तर्क भी। इससे आंकड़े ग़लत नहीं हो जाते; इसका मतलब यह ज़रूर है कि आधार के चुनाव की जांच होनी चाहिए।
•
जोखिम
जोखिम 1 — अप्रायोजित कम-लागत शोषण। किसी प्रकाशित CVE के लिए ~$20.40 और ~20 मिनट मानवीय ध्यान में एक्सप्लॉइट चेन बनाना, बड़े पैमाने के धीमे-धीमे कमज़ोरी-शोध को आर्थिक रूप से तुच्छ बना देता है। Anthropic का अपना पूर्वानुमान: "यह संभावित है कि राज्य और ग़ैर-राज्य, दोनों तरह के कर्ता GLM-5.3 जैसे मॉडलों का इस्तेमाल वास्तविक दुनिया को नुकसान पहुंचाने के लिए करेंगे।"
जोखिम 2 — सेफ़गार्ड का क्षरण डिफ़ॉल्ट प्रैक्टिस बन जाता है। जब एब्लिटरेशन बिना किसी क्षमता-दंड के ~$4,400 का एक-बार का काम बन जाता है, तो डाउनस्ट्रीम फ़ाइन-ट्यूनिंग पाइपलाइनें चुपचाप डी-रिफ़्यूज़्ड चेकपॉइंट भेजने लगेंगी।
जोखिम 3 — वास्तविक दुनिया में शोषण-चेन की विश्वसनीयता अमापी है। ज़ीरो-डे चेन Anthropic के सैंडबॉक्स में मौजूद हैं। वे हार्डन किए गए प्रोडक्शन लक्ष्यों — EDR, ब्राउज़र सैंडबॉक्सिंग, पैच कैडेंस — के संपर्क में आकर टिकती हैं या नहीं, यह किसी ने भी परखा नहीं, Anthropic ने भी नहीं।
जोखिम 4 — सार्वजनिक कथा में समय से पहले उग्रता। "Anthropic के बराबर" वाली हेडलाइन डिफ़ेंडर्स को यह मानने पर उकसाती है कि 100 निजी कार्यों पर 4%-बनाम-6% की तुलना क्षमता का फ़ैसला है। वह है नहीं।
जोखिम 5 — पारस्परिक उग्रता। Anthropic सार्वजनिक रूप से फ्रंटियर साइबर मॉडलों तक पहुंच बढ़ाने की सिफ़ारिश करता है। अगर चीनी लैबें भी उसी तरह जवाब दें, तो जांचे-परखे एक्सेस वाला स्तर दोनों दिशाओं से घिसेगा।
जोखिम 6 — प्रकटीकरण की असमानता। Anthropic कहता है कि उसने "ये कमज़ोरियां मेंटेनर को बताईं" और ड्राइवर तथा डिवाइस की बाक़ी रिपोर्टें "फ़िलहाल समीक्षा के अधीन" हैं। उन प्रकटीकरणों का समय अपने आप में हमला-सतह से जुड़ी जानकारी है।
जोखिम 7 — विक्रेता की कोई जवाबदेही नहीं। एब्लिटरेटेड चेकपॉइंट के लिए FBI IC3 शिकायत जैसा कोई एपीआई-स्तरीय समतुल्य नहीं है। प्रवर्तन (enforcement) का कोई पता ही नहीं है।
•
सीमाएं
Anthropic के पोस्ट की (मुख्य चेतावनियां):
स्वहित। Anthropic ने एक प्रतिस्पर्धी के मॉडल का मूल्यांकन किया, Anthropic के हार्नेस पर, Anthropic की प्रकाशित बायपास तकनीक से, Anthropic के मॉडल के मुकाबले। इनमें से कोई भी तटस्थ औज़ार नहीं है।
आधार एक प्रीव्यू मॉडल है। तुलना का लक्ष्य Claude Mythos Preview (अप्रैल 2026) है, Mythos 5.1 नहीं, जिसे Anthropic के अनुसार जांचे-परखे डिफ़ेंडर्स अब इस्तेमाल करते हैं। "Claude के बराबर" का मतलब है "हमारे अप्रैल वाले प्रीव्यू मॉडल के बराबर।"
एक निजी बेंचमार्क पर हेडलाइन का भार है। 4% बनाम 6% की तुलना एक ग़ैर-सार्वजनिक मूल्यांकन के 100 बेतरतीब चुने गए कार्यों पर है। ~4 कार्य बनाम ~6 कार्य, कोई कॉन्फ़िडेंस इंटरवल नहीं।
सेफ़गार्ड परीक्षण एक सिम्युलेशन है जिसमें कोई कोड नहीं चलता। मापा गया चर नक़ली bash वातावरण में प्रयास किया गया रिमोट कनेक्शन है, जिसमें एक LLM कमांड के नतीजों का अनुमान लगाता है। Anthropic कहता है कि यह "इस बात का अपूर्ण माप है कि कोई मॉडल कैसा व्यवहार करेगा।"
छोटे सेल आकार। प्रति सेल 50 नमूने, कोई एरर बार नहीं, और शर्तें एक-अंकीय गिनती के अंतर से बदलती हैं।
"64% से 100% के बीच" तीन तकनीकों में फैला हुआ विस्तार है, अंतराल नहीं। यह खाली आदेश पर मिले 0% आधार को भी छोड़ देता है — हेडलाइन ऐसा पढ़ा जाता है जैसे वह न्यूनतम सीमा हो, जबकि वह शून्य से शुरू होने वाली तकनीक-सीढ़ी का मध्य-बिंदु है।
तीन में से दो बायपास Claude के विरुद्ध संरचनात्मक रूप से अनुपलब्ध हैं, परखकर हराए नहीं गए। प्रीफ़िल एपीआई पेश नहीं करता; वेट्स के बिना एब्लिटरेशन असंभव है। केवल भ्रामक-प्रॉम्प्ट वाला बायपास समान-से-समान परीक्षण था, और Anthropic कहता है कि Claude के सेफ़गार्ड्स ने उसे रोक दिया।
सैंडबॉक्सिंग का दायरा। ब्राउज़र एक्सप्लॉइट ने "ब्राउज़र के Linux बिल्ड" को लक्षित किया, "क्योंकि मॉडल को उपलब्ध कराया गया एकमात्र वातावरण वही था।" क्रॉस-प्लेटफ़ॉर्म पहुंच दावा है, प्रदर्शित नहीं।
स्वतंत्र तुलना की (NIST CAISI):
उलटी दिशा वाला निष्कर्ष। CAISI: GLM-5.3 "अमेरिकी फ्रंटियर की क्षमता के स्तर से लगभग चार महीने पीछे है," अनुमान "95% कॉन्फ़िडेंस इंटरवल से काफ़ी बाहर।" Anthropic: निष्कर्ष "CAISI से व्यापक रूप से मेल खाते हैं।" वे दिशा पर सहमत हैं और निकटता पर असहमत।
CAISI का अपना आधार अमेरिका के प्रति उदार है। "U.S. frontier best" "trusted-access रिलीज़ और पूर्ण सार्वजनिक रिलीज़, दोनों को शामिल करता है" — ऐसे मॉडल जो किसी हमलावर को नहीं मिल सकते। CAISI इस बारे में स्पष्ट है।
मीट्रिक बेमेल। CAISI का 61.1% वाला ExploitBench आंकड़ा 16 में से औसत कवरेज स्कोर है, 3 प्रयासों में सबसे अच्छा। यह Anthropic की 12% वाली सबसे ऊपरी सीढ़ी की दर से तुलनीय नहीं है।
हार्नेस में अंतर। CAISI ने रिफ़्यूज़ल रीट्राइज़ (retries) वाला ReAct हार्नेस इस्तेमाल किया; निजी बेंचमार्क के लिए Anthropic का सेटअप अघोषित है। अलग स्कैफ़ोल्ड (scaffolds) अलग एक्सप्लॉइट दरें देते हैं — ExploitBench पेपर का अपना <model,env,harness> एब्लेशन आर्म इसीलिए मौजूद है कि वे देते हैं।
समग्र रिकॉर्ड की:
Z.ai से कोई प्रतिक्रिया नहीं मिली। एक प्रतिस्पर्धी दावे पर एकतरफ़ा रिकॉर्ड।
प्रकट की गई कमज़ोरियों की स्वतंत्र जांच नहीं हो सकती। Anthropic ब्राउज़र एक्सप्लॉइट्स पर तकनीकी विवरण नहीं देता क्योंकि लिखने के समय वे अनपैच्ड थीं।
डेरिवेटिव मॉडल अमापे हैं। वास्तविक दुनिया में जो एब्लिटरेटेड GLM-5.3 मायने रखता है, वह तीसरे पक्षों ने बनाया, Anthropic या Z.ai ने नहीं।
•
खुले सवाल
क्या Z.ai जवाब देगा, और क्या वह एब्लिटरेशन की लागत या इनकार-बायपास की सीढ़ी पर सवाल उठाएगा?
क्या तीसरे पक्ष के एब्लिटरेटेड GLM-5.3 बिल्ड Anthropic वाले जैसा व्यवहार करते हैं, या डेवलपर्स ने 2,200 GPU घंटों से सस्ते तरीके इस्तेमाल किए?
क्या ये चेन हार्डन किए गए प्रोडक्शन लक्ष्यों — EDR, ब्राउज़र सैंडबॉक्सिंग, आधुनिक पैच कैडेंस — के संपर्क में टिकती हैं? किसी ने जवाब प्रकाशित नहीं किया।
क्या 4%/6% वाला बाइनरी-एक्सप्लॉइटेशन नतीजा Anthropic के बाहर कोई दोहरा सकता है?
क्या GLM-5.3 का उत्तराधिकारी ऐसी लाइसेंस-शर्त के साथ आएगा जो सेफ़गार्ड हटाने के लिए फ़ाइन-ट्यूनिंग को सीमित करे?
क्या एब्लिटरेटेड GLM-5.3 डेरिवेटिव इंसिडेंट-रिस्पॉन्स टेलीमेट्री (incident-response telemetry) और इंट्रूज़न टूलिंग में दिखते हैं, या बेंचमार्क हार्नेस के भीतर ही रहते हैं?
क्या Anthropic आंतरिक बाइनरी एक्सप्लॉइटेशन बेंचमार्क खोलेगा, और क्या CAISI उसे स्वतंत्र रूप से दोहराएगा?
वास्तविक दुनिया में अपनाने की दर क्या है — कितने संगठन GLM-5.3 को स्थानीय रूप से चला रहे हैं और कितने Z.ai के एपीआई के ज़रिये?
क्या Z.ai के अपने दावे वाली 269 प्रोजेक्ट्स में 2,436 कमज़ोरियां मेंटेनर सत्यापन में टिकती हैं?
क्या "अमेरिकी फ्रंटियर से चार महीने पीछे" वाला अंतर उस समय से पहले भरता है या बाद में, जब सेफ़गार्ड हटाने की क्षमता ज़्यादा मायने रखने लगती है?
•
Circle 1 प्रभाव और सुझाया गया कदम
Circle 1 - एआई को समझने की कोशिश करने वाले लोग: डेवलपर्स, छात्र, स्नातक, ट्रेनर, तकनीक के शौक़ीन लोग।
यह क्या सिखाता है। साथ ले जाने लायक बात यह है कि सीमा वेट्स हैं, मॉडल नहीं। किसी मॉडल के इनकार किसी के चेकपॉइंट का गुण हैं। अगर आपके पास वेट्स हैं, तो आप इनकार को संपादित करके हटा सकते हैं — वह ~$4,400 का काम है, वह एक पेपर में प्रकाशित है, और उससे GPQA-Diamond अपरिवर्तित रहा। "मॉडल वह काम नहीं करेगा" यह किसी फ़ाइल के बारे में कथन है, बुद्धि या मंशा के बारे में नहीं।
दूसरा सबक बेंचमार्क के आंकड़ों को उनके हर के साथ पढ़ने के बारे में है। इस कहानी में GLM-5.3 ExploitBench पर 12%, 54.4% और 61.1% पर है — सब सच, सब अलग मीट्रिक। और इसमें 4% बनाम 6% को क्षमता का अंतर बताया गया है, जबकि वह 100 में से 4 कार्य बनाम 6 कार्य है। अगर इस कहानी से एक आदत लेनी है, तो यह: पहले हर (denominator) खोजिए, फिर सीढ़ी का पायदान खोजिए।
तीसरा सबक यह है कि कोई कंपनी प्रतिस्पर्धी का मूल्यांकन करते समय क्या कहती है। Anthropic ने संदर्भ के रूप में अपना अप्रैल वाला प्रीव्यू मॉडल चुना, अपना मौजूदा मॉडल नहीं। यह किसी पाठक के लिए नोटिस करने और तौलने वाली जायज़ बात है। इससे पोस्ट ग़लत नहीं हो जाता — ExploitBench के हर बराबर हैं और एब्लिटरेशन वाला निष्कर्ष संरचनात्मक है — लेकिन "स्वतंत्र" यहां लगाने वाला शब्द नहीं है।
सुझाया गया कदम। चलाने को कुछ नहीं। क्षमता-सीढ़ी वाले ढांचे के लिए ExploitBench पेपर का सार (arXiv:2605.14153) पढ़ें; वह छोटा और सचमुच शिक्षाप्रद है। डरावनी हेडलाइन वाले आंकड़े छोड़ दें।
•
Circle 2 प्रभाव और सुझाया गया कदम
Circle 2 - एआई लागू करने वाले लोग: आर्किटेक्ट, इंजीनियरिंग मैनेजर, प्लेटफ़ॉर्म इंजीनियर, सॉल्यूशन आर्किटेक्ट, कंसल्टेंट।
यह क्या सिखाता है। दो आर्किटेक्चर बदलाव ज़रूरी हैं, और उनमें से कोई भी मॉडल के चुनाव के बारे में नहीं है।
पहला, इनकार के व्यवहार को अपना नियंत्रण मानना बंद करें। आपके परिवेश में मौजूद किसी भी स्व-होस्टेड ओपन-वेट मॉडल को पहले ही डी-रिफ़्यूज़्ड मानकर ख़तरा-मॉडल (threat-model) करें, क्योंकि एक दृढ़ ऑपरेटर उसे एक दिन में एब्लिटरेट कर सकता है। जो नियंत्रण मायने रखते हैं वे हैं प्रीफ़िल/गेटिंग नीति, एग्रेस (egress) प्रतिबंध, टूल अलाउलिस्ट (tool allowlists), और विनाशकारी कार्यों पर मानवीय स्वीकृति — आधार चेकपॉइंट का अलाइनमेंट (alignment) नहीं।
दूसरा, मापन की शब्दावली ठीक करें। अगर आपकी टीम एक्सप्लॉइट-क्षमता के आंकड़े उद्धृत करती है, तो मीट्रिक का नाम, सीढ़ी और हर मांगिए। एक ही बेंचमार्क पर 12% / 54.4% / 61.1% का फैलाव इस बात का जीवंत, मौजूदा उदाहरण है कि कैसे एक टिकाऊ दावा रास्ते में भ्रामक हेडलाइन बन जाता है।
सुझाया गया कदम। (1) स्व-होस्टेड ओपन-वेट तैनातियों का प्रीफ़िल/कच्चे-जनरेशन जोखिम के लिए ऑडिट करें। (2) अपनी मॉडल-इनटेक (model intake) प्रक्रिया में प्रोवेनेंस जांच जोड़ें — कस्टम "glm-5.3" लाइसेंस पर ध्यान दें। (3) कमज़ोरी-शोध की लागत वाली धारणाएं फिर से आधारित करें; Anthropic का ~$20.40-प्रति-CVE आंकड़ा योजना के लिए प्रासंगिक संख्या है, 100% अनुपालन वाला आंकड़ा नहीं। (4) अगर आप तीसरे पक्ष की सुरक्षा टूलिंग का आकलन करते हैं, तो पूछें कि वह किस मॉडल पर चलती है।
•
Circle 3 प्रभाव और सुझाया गया कदम
Circle 3 - एआई के बारे में निर्णय लेने वाले लोग: CTO, CIO, इंजीनियरिंग लीडर, L&D लीडर, बिज़नेस लीडर।
यह क्या सिखाता है। रणनीतिक तथ्य पहुंच है, क्षमता नहीं। एक एआई लैब ने अप्रैल 2026 में जानबूझकर अपना फ्रंटियर साइबर मॉडल जांचे-परखे डिफ़ेंडर्स को दिया; एक प्रतिस्पर्धी ने अगस्त 2026 में तुलनीय क्षमता मुफ़्त डाउनलोड के रूप में प्रकाशित कर दी। अच्छी तरह वित्तपोषित विरोधियों के मुकाबले आपके संगठन की रक्षात्मक स्थिति एक लाइसेंसिंग निर्णय के कारण बदली, किसी शोध-सफलता के कारण नहीं।
प्रोत्साहन (incentive) को भी ईमानदारी से पढ़ें। Anthropic का पोस्ट एक साथ सुरक्षा प्रकटीकरण, Z.ai के विरुद्ध प्रतिस्पर्धी तर्क, और नीति-प्रस्ताव है — यह सरकारों से फ्रंटियर मॉडलों का परीक्षण करने की अपील पर और डिफ़ेंडर्स को व्यापक पहुंच की ज़रूरत के तर्क पर समाप्त होता है। तीनों सच हो सकते हैं। उसी हिसाब से तौलें।
और साक्ष्य में असमानता पर ध्यान दें: एकमात्र स्वतंत्र आकलन (NIST CAISI) कहता है कि मॉडल अमेरिकी फ्रंटियर से लगभग चार महीने पीछे है और चार में से हर बेंचमार्क पर उससे काफ़ी नीचे है। किसी ऐसी कहानी के लिए "लगभग बराबरी" और "काफ़ी पीछे" — दोनों ही टिकाऊ पाठ हैं जो अभी तय नहीं हुई है।
सुझाया गया कदम। (1) हेडलाइन पर बजट न बढ़ाएं; तैयारी बढ़ाएं — जब एक्सप्लॉइट की लागत गिरती है तो पैच लेटेंसी और एक्सपोज़र प्रबंधन ही बदलते हैं। (2) पूछें कि क्या आप किसी जांचे-परखे फ्रंटियर-मॉडल एक्सेस कार्यक्रम में हैं, या आवेदन करना चाहिए — Anthropic का अपना रुख यह है कि डिफ़ेंडर्स को कम हथियार वाला नहीं छोड़ा जाना चाहिए। (3) "कौन सा मॉडल सबसे अच्छा है" को "कौन किस पर गेट रखता है" का डाउनस्ट्रीम मानें।
•
बिज़नेस-वैल्यू के अवसर, जहां वे सचमुच हैं
एक्सप्लॉइट-लागत अपस्फीति (exploit-cost deflation) कंसल्टिंग। Anthropic ने यूनिट इकोनॉमिक्स दे दिए: प्रति सार्वजनिक-CVE एक्सप्लॉइट चेन ~$20.40 का एपीआई खर्च और 20 मिनट मानवीय ध्यान। लगातार, मॉडल-सहायता वाली कमज़ोरी-ट्रायाज (vulnerability triage) और पैच-प्राथमिकता सेवाएं मिड-मार्केट खरीदारों के लिए व्यवहार्य हो जाती हैं जो पहले इन्हें वहन नहीं कर सकते थे।
एब्लिटरेशन-जागरूक तैनाती समीक्षा। एक दुर्लभ, टिकाऊ कंसल्टिंग निच (niche): उन संगठनों का ऑडिट करना जो ओपन-वेट मॉडल स्व-होस्ट करते हैं, और उनके रजिस्ट्रियों में प्रीफ़िल एक्सपोज़र, वेट्स-प्रोवेनेंस की कमियां तथा डी-रिफ़्यूज़्ड डेरिवेटिव की रिपोर्ट करना। मांग इस कहानी से पैदा होती है।
मॉडल-प्रोवेनेंस और सप्लाई-चेन आश्वस्ति टूलिंग। जब एक ही चेकपॉइंट के 8 फ़ाइनट्यून और 70 क्वांटाइज़ेशन पहले से चलन में हैं, तो मॉडल आर्टिफ़ैक्ट्स के लिए स्वचालित वंशावली (lineage) और छेड़छाड़-पहचान (tamper detection) एक असली उत्पाद श्रेणी है, कल्पना नहीं।
फ्रंटियर-मॉडल एक्सेस ब्रोकरिंग। जब जांचे-परखे कार्यक्रम (Project Glasswing, Mythos 5.1) अब मापने-योग्य रक्षात्मक बढ़त हैं, तो पात्रता-सलाह और आवेदन-सहायता एक जायज़ सेवा है।
शासन और स्वतंत्र-मूल्यांकन सेवाएं। Anthropic की अपनी अंतिम मांग पर्याप्त रूप से सक्षम मॉडलों के स्वतंत्र प्री-रिलीज़ सुरक्षा परीक्षण की है। यह एक खरीद श्रेणी है जो एक साल पहले सार्थक रूप से मौजूद ही नहीं थी।
अवसर नहीं: कोई भी चीज़ जो एक्सप्लॉइट जनरेशन को उत्पाद मानकर बनाई गई हो। उसे अनुपालन और दायित्व का एक्सपोज़र मानें, बाज़ार नहीं।
•
व्यावहारिक सुझाव
कदम: INSPECT — प्राथमिक पोस्ट को सार्वजनिक बेंचमार्क पेपर और स्वतंत्र CAISI तालिका के साथ पढ़ें; किसी भी साइबर क्षमता को दोहराने की कोशिश न करें।
ठोस रूप से: Anthropic का पोस्ट पढ़ें और हर हेडलाइन आंकड़े के लिए हर (denominator) तथा मीट्रिक की सीढ़ी लिख लें (§8 की तालिका देखें)। फिर NIST CAISI की तालिका (Table) 2 पढ़ें और ध्यान दें कि 61.1% वाला ExploitBench आंकड़ा 16 में से औसत कवरेज स्कोर है, एक्सप्लॉइट दर नहीं। फिर ExploitBench का सार पढ़ें कि यह अंतर क्यों मौजूद है।
TEST के बजाय INSPECT क्यों। GLM-5.3 के विरुद्ध ExploitBench दोबारा चलाने के लिए 753B-पैरामीटर चेकपॉइंट डाउनलोड करना, 410 सैंडबॉक्स्ड एक्सप्लॉइट प्रयास चलाना, और ज्ञात बगों वाला V8 बनाना पड़ेगा। यह यहां असंभव है, यह NIST और Anthropic के काम को दोहराएगा, और — सबसे अहम — यह किसी शोध परियोजना के लिए उचित काम नहीं है। 4%/6% वाली निजी-बेंचमार्क तुलना Anthropic के बाहर कोई दोहरा नहीं सकता। इस कहानी के लिए सावधान पढ़ाई के अलावा कोई ईमानदार व्यावहारिक अभ्यास मौजूद नहीं है।
अगर कोई इसे चलाता तो क्या बदलता। अगर किसी तीसरे पक्ष ने मौजूदा Anthropic फ्रंटियर मॉडल (Mythos Preview नहीं) के मुकाबले लगभग बराबरी स्वतंत्र रूप से दोहरा दी, तो कहानी का केंद्रीय दावा COMPANY CLAIM से INDEPENDENTLY VERIFIED की ओर बढ़ जाता। अभी उपलब्ध कुछ भी उसका समर्थन नहीं करता।
•
आगे क्या होगा?
PREDICTION — निकट अवधि (हफ़्ते)। तीसरे पक्ष के एब्लिटरेटेड GLM-5.3 डेरिवेटिव मॉडल हबों पर आते रहेंगे; पहला सवाल यह है कि कोई इंसिडेंट-रिस्पॉन्स टेलीमेट्री या इंट्रूज़न टूलिंग में दिखता है या बेंचमार्क हार्नेस के भीतर ही रहता है। Z.ai की सार्वजनिक प्रतिवाद संभव है, पर अभी देखी नहीं गई। अनुवर्ती मापन की अपेक्षा रखें: कोई ExploitBench तुलना Mythos Preview के बजाय Mythos 5.1 के मुकाबले चलाएगा, और वह आंकड़ा Z.ai के लिए काफ़ी कम चापलूसी वाला होगा।
PREDICTION — मध्यम अवधि (महीने)। या तो आंतरिक बाइनरी एक्सप्लॉइटेशन बेंचमार्क जारी होगा, या वह एक स्थायी रूप से अ-मिथ्याकरणीय (un-falsifiable) तुलना-बिंदु बन जाएगा। चीनी लैबों के उत्तराधिकारी ओपन-वेट मॉडल और अधिक स्पष्ट इनकार-अलाइनमेंट तथा लाइसेंसिंग शर्तों के साथ आएंगे। NIST CAISI GLM-5.3 के उत्तराधिकारी का पुनर्मूल्यांकन करेगा और अप्रैल 2026 में Anthropic की भविष्यवाणी वाले विसरण-वक्र (diffusion curve) पर दूसरा डेटा-बिंदु प्रकाशित करेगा।
PREDICTION — नीति। पर्याप्त रूप से सक्षम मॉडलों, जिनमें ओपन-वेट उत्तराधिकारी भी शामिल हैं, की अनिवार्य सरकारी सुरक्षा जांच के लिए Anthropic की स्पष्ट मांग फ्रंटियर-मॉडल शासन की चर्चाओं में उठाई जाएगी। संभावित नतीजा वेट्स-प्रतिबंध (weights-ban) वाला तंत्र नहीं, बल्कि क्षमता-थ्रेशोल्ड-प्लस-मूल्यांकन-अनिवार्यता वाला तंत्र है — क्योंकि वितरित चेकपॉइंट्स पर प्रतिबंध लागू नहीं किए जा सकते, जैसा यह कहानी दिखाती है।
इस विश्लेषण को क्या ग़लत साबित करेगा। अगर एब्लिटरेटेड GLM-5.3 डेरिवेटिव व्यापक रूप से उपलब्ध निकलें लेकिन प्रोडक्शन में हार्डन किए गए लक्ष्यों के विरुद्ध अप्रभावी रहें, तो व्यावहारिक जोखिम Anthropic के दर्शाए से बहुत कम है और कहानी सिमटकर लाइसेंसिंग-डिज़ाइन के तर्क तक रह जाती है। बेंचमार्क की हलचल नहीं, वास्तविक दुनिया में CVE के हथियारीकरण पर नज़र रखें।
•
संपादकीय सार
इस कहानी को सबसे अच्छी तरह क्षमता का चोला पहने हुए एक लाइसेंसिंग कहानी के रूप में सुनाया जा सकता है। सचमुच नया तथ्य यह नहीं है कि एक चीनी मॉडल एक्सप्लॉइट बना सकता है — NIST पहले ही कह चुका था कि वह "अब तक जारी सबसे साइबर-सक्षम ओपन-वेट मॉडल" है, और Anthropic ने अपना पोस्ट उस आकलन के बारह दिन बाद प्रकाशित किया। नया तथ्य यह है कि इस क्षमता वाला मॉडल अब एक मुफ़्त डाउनलोड है, जिसका इनकार-व्यवहार कोई भी यूज़र एक मिड-रेंज सर्वर के क़रीब की क़ीमत पर मिटा सकता है।
Anthropic का सबसे मूल्यवान योगदान यहां 50-बनाम-56 वाली तुलना नहीं है — वह एक प्रतिस्पर्धी लैब का दूसरे प्रतिस्पर्धी को ग्रेड देना है, और निजी 100-कार्य बेंचमार्क पर दो अंकों का अंतर उस गद्य से पतला है जितना वह दिखाता है। मूल्यवान योगदान एब्लिटरेशन वाला नतीजा है: ~2,200 GPU घंटे, ~$4,400, GPQA-Diamond अपरिवर्तित। यह इस बारे में पुनरुत्पादनीय, सस्ता और संरचनात्मक रूप से महत्वपूर्ण निष्कर्ष है कि वेट्स प्रकाशित करने का वास्तविक अर्थ क्या है।
जिस संपादकीय जाल से बचना है वह 100% वाला आंकड़ा है। "इसके सेफ़गार्ड्स को 100% समय तक बायपास किया जा सकता है" ऐसा पढ़ा जाता है कि "यह मॉडल कुछ भी हैक कर लेगा।" यह वैसा नहीं है। यह एक सिम्युलेटेड वातावरण का वर्णन है जहां कोई कोड कभी चलाया ही नहीं जाता, प्रति सेल 50 नमूनों पर, और यह तीन-चरणीय सीढ़ी की सबसे ऊपरी सीढ़ी है जिसकी सबसे निचली सीढ़ी 0% है। उस ढांचे के बिना इसे रिपोर्ट करना इस कहानी को कवर करने का सबसे बुरा तरीका होगा।
टिकाऊ पंक्ति यह है: आक्रामक-क्षमता का एक थ्रेशोल्ड जो पहले गेट किया हुआ था अब बिना गेट का हो गया है, उसे पार करने की लागत सिमटकर दसियों डॉलर रह गई है, और न Anthropic ने न NIST ने दिखाया है कि हार्डन किए गए प्रोडक्शन सिस्टमों के विरुद्ध यह कैसा दिखता है। यह सटीक है, यह समाचार-योग्य है, और इसे कहानी उठाने के लिए किसी निजी बेंचमार्क को बढ़ा-चढ़ाकर पेश करने की ज़रूरत नहीं है।