Website publishers के लिए 30 October 2026 एक बड़ी तारीख बन गई है। OpenAI, Google, Microsoft और Anthropic ने मिलकर announce किया है कि वे robots.txt में एक नए single token को honor करेंगे, जिसका नाम है __usage_ai-training। Website owner को सिर्फ दो line लिखनी होंगी, User-Agent: __usage_ai-training और Disallow: /, और चारों companies उस site के content को अपने AI models की training में use नहीं करेंगी।
चारों labs एक साथ, एक ही token पर
इस announcement की सबसे बड़ी बात companies की list है। OpenAI, Google, Microsoft और Anthropic, यह चारों आज की AI race के सबसे बड़े नाम हैं। इन चारों ने coordinated statements में कहा कि वे __usage_ai-training token को पहचानेंगे और respect करेंगे। पहले हर company का अपना bot name और opt-out तरीका था, publisher को हर lab के लिए अलग directive लिखनी पड़ती थी। अब एक token चारों पर लागू होगा। मेरे हिसाब से यह coordination खुद बड़ी news है।
तकनीकी रूप से यह कैसे काम करेगा
तरीका बहुत simple है। robots.txt वह छोटी text file है जो हर website के root पर होती है। नए system में publisher सिर्फ यह लिखेगा, User-Agent: __usage_ai-training और Disallow: /। पहली line कहती है कि यह नियम AI training के मकसद से content use पर लागू है। दूसरी line कहती है कि training के लिए पूरी website off limits है। चाहें तो publisher सिर्फ कुछ sections block कर सकता है, जैसे Disallow: /premium/ लिखकर paid articles को बाहर रख सकता है। यह design robots.txt के पुराने format पर ही बना है, इसलिए कुछ install नहीं करना है। छोटा blogger भी इसे दो minute में लगा सकता है।
यह standard कहां से आया: AIPREF और IETF draft
यह token हवा में नहीं आया है। इसके पीछे formal standards process है। Anthropic के standards lead Kevin Kelley ने IETF Internet-Draft लिखा है, जो 30 October 2026 को publish हुआ और 3 May 2027 को expire होगा। यह draft IETF के AIPREF working group में discuss हो रहा है, जो decide करता है कि AI systems के लिए content permission कैसे express की जाए। इसमें Meta, Cloudflare, News Corp, Financial Times, BBC, EFF और Creative Commons जैसे participants हैं। यानी publishers, tech companies और digital rights groups, तीनों एक ही table पर हैं।
कौन कब लागू करेगा: timeline सबकी अलग
Announcement joint है, लेकिन implementation की speed अलग अलग है। Anthropic already implement कर रहा है, यानी support सबसे पहले उसी के systems में आएगा। OpenAI ने कहा है कि support आने वाले months में आएगा। Microsoft ने concrete date दी है, 1 February 2027 तक honor करने का target है। Google ने सिर्फ 2027 कहा है, कोई महीना नहीं बताया। Publisher के लिए practical मतलब यह है कि token आज लगाने से चारों labs एक साथ नहीं रुकेंगे, हर company अपनी timeline पर रुकेगी।
पुराने opt-out तरीकों से तुलना
पहले publisher के पास बिखरे options थे। OpenAI का GPTBot block करने के लिए अलग directive लिखनी पड़ती थी। Google ने Google-Extended token दिया था। Common Crawl से opt-out का तरीका अलग था। हर lab bot name बदलता रहता था, publisher को robots.txt बार बार update करनी पड़ती थी। नया __usage_ai-training token इसी fragmentation को खत्म करने की कोशिश है। एक token, चार labs, एक जैसा मतलब।
AI agents का दौर और training rights का फर्क
यहां एक जरूरी distinction है, crawling और training एक चीज नहीं हैं। AI agents आज websites को real time access करते हैं, जैसे assistant आपके लिए flight search करे। ऐसा ही एक system है Tasklet MCP, जो cloud agents को websites से connect करता है। Agent का site खोलना और model training के लिए content scrape करना, दो अलग use हैं। नया token सिर्फ training permission control करता है, crawling को नहीं। Publisher agents को site access दे सकता है, लेकिन उसी content को future training से बाहर रख सकता है। मेरे हिसाब से यही nuance इस standard को practical बनाती है।
इस token की चार बड़ी सीमाएं
पहली, यह सिर्फ आगे के लिए काम करेगा। जो data पहले collect हो चुका है और जिन models को train किया जा चुका है, उन पर कोई असर नहीं होगा। दूसरी, यह permission control करता है, crawling नहीं। कोई lab site crawl जारी रख सकता है, बस training में use न करने का वादा करता है। तीसरी, इसमें enforcement power नहीं है। robots.txt हमेशा voluntary convention रही है, कोई कानून नहीं। कोई company ignore करे तो publisher के पास penalty mechanism नहीं है। चौथी, यह individual draft है, formal IETF standard नहीं। इन सीमाओं को जानना जरूरी है, ताकि publishers इसे जादू की छड़ी न समझें।
मेरे हिसाब से यह क्यों matter करता है
मेरे हिसाब से इस announcement का असली weight legal battles के context में है। Publishers पहले ही AI labs पर copyright cases कर चुके हैं। Courts में सवाल उठता रहा है कि training के लिए web content use करना fair use है या infringement। Industry-wide opt-out standard labs को यह कहने का मौका देता है कि हमने choice दी थी। Bigger picture यह है कि AI industry उस phase में जा रही है जहां data के लिए permission की system बनेगी। यह standard उस system की पहली ईंट हो सकता है, भले ही आज voluntary और incomplete हो।
आम website owner के लिए इसका मतलब
अगर आपका blog या news site है, तो steps simple हैं। robots.txt में दो line add करें, User-Agent: __usage_ai-training और Disallow: /। सिर्फ कुछ sections protect करने हों तो Disallow के बाद वह path लिखें। लेकिन याद रखें, असर तुरंत चारों labs पर नहीं होगा, हर company की timeline अलग है। Anthropic सबसे पहले, Google सबसे आखिर में। जो content पहले training datasets में जा चुका है, वह वापस नहीं आएगा। robots.txt को regularly check करते रहें, क्योंकि draft अभी evolve हो रहा है।
FAQ
__usage_ai-training token क्या है?
robots.txt का नया single token। 30 October 2026 को चारों बड़े AI labs ने इसे honor करने का ऐलान किया। एक directive से publishers चारों labs को training से रोक सकते हैं।
इसे robots.txt में कैसे लगाया जाता है?
दो line लिखें, User-Agent: __usage_ai-training और Disallow: /। चाहें तो सिर्फ कुछ paths लिखकर partial block भी कर सकते हैं।
क्या यह पहले collect किए गए data को हटाएगा?
नहीं। यह सिर्फ future training रोकता है। पहले collect हुए data या train हो चुके models पर कोई असर नहीं।
क्या यह crawling भी रोकेगा?
नहीं। यह सिर्फ training permission control करता है। Search और AI agents की crawling अलग नियमों से चलती रहेगी।
कौन सी company कब लागू करेगी?
Anthropic already implement कर रहा है। OpenAI आने वाले months में। Microsoft का target 1 February 2027 है। Google ने सिर्फ 2027 कहा है।
क्या यह कोई कानून है?
नहीं। यह voluntary standard proposal है, IETF का individual Internet-Draft। कोई enforcement या penalty mechanism नहीं है।
आखिरी बात
__usage_ai-training छोटा technical change लग सकता है, लेकिन कहानी बड़ी है। पहली बार चार सबसे बड़े AI labs publishers की एक मांग पर एक साथ खड़े हुए हैं। Standard अभी draft है, timeline अलग है, enforcement नहीं है, फिर भी direction साफ है। आगे देखना होगा कि draft final standard बनता है या नहीं।
