30 अक्टूबर 2026 को Google, Microsoft, OpenAI और Anthropic ने एक साथ एक बड़ी घोषणा की है। चारों कंपनियों ने कहा है कि वे वेबसाइट मालिकों की AI training पसंद बताने के लिए robots.txt में एक साझा संकेत का समर्थन करेंगी। इससे हर कंपनी के लिए अलग नियम नहीं लिखने पड़ेंगे, एक ही संकेत काफी होगा। यह संकेत Internet Engineering Task Force के AI Preferences समूह (AIPREF) के काम पर आधारित है।
क्या हुआ: चार बड़ी कंपनियों ने एक साझा संकेत का समर्थन किया
चारों कंपनियों ने 30 अक्टूबर 2026 को कहा कि वे robots.txt में AI training की पसंद बताने के लिए एक साझा तरीके का समर्थन करेंगे। यह तरीका IETF के दस्तावेज Machine-Readable Training Preference Signal में लिखा है, जिसे Anthropic के Kevin Kelley ने तैयार किया है। इसमें __usage_ai-training नाम का एक policy token पेश किया गया है, जिससे वेबसाइट मालिक बता सकता है कि उसकी सामग्री AI model को train करने के लिए इस्तेमाल हो सकती है या नहीं। OpenAI ने इसे स्वैच्छिक कोशिश बताया है, और Google के अनुसार इससे वेबसाइटें अपनी पसंद कई कंपनियों तक एक ही कदम में पहुंचा सकेंगी।
नया संकेत क्या है: __usage_ai-training को आसान भाषा में समझें
robots.txt हर वेबसाइट के मूल में रहने वाली एक छोटी सी फाइल है, जो crawler को बताती है कि वे साइट के किन हिस्सों को देख सकते हैं। नया संकेत इसी फाइल में एक नया समूह जोड़ता है, कोई नया नियम और कोई नया व्याकरण नहीं बना है। User-Agent वाली पंक्ति में __usage_ai-training लिखा जाता है, और उसके नीचे पुराने Allow और Disallow नियम चलते हैं। जैसे Disallow: / से पूरी साइट training से मना हो जाती है, और Allow: /press-kit/ से press kit को छूट मिलती है। User-Agent: * वाला आम नियम इस token से नहीं जुड़ता, इसलिए यह पसंद तभी मानी जाएगी जब फाइल में यह नाम साफ लिखा हो। यह crawler को रोकने का आदेश नहीं है, यह सिर्फ इस्तेमाल की पसंद बताता है।
हर कंपनी की समय सीमा क्या है
Google 2027 में इस साझा नियंत्रण का समर्थन शुरू करने का लक्ष्य रखता है, उसके crawler दस्तावेज में 2027 की शुरुआत का जिक्र है। Microsoft ने सबसे साफ तारीख दी है, वह 1 फरवरी 2027 से नई पसंदों का सम्मान करना शुरू करेगा, जैसे जैसे Bingbot पन्नों को दोबारा crawl करेगा। OpenAI ने कहा है कि वह आने वाले महीनों में इस संकेत को लागू करने का लक्ष्य रखता है, GPTBot नियंत्रण तब तक चलते रहेंगे। Anthropic ने इस मसौदे पर अपने crawler में काम शुरू कर दिया है, Anthropic के नए AI model से भी यही साफ है। 15 दिसंबर 2026 से Bing Webmaster Tools में अस्थायी grounding पसंद दर्ज होगी, जो 30 सितंबर 2027 को खत्म हो जाएगी।
यह संकेत क्या नहीं करता: training और AI जवाब में फर्क
training से opt-out करने को AI जवाबों से गायब हो जाना समझना सबसे बड़ी गलती होगी, यह दोनों अलग बातें हैं। AI training का मतलब है किसी सामग्री से generative AI model के सीखे हुए मापदंडों को बदलना, यानी model को सिखाना। इसके उलट grounding का मतलब है किसी पन्ने की सामग्री से AI से मिले जवाब को सहारा देना। Microsoft ने इन दोनों को साफ अलग किया है, उसके पास AI Training और AI Grounding की अलग अलग पसंद हैं, और एक पसंद बदलने से दूसरी नहीं बदलती। Google के अनुसार जो वेबसाइट Google-Extended को साफ तौर पर allow करती है, वह Gemini Apps में grounding के जरिए जवाबों में दिख सकती है।
प्रकाशकों को इसकी जरूरत क्यों थी
आज वेबसाइट मालिक को हर कंपनी के crawler के लिए अलग नियम लिखना पड़ता है, Google के लिए Google-Extended, OpenAI के लिए GPTBot, और Microsoft के लिए NoArchive और NoCache। बड़ी वेबसाइट के पास इसके लिए टीम होती है, लेकिन छोटे प्रकाशक और ब्लॉगर इस झंझट में उलझ जाते हैं। साझा संकेत इसी परेशानी का जवाब है, एक बार पसंद लिखी और वह हर मानने वाली कंपनी तक पहुंच गई।
आज के अलग अलग opt-out से तुलना: Google-Extended और दूसरे नियम
Google का अपना नियंत्रण Google-Extended है, जो कंपनी 2023 से दे रही है। Google की घोषणा में कहा गया है कि जब कोई वेबसाइट साझा token से training से opt-out करती है और Google-Extended का अलग से जिक्र नहीं करती, तो Google इसे ऐसे समझेगा जैसे प्रकाशक ने Google-Extended को disallow कर दिया हो। Google-Extended सिर्फ training तक सीमित नहीं है, यह Gemini Apps में grounding से भी जुड़ा है। OpenAI की तरफ से GPTBot वाले मौजूदा नियंत्रण चलते रहेंगे, नया संकेत पुराने नियंत्रणों की जगह नहीं लेगा। Microsoft ने 2023 से NoArchive और NoCache को AI नियंत्रण की तरह पढ़ा है, लेकिन 1 मार्च 2027 के बाद इन दोनों को training या grounding की पसंद के रूप में नहीं पढ़ा जाएगा।
आम यूजर के लिए इसका मतलब क्या है
अगर आप वेबसाइट चलाते हैं, तो आज कुछ भी बदलने की जल्दबाजी नहीं है। यह संकेत अभी किसी कंपनी के यहां पूरी तरह लागू नहीं हुआ है, इसलिए आपके मौजूदा नियम ही काम कर रहे हैं। लेकिन अब फैसला लेने का सही समय है, तय करें कि आपकी सामग्री training के लिए इस्तेमाल हो या नहीं, और AI जवाबों में आपकी साइट दिखे या नहीं। अगर आप Microsoft के पुराने NoArchive या NoCache नियमों का इस्तेमाल करते हैं, तो 1 मार्च 2027 से पहले नई पसंद दर्ज करना जरूरी होगा। अगर आप सिर्फ पाठक हैं, तो AI जवाबों में कौन सी साइट दिखेगी, यह थोड़ा बदल सकता है, लेकिन Google Search में किसी साइट का दिखना इस संकेत से तय नहीं होता। मेरे हिसाब से सबसे बड़ी बात यह है कि सामग्री के इस्तेमाल को लेकर एक साझा भाषा बन रही है।
अक्सर पूछे जाने वाले सवाल
__usage_ai-training क्या है
यह IETF के मसौदे का एक policy token है, जिसे robots.txt की User-Agent पंक्ति में लिखा जाता है। इससे वेबसाइट मालिक बता सकता है कि उसकी सामग्री AI training के लिए इस्तेमाल हो सकती है या नहीं।
क्या यह संकेत आज से काम करता है
नहीं, यह अभी कहीं पूरी तरह लागू नहीं हुआ है। Google 2027 में, Microsoft 1 फरवरी 2027 से, और OpenAI आने वाले महीनों में इसे लागू करेगा।
क्या training से opt-out करने पर मेरी वेबसाइट AI जवाबों में नहीं दिखेगी
जरूरी नहीं है, training और grounding अलग फैसले हैं। Training से मना करने का मतलब यह नहीं है कि आपकी सामग्री AI जवाबों में स्रोत की तरह इस्तेमाल नहीं हो सकती।
क्या इससे Google Search में मेरी रैंकिंग पर असर पड़ेगा
नहीं, Google के अनुसार Google-Extended से किसी साइट का Google Search में दिखना प्रभावित नहीं होता, और यह रैंकिंग का संकेत भी नहीं है।
Microsoft के पुराने NoArchive और NoCache नियमों का क्या होगा
1 मार्च 2027 के बाद Microsoft इन दोनों को training या grounding की पसंद के रूप में नहीं पढ़ेगा। इनका इस्तेमाल करने वाली साइटों को उससे पहले नई पसंद दर्ज करनी होगी।
क्या यह नियम अब अंतिम मानक बन गया है
नहीं, यह अभी एक व्यक्तिगत Internet-Draft है, जिसे IETF ने औपचारिक रूप से अपनाया नहीं है। यह मसौदा 3 मई 2027 को खत्म हो जाएगा, अगर इसे नया रूप नहीं दिया गया।
