Google, Microsoft i OpenAI wprowadzą wspólny opt-out z treningu AI w robots.txt

Google, Microsoft i OpenAI zapowiedziały w piątek, że będą respektować wspólną regułę w robots.txt dotyczącą trenowania modeli AI. Rozwiązanie pochodzi z Internet Draftu, który Kevin Kelley z Anthropic złożył w grupie roboczej AI Preferences przy IETF; to dokument indywidualny, a nie oficjalny standard. Draft nie dodaje nowej dyrektywy — używa zwykłej grupy reguł Allow/Disallow pod tokenem polityki __usage_ai-training, który definiuje trening jako użycie treści do modyfikacji parametrów generatywnego modelu. Grupa z User-Agent: * nigdy nie pasuje do tokena, a brak grupy oznacza brak preferencji. Google zamierza traktować opt-out jak blokadę Google-Extended (o ile witryna nie określiła Google-Extended osobno), co obejmuje też grounding w Gemini Apps; wsparcie planowane jest na początek 2027 r. Microsoft idzie dalej: przyjmuje wspólną linię dla treningu i dodaje osobną preferencję AI Grounding ustawianą na poziomie strony, z opcjami Disallow i DisallowExtended. Nowe opcje zastąpią NoArchive i NoCache — Bing zacznie je honorować 1 lutego 2027 r., a starych tagów przestanie uznawać po 1 marca 2027 r. Strony używające starych tagów, które chcą wyłączyć grounding, muszą od 15 grudnia zapisać tymczasową preferencję w Bing Webmaster Tools. OpenAI planuje obsługę sygnału w ciągu kilku miesięcy, ale nie wyjaśnia, jak rozstrzygnie konflikt z regułą GPTBot. Dla SEO oznacza to konieczność przeglądu robots.txt: w Google trening i grounding są powiązane przez Google-Extended, a w Microsoft

Źródło: Search Engine Journal — oryginalny artykuł ↗