為了簡化網站管理員針對生成式AI模型的爬蟲設定，OpenAI、Google與微軟於美國時間10月30日陸續宣布，預計支援通用的 robots.txt AI訓練 退出標記草案。未來網站只需設置一次通用標記 __usage_ai-training，即可告知參與的AI業者不要將網站內容用於訓練模型。這項改變有助於解決過去必須針對各家業者個別編寫規則的痛點，對台灣許多內容網站與數位媒體的權益保護帶來重大影響。
由Anthropic提出的robots.txt AI訓練通用規範草案
這項新標記是由Anthropic的工程師Kevin Kelley提交至網際網路工程任務組（IETF）的個人草案，目前尚未成為正式的網際網路標準。該草案定義了 __usage_ai-training 語意標籤，專門用於規範生成式AI模型的參數訓練，並不影響搜尋引擎的正常檢索、分類與排名功能。雖然Anthropic已著手開發相應功能，但由於該提案仍屬草案階段，現有的萬用字元設定（User-Agent: *）無法自動套用此規則。
科技巨頭支援時程不同：Google與微軟各有規劃
目前三大科技巨頭尚未正式啟用這項控制。Google預計在2027年初全面支援，並打算將該設定直接與現有的Google-Extended對齊，這意味著拒絕訓練的同時也會限制內容在Gemini應用中的參考與檢索。微軟則規劃於2027年2月1日起開始遵循新選項，並自同年3月1日起停止採用舊有的NoArchive與NoCache標籤。至於OpenAI則表示將在未來幾個月內率先跟進支援。
網站管理員需關注訓練與參考說明的差異
雖然通用標記帶來便利，但各家業者的實作機制並不完全相同。微軟將模型訓練與頁面參考（Grounding）分開設定，讓網站能彈性選擇是否出現在Copilot回答中；相反地，Google的機制則同時涵蓋訓練與檢索。台灣的網站營運者與內容創作者在規劃網站策略時，需特別留意舊有標記過渡期與各平台細部規範的差異。
