Nội dung công khai có thể được crawler thu thập để lập chỉ mục, làm nguồn cho câu trả lời AI hoặc dùng trong quá trình huấn luyện mô hình. Tín hiệu __usage_ai-training được đề xuất để website bày tỏ lựa chọn về mục đích huấn luyện, nhưng mức độ hỗ trợ hiện khác nhau giữa các nhà cung cấp.
AI Training Opt-out là gì?
AI Training Opt-out là lựa chọn không cho phép nội dung website được dùng để huấn luyện mô hình AI tạo sinh. Theo định nghĩa trong bản dự thảo của IETF, huấn luyện AI là việc sử dụng nội dung để thay đổi các tham số đã học của mô hình.
Tín hiệu chung được đề xuất dùng policy token __usage_ai-training trong một nhóm quy tắc của robots.txt. Nhờ vậy, chủ website có thể khai báo lựa chọn theo mục đích sử dụng nội dung, thay vì chỉ liệt kê từng crawler của từng công ty.
Đây là một Internet-Draft của IETF, tức tài liệu đang trong quá trình phát triển. IETF ghi rõ bản dự thảo chưa được tổ chức phê chuẩn và chưa có vị thế chính thức trong quy trình tiêu chuẩn.
Training khác gì với crawling, indexing và grounding? Các khái niệm này thường bị gộp chung, nhưng chúng mô tả những việc khác nhau:
| Hoạt động | Ý nghĩa | Ví dụ |
|---|---|---|
| Crawling | Bot tải nội dung từ URL trên website | Googlebot truy cập một bài viết |
| Indexing | Công cụ tìm kiếm xử lý và lưu thông tin về trang để có thể xem xét hiển thị | Google đưa URL vào chỉ mục |
| AI grounding | AI truy xuất nội dung tại thời điểm tạo câu trả lời để bổ sung thông tin hoặc nguồn dẫn | Hệ thống tìm một bài viết để trả lời câu hỏi hiện tại |
| AI training | Dùng nội dung để cập nhật các tham số đã học của mô hình | Nội dung được đưa vào dữ liệu huấn luyện |
Vì thế, từ chối huấn luyện không tự động có nghĩa là chặn crawler hoặc ngăn AI lấy trang làm nguồn trả lời. Bản dự thảo cũng xác định token này diễn đạt lựa chọn về cách sử dụng nội dung, độc lập với các quy tắc điều khiển crawler.
Nếu cần xem phần nền tảng về vị trí, cú pháp và phạm vi của file, bạn có thể tham khảo bài hướng dẫn robots.txt chuẩn SEO của Bizfly Cloud.
Token __usage_ai-training hoạt động như thế nào?
Token này được đặt trong dòng User-agent của một nhóm robots.txt. Nó đóng vai trò như nhãn cho mục đích sử dụng nội dung, không nhất thiết là tên của một bot xuất hiện trong User-Agent của yêu cầu HTTP.
Ví dụ dưới đây thể hiện lựa chọn từ chối huấn luyện trên toàn website, đồng thời cho phép một thư mục cụ thể:
User-agent: __usage_ai-trainingDisallow: /Allow: /press-kit/Theo cách diễn giải trong dự thảo, các đường dẫn trong website bị Disallow thể hiện lựa chọn từ chối huấn luyện; đường dẫn được Allow thể hiện lựa chọn cho phép. Các quy tắc được áp dụng theo đường dẫn và quy tắc cụ thể hơn được ưu tiên theo cơ chế khớp đường dẫn hiện có của robots.txt.
Có hai điểm dễ bị bỏ sót khi cấu hình:
- Nhóm
User-agent: *không được xem là lựa chọn cho__usage_ai-training. Cần khai báo token riêng. - Nếu file không có nhóm
__usage_ai-training, theo dự thảo thì chưa có lựa chọn nào được thể hiện bằng tín hiệu chung này.
Quy tắc Disallow ở nhóm token cũng không tương đương với chặn crawler truy cập URL. Nếu muốn giới hạn việc tải trang, quản trị viên vẫn cần cấu hình các nhóm dành cho crawler cụ thể.
Trạng thái hỗ trợ của các nhà cung cấp
Tính đến ngày 2/11/2026, các bên chưa triển khai đồng loạt:
- Anthropic cho biết đã bắt đầu triển khai hỗ trợ, nhưng cần thêm thời gian để áp dụng trên các dịch vụ. Thông tin này được tác giả dự thảo, người có liên kết công việc với Anthropic, đăng trên danh sách thảo luận của nhóm AI Preferences tại IETF.
- OpenAI cho biết sẽ tuân thủ tín hiệu chung và dự kiến triển khai trong những tháng tới. OpenAI cũng nói cơ chế mới không thay thế các quy tắc crawler hiện có.
- Google đặt mục tiêu hỗ trợ trong năm 2027. Khi website từ chối huấn luyện bằng token chung mà không khai báo riêng
Google-Extended, Google dự kiến diễn giải lựa chọn đó như việc từ chốiGoogle-Extended. - Microsoft cho biết sẽ bắt đầu áp dụng các lựa chọn mới khi crawl từ ngày 1/2/2027.
Do thời điểm hỗ trợ khác nhau, việc thêm token chung hôm nay chưa đảm bảo mọi hệ thống AI đều đã đọc và áp dụng lựa chọn đó. Tín hiệu này có thể được bổ sung vào robots.txt, nhưng quản trị viên nên duy trì các quy tắc riêng theo nhà cung cấp cho đến khi xác nhận cơ chế mới đã được triển khai và bao phủ nhu cầu của website.
Cách thêm AI Training Opt-out vào robots.txt
1. Xác định muốn áp dụng cho trang nào
Trước khi chỉnh file, hãy quyết định lựa chọn áp dụng cho:
- Toàn bộ nội dung công khai của website.
- Một số khu vực, chẳng hạn tài liệu chuyên môn, nội dung trả phí hoặc kho dữ liệu.
- Từng đường dẫn cụ thể, nếu chính sách nội dung cho phép cách phân chia này.
Nếu phần lớn bài viết của website có cùng chính sách, cấu hình toàn site dễ quản lý hơn. Nếu chỉ một nhóm trang cần giới hạn, hãy kiểm tra kỹ các đường dẫn ngoại lệ để không áp dụng nhầm.
2. Thêm nhóm policy token ở robots.txt
Với lựa chọn từ chối huấn luyện trên toàn site:
User-agent: __usage_ai-trainingDisallow: /Với lựa chọn từ chối một thư mục:
User-agent: __usage_ai-trainingDisallow: /premium-content/Với lựa chọn từ chối toàn site nhưng cho phép một thư mục:
User-agent: __usage_ai-trainingDisallow: /Allow: /public-resources/Đây là các mẫu để tham khảo. Hãy gộp chúng vào file robots.txt hiện có, không thay toàn bộ nội dung mà chưa rà soát các quy tắc Googlebot, Bingbot và những bot khác.
3. Giữ quy tắc crawler riêng theo nhu cầu
Tín hiệu mới không thay thế các lựa chọn riêng của từng nhà cung cấp. Chẳng hạn, tài liệu OpenAI phân biệt GPTBot, có thể thu thập nội dung dùng để huấn luyện, với OAI-SearchBot, được dùng để hiển thị website trong tính năng tìm kiếm của ChatGPT. Hai lựa chọn này độc lập với nhau.
Nếu muốn từ chối huấn luyện nhưng vẫn duy trì cơ hội xuất hiện trong tìm kiếm của OpenAI, cần cân nhắc riêng GPTBot và OAI-SearchBot, thay vì chặn tất cả bot bằng một nhóm User-agent: *.
Tương tự, Google cho biết Google-Extended hiện dùng để quản lý việc nội dung được dùng cho huấn luyện Gemini và grounding trong một số sản phẩm Gemini. Token này không ảnh hưởng đến việc website xuất hiện trong Google Search hoặc thứ hạng tìm kiếm.
4. Kiểm tra file sau khi cập nhật
Sau khi chỉnh sửa, hãy kiểm tra:
https://tenmiencuaban.vn/robots.txttrả về file có thể đọc được.- Nhóm
__usage_ai-trainingkhông bị viết sai chính tả hoặc đặt lẫn vào nhóm crawler khác. - Các đường dẫn
DisallowvàAllowkhớp đúng thư mục cần áp dụng. - Những quy tắc Googlebot, Bingbot và crawler khác vẫn giữ đúng mục tiêu ban đầu.
Việc cập nhật file chưa có nghĩa là nhà cung cấp đã áp dụng ngay. Bot cần thu thập lại file và nhà cung cấp cần hỗ trợ token. Microsoft cũng lưu ý thiết lập chỉ được phát hiện khi hệ thống crawl lại trang hoặc website.
AI Training Opt-out có ảnh hưởng đến SEO không?
Nếu chỉ thêm nhóm __usage_ai-training, mục đích của nhóm đó là thể hiện lựa chọn về huấn luyện, không phải chặn Googlebot hoặc Bingbot. Do đó, không nên mặc định rằng tín hiệu này sẽ làm website biến mất khỏi kết quả tìm kiếm truyền thống.
Tuy nhiên, việc chặn crawler riêng là một quyết định khác. Google nêu rõ các quy tắc dành cho Googlebot ảnh hưởng đến Google Search và những tính năng tìm kiếm khác. Với OpenAI, từ chối OAI-SearchBot có thể khiến website không xuất hiện trong câu trả lời của tính năng tìm kiếm ChatGPT, trong khi từ chối GPTBot liên quan đến việc sử dụng dữ liệu cho huấn luyện.
Cũng cần phân biệt giữa kết quả tìm kiếm và câu trả lời AI có grounding. Từ chối grounding có thể làm giảm khả năng nội dung được dùng để tham chiếu trong một số trải nghiệm AI, dù điều đó không đồng nghĩa website bị loại khỏi kết quả tìm kiếm truyền thống. Microsoft mô tả riêng hai lựa chọn này và cho biết thiết lập huấn luyện không thay đổi điều kiện xuất hiện trên Bing Search.
Giới hạn cần biết trước khi triển khai
robots.txt là tín hiệu dành cho crawler và các nhà cung cấp tự chọn tuân thủ. Nó không đặt nội dung sau màn hình đăng nhập, không ngăn bot không tuân thủ tải trang và không thay thế biện pháp kiểm soát truy cập phía máy chủ. Tài liệu dự thảo của IETF cũng nêu token này không phải chỉ thị điều khiển crawling.
Vì vậy, không nên dùng robots.txt để bảo vệ dữ liệu bí mật hoặc nội dung cần giới hạn quyền truy cập. Nếu nội dung không được phép công khai, hãy dùng xác thực hoặc cơ chế kiểm soát truy cập phù hợp. Tín hiệu opt-out cũng không phải công cụ xóa dữ liệu đã được thu thập trước đó.
Câu hỏi thường gặp
Thêm Disallow: / có chặn mọi AI crawler không?
Không. Quy tắc này nằm trong nhóm User-agent: __usage_ai-training, nên thể hiện lựa chọn về huấn luyện đối với các nhà cung cấp hỗ trợ token. Quy tắc crawler riêng vẫn cần được cấu hình nếu muốn giới hạn việc truy cập URL.
AI Training Opt-out có ngăn trang xuất hiện trên Google không?
Nếu chỉ dùng token huấn luyện, không nên xem đó là lệnh chặn Googlebot. Google cho biết Google-Extended không ảnh hưởng đến việc website xuất hiện trên Google Search; còn quy tắc dành cho Googlebot mới ảnh hưởng đến việc Google thu thập dữ liệu cho Search.
Từ chối huấn luyện có đồng nghĩa AI không được trích dẫn nội dung không?
Không nhất thiết. Huấn luyện và grounding là hai mục đích khác nhau. Tuy vậy, từng nhà cung cấp có thể liên kết các thiết lập theo cách riêng; Google dự kiến xử lý opt-out huấn luyện như từ chối Google-Extended nếu website không khai báo lựa chọn Google-Extended riêng. Hãy kiểm tra tài liệu của nhà cung cấp nếu website muốn giữ nội dung đủ điều kiện làm nguồn cho câu trả lời AI.
Có nên thêm token này ngay không?
Có thể thêm như một tín hiệu bổ sung nếu website đã xác định rõ chính sách huấn luyện. Nhưng trong giai đoạn các bên triển khai theo lịch khác nhau, hãy giữ các quy tắc crawler hiện có và theo dõi thông báo mới của nhà cung cấp trước khi dựa hoàn toàn vào token chung.
__usage_ai-training là tín hiệu chung được đề xuất để website thể hiện lựa chọn về việc dùng nội dung cho huấn luyện AI. Chủ website có thể khai báo theo toàn site hoặc theo đường dẫn, nhưng cần phân biệt nó với việc chặn crawl, lập chỉ mục và grounding. Do đây vẫn là cơ chế đang được triển khai theo từng nhà cung cấp, hãy bổ sung tín hiệu có kiểm soát, giữ các quy tắc crawler riêng và kiểm tra lại sau khi cập nhật.
