robots.txt nên cho phép những bot AI nào? So sánh đầy đủ loại truy xuất và loại huấn luyện cùng cách cấu hình thực chiến

Trước tiên hãy hiểu rõ: bot AI có ba loại, không phải "mở hết" hay "đóng hết"

Nhiều người xem bot AI như một khối duy nhất, kết quả là hoặc cho phép tất cả (đến cả dữ liệu huấn luyện cũng bị lấy đi), hoặc chặn tất cả (kéo theo bị loại khỏi kết quả tìm kiếm bằng AI). Thực ra, từ năm 2025 trở đi, OpenAI, Anthropic, Perplexity đều đã tách bot thành ba vai trò, mỗi vai trò có mã định danh robots.txt riêng và có thể kiểm soát riêng biệt.

Ba vai trò này có mục đích hoàn toàn khác nhau: loại huấn luyện lấy nội dung của bạn để huấn luyện mô hình; loại truy xuất lập chỉ mục nội dung của bạn để có thể trích dẫn khi AI trả lời; còn loại do người dùng kích hoạt sẽ tải trang của bạn theo thời gian thực ngay vào khoảnh khắc một người thật đặt câu hỏi.

Hiểu rõ cấu trúc ba tầng này, bạn mới có thể đưa ra những đánh đổi có lợi cho mình: cho phép những con mang lại độ hiển thị, chặn những con chỉ chực lấy không của bạn. Phân biệt vai trò trước, rồi mới quyết định có cho phép từng con hay không, đó là nền tảng cho mọi cấu hình về sau.

Loại truy xuất và loại huấn luyện: một bảng so sánh để biết nên cho phép ai

Sau khi phân loại các bot phổ biến theo vai trò, logic cấu hình sẽ trở nên rõ ràng. Với phần lớn doanh nghiệp Đài Loan muốn làm GEO (tối ưu cho công cụ tạo sinh), chiến lược thường gặp nhất là cho phép loại truy xuất và loại do người dùng kích hoạt, còn loại huấn luyện thì quyết định theo chiến lược thương hiệu.

• Loại huấn luyện (nuôi mô hình, thường không có hồi đáp hiển thị trực tiếp): GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (huấn luyện Google Gemini), CCBot (Common Crawl, nguồn huấn luyện của rất nhiều mô hình mã nguồn mở)
• Loại truy xuất (lập chỉ mục để bạn được trích dẫn trong tìm kiếm bằng AI): OAI-SearchBot (tìm kiếm ChatGPT), Claude-SearchBot (tìm kiếm Claude), PerplexityBot (lập chỉ mục Perplexity)
• Loại do người dùng kích hoạt (tải theo thời gian thực khi người thật hỏi, thường khuyến nghị cho phép): ChatGPT-User, Claude-User, Perplexity-User
• Điểm phân biệt quan trọng: Google-Extended chỉ kiểm soát việc Gemini có lấy nội dung của bạn để huấn luyện hay không, nó không ảnh hưởng đến thứ hạng tìm kiếm thông thường của Google (đó là Googlebot), đừng nhầm lẫn hai con này

Cho phép hay chặn? Ba tình huống đánh đổi điển hình

Không có đáp án chuẩn, tùy thuộc mô hình kinh doanh của bạn. Ba tình huống dưới đây bao quát lựa chọn của phần lớn doanh nghiệp vừa và nhỏ cùng các bên làm nội dung ở Đài Loan.

Nếu bạn kiếm tiền từ lưu lượng và độ hiển thị thương hiệu (đa số website chính thức, blog, SaaS): cho phép tất cả loại truy xuất và loại do người dùng kích hoạt, vì được ChatGPT, Perplexity trích dẫn chẳng khác nào một nguồn hiển thị mới miễn phí; còn loại huấn luyện thì tùy tình huống — nếu ngại bị lấy không thì chặn GPTBot/ClaudeBot/CCBot, nếu không ngại để đổi lấy độ nhận diện rộng hơn trong các mô hình thì cho phép.

Nếu bạn là nội dung trả phí hoặc nội dung độc quyền (truyền thông, báo cáo nghiên cứu, khóa học): thường chặn loại huấn luyện (không muốn nội dung bị lấy miễn phí để huấn luyện), nhưng giữ lại loại truy xuất và loại do người dùng kích hoạt, để AI ít nhất có thể trích dẫn bản tóm tắt của bạn và dẫn lưu lượng về lại trang. Nếu hoàn toàn không muốn dính dáng đến AI (nhạy cảm về tuân thủ pháp lý, trang thuần nội bộ): chặn hết, nhưng phải chuẩn bị tinh thần — bạn sẽ dần biến mất khỏi câu trả lời của AI.

Viết robots.txt thế nào: mẫu có thể áp dụng ngay

robots.txt đặt ở thư mục gốc của website (ví dụ https://tênmiềncủabạn/robots.txt), mỗi bot được kiểm soát bằng một khối User-agent riêng. Dưới đây là bộ khung thường gặp của "cho phép truy xuất, chặn huấn luyện", mỗi khối là một dòng User-agent cộng một dòng Allow hoặc Disallow.

Quy tắc không phân biệt chữ hoa chữ thường ở chỉ thị, nhưng tên User-agent phải khớp chính xác cách viết chính thức (ví dụ là OAI-SearchBot chứ không phải OpenAI-SearchBot). Viết xong nhất định phải mở https://tênmiềncủabạn/robots.txt trực tiếp để xem, xác nhận tệp thật sự tồn tại và không bị chuyển hướng.

• Cho phép loại truy xuất: với OAI-SearchBot, Claude-SearchBot, PerplexityBot, viết cho mỗi con một dòng User-agent và một dòng Allow: /
• Cho phép loại do người dùng kích hoạt: cho ChatGPT-User, Claude-User, Perplexity-User mỗi con một Allow: /
• Chặn loại huấn luyện: với GPTBot, ClaudeBot, CCBot, viết cho mỗi con một dòng User-agent và một dòng Disallow: /; muốn chặn huấn luyện Gemini thì thêm Disallow: / cho Google-Extended
• Đừng dùng sai ký tự đại diện: quy tắc User-agent: * chỉ là giá trị mặc định cho "các bot khác chưa nêu tên", những bot AI đã được nêu tên riêng sẽ đi theo khối của chúng và không chịu ảnh hưởng của *
• robots.txt là "yêu cầu tuân thủ" chứ không phải cưỡng chế kỹ thuật: các ông lớn đàng hoàng sẽ tuân theo, nhưng nó không chặn được những bot không khai báo danh tính (ví dụ hành vi từng bị chỉ tên là đổi IP/UA để né quy tắc)

Lỗ hổng vô hình: robots viết cho phép, nhưng bị Cloudflare／WAF chặn

Đây là cái bẫy nhiều người mắc nhất nhưng lại khó tự phát hiện nhất. robots.txt chỉ là "bảng ưu tiên mang tính lịch sự", thứ thực sự quyết định một yêu cầu có vào được website của bạn hay không là tầng nằm phía trước hơn — CDN và WAF (tường lửa website). Nếu bạn dùng Cloudflare, Bot Fight Mode của nó mặc định được bật ở mọi gói (kể cả bản miễn phí), sẽ chặn thẳng lưu lượng mà nó đánh giá là bot, bao gồm cả các bot AI hợp pháp.

Kết quả là: bot AI căn bản chưa hề đến được máy chủ của bạn, cũng chưa đọc bản robots.txt mà bạn dày công cấu hình, đã bị trả về 403 hoặc trang thử thách ngay ở tầng Cloudflare. Những năm gần đây Cloudflare còn tích hợp sẵn quy tắc được quản lý "chặn bot AI", và quy tắc này có độ ưu tiên cao hơn robots.txt — nghĩa là robots.txt viết cho phép thì cũng không thắng nổi việc chặn của WAF.

Việc đánh giá quy tắc có thứ tự trước sau: quy tắc tùy chỉnh (Custom Rules) sẽ chạy trước quy tắc được quản lý "chặn bot AI". Vì vậy giải pháp đúng là vào hậu đài Cloudflare tạo một quy tắc Allow／Skip tùy chỉnh, đối chiếu User-Agent có chứa OAI-SearchBot, PerplexityBot và những bot bạn muốn cho phép, để chúng được thông qua trước khi bị quy tắc được quản lý chặn lại. Các trang nằm sau Cloudflare như WordPress, Webflow đặc biệt dễ dính chiêu này.

Kiểm tra thế nào: ba bước xác minh bot thật sự vào được

Chỉ sửa robots.txt là chưa đủ, bạn phải thực sự kiểm chứng xem yêu cầu có bị tầng phía trước chặn lại không. Ba bước dưới đây cho phép bạn phán đoán trong vài phút rằng cấu hình của mình có thật sự phát huy tác dụng hay không.

• Bước một, xem tệp trực tiếp: mở https://tênmiềncủabạn/robots.txt trên trình duyệt, xác nhận tệp tồn tại, nội dung đúng, không bị chuyển hướng đến trang đăng nhập hay trang chủ
• Bước hai, mô phỏng bot tải về: dùng lệnh kèm User-Agent của bot để tải trang chủ của chính mình, ví dụ curl -A "OAI-SearchBot" -I https://tênmiềncủabạn/, xem phản hồi trả về có phải 200 không; nếu là 403 hoặc bị dẫn đến trang thử thách thì chính là WAF／CDN đang chặn
• Bước ba, đối chiếu các danh tính khác nhau: cùng một lệnh, lần lượt kèm UA trình duyệt thông thường và UA của bot; nếu trình duyệt nhận 200 còn bot nhận 403 thì gần như chắc chắn quy tắc quản lý bot đang gây chuyện, hãy vào cấu hình WAF／Bot của Cloudflare thêm quy tắc cho phép
• Nâng cao: tra nhật ký truy cập của máy chủ hoặc CDN, xem OAI-SearchBot, PerplexityBot, Claude-SearchBot v.v. có thật sự có bản ghi 200 thành công không, không có nghĩa là chúng chưa từng vào được
• Muốn đo nhanh điểm xuất phát, bạn cũng có thể trước tiên dùng công cụ khám sức khỏe GEO miễn phí quét một lượt, xem bot AI có đọc được trang của bạn hay không, rồi đối chiếu ba bước trên để loại trừ từng mục một