robots.txt ควรเปิดให้บอท AI ตัวไหนเข้าบ้าง? เปรียบเทียบครบประเภทค้นหา vs ประเภทฝึกโมเดล พร้อมการตั้งค่าใช้งานจริง
อยากให้ ChatGPT และ Perplexity อ้างอิงคุณ แต่ไม่อยากป้อนข้อมูลให้โมเดลเอาไปฝึกฟรี ๆ? กุญแจซ่อนอยู่ในไม่กี่บรรทัดของ robots.txt นั่นเอง แต่หลายคนไม่เคยรู้ว่า คุณเขียน "อนุญาต" ไว้แล้ว แต่ทราฟฟิกกลับถูก Cloudflare บล็อกตั้งแต่ก่อนถึงเว็บไซต์ บทความนี้จะพาคุณแยกแยะบอท AI ทุกตัวให้ชัด แล้วสอนวิธีตรวจช่องโหว่ที่มองไม่เห็นซึ่งมักถูกมองข้ามมากที่สุด
เข้าใจก่อน: บอท AI มี 3 ประเภท ไม่ใช่ "เปิดหมด" หรือ "ปิดหมด"
หลายคนมองบอท AI เป็นก้อนเดียว ผลก็คือไม่เปิดให้หมด (ข้อมูลฝึกโมเดลก็ถูกเอาไปด้วย) ก็ปิดให้หมด (เลยพลอยหลุดจากผลค้นหาแบบ AI ไปด้วย) แต่จริง ๆ แล้วตั้งแต่ปี 2025 เป็นต้นมา OpenAI, Anthropic, Perplexity ต่างก็แยกบอทออกเป็น 3 บทบาท แต่ละบทบาทมีรหัสระบุตัวตนใน robots.txt เป็นของตัวเอง ควบคุมแยกกันได้
ทั้ง 3 บทบาทนี้มีจุดประสงค์ต่างกันสิ้นเชิง: ประเภทฝึกโมเดลเอาเนื้อหาของคุณไปฝึกโมเดล ประเภทค้นหาเอาเนื้อหาของคุณไปทำดัชนีเพื่อให้อ้างอิงได้ตอน AI ตอบ ส่วนประเภทที่ผู้ใช้กระตุ้นจะดึงหน้าเว็บของคุณแบบเรียลไทม์ในจังหวะที่คนจริงตั้งคำถาม
พอเข้าใจโครงสร้างสามชั้นนี้ คุณถึงจะตัดสินใจชั่งน้ำหนักให้เป็นประโยชน์ต่อตัวเองได้ คือเปิดตัวที่นำการมองเห็นมาให้ และบล็อกตัวที่มีแต่จะเอาของคุณไปฟรี ๆ แยกบทบาทให้ชัดก่อน แล้วค่อยตัดสินว่าจะเปิดตัวไหน นี่คือพื้นฐานของการตั้งค่าทั้งหมดที่จะตามมา
ประเภทค้นหา vs ประเภทฝึกโมเดล: ตารางเดียวเข้าใจว่าควรเปิดให้ใคร
พอจัดบอทหลัก ๆ ตามบทบาทแล้ว ตรรกะการตั้งค่าก็จะชัดเจน สำหรับธุรกิจในไต้หวันส่วนใหญ่ที่อยากทำ GEO (การปรับแต่งสำหรับเครื่องมือสร้างเนื้อหาเชิงกำเนิด) กลยุทธ์ที่พบบ่อยที่สุดคือเปิดให้ประเภทค้นหาและประเภทที่ผู้ใช้กระตุ้น ส่วนประเภทฝึกโมเดลค่อยตัดสินตามกลยุทธ์แบรนด์
- ประเภทฝึกโมเดล (ป้อนข้อมูลให้โมเดล มักไม่มีผลตอบแทนด้านการมองเห็นโดยตรง): GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (ฝึก Google Gemini), CCBot (Common Crawl แหล่งข้อมูลฝึกของโมเดลโอเพนซอร์สจำนวนมาก)
- ประเภทค้นหา (สร้างดัชนีเพื่อให้คุณถูกอ้างอิงในการค้นหาแบบ AI): OAI-SearchBot (การค้นหาของ ChatGPT), Claude-SearchBot (การค้นหาของ Claude), PerplexityBot (การทำดัชนีของ Perplexity)
- ประเภทที่ผู้ใช้กระตุ้น (ดึงข้อมูลแบบเรียลไทม์ตอนคนจริงถาม โดยทั่วไปแนะนำให้เปิด): ChatGPT-User, Claude-User, Perplexity-User
- ข้อแตกต่างสำคัญ: Google-Extended ควบคุมแค่ว่า Gemini จะเอาเนื้อหาของคุณไปฝึกหรือไม่ มันไม่กระทบอันดับการค้นหาทั่วไปของ Google (นั่นคือ Googlebot) อย่าสับสนทั้งสองตัว
เปิดหรือบล็อก? 3 สถานการณ์ชั่งน้ำหนักแบบทั่วไป
ไม่มีคำตอบตายตัว ขึ้นอยู่กับโมเดลธุรกิจของคุณ สามสถานการณ์ด้านล่างครอบคลุมทางเลือกของ SME และผู้ผลิตเนื้อหาในไต้หวันส่วนใหญ่
ถ้าคุณหารายได้จากทราฟฟิกและการมองเห็นแบรนด์ (เว็บไซต์ทางการ บล็อก SaaS ส่วนใหญ่): เปิดให้บอทประเภทค้นหาและประเภทที่ผู้ใช้กระตุ้นทั้งหมด เพราะการถูก ChatGPT, Perplexity อ้างอิงก็เท่ากับแหล่งการมองเห็นใหม่ที่ได้มาฟรี ส่วนประเภทฝึกโมเดลก็แล้วแต่กรณี ถ้ารังเกียจที่จะถูกเอาไปฟรีก็บล็อก GPTBot/ClaudeBot/CCBot ถ้าไม่ถือเพื่อแลกกับความเป็นที่รู้จักในวงโมเดลที่กว้างขึ้นก็เปิดให้
ถ้าคุณเป็นเนื้อหาแบบเสียเงินหรือเนื้อหาพิเศษเฉพาะ (สื่อ รายงานวิจัย คอร์ส): มักจะบล็อกประเภทฝึกโมเดล (ไม่อยากให้เนื้อหาถูกเอาไปฝึกฟรี) แต่เก็บประเภทค้นหาและประเภทที่ผู้ใช้กระตุ้นไว้ เพื่อให้ AI อย่างน้อยก็อ้างอิงบทสรุปของคุณและดึงทราฟฟิกกลับเข้าเว็บได้ ถ้าไม่อยากเกี่ยวข้องกับ AI เลย (อ่อนไหวด้านกฎระเบียบ เว็บภายในล้วน ๆ): บล็อกทั้งหมด แต่ต้องทำใจไว้ว่า คุณจะค่อย ๆ หายไปจากคำตอบของ AI
อยากรู้ไหมว่าเว็บไซต์ของคุณได้คะแนนเท่าไรในสายตา AI?
สแกนฟรี — รับคะแนนความพร้อมต่อ AI 0–100 และโค้ดแก้ไขที่คัดลอกวางได้ทันที
ตรวจ GEO ฟรี →เขียน robots.txt อย่างไร: เทมเพลตที่นำไปใช้ได้ทันที
robots.txt วางไว้ที่ไดเรกทอรีรากของเว็บไซต์ (เช่น https://โดเมนของคุณ/robots.txt) บอทแต่ละตัวควบคุมด้วยบล็อก User-agent ของตัวเอง ด้านล่างคือโครงร่างที่พบบ่อยของ "เปิดประเภทค้นหา บล็อกประเภทฝึกโมเดล" โดยแต่ละบล็อกคือ User-agent หนึ่งบรรทัดบวกกับ Allow หรือ Disallow อีกหนึ่งบรรทัด
กฎจะไม่สนใจตัวพิมพ์ใหญ่เล็กในคำสั่ง แต่ชื่อ User-agent ต้องตรงตามการสะกดของทางการเป๊ะ ๆ (เช่นต้องเป็น OAI-SearchBot ไม่ใช่ OpenAI-SearchBot) เขียนเสร็จต้องเปิด https://โดเมนของคุณ/robots.txt ดูตรง ๆ เพื่อยืนยันว่าไฟล์มีอยู่จริงและไม่ได้ถูกเปลี่ยนเส้นทาง
- เปิดประเภทค้นหา: สำหรับ OAI-SearchBot, Claude-SearchBot, PerplexityBot ให้เขียน User-agent หนึ่งบรรทัดและ Allow: / หนึ่งบรรทัดสำหรับแต่ละตัว
- เปิดประเภทที่ผู้ใช้กระตุ้น: ให้ ChatGPT-User, Claude-User, Perplexity-User แต่ละตัวมี Allow: /
- บล็อกประเภทฝึกโมเดล: สำหรับ GPTBot, ClaudeBot, CCBot ให้เขียน User-agent หนึ่งบรรทัดและ Disallow: / หนึ่งบรรทัดสำหรับแต่ละตัว ถ้าจะกัน Gemini ฝึกก็เพิ่ม Disallow: / ของ Google-Extended เข้าไป
- อย่าใช้ไวลด์การ์ดผิด: กฎ User-agent: * เป็นแค่ค่าเริ่มต้นสำหรับ "บอทอื่นที่ไม่ได้ระบุชื่อ" บอท AI ที่ระบุชื่อแยกไว้แล้วจะใช้บล็อกของตัวเองและไม่ได้รับผลจาก *
- robots.txt เป็น "การขอความร่วมมือ" ไม่ใช่การบังคับเชิงเทคนิค: ผู้เล่นรายใหญ่ที่ทำตามกติกาจะปฏิบัติตาม แต่มันกันบอทที่ไม่ประกาศตัวตนไม่ได้ (เช่นพฤติกรรมที่เคยถูกระบุว่าหมุนเปลี่ยน IP/UA เพื่อเลี่ยงกฎ)
ช่องโหว่ที่มองไม่เห็น: robots เขียนอนุญาตไว้ แต่ถูก Cloudflare／WAF บล็อก
นี่คือกับดักที่คนเจอกันมากที่สุดแต่ก็ค้นพบเองยากที่สุด robots.txt เป็นแค่ "ใบแสดงความต้องการแบบสุภาพ" สิ่งที่ตัดสินจริง ๆ ว่าคำขอจะเข้าเว็บคุณได้ไหมคือชั้นที่อยู่ก่อนหน้านั้น นั่นคือ CDN และ WAF (ไฟร์วอลล์เว็บไซต์) ถ้าคุณใช้ Cloudflare ตัว Bot Fight Mode ของมันจะเปิดเป็นค่าเริ่มต้นในทุกแพ็กเกจ (รวมเวอร์ชันฟรี) และจะบล็อกทราฟฟิกที่มันตัดสินว่าเป็นบอททิ้งไปตรง ๆ รวมถึงบอท AI ที่ถูกต้องตามกฎหมายด้วย
ผลก็คือ บอท AI ไม่ได้เดินไปถึงเซิร์ฟเวอร์ของคุณเลย และไม่ได้อ่าน robots.txt ที่คุณตั้งค่าอย่างพิถีพิถัน แต่ถูกตอบกลับด้วย 403 หรือหน้า challenge ตั้งแต่ชั้น Cloudflare ช่วงหลัง Cloudflare ยังฝังกฎที่จัดการให้ "บล็อกบอท AI" ไว้ในตัว และกฎนี้มีลำดับความสำคัญสูงกว่า robots.txt นั่นหมายความว่า robots.txt เขียนอนุญาต ก็เอาชนะการบล็อกของ WAF ไม่ได้เลย
การประเมินกฎมีลำดับก่อนหลัง: กฎที่กำหนดเอง (Custom Rules) จะทำงานก่อนกฎที่จัดการให้แบบ "บล็อกบอท AI" ดังนั้นทางแก้ที่ถูกต้องคือไปสร้างกฎ Allow／Skip ที่กำหนดเองในหลังบ้าน Cloudflare ให้จับคู่ User-Agent ที่มี OAI-SearchBot, PerplexityBot และบอทอื่นที่คุณอยากเปิด เพื่อให้พวกมันผ่านก่อนที่จะถูกกฎที่จัดการให้ดักไว้ เว็บที่อยู่หลัง Cloudflare อย่าง WordPress, Webflow มักโดนปัญหานี้เป็นพิเศษ
ตรวจสอบอย่างไร: 3 ขั้นตอนยืนยันว่าบอทเข้ามาได้จริง
แค่แก้ robots.txt ยังไม่พอ คุณต้องยืนยันจริง ๆ ว่าคำขอถูกชั้นที่อยู่ก่อนหน้านั้นบล็อกไว้หรือเปล่า สามขั้นตอนด้านล่างจะช่วยให้คุณตัดสินได้ภายในไม่กี่นาทีว่าการตั้งค่าของคุณได้ผลจริงหรือไม่
- ขั้นแรก ดูไฟล์ตรง ๆ: เปิด https://โดเมนของคุณ/robots.txt ในเบราว์เซอร์ ยืนยันว่าไฟล์มีอยู่จริง เนื้อหาถูกต้อง และไม่ได้ถูกเปลี่ยนเส้นทางไปหน้าล็อกอินหรือหน้าแรก
- ขั้นที่สอง จำลองการดึงของบอท: ใช้คำสั่งใส่ User-Agent ของบอทดึงหน้าแรกของตัวเอง เช่น curl -A "OAI-SearchBot" -I https://โดเมนของคุณ/ แล้วดูว่าผลตอบกลับเป็น 200 หรือไม่ ถ้าเป็น 403 หรือถูกพาไปหน้า challenge ก็คือ WAF／CDN กำลังบล็อกอยู่
- ขั้นที่สาม เทียบตัวตนต่างกัน: คำสั่งเดียวกันลองใส่ UA เบราว์เซอร์ทั่วไปกับ UA ของบอทแยกกัน ถ้าเบราว์เซอร์ได้ 200 แต่บอทได้ 403 ก็เกือบฟันธงได้ว่ากฎการจัดการบอทกำลังก่อเรื่อง ให้ไปเพิ่มกฎอนุญาตในการตั้งค่า WAF／Bot ของ Cloudflare
- ขั้นสูง: ตรวจล็อกการเข้าถึงของเซิร์ฟเวอร์หรือ CDN ดูว่า OAI-SearchBot, PerplexityBot, Claude-SearchBot ฯลฯ มีบันทึก 200 ที่สำเร็จจริงไหม ถ้าไม่มีก็แปลว่าพวกมันไม่เคยเข้ามาเลย
- ขั้นสูง: ถ้าอยากวัดจุดเริ่มต้นเร็ว ๆ ก็ลองใช้เครื่องมือตรวจสุขภาพ GEO ฟรีสแกนดูสักรอบก่อน ดูว่าบอท AI อ่านหน้าเว็บของคุณได้หรือไม่ แล้วค่อยเทียบกับสามขั้นตอนข้างบนไล่ตัดออกทีละข้อ
คำถามที่พบบ่อย
Q. robots.txt อนุญาต GPTBot แล้ว ทำไม ChatGPT ยังอ่านเว็บผมไม่ได้?
สาเหตุที่พบบ่อยที่สุดมีสองอย่าง หนึ่งคือคุณเปิดผิดบอท: GPTBot เป็นบอทประเภทฝึกโมเดล ส่วนการค้นหาและการอ้างอิงของ ChatGPT จริง ๆ แล้วพึ่ง OAI-SearchBot และ ChatGPT-User การจะถูกอ้างอิงควรเปิดสองตัวนี้ สองคือถูกบล็อกที่ชั้นก่อนหน้า: ต่อให้ robots.txt เขียนอนุญาต กฎการจัดการบอทของ CDN／WAF อย่าง Cloudflare ก็มีลำดับความสำคัญสูงกว่า และจะตอบกลับ 403 ก่อนที่คำขอจะถึงเซิร์ฟเวอร์ของคุณ ให้ใช้ curl ใส่ User-Agent ของ OAI-SearchBot ดึงหน้าแรกของตัวเอง ถ้าไม่ใช่ 200 ก็ต้องไปเพิ่มกฎอนุญาตใน WAF
Q. บอท AI ประเภทค้นหากับประเภทฝึกโมเดลต่างกันอย่างไร? ผมควรเปิดประเภทไหน?
ประเภทฝึกโมเดล (GPTBot, ClaudeBot, Google-Extended, CCBot) จะเอาเนื้อหาของคุณไปฝึกโมเดล โดยทั่วไปจะไม่นำผลตอบแทนด้านการมองเห็นมาให้โดยตรง ประเภทค้นหา (OAI-SearchBot, Claude-SearchBot, PerplexityBot) จะเอาเนื้อหาของคุณไปทำดัชนี ทำให้คุณถูกอ้างอิงตอน AI ตอบ นำการมองเห็นและทราฟฟิกมาให้ เว็บส่วนใหญ่ที่อยากทำ GEO แนะนำให้เปิดประเภทค้นหาและประเภทที่ผู้ใช้กระตุ้น (ChatGPT-User, Claude-User, Perplexity-User) ส่วนประเภทฝึกโมเดลค่อยตัดสินตามกลยุทธ์แบรนด์ว่าจะบล็อกหรือไม่
Q. Google-Extended คืออะไร? บล็อกมันแล้วจะกระทบอันดับการค้นหา Google ของผมไหม?
ไม่กระทบ Google-Extended ควบคุมแค่ว่า Google จะใช้เนื้อหาของคุณฝึก AI เชิงกำเนิดอย่าง Gemini ได้หรือไม่ เขียนเป็น Disallow ก็คือถอนตัวจากการฝึก AI ส่วนการทำดัชนีและการจัดอันดับของการค้นหา Google ทั่วไปเป็นหน้าที่ของ Googlebot ทั้งสองตัวแยกขาดจากกันสิ้นเชิง ดังนั้นคุณบล็อก Google-Extended เพื่อถอนตัวจากการฝึก AI ได้อย่างสบายใจ พร้อมกับเก็บ Googlebot ไว้รักษาอันดับการค้นหาเดิม โดยไม่กระทบกัน
Q. ผมใช้ Cloudflare robots.txt เปิดให้บอท AI ชัดเจนแล้วแต่ยังถูกบล็อก ทำอย่างไรดี?
เพราะ Bot Fight Mode ของ Cloudflare เปิดเป็นค่าเริ่มต้นในทุกแพ็กเกจ และกฎที่จัดการให้ "บล็อกบอท AI" ที่ฝังในตัวมีลำดับความสำคัญสูงกว่า robots.txt คำขอจึงถูกบล็อกก่อนถึงเซิร์ฟเวอร์ของคุณ ทางแก้คือไปที่หลังบ้าน Cloudflare ที่ Security → WAF → Custom Rules สร้างกฎที่กำหนดเองให้จับคู่ User-Agent ที่มีบอทที่คุณอยากเปิด (เช่น OAI-SearchBot, PerplexityBot) ตั้งการกระทำเป็น Allow หรือ Skip กฎที่กำหนดเองจะทำงานก่อนกฎบล็อกที่จัดการให้ ก็จะปล่อยให้พวกมันผ่านได้
Q. robots.txt เขียน Disallow แล้ว บริษัท AI จะไม่ดึงเนื้อหาผมแน่ ๆ ใช่ไหม?
ไม่แน่เสมอไป robots.txt เป็นธรรมเนียมในวงการ จัดเป็น "การขอความร่วมมือ" ไม่ใช่การบังคับเชิงเทคนิค ผู้เล่นรายใหญ่ที่ทำตามกติกา (OpenAI, Anthropic) จะปฏิบัติตาม แต่มันป้องกันการเข้าถึงในเชิงเทคนิคไม่ได้ เคยมีกรณีบอทถูกระบุว่าหมุนเปลี่ยน IP, User-Agent เพื่อเลี่ยง robots.txt ถ้าจะกันจริง ๆ ต้องบล็อกด้วยกฎไฟร์วอลล์ที่ชั้น WAF／CDN ลำพัง Disallow ใน robots.txt ไม่พอที่จะรับประกันว่าอีกฝ่ายจะไม่ดึงเลย
Q. บอทประเภทที่ผู้ใช้กระตุ้นอย่าง ChatGPT-User, Claude-User ควรเปิดให้ไหม?
ส่วนใหญ่แนะนำให้เปิด บอทประเภทนี้ไม่ใช่การดึงข้อมูลอัตโนมัติขนาดใหญ่ แต่จะดึงครั้งเดียวแบบเรียลไทม์ตอนคนจริงถามคำถามใน ChatGPT หรือ Claude แล้วต้องอ้างอิงหน้าเว็บของคุณ และมักแนบลิงก์แหล่งที่มาดึงทราฟฟิกกลับเข้าเว็บคุณ การบล็อกพวกมันก็เท่ากับยอมทิ้งโอกาสที่จะถูกอ้างอิงและถูกคลิกเข้ามาในจังหวะที่คนจริงค้นหา ซึ่งสำหรับเว็บที่อยากสร้างการมองเห็นในโลก AI มักไม่คุ้ม
นำสิ่งที่เรียนรู้ไปทดสอบกับเว็บไซต์ของคุณใน 10 วินาที
สแกนฟรี — รับคะแนนความพร้อมต่อ AI 0–100 และโค้ดแก้ไขที่คัดลอกวางได้ทันที
ตรวจ GEO ฟรี →