GPTBot คืออะไร รวมบอท AI ที่เข้าเว็บ ควรบล็อกตัวไหน

เปิดบันทึกคนเข้าเว็บแล้วเจอชื่อ GPTBot, ClaudeBot หรือ PerplexityBot แวะมาบ่อยๆ เคยสงสัยไหมว่ามาทำอะไร วันนี้มาไล่ดูกันทีละตัวครับ

GPTBot คือ บอทของ OpenAI ที่เดินเก็บหน้าเว็บไปใช้ฝึกโมเดล AI ถ้าบล็อก GPTBot ในไฟล์ robots.txt จะเป็นการบอกว่าไม่ให้เอาเนื้อหาเว็บเราไปฝึก AI แต่เว็บไม่ได้หายจาก ChatGPT Search เพราะการค้นหาใช้บอทอีกตัวชื่อ OAI-SearchBot

GPTBot คืออะไร ทำไมเจ้าของเว็บต้องรู้จัก?

GPTBot คือบอทเก็บข้อมูลของ OpenAI ซึ่ง OpenAI บอกว่าใช้ทำให้โมเดล AI ของบริษัทมีประโยชน์และปลอดภัยขึ้น การบล็อก GPTBot หมายถึงขอไม่ให้ใช้เนื้อหาเว็บเราไปฝึกโมเดล

บอท (bot) คือโปรแกรมที่วิ่งไปเปิดหน้าเว็บแทนคน นึกภาพพนักงานจดมิเตอร์ไฟที่เดินเข้าทุกบ้านในซอย จดเสร็จก็ไปบ้านถัดไป

ทุกครั้งที่บอทเข้าเว็บ มันจะแนบชื่อตัวเองมาด้วย เรียกว่า user agent เหมือนป้ายชื่อที่ติดหน้าอก เราเลยรู้ว่าใครมาเยี่ยม

ที่ต้องรู้จักก็เพราะบอท AI แต่ละตัวทำงานต่างกัน ถ้ารีบบล็อกทุกตัวแบบเหมารวม เว็บอาจหายจากคำตอบของ AI ไปเลยแบบไม่ตั้งใจ

OpenAI ไม่ได้มีบอทตัวเดียว ยังมี OAI-SearchBot สำหรับการค้นหา ChatGPT-User ที่เปิดเว็บตอนผู้ใช้สั่ง และ OAI-AdsBot ที่ตรวจหน้าโฆษณา รายละเอียดฝั่ง ChatGPT อ่านต่อได้ที่ ChatGPT Search คืออะไร

บอท AI เข้าเว็บมาทำอะไรบ้าง?

บอท AI ที่เข้าเว็บแบ่งตามงานได้ 3 แบบ คือบอทเก็บข้อมูลไปฝึกโมเดล บอทเก็บหน้าเว็บไปทำผลค้นหาของ AI และบอทที่เปิดหน้าเว็บตอนผู้ใช้สั่ง แต่ละแบบให้ผลกับเว็บไม่เหมือนกัน

ลองนึกถึงร้านขนมหน้าโรงเรียน มีคน 3 คนเดินเข้าร้าน คนแรกมาจดสูตรกลับไปฝึกทำเอง คนที่สองมาจดชื่อร้านลงหนังสือแนะนำร้านอร่อย คนที่สามคือคนที่ลูกค้าฝากให้มาซื้อขนมแทน

• บอทฝึก AI เหมือนคนจดสูตร เก็บเนื้อหาไปสอนโมเดล เช่น GPTBot, ClaudeBot และ CCBot
• บอทค้นหาของ AI เหมือนคนทำหนังสือแนะนำร้าน เก็บหน้าเว็บไว้เพื่อแสดงและลิงก์ในคำตอบ เช่น OAI-SearchBot, Claude-SearchBot และ PerplexityBot
• บอทที่ผู้ใช้สั่ง เหมือนคนที่ลูกค้าฝากมา เปิดหน้าเว็บตอนมีคนถาม AI เช่น ChatGPT-User, Claude-User และ Perplexity-User

คนจดสูตรไม่ได้พาลูกค้ามาที่ร้านโดยตรง แต่คนทำหนังสือแนะนำร้านพามาได้ แบ่งแบบนี้แล้วจะตัดสินใจง่ายขึ้นเยอะเลย

บอท AI แต่ละตัวเป็นของใคร และควรบล็อกเมื่อไหร่?

บอท AI ที่เจอบ่อยมาจาก OpenAI, Google, Anthropic, Perplexity, Apple, Common Crawl และ Microsoft ส่วนใหญ่แยกบอทฝึก AI กับบอทค้นหาไว้คนละชื่อ แต่ Google และ Apple ใช้ป้ายสั่งแยกแทนการมีบอทอีกตัว

บอท	เจ้าของ	ทำอะไร	บล็อกเมื่อ
GPTBot	OpenAI	เก็บเนื้อหาที่อาจใช้ฝึกโมเดล AI	ไม่อยากให้เนื้อหาไปฝึกโมเดลของ OpenAI
OAI-SearchBot	OpenAI	เก็บหน้าเว็บไปแสดงในผลค้นหาของ ChatGPT	ไม่อยากขึ้นในคำตอบ ChatGPT Search เลย
ChatGPT-User	OpenAI	เปิดหน้าเว็บตอนผู้ใช้ ChatGPT สั่ง	บล็อกผ่าน robots.txt อาจไม่ได้ผล เพราะ OpenAI บอกว่ากฎอาจไม่มีผล
Googlebot	Google	เก็บหน้าเว็บให้ Google Search และฟีเจอร์ทั้งหมดของ Search	แทบไม่มีเหตุผลให้บล็อก เพราะเว็บจะหายจาก Google
Google-Extended	Google	ป้ายสั่งเรื่องใช้เนื้อหาฝึกและเสริมคำตอบของ Gemini ไม่มีบอทของตัวเอง	ไม่อยากให้ใช้กับ Gemini Apps และ Vertex AI
ClaudeBot	Anthropic	เก็บเนื้อหาที่อาจใช้ฝึกโมเดล	ไม่อยากให้เนื้อหาไปฝึกโมเดลของ Anthropic
Claude-SearchBot	Anthropic	เก็บหน้าเว็บเพื่อทำผลค้นหาให้ผู้ใช้ Claude	ไม่อยากขึ้นในผลค้นหาของ Claude
Claude-User	Anthropic	เปิดหน้าเว็บตอนผู้ใช้ Claude ถาม	ไม่อยากให้ Claude ดึงหน้าเว็บไปตอบผู้ใช้
PerplexityBot	Perplexity	เก็บหน้าเว็บไปแสดงและลิงก์ในผลค้นหา ไม่ใช้ฝึกโมเดล	ไม่อยากขึ้นในผลค้นหาของ Perplexity
Perplexity-User	Perplexity	เปิดหน้าเว็บตอนผู้ใช้ถาม	บล็อกผ่าน robots.txt ไม่ค่อยได้ผล เพราะ Perplexity บอกว่าโดยทั่วไปไม่ทำตาม
Applebot-Extended	Apple	ป้ายสั่งว่าข้อมูลที่ Applebot เก็บไปใช้ฝึกโมเดลของ Apple ได้ไหม ไม่ได้เดินเก็บเว็บเอง	ไม่อยากให้เนื้อหาไปฝึกโมเดลของ Apple
CCBot	Common Crawl	เก็บหน้าเว็บเข้าคลังข้อมูลเปิดที่ใครก็ดาวน์โหลดไปใช้ได้	ไม่อยากให้เนื้อหาอยู่ในคลังข้อมูลสาธารณะ
Bingbot	Microsoft	เก็บหน้าเว็บให้ Bing และหน้าใน Bing อาจไปโผล่ใน Copilot	แทบไม่มีเหตุผลให้บล็อก ถ้าไม่อยากให้ Copilot ใช้ Bing แนะนำ NOARCHIVE ไว้ในประกาศปี 2023

ข้อมูลในตารางมาจากหน้าเอกสารของเจ้าของบอทแต่ละราย ตรวจเมื่อ 23 ตุลาคม 2026 ชื่อบอทเปลี่ยนหรือเพิ่มได้เรื่อยๆ ก่อนแก้ไฟล์ควรเปิดเอกสารต้นทางดูอีกรอบ

ตัวที่คนงงที่สุดคือ Google-Extended เพราะมันไม่ใช่บอท Google บอกว่ามันไม่มี user agent ของตัวเอง การเดินเก็บเว็บยังเป็นหน้าที่ของ Googlebot เหมือนเดิม

Google-Extended จึงเป็นแค่ป้ายบอกว่าเนื้อหาที่เก็บไปแล้ว ห้ามเอาไปฝึก Gemini และห้ามใช้เสริมคำตอบ (grounding) ใน Gemini Apps และ Vertex AI และ Google ยืนยันว่าไม่กระทบการขึ้นและอันดับใน Google Search

grounding คือการหยิบเนื้อหาเว็บมาให้ AI อ่านตอนกำลังตอบ เหมือนนักเรียนที่ได้เปิดหนังสือดูระหว่างตอบคำถามครู

Applebot-Extended ก็แบบเดียวกัน Apple บอกว่ามันไม่ได้เดินเก็บเว็บ และหน้าที่บล็อก Applebot-Extended ยังขึ้นในผลค้นหาของ Apple ได้ (เอกสาร Applebot ของ Apple เผยแพร่ 4 กันยายน 2026)

ฝั่ง Microsoft เอกสารที่เราเจอไม่ได้แยกบอทฝึก AI ออกมา แต่ให้ใช้ meta tag แทน meta tag คือป้ายเล็กๆ ที่ซ่อนในโค้ดของหน้าเว็บ เหมือนสติกเกอร์บนกล่องพัสดุที่บอกคนส่งของว่าห้ามทำอะไร

ตามประกาศของ Bing เมื่อ 22 กันยายน 2023 หน้าที่ใส่ NOARCHIVE จะไม่ถูกใช้และไม่ถูกลิงก์ในคำตอบของ Bing Chat ซึ่งตอนนี้เปลี่ยนชื่อเป็น Copilot แล้ว และไม่ถูกใช้ฝึกโมเดล AI ของ Microsoft แต่ยังอยู่ในผลค้นหา Bing ได้

ประกาศนี้ผ่านมาหลายปีแล้ว ก่อนใช้จริงควรเปิดหน้าช่วยเหลือของ Bing Webmaster Tools เช็กอีกรอบ

ควรบล็อก GPTBot ไหม?

ควรบล็อก GPTBot ถ้าไม่อยากให้เนื้อหาไปฝึกโมเดลของ OpenAI ส่วนเว็บที่อยากถูก AI อ้างถึง ให้ปล่อยบอทค้นหาอย่าง OAI-SearchBot ไว้ เพราะ OpenAI บอกว่าการตั้งค่าบอทแต่ละตัวแยกกัน

ลองถามตัวเองก่อนว่าอยากได้อะไรมากกว่ากัน A คืออยากให้คนเจอเว็บผ่าน AI หรือ B คือไม่อยากให้ใครเอาเนื้อหาไปสอน AI ฟรีๆ

ข่าวดีคือเลือกทั้งสองข้อพร้อมกันได้ บล็อกบอทฝึก AI แล้วเปิดบอทค้นหาไว้ เว็บก็ยังมีสิทธิ์ขึ้นในคำตอบของ ChatGPT, Claude และ Perplexity

สมมติว่าคุณเปิดร้านขนมที่เชียงใหม่ บทความสูตรขนมคือของที่อยากให้คนเจอ แบบนี้เปิดบอทค้นหาไว้แน่นอน ส่วนบอทฝึก AI จะเปิดหรือปิดก็ได้ตามความสบายใจ

สมมติอีกแบบว่าคุณขายคอร์สออนไลน์ และเนื้อหาบางส่วนคือของที่ขาย แบบนี้บล็อกบอทฝึก AI ไว้ก็ดูสมเหตุสมผล

ต้องบอกตรงๆ ว่าเรายังไม่เจอเอกสารทางการไหนบอกว่าการเปิดบอทฝึก AI จะทำให้ AI พูดถึงเว็บเรามากขึ้น ตรงนี้ใครเคลมก็ฟังหูไว้หูนะ

อีกเรื่องคือ Anthropic เขียนว่าการบล็อก ClaudeBot เป็นสัญญาณให้ตัดเนื้อหาในอนาคตออกจากข้อมูลฝึก จึงไม่ควรคาดหวังว่าบล็อกวันนี้แล้วของเก่าจะหายตามไปด้วย

ถ้าเลือกทางเปิดบอทค้นหาไว้ ขั้นต่อไปคือทำเนื้อหาให้ AI อยากหยิบไปอ้าง อ่านต่อที่ GEO คืออะไร

เขียน robots.txt บล็อกบอท AI ยังไง?

เขียนกฎใน robots.txt เป็นกลุ่มตามชื่อบอท แต่ละกลุ่มขึ้นต้นด้วยบรรทัด User-agent แล้วตามด้วย Disallow สำหรับส่วนที่ห้ามเข้า หรือ Allow สำหรับส่วนที่ให้เข้า บอทแต่ละตัวจะทำตามกลุ่มที่ตรงกับชื่อตัวเองที่สุดเพียงกลุ่มเดียว

robots.txt คือไฟล์ป้ายหน้าบ้านที่วางไว้ที่หน้าแรกของโดเมน เช่น example.com/robots.txt ใครยังไม่เคยเขียน อ่านพื้นฐานก่อนที่ robots.txt คืออะไร

ตัวอย่างนี้เปิดให้บอทค้นหาของ AI เข้าได้ ปิดบอทฝึก AI และปล่อยบอทอื่นอย่าง Googlebot กับ Bingbot ใช้กฎกลาง

# บอทค้นหาของ AI เข้าได้ทั้งเว็บ
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

# ไม่ให้เอาเนื้อหาไปฝึก AI
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

# บอทอื่นทั้งหมด รวม Googlebot และ Bingbot
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.example.com/sitemap.xml

บรรทัดที่ขึ้นต้นด้วย # คือโน้ตให้คนอ่าน บอทจะข้ามไป ส่วนการใส่ User-agent หลายบรรทัดติดกัน แปลว่าบอทพวกนั้นใช้กฎชุดเดียวกัน Google เขียนรองรับวิธีนี้ไว้ในเอกสาร robots.txt

จุดที่ต้องระวังคือ บอทที่เจอกลุ่มชื่อตัวเองแล้วจะไม่สนกลุ่ม * อีก ถ้าอยากกันโฟลเดอร์ไหนจากบอทค้นหาด้วย ต้องใส่ Disallow ซ้ำในกลุ่มของมัน

robots.txt ใช้ได้แค่กับโดเมนที่วางไฟล์ไว้ ถ้ามีซับโดเมน เช่น shop.example.com ต้องทำไฟล์แยกอีกอัน ทั้ง Google และ Anthropic เขียนเรื่องนี้ไว้ตรงกัน

แก้แล้วอย่าเพิ่งใจร้อนนะ บอทจำไฟล์เก่าไว้พักหนึ่ง เช่น Google บอกว่าปกติจะเก็บไฟล์ robots.txt ไว้ไม่เกิน 24 ชั่วโมงก่อนอ่านใหม่

บอท AI ทุกตัวทำตาม robots.txt ไหม?

ไม่ทุกตัว robots.txt เป็นแค่คำขอ ไม่ใช่กุญแจล็อกประตู เจ้าของบอทที่เราไล่ดูให้คุมบอทเก็บเว็บอัตโนมัติผ่าน robots.txt ได้ แต่ OpenAI และ Perplexity บอกเองว่าบอทที่เปิดเว็บตอนผู้ใช้สั่งอาจไม่ทำตาม robots.txt

OpenAI เขียนว่า ChatGPT-User เปิดเว็บเพราะผู้ใช้สั่ง กฎใน robots.txt จึงอาจไม่มีผล ส่วน Perplexity เขียนว่า Perplexity-User โดยทั่วไปไม่ทำตาม robots.txt ด้วยเหตุผลเดียวกัน

ฝั่ง Anthropic เขียนว่าบอทของบริษัททำตาม robots.txt ซึ่งรวม Claude-User ด้วย ถ้าบล็อก Claude-User ทาง Anthropic เตือนว่าเว็บอาจถูกเห็นน้อยลงตอนผู้ใช้ให้ Claude ค้นเว็บ

อีกปัญหาคือบอทปลอม ใครก็พิมพ์ป้ายชื่อว่า GPTBot ได้ เหมือนคนแต่งชุดพนักงานส่งของมาเคาะประตูบ้าน 555

เจ้าของบอทหลายรายจึงประกาศเลข IP ของบอทจริงไว้ให้เช็ก เช่น OpenAI ที่ openai.com/gptbot.json, Anthropic ที่ claude.com/crawling/bots.json และ Common Crawl ที่ index.commoncrawl.org/ccbot.json

ถ้าอยากบังคับจริง ต้องไปบล็อกที่เซิร์ฟเวอร์หรือ CDN แทน ซึ่ง Cloudflare เองก็เขียนว่าการทำตาม robots.txt เป็นเรื่องสมัครใจของบอท

CDN คือบริการที่ยืนรับคนเข้าเว็บแทนเรา เหมือน รปภ. หน้าหมู่บ้านที่ตรวจทุกคนก่อนเข้าซอย Cloudflare ก็เป็น CDN เจ้าหนึ่ง

ส่วนไฟล์ llms.txt ที่ช่วงนี้คนพูดถึงกันเยอะ เป็นไฟล์สรุปเนื้อหาไว้ให้ AI อ่าน ไม่ใช่ไฟล์สั่งห้ามบอท อ่านเพิ่มที่ llms.txt คืออะไร

เช็กยังไงว่าบอท AI เข้าเว็บเราแล้ว?

เช็กได้ 2 ทาง คือค้นชื่อบอทใน access log ของเว็บ และถ้าใช้ Cloudflare ให้เปิดหน้า AI Crawl Control ที่แสดงว่าบอท AI ตัวไหนเข้ามาบ้าง และตั้งอนุญาตหรือบล็อกได้ทีละตัว

access log คือสมุดเยี่ยมของเว็บ จดทุกครั้งที่มีคนหรือบอทเข้ามา พร้อมป้ายชื่อ user agent หน้าควบคุมโฮสติ้งส่วนใหญ่มีเมนูให้ดาวน์โหลด log แบบนี้

เปิดไฟล์แล้วค้นคำว่า GPTBot, OAI-SearchBot หรือ ClaudeBot ถ้าเจอบอทที่บล็อกไว้แล้วยังเข้าหน้าต้องห้ามอยู่ ให้เช็ก IP กับรายการของเจ้าของบอทก่อน เพราะอาจเป็นบอทปลอม

ใครใช้ Cloudflare มีเครื่องมือชื่อ AI Crawl Control ใช้ได้ทุกแพ็กเกจ ดูได้ว่าบอท AI ตัวไหนเข้ามา และบอทไหนไม่ทำตาม robots.txt

ใน Cloudflare ยังมีหน้า Security Settings ให้เลือก Bot traffic แล้วกด Configure AI bot policies ตั้งค่าแยก 3 กลุ่ม คือ Search, Agent และ Training

แต่ละกลุ่มเลือกได้ว่าจะอนุญาต บล็อกทุกหน้า หรือบล็อกเฉพาะหน้าที่มีโฆษณา ถ้าเปิด Bot Preference Sync ระบบจะเขียนกฎลงหน้า robots.txt ให้ด้วย

ระวังจุดนี้ให้ดีนะ Cloudflare ประกาศว่าตั้งแต่ 15 กันยายน 2026 โดเมนที่เพิ่งเข้าระบบจะได้ค่าเริ่มต้นใหม่ที่บล็อกบอท AI บางกลุ่มในบางหน้า ต่อให้ robots.txt เปิดไว้ บอทก็อาจเข้าไม่ได้ จึงควรเปิดหน้า AI bot policies ดูค่าจริงของเว็บตัวเอง

ตั้งกฎบอท AI ของเว็บเรายังไง ทีละขั้น?

ตั้งกฎบอท AI ได้ใน 6 ขั้น เริ่มจากตัดสินใจว่าอยากขึ้นในการค้นหาของ AI ไหม และยอมให้เอาเนื้อหาไปฝึก AI ไหม แล้วค่อยแก้ robots.txt ตั้งค่า CDN ให้ตรงกัน และกลับมาดู log ซ้ำ

ไม่ต้องเป็นโปรแกรมเมอร์ก็ทำได้ ค่อยๆ ไล่ไปทีละข้อ

1. ตัดสินใจ 2 เรื่อง คืออยากให้เว็บขึ้นในการค้นหาของ AI ไหม และยอมให้เนื้อหาไปฝึก AI ไหม จดคำตอบไว้ก่อน
2. เปิดไฟล์ robots.txt ของเว็บในเบราว์เซอร์ ดูว่ามีชื่อบอท AI อยู่แล้วไหม หรือมี User-agent: * ตามด้วย Disallow: / ที่บล็อกทั้งเว็บอยู่หรือเปล่า
3. เขียนกลุ่มกฎแยกกัน ให้บอทค้นหาของ AI อยู่กลุ่มหนึ่ง บอทฝึก AI อยู่อีกกลุ่ม แล้วคงกลุ่ม * ไว้ให้ Googlebot และ Bingbot เหมือนเดิม
4. ถ้าใช้ Cloudflare หรือ CDN อื่น เปิดหน้าตั้งค่าบอท AI ดูว่าตรงกับ robots.txt ไหม เช่น เปิด Search แต่บล็อก Training
5. ถ้าไม่อยากให้ Copilot หยิบหน้าไหนไปใช้ ให้ใส่ meta tag NOARCHIVE ในหน้านั้นตามประกาศของ Bing ปี 2023 แทนการบล็อก Bingbot
6. รออย่างน้อย 1 วัน แล้วเปิด log ค้นชื่อบอทอีกรอบ และกลับมาเช็กเป็นระยะ เพราะเจ้าของบอทเพิ่มหรือเปลี่ยนชื่อบอทได้

ทำครบ 6 ข้อแล้ว ลองชวนเพื่อนที่มีเว็บมาเช็กไฟล์ robots.txt ด้วยกันก็ได้ บางทีเจอบรรทัดบล็อกทั้งเว็บที่ลืมไว้ตั้งแต่ตอนทำเว็บใหม่ๆ

อยากอ่านเรื่อง AI กับการค้นหาต่อ ดูรวมทุกบทความได้ที่ AI SEO คืออะไร

คำถามที่พบบ่อย

GPTBot คืออะไร?

GPTBot คือบอทของ OpenAI ที่เก็บเนื้อหาจากเว็บไปใช้ฝึกโมเดล AI ถ้าบล็อก GPTBot ใน robots.txt จะเป็นการบอก OpenAI ว่าไม่ให้ใช้เนื้อหาเว็บนั้นฝึกโมเดล

อยากให้ AI ค้นเจอเว็บ ต้องเปิดบอทตัวไหนไว้?

ต้องเปิด OAI-SearchBot ของ ChatGPT, Claude-SearchBot ของ Claude และ PerplexityBot ของ Perplexity ไว้ เพราะเจ้าของบอทบอกว่าบอทเหล่านี้ใช้ทำผลค้นหา ถ้าบล็อก เว็บอาจไม่ขึ้นหรือถูกเห็นน้อยลงในการค้นหาของบริการนั้น

บล็อก Google-Extended แล้วอันดับ Google ตกไหม?

ไม่ตก Google บอกว่า Google-Extended ไม่กระทบการขึ้นใน Google Search และไม่ได้ใช้เป็นปัจจัยจัดอันดับ มันใช้คุมแค่การนำเนื้อหาไปฝึกและเสริมคำตอบของ Gemini

ไม่อยากให้เว็บขึ้นใน AI Overview ทำยังไง?

Google-Extended ไม่ได้คุม AI Overview ตามเอกสารของ Google ต้องใช้ nosnippet, data-nosnippet, max-snippet หรือ noindex ซึ่งมีผลกับการแสดงผลใน Google Search ทั่วไปด้วย

robots.txt กันบอท AI ได้ 100% ไหม?

ไม่ได้ 100% robots.txt เป็นคำขอที่บอทเลือกทำตามเอง บอทที่ผู้ใช้สั่งอย่าง ChatGPT-User และ Perplexity-User อาจไม่ทำตาม ถ้าต้องการบังคับจริงต้องบล็อกที่เซิร์ฟเวอร์หรือ CDN

ClaudeBot กับ Claude-SearchBot ต่างกันยังไง?

ClaudeBot เก็บเนื้อหาที่อาจใช้ฝึกโมเดลของ Anthropic ส่วน Claude-SearchBot เก็บหน้าเว็บไว้ทำผลค้นหาให้ผู้ใช้ Claude บล็อก ClaudeBot อย่างเดียวได้ โดยยังเปิด Claude-SearchBot ไว้

แหล่งอ้างอิง

• Overview of OpenAI Crawlers (ตรวจเมื่อ 23 ตุลาคม 2026 หน้าไม่ระบุวันที่)
• Google’s common crawlers (อัปเดต 15 ตุลาคม 2026)
• Does Anthropic crawl data from the web, and how can site owners block the crawler? (อัปเดต 7 เมษายน 2026)
• Perplexity Crawlers (ตรวจเมื่อ 23 ตุลาคม 2026 หน้าไม่ระบุวันที่)
• Cloudflare robots.txt setting (อัปเดต 22 ตุลาคม 2026)