robots.txt คือ อะไร เขียนยังไง ทำไมซ่อนหน้าจาก Google ไม่ได้

ก่อนบอทของ Google จะเดินเข้าเว็บ มันจะแวะอ่านป้ายหน้าประตูก่อน ป้ายนั้นชื่อว่า robots.txt

robots.txt คือ ไฟล์ข้อความเล็กๆ ที่วางไว้ตรงทางเข้าของเว็บ บอกบอทของ Google และเครื่องมือค้นหาอื่นว่าส่วนไหนของเว็บเข้าไปเก็บข้อมูลได้ ส่วนไหนไม่ต้องเข้า แต่ไฟล์นี้ไม่ได้ซ่อนหน้าเว็บจากผลค้นหา

robots.txt คือ อะไร ทำหน้าที่อะไรกับเว็บ?

robots.txt คือไฟล์ที่บอกบอทของเครื่องมือค้นหาว่าเข้าไปเก็บข้อมูล URL ไหนในเว็บได้บ้าง Google บอกว่าไฟล์นี้ใช้จัดการการเข้ามาของบอท ไม่ให้เว็บรับภาระหนักเกินไปเป็นหลัก

ลองนึกถึงร้านขนมหน้าปากซอยดูนะ หน้าร้านเปิดให้ทุกคนเดินดูขนมได้ แต่ห้องอบขนมด้านหลังติดป้ายไว้ว่า “เฉพาะพนักงาน”

robots.txt ก็คือป้ายแบบนั้นแหละ แต่ติดไว้ให้บอทอ่าน บอทคือโปรแกรมที่เดินเปิดหน้าเว็บไปเรื่อยๆ เพื่อเก็บข้อมูล บอทของ Google ชื่อ Googlebot

การที่บอทเดินเปิดหน้าเว็บทีละหน้าเรียกว่า crawl ส่วนการเอาหน้าที่เก็บมาเข้าระบบของ Google เรียกว่า index สองคำนี้ต่างกันนะ จำไว้ก่อน เดี๋ยวได้ใช้

แล้วทำไมต้องห้ามบอทเข้าบางที่ล่ะ เหตุผลหลักคือไม่อยากให้บอทเสียเวลากับหน้าที่ไม่สำคัญ หรือหน้าที่ซ้ำๆ กัน เช่น หน้าหลังบ้าน หรือหน้าตะกร้าสินค้า

แต่ป้ายนี้เป็นแค่คำขอนะ Google บอกว่า Googlebot และบอทที่ดีจะทำตาม แต่บอทบางตัวอาจไม่ทำตาม เพราะ robots.txt บังคับบอทไม่ได้

ถ้าอยากเห็นภาพใหญ่ว่า robots.txt อยู่ตรงไหนของงานหลังบ้านเว็บ อ่านต่อได้ที่ Technical SEO คืออะไร

ไฟล์ robots.txt อยู่ตรงไหนของเว็บ?

ไฟล์ robots.txt ต้องอยู่ที่รากของเว็บ คือชื่อเว็บแล้วต่อด้วย /robots.txt เช่น https://www.example.com/robots.txt และหนึ่งเว็บมีไฟล์นี้ได้ไฟล์เดียว

รากของเว็บฟังดูยาก จริงๆ คือชั้นบนสุดของเว็บ ไม่ได้อยู่ในโฟลเดอร์ย่อยไหนเลย เหมือนป้ายที่ต้องแปะไว้หน้าประตูใหญ่ ไม่ใช่แปะไว้หลังตู้

ถ้าเอาไฟล์ไปไว้ที่ /blog/robots.txt บอทจะไม่ไปอ่านตรงนั้น เพราะบอทหาป้ายที่หน้าประตูใหญ่เท่านั้น

อีกเรื่องที่ควรรู้ กฎในไฟล์ใช้ได้แค่กับชื่อเว็บนั้นเป๊ะๆ ถ้าเว็บมีโดเมนย่อย เช่น shop.example.com ก็ต้องมีไฟล์ robots.txt ของตัวเองอีกไฟล์

ลองทำตอนนี้เลยก็ได้ พิมพ์ชื่อเว็บของคุณแล้วต่อด้วย /robots.txt ในเบราว์เซอร์ ถ้าเห็นตัวหนังสือไม่กี่บรรทัดขึ้นมา แปลว่าเว็บมีไฟล์นี้แล้ว

ถ้าขึ้นหน้า 404 (หาหน้าไม่เจอ) ก็ไม่ต้องตกใจ Google จะถือว่าเว็บนั้นไม่ได้ห้ามอะไรเลย บอทเข้าเก็บข้อมูลได้ทุกหน้าตามปกติ

กฎใน robots.txt มีอะไรบ้าง เขียนยังไง?

กฎหลักใน robots.txt มี 4 ตัว คือ User-agent บอกว่าคุยกับบอทตัวไหน Disallow บอกว่าห้ามเข้าตรงไหน Allow บอกว่าเข้าตรงไหนได้ และ Sitemap บอกที่อยู่ของไฟล์ sitemap

ดูตารางนี้ก่อน แล้วค่อยไปดูตัวอย่างไฟล์จริงด้านล่าง

กฎ	แปลว่า	ตัวอย่าง
User-agent	บอทตัวไหนต้องทำตามกฎชุดนี้ ใส่ * แปลว่าบอททุกตัว (ยกเว้นบอทโฆษณาของ Google ที่ชื่อ AdsBot)	User-agent: Googlebot
Disallow	ห้ามบอทเข้าหน้าหรือโฟลเดอร์นี้ ต้องขึ้นต้นด้วย /	Disallow: /cart/
Allow	ยอมให้เข้าหน้านี้ได้ แม้อยู่ในโฟลเดอร์ที่ห้ามไว้	Allow: /cart/help.html
Sitemap	ที่อยู่เต็มของไฟล์ sitemap จะใส่หรือไม่ใส่ก็ได้	Sitemap: https://www.example.com/sitemap.xml

ตัวอย่างไฟล์ของร้านขนมสมมติ หน้าตาจะประมาณนี้

User-agent: *
Disallow: /cart/
Allow: /cart/help.html

Sitemap: https://www.example.com/sitemap.xml

อ่านเป็นภาษาคนได้ว่า บอททุกตัวอย่าเข้าโฟลเดอร์ตะกร้าสินค้านะ ยกเว้นหน้าวิธีใช้ตะกร้าเข้าได้ แล้วรายชื่อหน้าทั้งหมดอยู่ที่ไฟล์ sitemap นี้

ถ้า Disallow กับ Allow ขัดกันแบบนี้ Google จะเลือกกฎที่เจาะจงกว่า คือกฎที่เขียนที่อยู่ไว้ยาวกว่า หน้า help.html เลยยังเข้าได้

ระวังตัวพิมพ์เล็กพิมพ์ใหญ่ด้วยนะ กฎใน robots.txt แยกตัวพิมพ์ ถ้าเขียน Disallow: /Cart/ จะไม่ได้ห้าม /cart/ เลย พิมพ์ผิดตัวเดียว ป้ายก็ติดผิดห้อง

ส่วนเครื่องหมาย * ใน path แปลว่าตัวอักษรอะไรก็ได้ และ $ แปลว่าจบ URL ตรงนั้น เช่น Disallow: /*.pdf$ คือห้ามบอทเข้าทุกไฟล์ที่ลงท้ายด้วย .pdf

บรรทัดที่ต้องระวังที่สุดคือสองบรรทัดนี้

User-agent: *
Disallow: /

สองบรรทัดนี้แปลว่าห้ามบอททุกตัวเข้าทุกหน้าในเว็บ ถ้าใส่ไว้ตอนทำเว็บแล้วลืมเอาออก Google ก็เข้ามาอ่านหน้าไหนไม่ได้เลย T_T

บรรทัด Sitemap ช่วยบอกทางให้บอทหาหน้าในเว็บได้ครบขึ้น ถ้ายังไม่รู้จักไฟล์นี้ อ่านต่อได้ที่ Sitemap คืออะไร

อีกเรื่องเล็กๆ ถ้าเคยเห็นคนใส่ Crawl-delay เพื่อให้บอทเข้าช้าลง Google ไม่รองรับคำสั่งนี้นะ เขียนไปก็ไม่มีผลกับ Googlebot

robots.txt ซ่อนหน้าจาก Google ได้ไหม?

robots.txt ซ่อนหน้าจาก Google ไม่ได้ Google บอกตรงๆ ว่า robots.txt ไม่ใช่วิธีกันหน้าเว็บไม่ให้ขึ้น Google ถ้าอยากให้หน้าไม่ขึ้นผลค้นหา ให้ใช้ noindex หรือตั้งรหัสผ่านให้หน้านั้น

เรื่องนี้คือกับดักใหญ่ที่สุดของ robots.txt เลย ลองทายดูก่อน ถ้าห้ามบอทเข้าหน้าโปรลับ แต่มีเว็บอื่นลิงก์มาหาหน้านั้น หน้านั้นจะขึ้น Google ไหม

คำตอบคือขึ้นได้ Google บอกว่าหน้าที่ถูกห้ามใน robots.txt ยังถูก index ได้ ถ้ามีลิงก์จากที่อื่นชี้มา แต่ผลค้นหาจะไม่มีคำอธิบายใต้ลิงก์

ที่เป็นแบบนี้เพราะ robots.txt ห้ามแค่การเดินเข้าไปอ่าน (crawl) ไม่ได้ห้ามการจดชื่อหน้าไว้ (index) Google รู้ว่ามีหน้านี้จากลิงก์ เลยจดไว้ทั้งที่ไม่เคยเข้าไปอ่าน

เหมือนร้านที่ติดป้ายห้ามเข้า แต่ป้ายบอกทางในตลาดยังเขียนชื่อร้านไว้ คนก็ยังรู้ว่ามีร้านนี้อยู่ แค่ไม่รู้ว่าข้างในขายอะไร

วิธีที่ถูกคือใส่คำสั่ง noindex ไว้ในหน้านั้น noindex คือป้ายที่ติดไว้ในห้อง บอกว่าอย่าเอาหน้านี้ไปขึ้นผลค้นหา หน้าตาเป็นแบบนี้

<meta name="robots" content="noindex">

แต่มีเงื่อนไขสำคัญมาก หน้าที่ใส่ noindex ต้องไม่ถูกห้ามใน robots.txt ถ้าบอทเข้าไม่ได้ ก็มองไม่เห็นป้าย noindex และหน้านั้นยังขึ้นผลค้นหาได้ถ้ามีลิงก์มาหา

จำง่ายๆ แบบนี้ อยากให้บอทไม่เสียเวลากับหน้าไหน ใช้ robots.txt อยากให้หน้าไหนไม่ขึ้น Google ใช้ noindex แล้วอย่าบล็อกหน้านั้นใน robots.txt

ถ้าอยากรู้ว่า Google เก็บหน้าเข้าระบบยังไง และทำไมบางหน้าไม่ขึ้น อ่านต่อได้ที่ Index คืออะไร

robots.txt บน WordPress อยู่ตรงไหน แก้ยังไง?

WordPress สร้าง robots.txt ให้เองแบบไฟล์เสมือน คือไม่มีไฟล์จริงวางอยู่บนเซิร์ฟเวอร์ แต่เปิด /robots.txt แล้วจะเห็นข้อความ ถ้าใช้ปลั๊กอิน Yoast SEO แก้ได้ที่เมนู Yoast SEO แล้วเลือก Tools และ File editor

ไฟล์เสมือนเป็นยังไง ลองนึกถึงพนักงานร้านที่บอกเมนูลูกค้าด้วยปากทุกครั้งที่มีคนถาม ไม่มีเมนูกระดาษวางไว้ แต่ลูกค้าก็ได้ยินเมนูครบเหมือนกัน

ถ้ายังไม่ได้ปรับอะไร ไฟล์เสมือนของ WordPress มักมีหน้าตาประมาณนี้

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.example.com/wp-sitemap.xml

แปลว่าห้ามบอทเข้าหลังบ้าน WordPress แต่ยอมให้เข้าไฟล์ admin-ajax.php ไฟล์เดียว ส่วนบรรทัด Sitemap นั้น WordPress เริ่มใส่ให้ตั้งแต่เวอร์ชัน 5.5 ที่มี sitemap ในตัว

สำหรับเว็บทั่วไป ไฟล์เสมือนนี้ก็พอใช้แล้ว ไม่ต้องรีบแก้ แต่ถ้าอยากเพิ่มกฎเอง และใช้ Yoast SEO อยู่ ทำตามนี้ได้เลย

1. เข้าหลังบ้าน WordPress แล้วเปิดเมนู Yoast SEO
2. เลือก Tools แล้วกด File editor
3. ถ้ายังไม่มีไฟล์จริง ให้กดปุ่ม Create robots.txt file
4. แก้ข้อความในกล่องให้ตรงกับที่ต้องการ แล้วบันทึก

ถ้าหาเมนู File editor ไม่เจอ Yoast บอกว่าเป็นเพราะเว็บปิดการแก้ไฟล์ไว้ ส่วนถ้าเจอเมนูแต่บันทึกไม่ได้ อาจเป็นเพราะไฟล์ถูกล็อกไว้ ทางออกคือแก้ไฟล์ผ่าน FTP (โปรแกรมรับส่งไฟล์กับเครื่องที่เก็บเว็บ) หรือตัวจัดการไฟล์ของโฮสต์

พอมีไฟล์ robots.txt จริงวางอยู่ที่รากของเว็บแล้ว ไฟล์จริงจะถูกใช้แทนไฟล์เสมือนของ WordPress

อีกจุดที่ควรรู้ ช่องติ๊ก Discourage search engines from indexing this site ในหน้า Settings แล้วเลือก Reading ตั้งแต่ WordPress 5.3 ไม่ได้เขียน Disallow ลงใน robots.txt แล้ว แต่ไปใส่ป้าย noindex ในหน้าเว็บแทน ถ้าเว็บไม่ขึ้น Google เลย เช็กช่องนี้ด้วยนะ

เช็ก robots.txt ของเว็บตัวเองยังไง?

วิธีเช็ก robots.txt คือเปิดไฟล์ในเบราว์เซอร์ อ่านกฎทีละบรรทัด แล้วดูรายงาน robots.txt ใน Google Search Console ว่า Google ดึงไฟล์ได้และไม่มีปัญหา

Search Console คือเครื่องมือฟรีของ Google ที่บอกว่าเว็บเราเป็นยังไงในสายตา Google ใช้เวลาเช็กไม่นาน ทำตามนี้ได้เลย

1. เปิดหน้าต่างแบบไม่ระบุตัวตนในเบราว์เซอร์ แล้วพิมพ์ชื่อเว็บตามด้วย /robots.txt ให้แน่ใจว่าเปิดได้
2. อ่านทุกบรรทัด Disallow ว่าไม่ได้ห้ามหน้าที่อยากให้ขึ้น Google และไม่มีบรรทัด Disallow: / อยู่ใต้ User-agent: *
3. เช็กว่าบรรทัด Sitemap ใช้ URL เต็ม และกดเปิดได้จริง
4. เข้า Google Search Console เปิดหน้าการตั้งค่า แล้วกดเปิดรายงาน robots.txt
5. ดูช่องสถานะการดึงข้อมูลว่าเป็น “ดึงข้อมูลแล้ว” และช่องปัญหาไม่มีคำเตือน
6. อยากรู้ว่าหน้าไหนถูกบล็อกไหม ใช้เครื่องมือตรวจสอบ URL ใส่ URL หน้านั้นแล้วดูผล
7. ถ้าเพิ่งแก้ไฟล์ กดเมนูข้างไฟล์ในรายงาน แล้วเลือก “ขอให้ทำการ Crawl อีกครั้ง”

ทำไมต้องขอให้ crawl ใหม่ เพราะ Google เก็บสำเนา robots.txt ไว้และอัปเดตทุก 24 ชั่วโมง ถ้ารอได้ก็ไม่ต้องกด ถ้ารีบค่อยกด แต่ Google ก็ไม่รับประกันว่าจะเข้ามาทันที

รายงานนี้ดูได้เฉพาะเว็บที่เพิ่มไว้ใน Search Console ระดับโดเมน เช่น https://www.example.com/ ถ้าเพิ่มแบบมีโฟลเดอร์ต่อท้าย อย่าง https://www.example.com/blog/ จะไม่เห็นรายงานนี้

อีกข้อ Google อ่านไฟล์ robots.txt ได้ไม่เกิน 500 KiB ไฟล์ของเว็บทั่วไปมีแค่ไม่กี่บรรทัด ห่างจากขีดนี้มาก ไม่ต้องกังวลเลย 555

ใส่ชื่อบอท AI ใน robots.txt ได้ไหม?

ได้ ชื่อบอทหรือชื่อเรียกของ AI อย่าง GPTBot ของ OpenAI และ Google-Extended ของ Google ใส่ในบรรทัด User-agent ของ robots.txt ได้ เพื่อบอกว่ายอมให้เอาเนื้อหาไปใช้กับ AI หรือไม่

Google บอกว่า Google-Extended ใช้คุมว่าเนื้อหาจะถูกเอาไปฝึกโมเดล Gemini รุ่นต่อไปไหม และการบล็อกไม่กระทบการขึ้นผลค้นหาของ Google ส่วน GPTBot คือบอทที่ OpenAI ใช้เก็บข้อมูลไปฝึกโมเดล AI

เช่น ถ้าไม่อยากให้ GPTBot เก็บเนื้อหาไปฝึกโมเดล ก็เขียนแบบนี้

User-agent: GPTBot
Disallow: /

บล็อก GPTBot แล้วไม่ได้บล็อก OAI-SearchBot ไปด้วยนะ OAI-SearchBot คือบอทที่ OpenAI ใช้หาเว็บมาแสดงในการค้นหาของ ChatGPT และ OpenAI บอกว่าแต่ละตัวตั้งค่าแยกกัน

จะบล็อกหรือไม่บล็อก ไม่มีคำตอบเดียวที่ถูกกับทุกเว็บ ถ้าอยากให้ AI หยิบเว็บเราไปตอบ ลองอ่าน GEO คืออะไร ประกอบด้วย ส่วนเรื่องแบบละเอียด เราจะแยกเล่าในอีกบทความ

ลองเปิด robots.txt ของเว็บตัวเองดูวันนี้เลย ใช้เวลาไม่ถึงนาที ถ้าเจอบรรทัดไหนอ่านไม่ออก เอามาเทียบกับตารางกฎด้านบนได้ 🙂

คำถามที่พบบ่อย

robots.txt คือ อะไร อธิบายแบบง่ายที่สุด

robots.txt คือไฟล์ข้อความที่วางไว้ตรงทางเข้าของเว็บ บอกบอทของเครื่องมือค้นหาว่าเข้าไปเก็บข้อมูลหน้าไหนได้ หน้าไหนไม่ต้องเข้า

ทุกเว็บต้องมี robots.txt ไหม?

ไม่จำเป็น ถ้าไม่มีไฟล์นี้ Google จะถือว่าเว็บไม่ได้ห้ามอะไร และเข้าเก็บข้อมูลได้ทุกหน้า ส่วนเว็บ WordPress มีไฟล์เสมือนให้อยู่แล้ว

ใช้ robots.txt ซ่อนหน้าจาก Google ได้ไหม?

ไม่ได้ หน้าที่ถูกห้ามใน robots.txt ยังขึ้นผลค้นหาได้ถ้ามีลิงก์มาหา ถ้าอยากซ่อนให้ใช้ noindex หรือตั้งรหัสผ่าน และอย่าบล็อกหน้านั้นใน robots.txt

แก้ robots.txt แล้ว Google จะเห็นเมื่อไหร่?

Google อัปเดตสำเนา robots.txt ทุก 24 ชั่วโมง ถ้าอยากให้เร็วขึ้น ให้กด “ขอให้ทำการ Crawl อีกครั้ง” ในรายงาน robots.txt ของ Google Search Console

WordPress แก้ robots.txt ตรงไหน?

ถ้าใช้ Yoast SEO แก้ได้ที่เมนู Yoast SEO แล้วเลือก Tools และ File editor ถ้าไม่ใช้ปลั๊กอิน ให้อัปโหลดไฟล์ robots.txt จริงไว้ที่รากของเว็บผ่าน FTP หรือตัวจัดการไฟล์ของโฮสต์

บล็อก Google-Extended แล้วเว็บจะหลุดจาก Google ไหม?

ไม่หลุด Google บอกว่า Google-Extended ไม่กระทบการขึ้นผลค้นหาของ Google และไม่ได้ใช้เป็นปัจจัยจัดอันดับ

แหล่งอ้างอิง

• Google Search Central: Introduction to robots.txt (อัปเดต 10 ธ.ค. 2025)
• Google Search Central: How to write and submit a robots.txt file (อัปเดต 21 พ.ย. 2025)
• Google Search Central: Block Search indexing with noindex (อัปเดต 10 ธ.ค. 2025)
• Search Console Help: รายงาน robots.txt (ตรวจเมื่อ 22 ต.ค. 2026)
• Yoast Help: How to edit robots.txt through Yoast SEO (ตรวจเมื่อ 22 ต.ค. 2026)