Crawl คืออะไร บอทของ Google เดินเก็บหน้าเว็บยังไง

คุยเรื่อง SEO ทีไร คำว่า Crawl โผล่มาทุกที วันนี้มาแกะคำนี้ให้เข้าใจกันแบบง่ายๆ

Crawl คือ การที่โปรแกรมอัตโนมัติของเครื่องมือค้นหา เช่น Googlebot ของ Google เดินเปิดหน้าเว็บทีละหน้า แล้วดาวน์โหลดข้อความ รูป และวิดีโอไปอ่าน การทำแบบนี้เรียกว่า Crawling และเป็นขั้นแรกก่อนที่หน้าเว็บจะมีโอกาสขึ้นผลค้นหา

Crawl คืออะไร?

Crawl คือขั้นแรกของ Google Search ที่บอทเดินไปตามหน้าเว็บ แล้วดาวน์โหลดเนื้อหามาอ่าน เพื่อรู้ว่ามีหน้าไหนอยู่บ้าง และแต่ละหน้าพูดเรื่องอะไร

ลองนึกถึงคนสำรวจตลาดนัดดูนะ เขาเดินจากร้านหนึ่งไปอีกร้าน จดว่าแต่ละร้านขายอะไร เห็นป้ายบอกทางไปร้านใหม่ก็เดินตามไปดู

บอทก็ทำแบบนั้นเลย บอทคือโปรแกรมที่ทำงานเองอัตโนมัติ บอทตัวหลักของ Google ชื่อ Googlebot บางคนเรียกบอทแบบนี้ว่า crawler หรือ spider ก็คือตัวเดียวกัน

Googlebot มี 2 แบบ แบบแรกทำตัวเหมือนคนใช้มือถือ อีกแบบทำตัวเหมือนคนใช้คอมพิวเตอร์ เพื่อให้เห็นหน้าเว็บแบบเดียวกับคนอ่านจริง

ระหว่าง crawl นั้น Google ยังเปิดหน้าเว็บด้วย Chrome รุ่นใหม่ และรันโค้ด JavaScript ที่เจอด้วย JavaScript คือโค้ดที่ช่วยโหลดของในหน้าเว็บ เช่น รายการสินค้าที่ค่อยๆ ขึ้นมา

ทำไม Crawl ถึงสำคัญกับ SEO?

Crawl สำคัญกับ SEO เพราะเป็นประตูบานแรก ถ้า Googlebot เข้าไปอ่านหน้าเว็บไม่ได้ Google ก็ไม่รู้ว่าหน้านั้นมีเนื้อหาอะไร และไม่มีข้อมูลไปตัดสินว่าจะแสดงหน้านั้นให้คนค้นเห็นไหม

Google แบ่งงานเป็น 3 ขั้น คือ crawl, index และแสดงผลค้นหา crawl คือการเดินไปเปิดหน้า ส่วนขั้นถัดไปอ่านต่อได้ที่ Index คือ อะไร

แต่ crawl แล้วก็ยังไม่ได้แปลว่าติดแน่นอนนะ Google บอกเองว่าไม่รับประกันว่าจะ crawl, index หรือแสดงหน้าไหน แม้เว็บจะทำตามคำแนะนำครบ

ปัญหาที่ทำให้บอทเข้าไม่ได้ Google ยกไว้ 3 อย่าง คือเซิร์ฟเวอร์มีปัญหา เครือข่ายมีปัญหา และกฎในไฟล์ robots.txt ที่ห้าม Googlebot เข้า ไฟล์ robots.txt คือป้ายหน้าเว็บที่บอกบอทว่าเข้าตรงไหนได้

ตัวอย่าง Crawl ใกล้ตัว

ตัวอย่าง crawl ที่เห็นง่ายที่สุดคือตอนลงบทความใหม่ Googlebot มักเจอหน้าใหม่จากลิงก์ในหน้าที่เคย crawl แล้ว หรือจากรายชื่อหน้าใน sitemap

สมมติว่าร้านขนมของคุณมีเว็บ แล้ววันนี้ลงบทความใหม่เรื่องสูตรบราวนี่

ถ้าหน้าแรกมีลิงก์ไปบทความนี้ วันที่ Googlebot แวะกลับมาอ่านหน้าแรก มันก็จะเห็นลิงก์ แล้วเดินตามไปเปิดบทความใหม่ได้เลย

แต่ถ้าบทความไม่มีลิงก์จากหน้าไหนเลย บอทก็หาทางเข้าไม่เจอ เหมือนร้านในซอยลึกที่ไม่มีป้ายบอกทาง ขนมอร่อยแค่ไหนก็ไม่มีใครเดินผ่าน T_T

อีกทางคือส่ง sitemap ซึ่งเป็นรายชื่อหน้าในเว็บให้ Google ดู Google บอกว่า sitemap ช่วยได้ แต่ไม่ได้บังคับว่าต้องมี วิธีทำอยู่ในบทความ Sitemap คือ อะไร

เช็กการ Crawl ของหน้าเว็บยังไง?

วิธีเช็กการ crawl รายหน้าที่ง่ายที่สุดคือใช้เครื่องมือตรวจสอบ URL ใน Google Search Console ซึ่งบอกว่า Google crawl หน้านั้นครั้งล่าสุดเมื่อไหร่ และเข้าหน้านั้นได้หรือไม่

Google Search Console คือบริการฟรีของ Google ที่ให้เจ้าของเว็บดูว่า Google เห็นเว็บของตัวเองยังไง เหมือนสมุดพกที่ครูส่งกลับบ้านให้ดูผลการเรียน

1. เปิด Google Search Console แล้ววางลิงก์หน้าเว็บของคุณที่อยากเช็กลงในช่องค้นหาด้านบน
2. ดูช่อง “การ Crawl ครั้งสุดท้าย” ว่า Google แวะมาที่หน้านี้เมื่อไหร่
3. ดูช่อง “อนุญาตให้ทำการ Crawl ไหม” ถ้าคำตอบคือไม่ แปลว่ากฎใน robots.txt บล็อกหน้านี้อยู่
4. ดูช่อง “การดึงข้อมูลหน้าเว็บ” ว่า Google ดึงหน้านี้จากเซิร์ฟเวอร์ได้จริงไหม
5. ถ้าเพิ่งแก้หน้าเว็บ กด “ทดสอบ URL ที่เผยแพร่อยู่” เพื่อดูผลของหน้าตอนนี้

ส่วนรายงาน Crawl stats ในหน้าตั้งค่าของ Search Console คือรายงานสถิติการ crawl ของทั้งเว็บ สำหรับคนที่อยากลงลึก Google บอกว่าเว็บที่มีไม่ถึง 1,000 หน้า ไม่จำเป็นต้องใช้รายงานนี้

ถ้าอยากเช็กเรื่องหลังบ้านเว็บด้านอื่นต่อ อ่านได้ที่ Technical SEO คืออะไร ลองเปิดเช็กหน้าที่เพิ่งลงดูสักหน้าก็ได้นะ

คำถามที่พบบ่อย

Googlebot เข้าเว็บบ่อยแค่ไหน?

Google บอกว่าสำหรับเว็บส่วนใหญ่ Googlebot ไม่ควรเข้าเว็บบ่อยกว่า 1 ครั้งในทุกๆ ไม่กี่วินาทีโดยเฉลี่ย และจะชะลอเองถ้าเซิร์ฟเวอร์ตอบช้าหรือมีข้อผิดพลาด ส่วนจะ crawl หน้าไหนบ่อยแค่ไหน ระบบของ Google เป็นคนตัดสิน

เว็บเล็กต้องห่วงเรื่อง crawl budget ไหม?

ส่วนใหญ่ไม่ต้องห่วง crawl budget คือชุดหน้าเว็บที่ Google crawl ได้และอยากจะ crawl ในเว็บหนึ่ง คู่มือเรื่องนี้ของ Google เขียนไว้สำหรับเว็บใหญ่ เช่น เว็บที่มีเกิน 1 ล้านหน้าและเนื้อหาเปลี่ยนราวสัปดาห์ละครั้ง หรือเว็บที่มีเกิน 10,000 หน้าและเนื้อหาเปลี่ยนทุกวัน ถ้าหน้าใหม่ถูก crawl ภายในวันที่ลง Google บอกว่าไม่ต้องอ่านคู่มือนี้

ห้าม crawl ด้วย robots.txt แล้วหน้าจะหายจาก Google ไหม?

ไม่เสมอไป Google บอกว่า robots.txt ใช้คุมการเข้าของบอท ไม่ใช่วิธีซ่อนหน้าจาก Google หน้าที่ถูกห้าม crawl ยังขึ้นผลค้นหาได้แต่ไม่มีคำอธิบาย ถ้าอยากซ่อนหน้า ให้ใช้ noindex ซึ่งเป็นคำสั่งบอก Google ว่าไม่ให้แสดงหน้านี้ในผลค้นหา หรือตั้งรหัสผ่านแทน

แหล่งอ้างอิง

• In-depth guide to how Google Search works, Google Search Central (อัปเดต 18 ธ.ค. 2025)
• Googlebot, Google Search Central (อัปเดต 3 ก.พ. 2026)
• Crawl Budget Management, Google Crawling Infrastructure (อัปเดต 22 ก.ค. 2026)