การ วิเคราะห์ แฟ้ม ปูมบันทึก: ดู ว่า Googlebot จะ งอ ที่ นั่ง ของ คุณ ได้ อย่าง ไร
ถ้า คุณ เคย จ้อง ดู รายงาน เรื่อง “ท่า อากาศยาน ” ของ กูเกิล และ รู้สึก ว่า คุณ พลาด ไป ครึ่ง หนึ่ง ของ เรื่อง คุณ ก็ ไม่ ได้ อยู่ คน เดียว. รายงานบอกว่ามีกี่คนการ ขอ กูเกิ้ล บอต ทํา กับ เครื่องแม่ข่าย ของ คุณ แต่ ไม่ ได้ บอก คุณ ว่า ที่ อยู่ อาศัย เฉพาะ ที่ ใด, บ่อย แค่ ไหน, หรือ รหัส สถานะ HTTP ที่ ถูก ส่ง กลับ มา. ที่ นั่น แหละวิเคราะห์แฟ้มปูมบันทึกเข้ามา
ผม ทํา งาน ด้าน เทคนิค SEO มา นาน กว่า สิบ ปี แล้ว และ ผม สามารถ บอก คุณ ได้ โดย ไม่ ลังเล ว่า แฟ้ม บันทึก การ รับ ใช้ เป็น แหล่ง ความ จริง ที่ ร่ํารวย ที่ สุด แห่ง เดียว เกี่ยว กับ พฤติกรรม ที่ กูเกิ้ล บอต รวบรวมข้อมูล. พวกเขาแสดงการร้องขอจริงที่เซิร์ฟเวอร์ของคุณได้รับ ลงไปที่ที่สอง คลานเข้าไปในเว็บไซต์ของคุณเองด้วยเครื่องมือเช่นกรีดร้องกบเพียง แต่บอกคุณว่าสามารถให้คลาน -- แฟ้มในบล็อกบอกคุณว่าคือคลานจริงๆ
ใน คู่มือ นี้ ผม จะ ตรวจ สอบ ให้ แน่ ใจ ว่า การ วิเคราะห์ แฟ้ม บันทึก นั้น เป็น อย่าง ไร เหตุ ใด จึง สําคัญ ที่ จะ เข้าใจ พฤติกรรม ของ Googlebot ที่ คลาน ไป มา, วิธี ที่ จะ ใช้ เครื่อง มือ ที่ ถูก ต้อง, และ ควร ทํา อย่าง ไร กับ ความ หยั่ง เห็น เข้าใจ. ใน ที่ สุด คุณ จะ รู้ วิธี วินิจฉัย ว่า งบ ประมาณ ของ คุณ กําลัง ยัด เข้า ไป อย่าง ไร.
เหตุ ผล ที่ การ วิเคราะห์ แฟ้ม ปูมบันทึก
ทุกครั้งที่ Googlebot ไปเยี่ยมเว็บไซต์ของคุณ มันจะทิ้งรอยเท้าไว้ในบันทึกเซิร์ฟเวอร์ของคุณ ปูมบันทึกเหล่านั้นบรรจุที่อยู่ URL, timetamp, ตัวแทนผู้ใช้ (Googlebot vs. Bingbot vs. ผู้ใช้จริง), รหัสสถานะ HTTP, ไบต์, และบางรายการอ้างอิงข้อมูล โดย วิเคราะห์ บันทึก เหล่า นี้ คุณ สามารถ ตอบ คํา ถาม ได้ เช่น:
- หน้าไหนของกูเกิ้ลบอทที่คลานบ่อยที่สุด?
- GoogleBott เสียเวลาในการเขียนเนื้อหาบาง ๆ, วงจรการวางแผง, หรือหน้าเว็บอนันต์?
- มีหน้าไหนที่ส่งกลับมา 404 หรือ 500 ที่กูเกิลบอทยังตีอยู่อีกไหม
- Googlebot จะทบทวนเนื้อหาปรับปรุงบ่อยแค่ไหน?
- มี ปัญหา เรื่อง งบ ประมาณ ใน เว็บไซต์ ขนาด ใหญ่ (100k+ หน้า) ไหม?
วิเคราะห์แฟ้มปูมบันทึกเป็นทางเดียวที่จะได้คําตอบที่แน่นอน มันไม่ใช่ SEO “ดีที่มี" -- มันเป็นการฝึกทางเทคนิคหลักของ SEO โดยเฉพาะสําหรับเว็บไซต์ enterprise เมื่อฉันตรวจสอบเว็บไซต์ที่มีหลายร้อยหลายพันหน้า ฉันมักจะเริ่มด้วยบันทึกก่อนใด ๆ ในหน้าปรับแต่ง
โปรแกรม Googlebot Decelection vs. 67Daily
มี ความ เข้าใจ ผิด ทั่ว ไป ที่ ว่า “งบ Crawl" เป็น สิ่ง ที่ Google ให้ คุณ. ที่ จริง นั่น เป็น ผล จาก วิธี ที่ เครื่อง รับ ใช้ ของ คุณ ตอบ สนอง ต่อ Googlebot. ถ้าเซิร์ฟเวอร์ของคุณเร็ว และกลับมา 200 โอเค อย่างสม่ําเสมอ Googlebot จะกลับมาบ่อยขึ้น หากคุณมีหน้าที่ช้า โซ่เปลี่ยนเส้นทาง หรือข้อผิดพลาด Googlebot จะชะลอหรือหยุดการคลาน
โดยการดําน้ําเข้าไปวิเคราะห์แฟ้มปูมบันทึกคุณเห็นได้ว่างบคลานอยู่ที่ไหน ตัวอย่างเช่น ผมเคยทํางานกับลูกความ e-commerce ที่ Googlebot ถูกย้ายที่อยู่ URL 80,000 ตัวต่อวัน -- แต่ 40% ของพวกเขาเป็นผลิตภัณฑ์ที่ล้าสมัยแล้ว นั่น เป็น ทรัพยากร ที่ เสีย เปล่า. หลังจากทําความสะอาดเส้นทางและเพิ่ม หุ่นยนต์คําสั่ง เราตัดขยะไปครึ่งหนึ่ง และเห็นการจราจรอินทรีย์เพิ่มขึ้น 25% ภายใน 3 สัปดาห์
จะทําการวิเคราะห์แฟ้มปูมบันทึกอย่างไร: เครื่องมือและขั้นตอนต่าง ๆ
คุณ ไม่ จําเป็น ต้อง เป็น ผู้ ดู แล ระบบ เพื่อ จะ เข้า ถึง แฟ้ม บันทึก เสียง ของ คุณ. เว็บโฮสต์ส่วนใหญ่จะให้สิทธิ์ในการใช้งานผ่าน CPanel, FTP หรือการดาวน์โหลดโดยตรง สําหรับ เว็บไซต์ ขนาด ใหญ่ คุณ อาจ ต้อง ทํา งาน ร่วม กับ ทีม ดี วี โอพ เพื่อ จะ ได้ ไม้ ซุง ดิบ แบบ เดียว กับ อา ปาเช ที่ รวบ รวม เข้า มา, เอ็น กิน ซ์, หรือ เอ ดับเบิล ยู เอส คลา วด์ ฟ รอนต์.
ขั้น ที่ 1
วิธีการมาตรฐานคือการดาวน์โหลดบันทึกเซิร์ฟเวอร์อย่างน้อย 7-14 วัน สําหรับพฤติกรรมการคลานของกูเกิลที่ถูกต้อง ผมขอแนะนําให้เดือนเต็ม ทําให้แน่ใจว่าปูมบันทึกนี้รวมเอาส่วนติดต่อผู้ใช้ไว้ด้วย เพื่อที่คุณจะได้กรองสําหรับ Googlebot (mozilla/5.0) เข้ากันได้; Googlebot/2.1; +httpkwww.google.com/bot.html.
ขั้นที่ 2: ใช้ตัววิเคราะห์แฟ้มปูมบันทึกแบบถอดไพ่
คุณสามารถวิเคราะห์บันทึกด้วย Python หรือ grep แต่เครื่องมือพิเศษบันทึกเวลาขนาดใหญ่ นี่คือตัวเลือกแรกของผม
- โปรแกรมวิเคราะห์ปูมบันทึกการกรีดร้องของกบ- ฟรีถึง 1,000 บรรทัด; รุ่นจ่ายจัดการล้าน สมบูรณ์แบบสําหรับการวิเคราะห์ และการมองเห็น
- ย่อ/ ขยาย- เอนเตอร์เทนเมชันแพลตฟอร์มที่มีกระบวนการดําเนินการตามเวลาจริง, รวบรวมข้อมูลงบประมาณและ integration กับ Google Annics
- ลูมาร์ (เดิมเป็นดีพรอว์)- เครื่องมือปฏิบัติการอื่นที่มีแฟ้มบันทึกการนําเข้า และรายละเอียดการรวบรวมข้อมูลสุขภาพ
ขั้นที่ 3: กรองสําหรับ Googlebot เท่านั้น
เครื่องมือจะจําแนกตัวแทนผู้ใช้ Googlebot โดยอัตโนมัติ เอาหุ่นตัวอื่นทั้งหมด (Bing, Yandex, Facebook) โฟกัสไปที่ Googlebot
ขั้น ที่ 4: การ วิเคราะห์
ดูที่:
- การกระจายรหัสสถานะ- % ของ 200, 301, 404, 500 สําหรับ Googlebot.
- ความถี่ของการลากคอโดยที่อยู่ URL- หน้าไหนฮิตที่สุด
- ความลึกฐาน- Googlebot ไปลึกกี่ระดับ?
- ตาข่ายเวลา คลาน- ไต่เขาเวลา บางครั้งก็ชี้ถึง สี่เหลี่ยมจตุรัส
นี่เป็นตัวอย่างจากเว็บไซต์ อี-คอมเมอซ์ ตะวันออกกลาง ที่ผมตรวจสอบเมื่อปีที่แล้ว
| เมตริก | ก่อน ทํา โอปติเมชัน | หลังการชดเชย |
|---|---|---|
| รวมการร้องขอ Googlebot ต่อวัน | 12,000 | 8,500 |
| % ของการร้องขอคืน 200 | 60% | 80% |
| % ของคําร้องขอไปยังที่อยู่ URL แบบไม่ใช่ภาษาคาทอลิก | 25% | 5% |
| งบประมาณครอว์ที่เสียไป (%) | 40% | 15% |
ตัวเลขพวกนี้มาจากลูกค้า ที่มีสินค้า 50,000 หน้า หลังจากวิเคราะห์แฟ้มปูมบันทึก เราระบุว่า Googlebot ถูกเรียงสับเปลี่ยนและที่อยู่ URL ที่ใช้ร่วมกัน เราบล็อกในหุ่นยนต์.txt และปรับปรุงการเชื่อมโยงภายในกับหน้า ผล ก็ คือ การ จราจร ทาง อินทรีย์ มาก ขึ้น และ การ ทํา ดัชนี ได้ เร็ว ขึ้น.
การ หยั่ง เห็น เข้าใจ ทั่ว ไป จาก การ วิเคราะห์ แฟ้ม ปูมบันทึก
เมื่อคุณมีข้อมูลของคุณ งานที่แท้จริงจะเริ่มต้น นี่คือรูปแบบที่ผมเห็นมาหลายครั้งแล้ว
1. ครอว์ ออฟ ทิน หรือ เนื้อหาซ้ํากัน
หาก Googlebot ถูกตีหน้าที่ไม่มีค่าอินทรีย์ -- facets, petgined Artive, เครื่องพิมพ์ที่เป็นมิตร -- คุณกําลังเสียงบประมาณการรวบรวมข้อมูล ใช้วิเคราะห์แฟ้มปูมบันทึกเพื่อระบุที่อยู่ URL และเพิ่มNindexหรือปฏิเสธคําสั่ง
2. หน้าผิดพลาดยังคงคลานอยู่
แม้หลังจากที่คุณลบหน้าเก่า Googlebot อาจยังคงรวบรวมข้อมูลสําหรับ 404 จนกว่าจะถูกลบออกจากดัชนี Logs จะแสดงให้คุณเห็นว่าที่อยู่ URL ที่ส่งกลับ 404s และบ่อยแค่ไหน ถ้า คุณ เห็น ว่า มี การ โจมตี 404 ราย ทุก วัน จง กําหนด เส้น ทาง 301 เส้น ให้ เป็น หน้า ที่ เกี่ยว ข้อง หรือ วิธี การ ที่ ใช้ ได้ ผล 404 วิธี.
3. เลื่อนความผันผวน
หน้า ต่าง ๆ ที่ ปรับ ปรุง บ่อย ๆ (เช่น ข่าว หรือ ราคา สินค้า) น่า จะ ไต่ เขา บ่อย ขึ้น. ถ้า เนื้อหา ที่ สําคัญ ที่ สุด ของ คุณ คือ การ คลาน เพียง เดือน ละ ครั้ง ขณะ ที่ บล็อก เก่า ๆ ไป เยี่ยม คุณ ทุก วัน นั่น คือ ธง สี แดง. แฟ้มปูมบันทึกเปิดเผยความไม่สมดุลเหล่านี้
4. ผลกระทบของการตั้งค่าอัตราครอว์ใน GSC
Google Search Console ช่วยให้คุณตั้งค่าจํากัดการรวบรวมข้อมูล แต่เป็นเครื่องมือทื่อ แฟ้มปูมบันทึกแสดงผลกระทบตามเวลาจริงของการตั้งค่าดังกล่าว และว่าคุณจําเป็นต้องเพิ่มขีด จํากัด สําหรับการทําดัชนีที่เร็วขึ้นหรือไม่
5. การตรวจสอบของ Bot Mimecry
บางครั้งพวกบ้าบิ่นก็แกล้งทําเป็นกูเกิ้ลบอท ปูมบันทึกเซิร์ฟเวอร์พร้อมการตรวจสอบ DNS ย้อนกลับ สามารถระบุตัวปลอมได้ Legitimay Googlebot ร้องขอเสมอมาจาก Gifficbot.com ชื่อเล่น. ถ้าคุณเห็นตัวแทนปลอมที่บริโภคทรัพยากร บล็อกที่ไฟร์วอลล์
กําลังเปรียบเทียบเครื่องมือวิเคราะห์แฟ้มปูมบันทึก
เพื่อช่วยให้คุณเลือกเครื่องมือที่เหมาะสม นี่คือตารางเปรียบเทียบตามประสบการณ์ของผม:
| เครื่องมือ | ความละเอียด | คุณสมบัติของกุญแจ | ดีที่สุดสําหรับ |
|---|---|---|---|
| [เครื่องวิเคราะห์ไฟล์ของกบกรีดร้อง] (htttps www. Croughfrough.co.uk/log-file-analyser/) | ฟรี (จํากัด) / จ่าย 149 ปอนด์/ปี | การนําเข้าปูมบันทึกแบบเรียลไทม์, ตัวแทนการกรองผู้ใช้, การยกเลิกรหัสการตอบโต้, รายงานการส่งออกได้ | ปัจเจกบุคคลและขนาดเล็กต่อเว็บไซต์ขนาดกลาง |
| [Botify](https://www.botify.com) | ตั้งค่าเอง | ปูมบันทึกต่อเนื่อง การไหล, การรวบรวมข้อมูลงบประมาณหน้าปัด, รายรับรายได้, API | ขนาดใหญ่ e-commerce และ enterprise |
| [Lumar (Deepcragral) (httttpss www.Lumar.io) | ตั้งค่าเอง | อัปโหลดแฟ้มปูมบันทึก, วิเคราะห์พาธ, ทํางานร่วมกับ GSC และ GA | ทีม SEO ในบ้านขนาด |
| กําหนดสคริปต์เอง (Python/AWK) | ว่าง | ควบคุมได้เต็มที่ แยกแยะได้ | ผู้พัฒนาพร้อมเวลาและงบประมาณ |
ผม ใช้ ทั้ง สี่ ตัว. สําหรับหน่วยงานส่วนใหญ่และทีมภายใน การกรีดร้องเครื่องวิเคราะห์ไฟล์กบ เป็นมูลค่าที่ดีที่สุด สําหรับ เว็บไซต์ ขนาด ใหญ่ (1M+ หน้า), การ ดําเนิน งาน แบบ อัตโนมัติ ของ บอ ตติฟฟ์ นั้น ยาก ที่ จะ ชนะ.
จะ ทํา อย่าง ไร เมื่อ มอล ฟอร์ด ข้อมูล
เก็บข้อมูลก็ไม่มีประโยชน์ ถ้าไม่มีการกระทํา นี่ แหละ คือ สิ่ง ที่ คุณ ควร ทํา หลัง จากวิเคราะห์แฟ้มปูมบันทึก:
แก้รอยหยักและส่วนเชื่อมโยงที่แตก
ถ้า Googlebot ตี 301s ที่นําไปสู่ 404 การปรับปรุงห่วงโซ่เปลี่ยนเส้นทาง ใช้ข้อมูลปูมบันทึกเพื่อรวมรายการที่อยู่ URL ที่เสียหายที่สุด และปรับใช้ 301 ที่เหมาะสมกับหน้าที่เกี่ยวข้อง
Offimatize กองทุนครอว์กับหุ่นยนต์.txt
บล็อคส่วนที่ไม่ต่อเนื่องทั้งหมด: admin, ตัวแปรหน้า, ID ของกลุ่ม, หน้าหมายเหตุ ใช้แปรงทาสีคําสั่งเฉพาะเมื่อจําเป็น -- เว็บไซต์ส่วนใหญ่ไม่ต้องการมัน
ปรับปรุงที่อยู่เชื่อมโยงภายในบนหน้ากุญแจ
หากปูมบันทึกแสดงให้เห็นว่ามีหน้าที่มีมูลค่าสูง (เช่นผลิตภัณฑ์ที่ขายดีของคุณ) ยากที่จะคลานได้ ให้เพิ่มลิงก์ภายในจากหน้าเว็บชั้นสูง (เช่น หน้าหลักหรือหน้าหมวดหมู่) สัญญาณนี้มีความสําคัญต่อ Googlebot
เวลาปรับความเร็วของเซิร์ฟเวอร์
Googlebot จะลดอัตราการคลานเมื่อเวลาเซิร์ฟเวอร์ตอบสนองมากกว่า 200 มิลลิวินาที ใช้ปูมบันทึกเพื่อระบุจุดสิ้นสุดที่ช้า และปรับแต่งให้เหมาะสมที่สุด พิจารณาที่อยู่ URL ที่ซ้ํากัน
ส่งหน้าวิกฤติผ่านทาง GSC
หากคุณมีข่าวหรือการเปิดตัวผลิตภัณฑ์ใหม่ที่ต้องการดัชนีทันที ระบุว่า Googlebot ได้ตีหน้าแล้วโดยการตรวจสอบบันทึก หากไม่ต้องการ ให้ใช้เครื่องมือจัดการแฟ้ม URL เพื่อร้องขอทําดัชนี
จาก หมอน ข้อมูล สู่ การ สั่น สะเทือน
วิธีที่เราตรวจสอบนี้ (กันยายน 2026): เราทําการตรวจสอบแฟ้มปูมบันทึกอีกครั้งในคุณสมบัติของลูกค้าเมื่อเดือนกันยายน 2026; ชื่อเครื่องมือและข้อจํากัดเสรีสะท้อนสิ่งที่เราสามารถตรวจสอบได้ว่าเป็นวันที่
ข้อมูลครอว์บอกคุณว่าเกิดอะไรขึ้น (คือ) บรรดาผู้ชี้แนะทางของมัน (ทางทิศตะวันตก)
- โปรแกรมวิเคราะห์เครือข่าย SEO-ผลการตรวจสอบเต็มรูปแบบ รอบค้นพบบันทึกของคุณ
- ถัดไป.js SEO: SSR vs ISR vSSG— การ แก้ ปัญหา การ แปล
- AEO vs SEO-ให้เพจคลานได้ข้อความด้วย
ถาม บ่อย ๆ
1. มีแฟ้มบันทึก วิเคราะห์เหมือนกับการคลานของเว็บไซต์หรือไม่?
ไม่ การ คลาน เข้า ไป ใน บริเวณ หนึ่ง (ด้วย การ ร้อง กบ หรือ คล้าย ๆ กัน) จําลอง สิ่ง ที่ หุ่นสามารถคลาน การวิเคราะห์แฟ้มปูมบันทึก แสดงสิ่งที่ Googlebotที่จริงคลาน ทั้งสองคู่รวมกัน
2. ขอแฟ้มบันทึกจากเครื่องรับส่งร่วมกันได้ไหม?
ใช่ แล้ว เจ้า ภาพ ที่ ใช้ ร่วม กัน มาก ที่ สุด จัด ให้ มี การ บันทึก การ เข้า รหัส ดิบ ผ่าน ทาง CPanel (ปกติ จะ เป็น ใน ส่วน ที่ มี ชื่อ ว่า “เครื่อง วัด ”). ถ้า ไม่ จง ขอ การ สนับสนุน เพื่อ ทํา ให้ พวก เขา สามารถ ทํา ได้.
3. ผมต้องวิเคราะห์ข้อมูลบันทึกเท่าไหร่?
อย่าง น้อย 7 วัน; 14-30 วัน ดี กว่า สําหรับ การ จับ แบบ ประจํา สัปดาห์. หลีก เลี่ยง ยอด ดัง เช่น การ จราจร ใน วัน หยุด เว้น แต่ ว่า นั่น เป็น จุด รวม ความ สนใจ ของ คุณ.
4. แฟ้มปูมบันทึกรวมข้อมูลจาวาสคริปต์ด้วยหรือไม่?
บันทึกการเข้าใช้จับภาพการร้องขอ HTTP ทั้งหมด รวมทั้ง XHR/Fitch ที่เรียกร้องให้ใช้เนื้อหาแบบ JS (JS) อย่างไรก็ตาม มันมักมาจากเว็บเบราว์เซอร์ ไม่ใช่ Googlebot คุณต้องกรองด้วยผู้ใช้อย่างระมัดระวัง
5 จะ ว่า อย่าง ไร ถ้า IP ของ Googlebot มีการเปลี่ยนแปลง?
Google เผยแพร่ช่วง IP ในกูเกิ้ลบอท FAQ. ตัววิเคราะห์ปูมบันทึกส่วนใหญ่ จะตรวจสอบ IPs กับรายการนั้นโดยอัตโนมัติ
ความคิดสุดท้าย&ขั้นถัดไป
วิเคราะห์แฟ้มปูมบันทึกเป็น สิ่ง ที่ ใกล้ ที่ สุด ที่ คุณ จะ มอง ผ่าน ตา ของ กูเกิ้ล ได้. มันบอกคุณว่าหน้าไหนกําลังคลานอยู่, บ่อยแค่ไหน, และ Googlebot จะติดอยู่ในวงเวียนของที่อยู่ URL ที่มีค่าต่ําหรือไม่ รวมเข้ากับพฤติกรรมของ Googlebot ที่เคลื่อนไหวข้อมูลจากการสืบค้นของ Console คุณสามารถสร้างกลยุทธ์ SEO ที่แม่นยําในทางเทคนิค ที่บันทึกงบประมาณและเพิ่มประสิทธิภาพในดัชนี
ที่ DG10 เอเจนซี่ เราใช้การวิเคราะห์แฟ้มบันทึก ในทุกองค์กรตรวจสอบ มันไม่ใช่ตัวเลือก -- เป็นรากฐาน ถ้า คุณ กําลัง ต่อ สู้ กับ ปัญหา การ จัด ดัชนี, การ ตก รถ, หรือ สถาน ที่ ขนาด ใหญ่ ที่ ดู เหมือน ไม่ เคย ได้ รับ การ จัด ดัชนี อย่าง ครบ ถ้วน ก็ ถึง เวลา ที่ จะ ตรวจ ดู ไม้ ซุง.
พร้อมที่จะดูว่า Googlebot รวบรวมข้อมูลเว็บไซต์ของคุณหรือไม่ที่อยู่ติดต่อ DG10สําหรับการตรวจสอบ SEO ทางเทคนิค ซึ่งรวมถึงการวิเคราะห์แฟ้มบันทึกการบันทึกแบบย่อ และการรวบรวมข้อมูลที่เหมาะสมที่สุด เรา จะ เปลี่ยน บันทึก การ รับ ใช้ ของ คุณ ให้ เป็น ทาง เดิน ที่ ดี ขึ้น เพื่อ จะ มี ประสิทธิภาพ ทาง อินทรีย์.
บทความนี้เขียนโดยทีมเทคนิค SEO ที่ DG10 เอเจนซี่ การศึกษาและข้อมูลคดีทั้งหมด มาจากโครงการลูกความที่แท้จริง สําหรับเพิ่มเติมเกี่ยวกับพื้นฐานเทคนิค SEO อ่านของเราเสานําสู่บริษัทเทคนิค SEO.