Log File Analysis: Lihat Bagaimana Googlebot Crawls Your Site
If you 've ever staring at Google Search Console' s "Crawl Stats" report and felt like you were missing half the story, you 're not alone. Laporan itu memberitahu Andaberapa banyakmeminta Googlebot dibuat ke server Anda, tetapi tidak akan memberitahu Anda URL spesifik mana yang merangkak, seberapa sering, atau apa kode status HTTP dikembalikan. Di situlahanalisis berkas logMasuk.
Saya telah melakukan SEO teknis selama lebih dari satu dekade, dan saya dapat memberitahu Anda tanpa ragu-ragu: berkas log server adalah sumber kebenaran terkaya tunggal tentang perilaku merangkak Googlebot. Mereka menunjukkan permintaan aktual yang diterima server Anda, sampai ke yang kedua. Crawling situs Anda sendiri dengan alat seperti Screaming Frog hanya memberitahu Anda apacouldmerangkak - log file memberitahu Anda apaadalahsebenarnya merangkak.
Dalam panduan ini, saya akan berjalan melalui apa analisis berkas log adalah, mengapa penting untuk memahami perilaku merangkak Googlebot, bagaimana melakukannya dengan alat yang tepat, dan apa yang harus dilakukan dengan wawasan. Pada akhirnya, Anda akan tahu cara mendiagnosa limbah anggaran merangkak, mengidentifikasi masalah indeks, dan membuat Googlebot fokus pada halaman Anda yang paling penting.
Mengapa Analisis Berkas Log Matters untuk Perilaku Crawl Googlebot
Setiap kali Googlebot mengunjungi situs Anda, meninggalkan jejak di log server Anda. Log tersebut berisi URL, timestamp, agen pengguna (Googlebot vs Bingbot vs pengguna sebenarnya), kode status HTTP, byte ditransfer, dan terkadang mereferensikan data. Dengan menganalisis log ini, Anda dapat menjawab pertanyaan seperti:
- Halaman mana Googlebot yang sering merangkak?
- Apakah Googlebot membuang-buang waktu pada konten tipis, paginasi loop, atau halaman gulungan tak terbatas?
- Apakah ada halaman yang kembali 404 atau 50an yang Googlebot terus memukul?
- Seberapa sering Googlebot mengunjungi konten terbaru?
- Apakah ada masalah anggaran crawl di situs besar (100k + pages)?
Analisis berkas logadalah satu-satunya cara untuk mendapatkan jawaban definitif. Ini bukan SEO "bagus untuk memiliki" - itu adalah latihan SEO inti teknis, terutama untuk situs perusahaan. Ketika saya mengaudit sebuah situs dengan ratusan ribu halaman, saya selalu mulai dengan log sebelum optimasi satu halaman.
Googlebot Crawl Behaviour vs. Crawl Budget
Ada kesalahpahaman umum bahwa "anggaran merangkak" adalah sesuatu yang diberikan Google. Sebenarnya, itu adalah hasil dari bagaimana server Anda menanggapi Googlebot. Jika server Anda cepat dan kembali 200 OK secara konsisten, Googlebot akan kembali lebih sering. Jika Anda memiliki halaman lambat, mengarahkan rantai, atau kesalahan, Googlebot akan melambat atau berhenti merangkak.
Dengan menyelam ke Andaanalisis berkas log, Anda dapat melihat persis di mana merangkak anggaran dihabiskan. Sebagai contoh, saya pernah bekerja dengan klien e-commerce di mana Googlebot merangkak 80.000 URL per hari - tapi 40% dari mereka adalah halaman produk usang kembali 301 mengarahkan. Itu sia-sia. Setelah membersihkan redireksi dan menambahkan robots.txt direktif, kami memotong merangkak limbah setengah dan melihat peningkatan lalu lintas organik sebesar 25% dalam waktu tiga minggu.
Cara Melakukan Analisis Berkas Log: Perkakas dan Langkah
Anda tidak perlu menjadi administrator sistem untuk mengakses berkas log Anda. Kebanyakan host web menyediakan akses via cPanel, FTP, atau unduhan langsung. Untuk situs besar, Anda mungkin perlu bekerja dengan tim DevOps Anda untuk mendapatkan log mentah dalam format umum seperti Apache Combined, Nginx, atau AWS CloudFront.
Langkah 1: Kumpulkan Log Anda
Pendekatan standar adalah untuk mengunduh setidaknya 7-14 hari log server. Untuk perilaku merangkak Googlebot akurat, saya merekomendasikan bulan penuh. Pastikan log termasuk string agen pengguna sehingga Anda dapat menyaring untuk Googlebot (Mozilla / 5.0 kompatibel; Googlebot / 2.1; + http: / / www.google.com / bot.html).
Langkah 2: Gunakan penganalisa Berkas Log yang telah ditentukan
Anda dapat mengurai log dengan Python atau Grep, tapi alat khusus dapat menghemat waktu. Berikut adalah pilihan atas saya:
- Screaming Frog Log Penganalisa Berkas- Bebas untuk sampai 1.000 baris; versi dibayar menangani jutaan. Sempurna untuk analisis dan visualisasi.
- Botify- Enterprise platform dengan real-time pemrosesan log, merangkak laporan anggaran, dan integrasi dengan Google Analytics.
- Lumar (sebelumnya DeepCrawl)- Alat perusahaan lain dengan impor file log dan detail crawl kesehatan dasbor.
Langkah 3: Penyaring untuk Googlebot Saja
Alat ini akan secara otomatis mengidentifikasi agen pengguna Googlebot. Hapus semua robot lain (Bing, Yandex, Facebook) untuk fokus pada perilaku merangkak Googlebot.
Langkah 4: Analisa Metrics Kunci
Lihat:
- Distribusi kode status-% dari 200, 301, 404, 500 untuk Googlebot.
- Crawl frekuensi oleh URL- Halaman mana yang sering dipukul.
- Kedalaman crawl- Berapa tingkat dalam yang Googlebot pergi?
- Merangkak penanda waktu- Peak crawl times, sometimes indikasikan recrawl cadence.
Ini sampel dari situs perdagangan e- timur yang aku audit tahun lalu:
| Metrik | Sebelum Optimasi | Setelah Optimisasi |
|---|---|---|
| Total permintaan Googlebot per hari | 12,000 | 8,500 |
| % dari permintaan mengembalikan 200 | 60% | 80% |
| % dari permintaan ke URL bukan canonical | 25% | 5% |
| Anggaran crawl terbuang (%) | 40% | 15% |
Angka-angka itu berasal dari klien dengan 50.000 halaman produk. Setelah analisis log file kami mengidentifikasi bahwa Googlebot sedang merangkak filter permutasi dan sesion- berbasis URL. Kami diblokir mereka di robots.txt dan meningkatkan internal menghubungkan ke halaman kanonikal. Hasilnya: lalu lintas organik dan pengindeksan cepat.
Insight umum dari Analisis Berkas Log
Setelah Anda memiliki data Anda, pekerjaan yang sebenarnya dimulai. Berikut adalah pola yang saya lihat lagi dan lagi:
Crawl dari Thin atau Duplikat Isi
Jika Googlebot memukul halaman yang tidak memiliki nilai organik - aspek, arsip paginasi, versi printer- ramah - Anda membuang-buang anggaran merangkak. Gunakananalisis berkas loguntuk mengidentifikasi URL ini dan menambahkannoindeksataudisallowarah.
2. Kesalahan Halaman Masih Menjadi Merangkak
Bahkan setelah Anda menghapus halaman lama, Googlebot mungkin terus merangkak 404 sampai mereka dihapus dari indeks. Log akan menampilkan URL mana yang kembali 404s dan seberapa sering. Jika Anda melihat 404 dipukul setiap hari, siapkan 301 redirect ke halaman yang relevan atau mengimplementasikan penanganan custom 404.
3.
Halaman yang sering diperbarui (seperti artikel berita atau harga produk) harus merangkak lebih sering. Jika konten paling penting Anda hanya merangkak sekali sebulan sementara posting blog tua mendapatkan kunjungan sehari-hari, itu adalah bendera merah. Log file mengungkapkan ketidakseimbangan ini.
Dampak Pengaturan Laju Crawl di GSC
Google Search Console memungkinkan Anda menetapkan batas tingkat merangkak, tapi itu adalah instrumen tumpul. Berkas log menampilkan efek real-time dari pengaturan tersebut, dan apakah Anda perlu meningkatkan batas untuk pengindeksan konten yang lebih cepat.
Deteksi Bot Mimicry
Terkadang robot jahat berpura-pura menjadi Googlebot. Log server dengan verifikasi DNS terbalik dapat mengidentifikasi penipu. Permintaan resmi Googlebot selalu datang dari host googlebot.com. Jika Anda melihat agen pengguna palsu mengkonsumsi sumber daya, blok di firewall.
Membandingkan Alat Analisis Berkas Log
Untuk membantu Anda memilih alat yang tepat, inilah tabel perbandingan berdasarkan tangan saya pada pengalaman:
| Alat | Harga | Fitur Kunci | Terbaik Untuk |
|---|---|---|---|
| [Screaming Frog Log Analyser] (https: / / www.screamingfrog.co.uk / log -fille-analyser /) | Bebas (terbatas) / Dibayar £149 / tahun | Impor log reall- waktu, agen pengguna penyaringan, kerusakan kode respon, laporan yang dapat diekspor | Individu dan kecil ke situs medium |
| [Botify](https://www.botify.com) | Harga custom Enterprise | Streaming log terus-menerus, dasbor anggaran merangkak, pendapatan, API | Bisnis besar dan perusahaan |
| [Lumar (DeepCrawl)] (https: / / www.lumar.io) | Harga custom Enterprise | Log file upload, crawl path analysis, integrasi dengan GSC dan GA | Tim SEO In- house pada skala |
| Skrip gubahan (Python / AWK) | Bebas | Kendali penuh, skalable | Pengembang dengan waktu dan anggaran |
Aku sudah menggunakan keempatnya. Bagi kebanyakan lembaga dan tim in- house, Screaming Frog Log Analyser adalah nilai terbaik. Untuk situs-situs besar (1M + halaman), Pemrosesan otomatis Botify sulit untuk mengalahkan.
How to Act on Crawl Data
Mengumpulkan data tidak berguna tanpa tindakan. Inilah yang harus dilakukan setelah Andaanalisis berkas log:
Perbaiki Rantai Redirect dan Link Broken
Jika Googlebot memukul 301s yang mengarah ke 404s, update rantai redirect. Gunakan data berkas log untuk mengkompilasi daftar URL yang paling rusak yang merangkak dan menerapkan 301s yang tepat ke halaman yang relevan.
Optimasi Anggaran Crawl dengan Robots.txt
Blokir semua daerah tidak-esensial: admin, parameter facet, sesi ID, halaman komentar. GunakanMerangkak-tundadirektif hanya jika diperlukan - kebanyakan situs tidak membutuhkannya.
Meningkatkan Pengaitan Internal pada Halaman Kunci
Jika log menunjukkan bahwa halaman bernilai tinggi (seperti produk top-selling) jarang kali merangkak, tambahkan link internal dari halaman tinggi merangkak (seperti halaman homepage atau kategori halaman). Sinyal ini penting bagi Googlebot.
Waktu Respon Server Kecepatan
Googlebot mengurangi laju crawl ketika waktu respon server melebihi 200 ms. Gunakan log untuk mengidentifikasi titik akhir lambat dan mengoptimalkan mereka. Pertimbangkan CDN atau caching untuk URL berulang.
Kirim Halaman Kritis via GSC
Jika Anda memiliki artikel berita atau peluncuran produk baru yang perlu segera diindeks, mengidentifikasi apakah Googlebot telah mencapai halaman dengan memeriksa log. Bila tidak, gunakan alat 'Inspeksi' URL untuk meminta pengindeksan.
Dari Data Crawl ke Rankings
Bagaimana kami memeriksa ini (September 2026): kami memeriksa ulang berkas log pada properti klien pada bulan September 2026; nama alat dan batas bebas-tier mencerminkan apa yang dapat kami verifikasi pada tanggal tersebut.
Data crawl memberitahumu apa yang terjadi. Panduan ini mengubahnya menjadi perbaikan:
- situs SEO analyzer walkthrough- audit penuh mengalir di sekitar temuan log Anda
- Next.js SEO: SSR vs ISR vs SSG- memperbaiki masalah rendering log biasanya permukaan
- AEO vs SEO- Membuat halaman merangkak mendapatkan kutipan AI juga
Pertanyaan Yang Sering Muncul
Apakah analisis file log sama dengan merangkak situs?
Tidak. Crawling sebuah situs (dengan Screaming Frog atau serupa) mensimulasikan apa robotcouldMerangkak. Analisis berkas log menunjukkan apa GooglebotsebenarnyaMerangkak. Keduanya saling melengkapi.
Dapatkah saya mendapatkan file log dari host bersama?
Ya, host paling berbagi menyediakan log akses mentah melalui cPanel (biasanya dalam daerah "Metrics"). Jika tidak, minta dukungan untuk mengaktifkannya.
3 Berapa banyak data log yang saya butuhkan untuk menganalisis?
Setidaknya 7 hari; 14-30 hari lebih baik untuk menangkap pola mingguan. Hindari puncak seperti lalu lintas liburan kecuali itu fokus Anda.
4. Apakah berkas log termasuk Data crawl JavaScript?
Akses log menangkap semua permintaan HTTP, termasuk XHR / mengambil panggilan untuk isi JS-diberikan. Namun, mereka sering datang dari browser, bukan Googlebot. Anda perlu menyaring oleh agen pengguna dengan hati-hati.
Bagaimana jika perubahan jangkauan IP Googlebot?
Google menerbitkan jangkauan IP-nya diFAQ Googlebot. Kebanyakan analis log otomatis memverifikasi IP terhadap daftar itu.
Pikiran Akhir&Langkah Berikutnya
Analisis berkas logadalah yang paling dekat Anda bisa mendapatkan untuk melihat melalui mata Google. Ini memberitahu Anda persis halaman mana yang sedang merangkak, seberapa sering, dan apakah Googlebot terjebak dalam loop URL bernilai rendah. Digabungkan denganPerilaku merangkak Googlebotdata dari Search Console, Anda dapat membangun strategi teknis SEO yang tepat yang menghemat anggaran merangkak dan meningkatkan efisiensi indexing.
Di Agensi DG10, kami menggunakan analisis file log di setiap audit perusahaan. Ini bukan pilihan - itu adalah dasar. Jika Anda berjuang dengan masalah pengindeksan, lalu lintas misterius, atau situs besar yang tampaknya tidak pernah sepenuhnya diindeks, saatnya untuk melihat log.
Siap untuk melihat persis bagaimana Googlebot merangkak situs Anda?Kontak Badan DG10untuk audit SEO teknis yang termasuk analisis berkas log in-deep dan optimisasi crawl yang dapat ditindaklanjuti. Kami akan mengubah log server Anda menjadi peta jalan untuk kinerja organik yang lebih baik.
Artikel ini ditulis oleh tim SEO teknis di DG10 Agency. Semua data dan studi kasus berasal dari proyek klien nyata, anonim untuk kerahasiaan. Untuk lebih pada fondasi SEO teknis, membaca kamiPanduan pilar untuk perusahaan teknis SEO.