Crawl Budget Optimisasi: Stop Googlebot From Wasting Your Resources
Aku sudah kehilangan hitungan berapa kali aku telah melihat sebuah situs yang menghabiskan waktu berbulan-bulan bekerja menjadi konten, mendesain ulang, dan membangun tautan - hanya untuk menonton Googlebot limbah yang berhargaanggaran crawlpada filter tak berujung wajah, yatim tua pers rilis, dan halaman afiliasi tipis. Hasilnya? Halaman yang sebenarnya mendorong pendapatan tidak pernah diindeks, apalagi peringkat.
Anggaran crawl adalah salah satu konsep SEO teknis yang terdengar abstrak - sampai Anda menyadari perbedaan antara peluncuran produk baru Anda muncul dalam hasil pencarian dalam seminggu atau seperempat. Dalam panduan ini, saya akan menunjukkan cara mengaudit, optimisme, dan menghentikan Googlebot membakar waktu terbatas di situs Anda.
Mengapa Crawl Budget Matters untuk SEO
Mari kita mulai dengan dasar. Googlebot memiliki jumlah terbatas waktu untuk menghabiskan pada setiap website. Anggaran merangkak ini ditentukan oleh dua faktor:
- Batas tingkat crawl- Berapa banyak koneksi simultan yang akan dibuat Googlebot ke servermu.
- Permintaan crawl- betapa menariknya Google menemukan URL Anda (berdasarkan popularitas, kesegaran, dan pentingnya sejarah).
Untuk blog kecil, hal ini jarang terjadi. Tapi untuk toko dagang, situs berita, atau platform web perusahaan, anggaran merangkak miskin dapat meninggalkan ribuan URL berharga unindex. Saya telah bekerja dengan retailer menengah yang memiliki 200.000 halaman produk, namun Googlebot hanya merangkak 8.000 per hari. Sebagian besar URL merangkak adalah filter kategori dan navigasi wajah dengan konten tipis. Koleksi musim baru mereka tidak sepenuhnya diindeks selama tiga bulan.
Ketika Googlebot menghabiskan waktunya di halaman nilai rendah, halaman yang mendorong lalu lintas - seperti halaman produk, halaman pendaratan, dan posting blog cornerstone - didorong ke belakang antrian. Hasilnya adalah pengindeksan yang lambat, visibilitas organik yang lebih rendah, dan sumber daya server yang terbuang.
3 Pilar of Crawl Budget Optimisasi
Selama dekade terakhir, saya telah merebus optimasi anggaran crawl ke tiga area utama: kinerja server, arsitektur situs, dan kualitas konten. Abaikan salah satu dari ini, dan Anda akan melihat Googlebot berputar roda nya.
Performa Server 1.
Googlebot adalah audit kinerja brutal. Jika server Anda merespon perlahan atau mengembalikan kesalahan, maka akan segera menurunkan laju merangkak. Menurut dokumentasi Google sendiri, tingkat merangkak sebagian ditentukan oleh seberapa cepat server Anda dapat menangani permintaan.
Saya sarankan penjadwalan analisis berkas log untuk baseline waktu respon server Anda dan tingkat kesalahan. Cari kesalahan 5xx, waktu habis, dan nilai TTFB tinggi. Jika Anda melihat spike, alamat mereka sebelum Anda melakukan hal lain. Server yang lebih cepat memberimu tingkat merangkak yang lebih tinggi, yang berarti lebih banyak halaman bagus yang kau kunjungi.
2.
Internal linking adalah air yang feed situs web Anda sistem akar. Googlebot menggunakan link untuk menemukan halaman baru dan memahami kepentingan relatif. Arsitektur datar - di mana setiap halaman penting dapat dicapai dalam tiga klik dari homepage - membuatnya mudah bagi Googlebot untuk menyebarkan anggaran di mana itu penting.
Aku juga memperhatikan situasi XML-mu. Mereka bertindak sebagai sinyal langsung ke Google tentang URL mana yang paling penting. Pastikan sitemaps Anda termasuk hanya kanonikal, halaman tidak dapat dijelaskan. Jika Anda membuat sitemaps dengan URL yang tertutup, Anda secara efektif menyuruh Googlebot untuk turun ke lubang kelinci konten tipis.
Kualitas Konten 3
Tipis, duplikat, atau konten nilai rendah adalah cara tercepat untuk menurunkan anggaran merangkak. Setiap kali Googlebot menemukan halaman seperti kategori "product-? Warna = merah&ukuran = besar "itu memperlakukan sebagai target merangkak yang berbeda. Tak lama kemudian, server Anda melayani ratusan URL hampir identik dengan nol nilai bertahap.
Gunakan Google Search ConsoleStat Crawllaporan untuk melihat berapa banyak halaman Googlebot menemukan versus berapa banyak itu sebenarnya merangkak dengan prioritas tinggi. Jika jumlah halaman yang ditemukan jauh lebih tinggi dari halaman merangkak, Anda memiliki merangkak anggaran bocor.
Bagaimana Audit Teman Crawl Anda
Audit walkthrough diverifikasi melawan Google Search Console saat ini Crawl Stats dan robots.txt tester, September 2026 - jalur menu berubah, jadi konfirmasi nama jika GSC anda terlihat berbeda.
Menampilkan audit anggaran crawl adalah latihan tangan-tangan - tidak ada alat yang dapat otomatisasi sepenuhnya. Ini langkah proses yang kugunakan dengan setiap klien perusahaan.
Langkah 1: Mengumpulkan Berkas Log Server
Log server adalah satu-satunya sumber kebenaran untuk apa Googlebot sebenarnya merangkak. Ekspor setidaknya dua minggu log (lagi jika Anda memiliki siklus penerbitan mingguan). Anda kemudian dapat menggunakan alat-alat sepertiScreaming Frog Log File AnalyzeratauBotifyuntuk menguraikannya.
Langkah 2: Segment Googlebot Hits
Filter semua lalu lintas non communbot. Kemudian segmen Googlebot meminta oleh pola URL, kode status, frekuensi merangkak, dan byte ditransfer. Cari pola:
- Frekuensi merangkak tinggi pada daerah nilai rendah:Apakah / filter? halaman mendapatkan 500 hits sementara / produk / 123 hanya mendapat 50?
- 4xx dan 5xx error:Setiap merangkak di halaman mati menyia-nyiakan anggaran.
- Rantai redirect:Googlebot mengikuti sampai lima hop sebelum menyerah.
Langkah 3: Bandingkan dengan Lapisan Indeks
Silang URL merangkak dengan Google Search Console 's indeks cakupan laporan. Kau ingin melihat rasio merangkak tinggi untuk URL yang diindeks. Jika Googlebot merangkak 50.000 halaman per hari tapi hanya indeks 10.000, itu adalah tanda jelas anggaran yang dihabiskan untuk konten non-indexable.
Saya telah melihat situs di mana 60% dari URL merangkak kembali 404s lembut atau secara eksplisit diblokir oleh nodex - namun Googlebot terus memukul mereka karena link internal dari keluar tema Iverdate.
Perkakas Kunci bagi Analisa Anggaran Crawl
Anda tidak perlu menebak - modern alat memberikan visi x berikut ke bagaimana Googlebot bergerak melalui situs Anda. Berikut adalah orang-orang yang paling saya andalkan, masing-masing dengan link langsung:
- Screaming Frog Log File Analyzer- Aku pergi ke Lucito untuk analisis data anggaran. Menunjukkan frekuensi merangkak, penggunaan bandwidth, dan status kode distribusi bebas untuk hingga 1.000 URL.
- Botify- perusahaan powerhouse. Pengguna mereka yang sebenarnya Memantau (RUM) dan simulasi merangkak data memungkinkan Anda model apa yang terjadi ketika Anda mengubah arsitektur situs Anda.
- Lumar (sebelumnya DeepCrawl)- Sangat baik untuk menemukan merangkak tidak efisien seperti penanganan parameter dan halaman yatim.
- Pergi merangkak- menyediakan laporan anggaran merangkak yang menyoroti aktivitas merangkak yang terbuang dan server beban risiko.
- Audit Ahrefs Site- memberi perkiraan anggaran merangkak berdasarkan kinerja situs Anda dan struktur penghubung internal.
- Bola Setitel- Bagus untuk memvisualisasikan aliran sambungan internal dan pemaparan anggaran lubang hitam seperti loop redirect.
Tabel Sampel: Alat Analisis Berkas Log
| Alat | Mulai Harga | Analisis Berkas Log | Laporan Anggaran Crawl | Metriks Performa Server |
|---|---|---|---|---|
| Screaming Frog | Bebas / £149 / yr | Ya | Dasar (laporan gubahan) | Ya (dari log) |
| Botify | Enterprise (kutipan) | Ya | Ya, dengan model anggaran | Ya, termasuk RUM |
| Lumar | Enterprise (kutipan) | Ya | Ya, dengan perkiraan anggaran | Ya (log server + data) |
| Pergi merangkak | $79/mo | Ya | Ya, dashboard anggaran berdedikasi | Ya (termasuk waktu respon) |
| Ahrefs | €99/mo | Tidak. | Perkiraan berdasarkan data crawl | Dasar (hanya kode status) |
| Bola Setitel | $59/mo | Tidak. | Ya, melalui analisis link internal | Dasar (info rantai redirect) |
Seperti yang Anda lihat, jika Anda serius tentang anggaran merangkak, Anda perlu alat yang memproses log server sebenarnya Anda. Sitebulls dan Ahrefs yang besar untuk audit situs keseluruhan tetapi tidak akan memberikan nyata merangkak dunia data yang log menyediakan.
Strategi Lanjutan: Prioritas Anggaran Crawl
Setelah kau mengidentifikasi kebocoran, saatnya mengarahkan perhatian Googlebot ke halaman yang paling penting. Ini adalah empat taktik canggih yang saya gunakan dengan situs web besar.
Gunakanlastmoddalam Sitemaps
Googlebot menggunakan<lastmod>tandai sitemaps XML sebagai sinyal kesegaran. Jika kau mengupdate sitemap secara sering dan akurat penanda waktu setiap halaman, Googlebot akan membaca halaman terbaru lebih cepat. Tapi hati-hati - tidak akuratlastmodnilai (misalnya, menempatkan tanggal hari ini pada setiap URL) akan mengikis kepercayaan dan dapat menyebabkan Google mengabaikan peta detik Anda.
2. Implement Proper Faceted Navigasi
Navigasi faceted adalah saluran pembuangan terbesar pada anggaran merangkak untuk situs perdagangan e. Banyak platform menghasilkan ribuan kombinasi tidak berguna seperti? warna = merah&ukuran = besar&urutkan = hargaSaya sarankan menggunakannoindeksuntuk nilai rendah aspek dan menghalangi pola yang paling mahal dalamrobots.txt. Lebih baik lagi, beralih ke Penyaringan berbasis JavaScript yang tidak menghasilkan URL baru.
Control Crawl Rate in Google Search Console
Konsol Pencarian Google memungkinkan Anda meminta perubahan dalam laju merangkak. Jika Anda memiliki server yang dapat menangani lalu lintas lebih banyak, Anda dapat meminta tingkat yang lebih tinggi. Sebaliknya, jika server Anda berada di bawah stres, Anda dapat memperlambatnya. Tapi efeknya sementara - Google akhirnya akan menyesuaikan berdasarkan data sendiri. Namun, itu adalah tuas berguna selama migrasi situs atau upgrade server.
Eliminasi Halaman Yatim Piatu
Halaman Yatim Piatu tidak terhubung dari mana saja di situs Anda, jadi Googlebot harus mengandalkan sitemaps atau link eksternal untuk menemukan mereka. Namun, saya telah melihat kasus di mana halaman anak yatim merangkak berulang kali karena mereka masih muncul dalam indeks Google dari kampanye masa lalu. Setiap merangkak di halaman tidak ada link untuk adalah di atas kepala. Entah mengarahkan mereka ke orang tua yang relevan atau menghapus mereka sepenuhnya.
Common Crawl Budget Kesalahan Aku Lihat Setiap Hari
Setelah mengaudit ratusan situs, aku terus melihat kesalahan yang sama. Watch out untuk ini:
- Menghalangi segala sesuatu dengan robots.txt:Beberapa tim di atas blok daerah agresif, tidak sengaja memblokir halaman yang perlu diindeks. Gunakan robots.txt untuk bukan direktori esensial saja (seperti
/assets/atau/admin/). - Mengabaikan soft 404s:Googlebot memperlakukan pesan "halaman tidak ditemukan" yang mengembalikan 200 status sebagai 404 lembut. Ini akan terus merangkak itu, menyia-nyiakan anggaran. Selalu kembali nyata 404 atau 410.
- Lebih dari sitemaps optimisasi:Termasuk setiap URL (bahkan yang noindex) blots peta siite Anda dan membingungkan Google. Jauhkan sitemaps ramping.
- Melupakan rantai redirect:Setiap redirect menambahkan permintaan. Seiring waktu, beberapa hop dapat mengkonsumsi anggaran yang signifikan.
FAQ Tentang Anggaran Crawl Optimisasi
Seberapa sering Googlebot merangkak situs saya?
Itu tergantung pada popularitas situs Anda, frekuensi update, dan kinerja server. Sebuah situs berita lalu lintas tinggi mungkin merangkak setiap hari, sementara sebuah blog memasak statis mungkin merangkak mingguan atau bulanan. You can see your crawl frequency in Google Search Console underStat Crawl.
Apakah anggaran merangkak mempengaruhi situs-situs kecil?
Tidak biasanya. Kebanyakan situs kecil memiliki lebih sedikit dari beberapa ribu URL, jadi Googlebot biasanya dapat menangani beban penuh dalam hitungan jam. Namun, jika Anda memiliki sebuah situs kecil dengan masalah server atau konten tipis yang berlebihan anggaran, masih dapat berdampak indeksasi.
Dapatkah saya meningkatkan anggaran merangkak saya?
Secara tidak langsung, ya. Meningkatkan kecepatan server, menghasilkan konten berkualitas tinggi yang menarik tautan, dan mempertahankan arsitektur situs bersih. Sinyal ini ke Google bahwa situs Anda layak mendapatkan perhatian lebih. Anda juga dapat meminta peningkatan tingkat merangkak sementara dalam Konsol Pencarian, tetapi efeknya akan memudar jika server Anda tidak dapat mempertahankan kecepatan.
Apa itu tingkat merangkak yang baik?
Tidak ada angka universal. Bandingkan laju crawl-mu dengan jumlah URL yang tak bisa dijelaskan. Jika Anda memiliki 50.000 halaman indexable dan Googlebot merangkak 5.000 per hari, itu adalah cakupan 10% sehari - baik untuk situs yang tidak update setiap hari. Jika Anda merangkak 5.000 tapi hanya 1.000 penting, itu adalah masalah.
Berapa lama waktu yang dibutuhkan Googlebot untuk menangkap setelah perubahan?
Jika Anda membuat perubahan struktural (seperti menghapus halaman tipis atau membersihkan pengalihan), Googlebot biasanya mengambil antara satu dan empat minggu untuk mencerminkan perubahan dalam pola merangkak nya. Mengirimkan peta tulis baru atau memakai alat URL Inspection 's "Request Indexing" dapat mempercepat segalanya.
Stop Wasting Your Crawl Budget Today
Optimisasi anggaran Crawl bukan satu memperbaiki waktu. Ini adalah disiplin berkelanjutan yang melunasi setiap kali Googlebot menyentuh situs Anda. Ketika Anda menyelaraskan kinerja server, arsitektur situs, dan kualitas konten, Anda mengirim sinyal yang jelas: "Crawl halaman terbaik saya dulu".
Saya telah melihat situs tiga halaman indeks mereka dalam waktu tiga bulan hanya dengan membersihkan penghubung internal mereka dan menghapus URL nilai rendah dari jalur merangkak. Itu berarti lebih banyak lalu lintas organik, pengindeksan konten baru lebih cepat, dan muatan server lebih rendah untuk boot.
Jika Anda tidak yakin di mana untuk memulai - atau Anda sudah mencoba segalanya dan masih melihat Googlebot membuang-buang waktu di halaman yang salah -hubungi kami di Agensi DG10.tim SEO teknis perusahaanSpesialisasi dalam optimasi anggaran crawl, analisa file log, dan perencanaan arsitektur situs. Kami akan membantu Anda memastikan setiap merangkak menghitung.
Jangan biarkan anggaran merangkak miskin menahan potensi situs Anda. Mari kita memperbaikinya.
Tetap Membaca
Jika panduan ini membantu, ini pergi lebih dalam pada sistem di belakangnya: