اوقفوا جوجلبوت من اضاعة مواردكم
لقد فقدت العد لعدد المرات التي رأيت فيها موقعاً يصب شهوراً من العمل في المحتوى، وإعادة التصميم، وربط البناء فقط لمشاهدة غوغلبوت يهدر ثمينهميزانيةعلى مرشحين لا نهاية لهم، نشرات صحفية قديمة اليتامى، و صفحات رقيقة النتيجة؟ الصفحات التي تدفع الإيرادات في الواقع لا تحصل على الرقم القياسي، ناهيك عن ترتيب.
وميزانية السحب هي أحد المفاهيم التقنية للمنظمة التي تبدو مجردة حتى تدرك أن الفرق بين إطلاق منتجك الجديد الذي يظهر في نتائج البحث خلال أسبوع أو ربع. وفي هذا الدليل، سأريكم بالضبط كيفية مراجعة الحسابات، والتفاؤل، ووقف غوغلبوت من حرق وقته المحدود في موقعكم.
Why Crawl Budget Matters for SEO
فلنبدأ بالأساس. جوجلبوت لديه كمية محدودة من الوقت لقضاءها على كل موقع وتحدد هذه " الميزانية الشاملة " بالعوامل التالية:
- الحد الأقصى للمعدل- كم عدد الاتصالات المتزامنة جوجلبوت سوف تصل إلى خادمك.
- الطلب الشامل- ما مدى شيقة جوجل في العثور على اليوران (استناداً إلى شعبية وحديث وأهمية تاريخية).
بالنسبة للمدونات الصغيرة، هذا نادرا ما يهم. ولكن بالنسبة لمخازن التجارة الإلكترونية، أو مواقع الأخبار، أو منابر المشاريع على شبكة الإنترنت، يمكن لميزانية زحف فقيرة أن تترك الآلاف من اليورانات القيمة غير مفهرسة. وقد عملت مع متاجر بالتجزئة متوسطة الحجم تضم ٠٠٠ ٢٠٠ صفحة من المنتجات، ولكن غوغلبوت لا يزحف إلا ٠٠٠ ٨ في اليوم. وكان معظم هؤلاء المرتدون الزحفين مرشحين من الفئة وملاحة محملة بمحتوى رقيق. ولم يكن مجموعتهم الموسمية الجديدة مفهرسة بالكامل لمدة ثلاثة أشهر.
وعندما يقضي غوغلبوت وقته على صفحات ذات قيمة منخفضة، فإن الصفحات التي تدفع فعلاً صفحات المنتجات المشابهة للزحام، وصفحة الهبوط، وملصقات مدونات حجر الأساس - قد دفعت إلى الخلف. والنتيجة هي تباطؤ فهرسة، وتدني الرؤية العضوية، وتضييع موارد الخواديم.
The 3 Pillars of Crawl Budget Optimization
وعلى مدى العقد الماضي، قمت بتغليب ميزانية الزحف على نحو أمثل إلى ثلاثة مجالات أساسية: أداء الخواديم، وهيكل الموقع، ونوعية المحتوى. تجاهل أي واحد من هذه، وسوف ترى غوغلبوت يدور عجلاته.
1 - أداء الموظفين
جوجلبوت هو مراجع أداء وحشي. إذا كان خادمك يستجيب ببطئ أو يعيد الأخطاء سيخفض معدل الزحف فوراً According to Google’s own documentation, the crawl rate is partly determined by how quickly your server can handle requests.
وأوصي بوضع جدول زمني لتحليل ملفات السجلات لضبط أوقات استجابة الخادم ومعدلات الخطأ. ابحث عن 5x اخطاء وتوقيتات و قيم عالية إذا رأيتِ السبايك، إخاطبيهم قبل أن تفعلي أي شيء آخر. خادم أسرع يكسبك معدل زحف أعلى مما يعني أن المزيد من صفحاتك الجيدة يتم زيارتها
2 - هيكل المواقع
والربط الداخلي هو المياه التي تغذي النظام الجذري للموقع. ويستخدم Googlebot وصلات لاكتشاف صفحات جديدة وفهم الأهمية النسبية. A flat structure - where every important page is reachable within three reads from the homepage-makes it easy for Googlebot to spread its budget where it matters.
أنا أيضاً أَعْبرُ إنتباهاً عن كثب إلى مواقعِكَ XML. They act as a direct signal to Google about which URLs are most important. تأكد من أن تتضمّن مواضع موقعك فقط صفحات متقنة وإذا كنت تولِّد مواقعاً ذات مقابر مُوجهة، فإنكم تُخبرون غوغلبوت فعلياً بأن ينزل حفرة أرنب من المحتوى الرقيق.
3- نوعية المحتوى
الشيء، الازدواج، أو المحتوى المنخفض القيمة هو أسرع طريقة لنزيف ميزانية الزحف. في كل مرة يكتشف غوغلبوت صفحة مثل " فئة المنتجات؟&وهو يعامله كهدف زحف مميز. قبل وقت طويل، خادمك يخدم المئات من الشاحنات ذات القيمة الإضافية
Use Google search Console’sسترات السحبReport to see how many pages Googlebot is discovering versus how many it’s actually crawling with high priority. إذا كان عدد الصفحات المكتشفة أعلى بكثير من الصفحات الزحف، لديك تسرّب في الميزانية الزحف.
كيف تُدقّقُ ميزانيّةَ سحبِكَ
وتم التحقق من سير مراجعة الحسابات ضد نظام غوغل للبحث في كونسول الحالي، ومختبرات الروبوتات، في أيلول/سبتمبر ٢٠٢٦ - تغير مسارات القائمة، لذا تأكد من الأسماء إذا كان جهاز الاختبار الخاص بك يبدو مختلفا.
إن إجراء مراجعة حسابات ميزانية زحفة هو تدريب عملي - لا يمكن لأي أداة أن تتأقلم بالكامل. وها هي عملية الخطوة التالية التي أستخدمها مع كل عميل في المؤسسة.
الخطوة 1: جمع ملفات الموظفين
سجلات السيرفر هي المصدر الوحيد للحقيقة لما زحف جوجلبوت في الواقع تصدير ما لا يقل عن أسبوعين من السجلات (أطول إذا كان لديك دورة نشر أسبوعية). يمكنك استخدام أدوات مثلمحلل الملفوف الضئيلأوالاعتمادلطردهم
الخطوة 2: Segment Googlebot Hits
أفرغوا كل حركة المرور الغير مباشرة ثمّ يُجزّعُ طلباتَ Googlebot مِن قِبل نمطِ URL، رمز مركزِ، تواتر زحفِ، ابحث عن الأنماط
- تردد زحف عالي على الأقسام ذات القيمة المنخفضة:هل / مرشح؟ صفحات تحصل على 500 ضربة بينما المنتج 123 يحصل على 50 فقط؟
- 4x and 5xx errors:كُلّ زحف على a ميزانية نفايات الصفحةِ الميتةِ.
- Redirect chains:Googlebot follow up to five hops before giving up.
الخطوة 3: مقارنة مع التغطية بالأرقام القياسية
وقد زحفت عمليات الإحالة عبر الحدود مع تقارير تغطية الرقم القياسي لمؤشر بحث غوغل كونسول. تريد أن ترى نسبة عالية من ازدحامات زاحفة إلى مفهرسة وإذا كان غوغلبوت يزحف ٠٠٠ ٥٠ صفحة في اليوم ولكنه لا يفهرس سوى ٠٠٠ ١٠ صفحة، فإن ذلك يدل بوضوح على إنفاق الميزانية على محتوى غير قابل للتنبؤ.
وقد رأيت مواقع كان فيها 60 في المائة من المزدحمين يرتدون 404 ناعمين أو كانوا يحجبون صراحة عن طريق لا يترددون في ضربهم في غوغلبوت بسبب صلات داخلية من نماذج خارجية.
الأدوات الرئيسية لتحليل الميزانية الإجمالية
ولا تحتاجون إلى التخمين - تعطيكم الأدوات الحديثة رؤية أشعة سينية لكيفية انتقال غوغلبوت من موقعكم. هذه هي التي أعتمد عليها أكثر، كل منها له صلة مباشرة:
- محلل الملفوف الضئيل-أذهب إلى تحليل ملفات سجل الميزانية يظهر تواتر الزحف، استخدام النطاق الترددي، وتوزيع رمز الوضع مجاناً لما يصل إلى 000 1 يورو.
- الاعتماد-مركز الطاقة المركزي مُراقبة المُستعمل الحقيقي و محاكاة بيانات الزحف تجعلك تُمثل ما يحدث عندما تُغير هيكل موقعك
- Lumar (formerly DeepCrawl)- ممتاز لاكتشاف عدم كفاءة الزحف مثل مناولة البارامترات و صفحات الأيتام.
- Oncrawl- تقديم تقارير الميزانية الزحفية التي تسلط الضوء على أنشطة الزحف المهدرة ومخاطر تحميل الخواديم.
- مراجعة الموقع- توفر لكم ميزانية زحف مقدرة على أساس أداء موقعكم وهيكل الربط الداخلي.
- Sitebulb- عظيم لتصوير تدفق الرابط الداخلي ورؤية ثقوب الميزانية السوداء مثل حلقات إعادة توجيه.
Tablearison Table: Log File Analysis Tools
| Tool | بدء الأسعار | Log File Analysis | تقارير الميزانية الإجمالية | مقاييس أداء الموظفين |
|---|---|---|---|---|
| صراخ الضفدع | مجانية/ 149 جنيها استرلينيا | نعم | (التقارير الجمركية) | نعم (من السجلات) |
| الاعتماد | المؤسسة (مقتطفات) | نعم | نعم، مع نمذجة الميزانية | نعم، يشمل RUM |
| لومار | المؤسسة (مقتطفات) | نعم | نعم، مع تقديرات الميزانية | نعم (سجلات المراقبة + البيانات) |
| Oncrawl | $79/mo | نعم | نعم، لوح مكرس للميزانية | نعم (بما في ذلك وقت الاستجابة) |
| Ahrefs | €99/mo | لا | تقديرات تستند إلى بيانات الزحف | أساسي (رموز النظام فقط) |
| Sitebulb | $59/mo | لا | نعم، عن طريق تحليل الرابط الداخلي | معلومات أساسية (السلسلة المباشرة) |
كما ترى، إذا كنت جاداً بشأن ميزانية الزحف، فأنت بحاجة إلى أداة تفحص سجلات الخواديم الفعلية. إن المصابيح والأهريف كبيران بالنسبة لعمليات المراجعة العامة للمواقع، ولكن لن تعطيك بيانات العالم الحقيقي الزحف التي توفرها السجلات.
الاستراتيجيات المتقدمة: تحديد أولويات الميزانية الشاملة
ومتى حددتم التسربات، حان الوقت لتوجيه انتباه غوغلبوت إلى الصفحات التي هي الأكثر أهمية. هنا أربع تكتيكات متطورة أستخدمها مع مواقع كبيرة
1- الاستخدامالأخيرin Sitemaps
جوجلبوت يستخدم<الأخير>tag in XML sitemaps as a freshness signal. إذا قمت بتحديث خريطة موقعك مراراً وتكراراً ودقيقاً في كل صفحة، (جوجلبوت) سيعيد صياغة الصفحات الأخيرة بشكل أسرع. لكن كوني حذرةالأخيرفالقيم )مثلا، وضع تاريخ اليوم في كل جولة( ستضعف الثقة ويمكن أن تجعل غوغل يتجاهل خريطة موقعكم.
2. Implement Proper Faceted Navigation
والملاحة المتجهة هي أكبر تصريف في ميزانية الزحف لمواقع التجارة الإلكترونية. العديد من المنصات تولد آلاف التركيبات عديمة الفائدة مثل? Color=red&الحجم&من نوع إلى آخرأوصي باستخداملا يوجدبالنسبة للجوانب المنخفضة القيمة وحجب أكثر الأنماط تكلفة فيrobots.txt. والأفضل من ذلك، أن يتحول إلى تصفية قائمة على جافاسكريبت لا تولد روايات جديدة.
3. Control Crawl Rate in Google search Console
جوجل باحث كونسول يسمح لك بطلب تغيير في معدل الزحف. إذا كان لديك خادم يمكنه التعامل مع المزيد من حركة المرور يمكنك طلب معدل أعلى على العكس من ذلك، إذا خادم الخاص بك تحت الضغط، يمكنك إبطاء ذلك. ولكن التأثير مؤقت - غوغل سيكيف في نهاية المطاف على أساس بياناته الخاصة. ومع ذلك، فهي أداة مفيدة خلال عمليات نقل المواقع أو تحديث الخواديم.
٤ - الإلغاء
ولا ترتبط الصفحات الأصلية بأي مكان في موقعكم، ولذلك يتعين على غوغلبوت أن يعتمد على مواقع أو وصلات خارجية لاكتشافها. غير أنني رأيت حالات تزحف فيها صفحات اليتامى مرارا لأنها لا تزال ترد في مؤشر غوغل من الحملات السابقة. كل زحف على صفحة لا أحد يربطه هو فوق إما إعادة توجيههم إلى الوالدين ذوي الصلة أو إزالتها بالكامل.
الأخطاء في الميزانية العادية أرى كل يوم
بعد مراجعة المئات من المواقع أرى نفس الأخطاء احترس من هذه:
- قفل كل شيء مع الروبوتاتفبعض الأفرقة تحجب بشكل مفرط الأقسام، وتغلق الصفحات عن طريق الخطأ التي تحتاج إلى فهرسة. استخدام الروبوتات.
/assets/أو/admin/). - الناعم 404وتعالج شركة Googlebot رسالة " لم تعثر عليها " تعود إلى مركز قدره 200 كنقطة ضعف 404. وسوف تستمر في الزحف، وتهدر الميزانية. دائماً يعود 404 أو 410
- مواقع التشغيل:بما في ذلك كل URL (حتى لا توجد مؤشرات) ينشر خريطة موقعك ويخلط جوجل. أبقوا مواقعكم تميل
- ننسى سلاسل إعادة توجيه:كل إعادة توجيه تضيف طلباً ومع مرور الوقت، يمكن للخراطيم المتعددة أن تستهلك ميزانية كبيرة.
FAQs about Crawl Budget Optimization
كم مرة يزحف جوجلبوت موقعي؟
وهو يعتمد على شعبية موقعكم، وتحديث التردد، وأداء الخادم. يمكن أن يزحف موقع إخباري عالي الجودة يومياً، في حين قد يزحف مدون الطهي الثابت أسبوعياً أو شهرياً. يمكنك رؤية تردد الزحف الخاص بك في جوجل البحث كونسول تحتسترات السحب.
هل ميزانية الزحف تؤثر على المواقع الصغيرة؟
ليس عادة ومعظم المواقع الصغيرة لديها أقل من بضعة آلاف من اليوراندات، لذلك يمكن لجوجلبوت عادة أن يتعامل مع الحمولة الكاملة في غضون ساعات. على أي حال، إذا كان لديك موقع صغير مع قضايا الخواديم أو محتوى رقيق تغلب على الميزانية، فإنه يمكن أن لا تزال تؤثر على الرقم القياسي.
هل يمكنني زيادة ميزانية الزحف؟
بشكل غير مباشر، نعم. تحسين سرعة الخواديم، وإنتاج محتوى عالي الجودة يجتذب الروابط، والحفاظ على هيكل للمواقع النظيفة. هذه الإشارة إلى جوجل أن موقعك يستحق المزيد من الاهتمام. ويمكنكم أيضا أن تطلبوا زيادة مؤقتة في معدل الزحف في كونسول، ولكن الأثر سيختفي إذا لم يتمكن خادمكم من الحفاظ على الوتيرة.
ما هو معدل زحف جيد؟
ولا يوجد رقم عالمي. مقارنة مع معدل الزحف الخاص بك إلى مجموع الأرقام القياسية URL. وإذا كان لديكم 000 50 صفحة قابلة للفهرس، ويزحف غوغلبوت 000 5 صفحة في اليوم، فإن ذلك يمثل تغطية يومية بنسبة 10 في المائة - كافية لموقع لا يستكمل يوميا. وإذا زحفت ٠٠٠ ٥ ولكن ٠٠٠ ١ فقط مهم، فإن هذه مشكلة.
كم من الوقت يستغرق (غوغلبوت) ليتراجع بعد التغييرات؟
إذا قمت بتغييرات هيكلية (مثل إزالة الصفحات الرقيقة أو تنظيف إعادة توجيه)، فإن (جوجلبوت) عادة ما يستغرق ما بين أسبوع وأربعة أسابيع ليعكس التغير في نمط الزحف. ويمكن أن يؤدي تقديم خريطة موقعية جديدة أو استخدام " فهرس البحث " لأداة التفتيش الثورية إلى تسريع الأمور.
توقف عن إهدار ميزانيتك اليوم
فالاستخدام الأمثل للميزانية الشحيحة ليس إصلاحا لمرة واحدة. وهو نظام مستمر يدفع كل مرة يلمس فيها غوغلبوت موقعكم. وعندما تنسق أداء الخواديم، وهيكل الموقع، ونوعية المحتوى، ترسل إشارة واضحة: " اسحب أفضل صفحاتي أولا " .
وقد رأيت مواقع مفهرسة ثلاث مرات في غضون ثلاثة أشهر فقط بتنظيف ربطها الداخلي وإزالتها من مسار الزحف. وهذا يعني المزيد من الحركة العضوية، والإسراع في فهرسة المحتوى الجديد، وحمولة خواديم أقل للأحذية.
إذا لم تكن متأكداً من أين بدأت أو حاولت كل شيء وما زلت ترى غوغلبوت يضيع الوقت على الصفحات الخاطئةاتصل بنا في وكالة "دي جي 10"نحنالفريق التقني التابع للمنظومةتخصصات في الازدحام في الميزانية على الوجه الأمثل، وتحليل ملفات السجلات، وتخطيط بنية المواقع. وسنساعدكم على ضمان كل عدد زحف.
ولا تدع ميزانية الزحف المسكينة تحجب إمكانات موقعكم. فلنصلحه
تابع القراءة
إذا ساعد هذا الدليل، هذه تتعمق في النظم خلفه: