"انظر بالضبط كيف يسحب "جوجلبوت موقعك
وإذا كنت قد تحدق في تقرير " اسطوانات كرول " الصادر عن " غوغل " وشعرت وكأنك فقدت نصف القصة، فأنت لست وحدك. هذا التقرير يخبرككم عدديطلب إلى غوغلبوت أن يقدم إلى خادمكم، ولكنه لن يخبركم بأي من المترددين الذين زحفوا، أو كم مرة، أو ما هي مدونات مركز شرطة هايتي. ذلك حيثتحليل ملفات السجلاتادخل
لقد كنت أقوم بعمل تقني على مدى أكثر من عقد، ويمكنني أن أقول لكم دون تردد: فملفات سجل الخواديم هي أغنى مصدر للحقيقة عن سلوك غوغلبوت الزحف. يُظهرونَك الطلباتَ الفعليةَ خادمَكَ إستلمَ، أسفل إلى الثانيِ. تسحب موقعك الخاص بأداة مثل صراخ الضفدع فقط يخبرك مايمكنأن تكون زحفاً في الملفاتكانفي الواقع زحف
وفي هذا الدليل، سأعبر بالضبط ما هو تحليل ملفات السجل، ولماذا يهم فهم سلوك غوغلبوت الزحف، وكيفية أدائه بالأدوات المناسبة، وما علاقة ذلك بالرؤى. وبحلول النهاية، ستعرفون كيفية تشخيص نفايات الميزانية الزحفية، وتحديد قضايا الفهرسة، وإبقاء غوغلبوت يركز على أهم صفحاتكم.
لمَ (لوغ فيل) يُحلّل مسائل (غوغلبوت)
في كل مرة يزور (جوجلبوت) موقعك يترك أثراً في سجلات الخادم وتحتوي هذه السجلات على URL، والأوقات، والعامل المستخدم (غوغلبوت ضد بينغبوت ضد مستخدم حقيقي)، ورمز مركز شركة HTTP، وبوابات نقل، وأحيانا بيانات المراجع. عن طريق تحليل هذه السجلات يمكنك الإجابة على أسئلة مثل:
- أي صفحات هي جوجلبوت تزحف في أغلب الأحيان؟
- هل (جوجلبوت) يضيع وقته على المحتوى الخفيف، أو حلقات التهوية، أو صفحات لا نهاية لها؟
- هل هناك أي صفحات تعيد 404 أو 500 التي يستمر جوجلبوت في ضرب؟
- كم مرة يراجع جوجلبوت المحتوى المستكمل؟
- هل هناك قضايا ميزانية زحفة في مواقع كبيرة (100 كيلو + صفحة)؟
تحليل الملفهي الطريقة الوحيدة للحصول على أجوبة نهائية. وهي ليست " مناسبة " ، بل هي ممارسة تقنية أساسية في هذا المجال، ولا سيما بالنسبة لمواقع المشاريع. عندما أراجع موقعاً بمئات الآلاف من الصفحات، سأبدأ دائماً بالسجلات قبل أن أُصبح في الصفحة المثلى.
Googlebot Crawl Behavior vs. Crawl Budget
وهناك تصور خاطئ شائع بأن " ميزانية الخرق " هي شيء يمنحك إياه غوغل. وفي الواقع، فإن هذه هي نتيجة الطريقة التي يستجيب بها خادمك إلى غوغلبوت. إذا كان خادمك سريعًا ويعود إلى 200 بشكل ثابت، (جوجلبوت) سيعود أكثر. إذا كان لديك صفحات بطيئة، سلاسل إعادة توجيه، أو أخطاء، جوجلبوت سوف تبطئ أو تتوقف الزحف.
عن طريق الغطس فيكتحليل ملفات السجلاتيمكنك أن ترى بالضبط أين تنفق ميزانية الزحف فعلى سبيل المثال، عملت مرة مع زبون في مجال التجارة الإلكترونية حيث كان غوغلبوت يزحف 000 80 يورو في اليوم - ولكن 40 في المائة منهم كانوا يتفوقون على صفحات المنتجات التي تعيد 301 إعادة توجيه. وقد هدرت هذه الموارد. بعد تنظيف إعادة التوجيه و إضافة توجيهات الروبوتات، نقطع نفايات الزحف إلى النصف، وشهدنا زيادة في حركة المرور العضوية بنسبة 25 في المائة خلال ثلاثة أسابيع.
How to Perform Log File Analysis: Tools and Steps
ولا تحتاج إلى أن تكون مدير نظام للوصول إلى ملفات سجلك. وتوفر معظم الجهات المضيفة للشبكة إمكانية الوصول عن طريق شبكة CPanel أو FTP أو التنزيل المباشر. بالنسبة للمواقع الكبيرة، قد تحتاج إلى العمل مع فريق ديفوبس الخاص بك للحصول على سجلات خام في أشكال مشتركة مثل Apache Combined, Nginx, أو AWS CloudFront.
الخطوة 1: إجمع لوغزك
والنهج المعياري هو تحميل ما لا يقل عن ٧-١٤ يوما من سجلات الخواديم. من أجل سلوك (غوغلبوت) الدقيق، أوصي بشهر كامل. Ensure sure the logs include the user agent string so you can filter for Googlebot (Mozilla/5.0 compatible; Googlebot/2.1; +http://www.google.com/bot.html).
الخطوة 2: استخدام محلل لوغ مخصص
يمكنك أن تقطع سجلات مع (بيثون) أو (غريب) لكن الأدوات المتخصصة تنقذ الكثير من الوقت ها هي إختياراتي
- محلل الملفوف- مجانا لتصل إلى 000 1 خط؛ وتعالج النسخة المدفوعة الملايين. مثالي للتحليل والتصوير
- الاعتماد- منصة المشاريع التي تجهز سجلات في الوقت الحقيقي، وتقارير الميزانية الزحفة، والإدماج مع محللي غوغل.
- Lumar (formerly DeepCrawl)- أداة أخرى من أدوات المؤسسة التي تحتوي على سجلات استيراد وأجهزة سطو مفصّلة.
الخطوة الثالثة: فيلم جوجلبوت فقط
The tool will automatically identify Googlebot user agents. أزيلوا جميع الأحذية الأخرى (بينغ، ياندكس، فيسبوك) للتركيز على سلوك غوغلبوت الزحف.
الخطوة 4: تحليل القياسات الرئيسية
انظر إلى:
- التوزيع الرمزي- % of 200, 301, 404, 500 for Googlebot.
- تردد الجمجمة حسب- أي صفحات تضرب في أغلب الأحيان.
- العمق الجاف-كم عدد المستويات في عمق (غوغلبوت)؟
- المصابيح الزائفة- أوقات زحف بيك، أحياناً يشير إلى كوادر إعادة سحب.
وها هي عينة من موقع تجاري إلكتروني حقيقي في منتصف الشرق راجعته في العام الماضي:
| القياس | قبل تحقيق الاستخدام الأمثل | بعد الاستخدام الأمثل |
|---|---|---|
| مجموع طلبات غوغلبوت في اليوم | 12,000 | 8,500 |
| النسبة المئوية لطلبات العودة | 60% | 80% |
| النسبة المئوية للطلبات المقدمة إلى القوات غير الاستوائية | 25% | 5% |
| إهدار ميزانية السحب (%) | 40% | 15% |
هذه الأرقام تأتي من عميل لديه 50 ألف صفحة من المنتجات بعد تحليل ملفات السجلات، حددنا أن (غوغلبوت) كان يزحف في تصفية المرشّحات لقد حجبنا هؤلاء في الروبوتات و تحسننا في التواصل الداخلي مع الصفحات الكانتونية The result: more organic traffic and faster indexing.
بؤر مشتركة من تحليل الملفات
بمجرد أن تحصل على بياناتك يبدأ العمل الحقيقي هذه هي الأنماط التي أراها مرارا وتكرارا:
1. Crawl of Thin or Duplicate Content
وإذا كان غوغلبوت يضرب صفحات ليست لها قيمة عضوية - وجه، ومحفوظات مزيفة، ونسخ سهلة للطباعة - كنت تهدر ميزانية الزحف. الاستخدامتحليل ملفات السجلاتTo identify these URLs and addلا يوجدأوعدم الانتظامتوجيهات
2. Error Pages still being Crawled
حتى بعد أن تحذف الصفحات القديمة، غوغلبوت قد تستمر في الزحف 404s حتى يتم إزالتها من الرقم القياسي. سيُريك (لوكز) أيهما يعود إلى 404 مرات وكم مرة إذا رأيت 404 ضربة يومية، وضع 301 إعادة توجيه إلى صفحة ذات صلة أو تنفيذ العرف 404 مناولة.
3. Crawl Frequency Disparities
وينبغي زحف الصفحات التي تستكمل في كثير من الأحيان (مثل المقالات الإخبارية أو أسعار المنتجات). وإذا كان محتوىكم الأهم يزحف مرة واحدة في الشهر بينما تزور مراكز المدونات القديمة زيارات يومية، فإن هذا العلم الأحمر. الملفات المجهولة تكشف هذه الاختلالات
4 - أثر تحديد معدلات الركود في الاختبارات العامة
Google search Console lets you set a crawl rate limit, but it’s a blunt instrument. ملفات اللوج تظهر لك الأثر الحقيقي لهذه البيئات، وما إذا كنت بحاجة إلى زيادة الحد من سرعة فهرسة المحتوى الجديد.
5 - تحديد هوية بوت ميميكري
أحياناً تتظاهر الأحذية الخبيثة بأنها جوجلبوت ويمكن لسجلات السيرفر مع التحقق العكسي من الحمض النووي للدموع أن تحدد المزروعات. طلبات (غوغلبوت) الشرعية تأتي دائماً من (غوغلبوت) إذا رأيت وكيل مستعمل مزيف يستهلك الموارد، يحجبه في جدار الحماية.
Comparing Log File Analysis Tools
ولمساعدةكم على اختيار الأداة المناسبة، هنا جدول مقارن يستند إلى خبرتي العملية:
| Tool | الطباعة | المعالم الرئيسية | أفضل |
|---|---|---|---|
| [صراخ الضفدع Lg File Analyser] (https://www.sacheingfrog.co.uk/log-file-analyser/) | مجانية (محدودة)/دفع مبلغ 149 جنيها استرلينيا/سنة | استيراد السجلات في الوقت الحقيقي، تصفية عوامل الاستخدام، انهيار رمز الاستجابة، تقارير قابلة للتصدير | الأفراد والمواقع الصغيرة والمتوسطة |
| [Botify](https://www.botify.com) | تسعير العرف في المؤسسة | استمرار تدفق الأخشاب، وسحب الميزانية الزحفية، وتوزيع الإيرادات، والتطبيق المتكامل | التجارة الإلكترونية الكبيرة والمشاريع |
| [Lumar (DeepCrawl)] (https://www.lumar.io) | تسعير العرف في المؤسسة | رفع ملف لوغ، تحليل مسارات الزحف، التكامل مع النظام العام لمراقبة المناخ والجمعية العامة | الأفرقة الداخلية التابعة لمنظمة الأمن والتعاون على نطاق واسع |
| النصوص العرفية | مجانا | السيطرة الكاملة، قابلة للتقسيم | المطورون مع الوقت والميزانية |
لقد استخدمت كل الأربعة. وبالنسبة لمعظم الوكالات والأفرقة الداخلية، فإن صياح محلل لوغ الضفدع هو أفضل قيمة. وفيما يتعلق بالمواقع الضخمة )١M+صفحات(، يصعب التغلب على التجهيز الآلي للمركب.
How to Act on Crawl Data
جمع البيانات عديم الفائدة بدون عمل هنا بالضبط ما يجب القيام به بعدتحليل ملفات السجلات:
Fix Redirect Chains and Broken Links
إذا كان جوجلبوت يضرب 301s التي تؤدي إلى 404، تحديث سلسلة إعادة التوجيه. Use the log file data to compile a list of the most زحفed broken URLs and implement proper 301s to relevant pages.
أفضـل ميزانيـة الجمبريـة مع الروبوتات
حجب جميع الأقسام غير الأساسية: الإشهار، معايير الوجه، هويات الدورة، صفحات التعليقات. استخدامزحفولا يحتاج الأمر إلى التوجيه إلا إذا اقتضى الأمر.
Improve Internal Linking on Key Pages
وإذا أظهرت السجلات أن صفحات عالية القيمة (مثل منتجاتك المبيعة) نادرا ما تزحف، فإنها تضيف المزيد من الروابط الداخلية من الصفحات ذات الجرافة العالية (مثل صفحة الاستقبال أو صفحات الفئة). هذا يشير إلى أهمية (جوجلبوت)
وقت الاستجابة السريعة
Googlebot reduces crawl rate when server response time exceeds 200 ms. استخدام سجلات لتحديد نقاط النهاية البطيئة وتحقيق الحد الأمثل لها. النظر في CDN أو التأشيرة للترددات المتكررة.
Submit Critical Pages via GSC
إذا كان لديك مقال إخباري أو إطلاق منتج جديد يحتاج إلى فهرسة فورية، تحديد ما إذا كان غوغلبوت قد وصل بالفعل إلى الصفحة عن طريق فحص السجلات. If not, use the URL Inspection tool to request indexing.
من بيانات "كراول" إلى "رانكينغ"
كيف تحققنا من هذا الأمر (أيلول/سبتمبر 2026): نعيد إجراء فحص لوجستي على ممتلكات العملاء في أيلول/سبتمبر 2026؛ وتعكس أسماء الأدوات والحدود الخاصة بالمجان ما يمكننا التحقق منه في ذلك التاريخ.
بيانات السحب تخبرك بما حدث هذه الأدلة تحولها إلى إصلاح:
- موقع على شبكة الإنترنت- سير العمل الكامل لمراجعة الحسابات حول نتائج سجلك
- التالي: SSR vs ISR ضد SSG- إصلاح سجلات القضايا الاصطناعية عادة ما تكون سطحية
- AEO vs SEO- جعل الصفحات الزحفة تحصل على الاستشهاد AI أيضا
الأسئلة المتكررة
1 - هل تحليل ملفات السجلات هو نفس تحليل زحف الموقع؟
لا يُحاكي موقعاً (بصراخ الضفدع أو ما شابه) يُحاكي ما يُحتذىيمكنزحف تحليل ملف لوغ يُظهر ما يُظهره جوجلبوتفي الواقعزحف كلاهما يكملان بعضهما البعض
2 - هل يمكنني الحصول على ملفات سجلات من الاستضافة المشتركة؟
نعم، يقدم معظم المستضيفين المتقاسمين سجلات الدخول الخام عن طريق شبكة CPanel (عادة في قسم " مقاييس " ). إن لم يكن كذلك، أطلب الدعم لتمكينها.
3. How much log data do I need to analyze?
على الأقل 7 أيام؛ 14-30 يوما أفضل لصيد الأنماط الأسبوعية. تجنب الذروة مثل حركة المرور في العطلة ما لم ينصب تركيزك على ذلك.
4. Do log files include JavaScript crawl data?
وتسجل سجلات الدخول جميع طلبات شركة HTTP، بما في ذلك النداءات المتعلقة بالمحتوى الممنوح للشركة. على أية حال، تلك تأتي في كثير من الأحيان من المستنقع، وليس جوجلبوت. يجب أن ترشّح من قبل عميل مستعمل بعناية
5 - ماذا لو تغيرت مجموعة جوجلبوت من مجموعة شركاء التنفيذ؟
Google publishes its IP ranges in theGooglebot FAQ. ويتحقق معظم محلليات السجلات تلقائياً من شركاء التنفيذ مقابل تلك القائمة.
الأفكار النهائية&الخطوات التالية
تحليل الملفهو أقرب ما يمكنك رؤيته من خلال عيون غوغل. يُخبرُك بالضبط أيّ صفحاتِ تَكُونُ زحفَ، كَمْ يَكُونُ، وما إذا Googlebot يَلْصقُ في a حلقة of low-value URLs. مشتركةGooglebot crawl behavior(بيانات من (كونسول يمكنك بناء استراتيجية تقنية دقيقة لـ (سي أو التي توفر ميزانية الزحف وتزيد من فهرسة الكفاءة
في وكالة (دي جي 10) نستخدم تحليل ملفات السجلات في كل مراجعة حسابات المؤسسة وهو ليس اختيارياً - أساسه. وإذا كنت تكافحين مع قضايا الفهرسة، أو انخفاضات حركة المرور الغامضة، أو موقع كبير لا يبدو أبدا أنه قد تم فهرسه بالكامل، فقد حان الوقت للنظر في السجلات.
على استعداد لرؤية بالضبط كيف جوجلبوت يزحف موقعك؟Contact DG10 Agency(ب) إجراء مراجعة تقنية لحسابات نظام المحاسبة البيئية - الاقتصادية تتضمن تحليلاً متعمقاً لملفات السجلات والزحف إلى أقصى حد ممكن. وسنحول سجلات الخادم إلى خريطة طريق لتحسين الأداء العضوي.
This article was written by the technical SEO team at DG10 Agency. وجميع البيانات ودراسات الحالات الإفرادية مستمدة من مشاريع عملاء حقيقية، مغفلة عن السرية. من أجل المزيد من المؤسسات التقنيةدليل الأعمدة الخاص بالمشاريع.