ಲಾಗ್ ಫೈಲ್ ವಿಶ್ಲೇಷಣೆ: Googlebot ನಿಮ್ಮ ಸೈಟ್ ಅನ್ನು ಹೇಗೆ ಕ್ರಾಲ್ ಮಾಡುತ್ತದೆ ಎಂದು ನಿಖರವಾಗಿ ನೋಡಿ
Google Search Console ನ “Crawl Stats” ವರದಿಯನ್ನು ದಿಟ್ಟಿಸಿ ಅರ್ಧದಷ್ಟು ಕಥೆ ಕಾಣೆಯಾಗಿದೆ ಎಂದು ಎಂದಾದರೂ ಅನಿಸಿದ್ದರೆ, ನೀವು ಒಂಟಿಯಲ್ಲ. ಆ ವರದಿ ನಿಮಗೆ ಹೇಳುತ್ತದೆ how many ನಿಮ್ಮ ಸರ್ವರ್ಗೆ Googlebot ಮಾಡಿದ ವಿನಂತಿಗಳು, ಆದರೆ ಯಾವ ನಿರ್ದಿಷ್ಟ URLಗಳನ್ನು ಕ್ರಾಲ್ ಮಾಡಲಾಗಿದೆ, ಎಷ್ಟು ಬಾರಿ, ಅಥವಾ ಯಾವ HTTP ಸ್ಥಿತಿ ಕೋಡ್ಗಳನ್ನು ಹಿಂತಿರುಗಿಸಲಾಗಿದೆ ಎಂದು ಅದು ಹೇಳುವುದಿಲ್ಲ. ಅಲ್ಲಿಯೇ log file analysis comes in.
ನಾನು ಒಂದು ದಶಕಕ್ಕೂ ಹೆಚ್ಚು ಕಾಲ ತಾಂತ್ರಿಕ SEO ಮಾಡುತ್ತಿದ್ದೇನೆ, ಮತ್ತು ಹಿಂಜರಿಕೆಯಿಲ್ಲದೆ ಹೇಳಬಲ್ಲೆ: Googlebot ಕ್ರಾಲ್ ನಡವಳಿಕೆಯ ಬಗ್ಗೆ ಸತ್ಯದ ಏಕೈಕ ಶ್ರೀಮಂತ ಮೂಲವೆಂದರೆ ಸರ್ವರ್ ಲಾಗ್ ಫೈಲ್ಗಳು. ನಿಮ್ಮ ಸರ್ವರ್ ಸ್ವೀಕರಿಸಿದ ನೈಜ ವಿನಂತಿಗಳನ್ನು ಅವು ಸೆಕೆಂಡಿನ ಮಟ್ಟಿಗೆ ತೋರಿಸುತ್ತವೆ. Screaming Frog ನಂತಹ ಟೂಲ್ನೊಂದಿಗೆ ನಿಮ್ಮ ಸ್ವಂತ ಸೈಟ್ ಅನ್ನು ಕ್ರಾಲ್ ಮಾಡುವುದರಿಂದ ಏನು ಎಂದು ಮಾತ್ರ ತಿಳಿಯುತ್ತದೆ could ಕ್ರಾಲ್ ಮಾಡಬೇಕೆಂದು — ಲಾಗ್ ಫೈಲ್ಗಳು ಏನು ಎಂದು ನಿಮಗೆ ಹೇಳುತ್ತವೆ was actually crawled.
ಈ ಮಾರ್ಗದರ್ಶಿಯಲ್ಲಿ, ಲಾಗ್ ಫೈಲ್ ವಿಶ್ಲೇಷಣೆ ಎಂದರೇನು, Googlebot ಕ್ರಾಲ್ ನಡವಳಿಕೆಯನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಅದು ಏಕೆ ಮುಖ್ಯ, ಸರಿಯಾದ ಟೂಲ್ಗಳೊಂದಿಗೆ ಅದನ್ನು ಹೇಗೆ ನಿರ್ವಹಿಸಬೇಕು ಮತ್ತು ಒಳನೋಟಗಳೊಂದಿಗೆ ಏನು ಮಾಡಬೇಕು ಎಂಬುದನ್ನು ನಿಖರವಾಗಿ ವಿವರಿಸುತ್ತೇನೆ. ಅಂತ್ಯದ ವೇಳೆಗೆ, ಕ್ರಾಲ್ ಬಜೆಟ್ ವ್ಯರ್ಥವನ್ನು ಹೇಗೆ ಪತ್ತೆಹಚ್ಚಬೇಕು, ಇಂಡೆಕ್ಸಿಂಗ್ ಸಮಸ್ಯೆಗಳನ್ನು ಗುರುತಿಸುವುದು ಮತ್ತು Googlebot ಅನ್ನು ನಿಮ್ಮ ಪ್ರಮುಖ ಪುಟಗಳತ್ತ ಕೇಂದ್ರೀಕರಿಸುವುದು ನಿಮಗೆ ತಿಳಿಯುತ್ತದೆ.
Googlebot ಕ್ರಾಲ್ ನಡವಳಿಕೆಗೆ ಲಾಗ್ ಫೈಲ್ ವಿಶ್ಲೇಷಣೆ ಏಕೆ ಮುಖ್ಯ
Googlebot ನಿಮ್ಮ ಸೈಟ್ಗೆ ಭೇಟಿ ನೀಡಿದಾಗಲೆಲ್ಲಾ, ಅದು ನಿಮ್ಮ ಸರ್ವರ್ ಲಾಗ್ಗಳಲ್ಲಿ ಹೆಜ್ಜೆಗುರುತು ಬಿಡುತ್ತದೆ. ಆ ಲಾಗ್ಗಳು URL, ಟೈಮ್ಸ್ಟ್ಯಾಂಪ್, ಬಳಕೆದಾರ ಏಜೆಂಟ್ (Googlebot vs. Bingbot vs. ನಿಜವಾದ ಬಳಕೆದಾರ), HTTP ಸ್ಥಿತಿ ಕೋಡ್, ವರ್ಗಾಯಿಸಿದ ಬೈಟ್ಗಳು ಮತ್ತು ಕೆಲವೊಮ್ಮೆ ರೆಫರರ್ ಡೇಟಾವನ್ನು ಹೊಂದಿರುತ್ತವೆ. ಈ ಲಾಗ್ಗಳನ್ನು ವಿಶ್ಲೇಷಿಸುವ ಮೂಲಕ, ನೀವು ಈ ರೀತಿಯ ಪ್ರಶ್ನೆಗಳಿಗೆ ಉತ್ತರಿಸಬಹುದು:
- Googlebot ಹೆಚ್ಚಾಗಿ ಯಾವ ಪುಟಗಳನ್ನು ಕ್ರಾಲ್ ಮಾಡುತ್ತಿದೆ?
- ತೆಳುವಾದ ವಿಷಯ, ಪುಟ ಸಂಖ್ಯೆ ಲೂಪ್ಗಳು ಅಥವಾ ಅನಂತ ಸ್ಕ್ರಾಲ್ ಪುಟಗಳಲ್ಲಿ Googlebot ಸಮಯ ವ್ಯರ್ಥ ಮಾಡುತ್ತಿದೆಯೇ?
- Googlebot ಪದೇಪದೇ ತಲುಪುವ 404 ಅಥವಾ 500 ನೀಡುವ ಪುಟಗಳಿವೆಯೇ?
- Googlebot ನವೀಕರಿಸಿದ ವಿಷಯವನ್ನು ಎಷ್ಟು ಬಾರಿ ಮರುಭೇಟಿ ನೀಡುತ್ತದೆ?
- ದೊಡ್ಡ ಸೈಟ್ಗಳಲ್ಲಿ (100k+ ಪುಟಗಳು) ಕ್ರಾಲ್ ಬಜೆಟ್ ಸಮಸ್ಯೆಗಳಿವೆಯೇ?
Log file analysis ಎಂಬುದು ನಿರ್ಣಾಯಕ ಉತ್ತರಗಳನ್ನು ಪಡೆಯುವ ಏಕೈಕ ಮಾರ್ಗ. ಇದು SEO “nice to have” ಅಲ್ಲ—ವಿಶೇಷವಾಗಿ ಎಂಟರ್ಪ್ರೈಸ್ ಸೈಟ್ಗಳಿಗೆ ಇದು ಮೂಲಭೂತ ತಾಂತ್ರಿಕ SEO ಅಭ್ಯಾಸ. ಲಕ್ಷಾಂತರ ಪುಟಗಳ ಸೈಟ್ ಅನ್ನು ನಾನು ಲೆಕ್ಕಪರಿಶೋಧಿಸುವಾಗ, ಯಾವುದೇ ಆನ್-ಪೇಜ್ ಆಪ್ಟಿಮೈಸೇಶನ್ಗಿಂತ ಮೊದಲು ನಾನು ಯಾವಾಗಲೂ ಲಾಗ್ಗಳಿಂದಲೇ ಆರಂಭಿಸುತ್ತೇನೆ.
Googlebot ಕ್ರಾಲ್ ನಡವಳಿಕೆ vs. ಕ್ರಾಲ್ ಬಜೆಟ್
“ಕ್ರಾಲ್ ಬಜೆಟ್” Google ನಿಮಗೆ ನೀಡುವ ವಿಷಯ ಎಂಬ ಸಾಮಾನ್ಯ ತಪ್ಪು ಕಲ್ಪನೆಯಿದೆ. ವಾಸ್ತವವಾಗಿ, ನಿಮ್ಮ ಸರ್ವರ್ Googlebot ಗೆ ಹೇಗೆ ಪ್ರತಿಕ್ರಿಯಿಸುತ್ತದೆ ಎಂಬುದರ ಫಲಿತಾಂಶ ಅದು. ನಿಮ್ಮ ಸರ್ವರ್ ವೇಗವಾಗಿದ್ದು ಸ್ಥಿರವಾಗಿ 200 OK ಹಿಂತಿರುಗಿಸಿದರೆ, Googlebot ಹೆಚ್ಚು ಬಾರಿ ಹಿಂತಿರುಗುತ್ತದೆ. ನೀವು ನಿಧಾನ ಪುಟಗಳು, ಮರುನಿರ್ದೇಶನ ಸರಪಳಿಗಳು ಅಥವಾ ದೋಷಗಳನ್ನು ಹೊಂದಿದ್ದರೆ, Googlebot ನಿಧಾನಗೊಳ್ಳುತ್ತದೆ ಅಥವಾ ಕ್ರಾಲಿಂಗ್ ನಿಲ್ಲಿಸುತ್ತದೆ.
By diving into your log file analysis , ಕ್ರಾಲ್ ಬಜೆಟ್ ಎಲ್ಲಿ ಖರ್ಚಾಗುತ್ತಿದೆ ಎಂಬುದನ್ನು ನೀವು ನಿಖರವಾಗಿ ನೋಡಬಹುದು. ಉದಾಹರಣೆಗೆ, ನಾನು ಒಮ್ಮೆ ಇ-ಕಾಮರ್ಸ್ ಕ್ಲೈಂಟ್ನೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಿದೆ, ಅಲ್ಲಿ Googlebot ದಿನಕ್ಕೆ 80,000 URL ಗಳನ್ನು ಕ್ರಾಲ್ ಮಾಡುತ್ತಿತ್ತು — ಆದರೆ ಅವುಗಳಲ್ಲಿ 40% 301 ಮರುನಿರ್ದೇಶನಗಳನ್ನು ಹಿಂದಿರುಗಿಸುವ ಹಳೆಯ ಉತ್ಪನ್ನ ಪುಟಗಳಾಗಿದ್ದವು. ಅದು ವ್ಯರ್ಥವಾದ ಸಂಪನ್ಮೂಲಗಳು. ಮರುನಿರ್ದೇಶನಗಳನ್ನು ಸ್ವಚ್ಛಗೊಳಿಸಿ robots.txt ನಿರ್ದೇಶನಗಳನ್ನು ಸೇರಿಸಿದ ನಂತರ, ನಾವು ಕ್ರಾಲ್ ವ್ಯರ್ಥವನ್ನು ಅರ್ಧಕ್ಕೆ ಇಳಿಸಿದೆವು ಮತ್ತು ಮೂರು ವಾರಗಳಲ್ಲಿ ಸಾವಯವ ಟ್ರಾಫಿಕ್ 25% ಹೆಚ್ಚಾಗುವುದನ್ನು ನೋಡಿದೆವು.
ಲಾಗ್ ಫೈಲ್ ವಿಶ್ಲೇಷಣೆಯನ್ನು ಹೇಗೆ ಮಾಡುವುದು: ಪರಿಕರಗಳು ಮತ್ತು ಹಂತಗಳು
ನಿಮ್ಮ ಲಾಗ್ ಫೈಲ್ಗಳನ್ನು ಪ್ರವೇಶಿಸಲು ನೀವು ಸಿಸ್ಟಮ್ ನಿರ್ವಾಹಕರಾಗಿರಬೇಕಾಗಿಲ್ಲ. ಹೆಚ್ಚಿನ ವೆಬ್ ಹೋಸ್ಟ್ಗಳು cPanel, FTP ಅಥವಾ ನೇರ ಡೌನ್ಲೋಡ್ ಮೂಲಕ ಪ್ರವೇಶವನ್ನು ಒದಗಿಸುತ್ತವೆ. ದೊಡ್ಡ ಸೈಟ್ಗಳಿಗೆ, Apache Combined, Nginx ಅಥವಾ AWS CloudFront ನಂತಹ ಸಾಮಾನ್ಯ ಸ್ವರೂಪಗಳಲ್ಲಿ ರಾ ಲಾಗ್ಗಳನ್ನು ಪಡೆಯಲು ನಿಮ್ಮ DevOps ತಂಡದೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಬೇಕಾಗಬಹುದು.
ಹಂತ 1: ನಿಮ್ಮ ಲಾಗ್ಗಳನ್ನು ಸಂಗ್ರಹಿಸಿ
ಪ್ರಮಾಣಿತ ವಿಧಾನವೆಂದರೆ ಕನಿಷ್ಠ 7–14 ದಿನಗಳ ಸರ್ವರ್ ಲಾಗ್ಗಳನ್ನು ಡೌನ್ಲೋಡ್ ಮಾಡುವುದು. ನಿಖರ Googlebot ಕ್ರಾಲ್ ನಡವಳಿಕೆಗೆ, ನಾನು ಪೂರ್ಣ ತಿಂಗಳನ್ನು ಶಿಫಾರಸು ಮಾಡುತ್ತೇನೆ. Googlebot ಗಾಗಿ ಫಿಲ್ಟರ್ ಮಾಡಲು ಲಾಗ್ಗಳು ಬಳಕೆದಾರ ಏಜೆಂಟ್ ಸ್ಟ್ರಿಂಗ್ ಒಳಗೊಂಡಿವೆ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಿ (Mozilla/5.0 compatible; Googlebot/2.1; +http://www.google.com/bot.html).
ಹಂತ 2: ಮೀಸಲಾದ ಲಾಗ್ ಫೈಲ್ ವಿಶ್ಲೇಷಕವನ್ನು ಬಳಸಿ
ಲಾಗ್ಗಳನ್ನು ನೀವು Python ಅಥವಾ grep ನೊಂದಿಗೆ ಪಾರ್ಸ್ ಮಾಡಬಹುದು, ಆದರೆ ವಿಶೇಷ ಪರಿಕರಗಳು ಅಪಾರ ಸಮಯ ಉಳಿಸುತ್ತವೆ. ನನ್ನ ಅಗ್ರ ಆಯ್ಕೆಗಳು ಇಲ್ಲಿವೆ:
- Screaming Frog Log File Analyser – 1,000 ಸಾಲುಗಳವರೆಗೆ ಉಚಿತ; ಪಾವತಿಸಿದ ಆವೃತ್ತಿಯು ಲಕ್ಷಾಂತರಗಳನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ. ವಿಶ್ಲೇಷಣೆ ಮತ್ತು ದೃಶ್ಯೀಕರಣಕ್ಕೆ ಪರಿಪೂರ್ಣ.
- Botify – ನೈಜ-ಸಮಯ ಲಾಗ್ ಸಂಸ್ಕರಣೆ, ಕ್ರಾಲ್ ಬಜೆಟ್ ವರದಿಗಳು ಮತ್ತು Google Analytics ನೊಂದಿಗೆ ಏಕೀಕರಣ ಹೊಂದಿರುವ ಎಂಟರ್ಪ್ರೈಸ್ ಪ್ಲಾಟ್ಫಾರ್ಮ್.
- Lumar (ಹಿಂದೆ DeepCrawl) – ಲಾಗ್ ಫೈಲ್ ಆಮದು ಮತ್ತು ವಿವರವಾದ ಕ್ರಾಲ್ ಆರೋಗ್ಯ ಡ್ಯಾಶ್ಬೋರ್ಡ್ಗಳೊಂದಿಗೆ ಮತ್ತೊಂದು ಎಂಟರ್ಪ್ರೈಸ್ ಪರಿಕರ.
ಹಂತ 3: Googlebot ಗಾಗಿ ಮಾತ್ರ ಫಿಲ್ಟರ್ ಮಾಡಿ
ಸಾಧನವು Googlebot ಬಳಕೆದಾರ ಏಜೆಂಟ್ಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಗುರುತಿಸುತ್ತದೆ. Googlebot ಕ್ರಾಲ್ ನಡವಳಿಕೆಯ ಮೇಲೆ ಗಮನಹರಿಸಲು ಎಲ್ಲಾ ಇತರ ಬಾಟ್ಗಳನ್ನು (Bing, Yandex, Facebook) ತೆಗೆದುಹಾಕಿ.
ಹಂತ 4: ಪ್ರಮುಖ ಮಾಪನಗಳನ್ನು ವಿಶ್ಲೇಷಿಸಿ
Look at:
- ಸ್ಥಿತಿ ಕೋಡ್ ವಿತರಣೆ – Googlebot ಗಾಗಿ 200, 301, 404, 500 ರ %.
- URL ಮೂಲಕ ಕ್ರಾಲ್ ಆವರ್ತನ – ಯಾವ ಪುಟಗಳು ಹೆಚ್ಚಾಗಿ ಹಿಟ್ ಆಗುತ್ತವೆ.
- Crawl depth – Googlebot ಎಷ್ಟು ಹಂತ ಆಳಕ್ಕೆ ಹೋಗುತ್ತದೆ?
- Crawl timestamps – ಗರಿಷ್ಠ ಕ್ರಾಲ್ ಸಮಯಗಳು, ಕೆಲವೊಮ್ಮೆ ಮರುಕ್ರಾಲ್ ಆವರ್ತನವನ್ನು ಸೂಚಿಸುತ್ತವೆ.
ಕಳೆದ ವರ್ಷ ನಾನು ಆಡಿಟ್ ಮಾಡಿದ ಮಧ್ಯಪ್ರಾಚ್ಯದ ನಿಜವಾದ ಇ-ಕಾಮರ್ಸ್ ಸೈಟ್ನಿಂದ ಒಂದು ಮಾದರಿ ಇಲ್ಲಿದೆ:
| Metric | Before Optimization | After Optimization |
|---|---|---|
| ದಿನಕ್ಕೆ ಒಟ್ಟು Googlebot ವಿನಂತಿಗಳು | 12,000 | 8,500 |
| 200 ಅನ್ನು ಹಿಂದಿರುಗಿಸುವ ವಿನಂತಿಗಳ % | 60% | 80% |
| ಕ್ಯಾನೊನಿಕಲ್ ಅಲ್ಲದ URL ಗಳಿಗೆ ವಿನಂತಿಗಳ % | 25% | 5% |
| ವ್ಯರ್ಥವಾದ ಕ್ರಾಲ್ ಬಜೆಟ್ (%) | 40% | 15% |
ಆ ಸಂಖ್ಯೆಗಳು 50,000 ಉತ್ಪನ್ನ ಪುಟಗಳನ್ನು ಹೊಂದಿರುವ ಗ್ರಾಹಕರಿಂದ ಬಂದಿವೆ. ಲಾಗ್ ಫೈಲ್ ವಿಶ್ಲೇಷಣೆಯ ನಂತರ Googlebot ಫಿಲ್ಟರ್ ಸಂಯೋಜನೆಗಳು ಮತ್ತು ಸೆಷನ್-ಆಧಾರಿತ URL ಗಳನ್ನು ಕ್ರಾಲ್ ಮಾಡುತ್ತಿದೆ ಎಂದು ನಾವು ಗುರುತಿಸಿದೆವು. ನಾವು ಅವುಗಳನ್ನು robots.txt ನಲ್ಲಿ ನಿರ್ಬಂಧಿಸಿ, ಕ್ಯಾನೊನಿಕಲ್ ಪುಟಗಳಿಗೆ ಆಂತರಿಕ ಲಿಂಕಿಂಗ್ ಅನ್ನು ಸುಧಾರಿಸಿದೆವು. ಫಲಿತಾಂಶ: ಹೆಚ್ಚಿನ ಸಾವಯವ ಟ್ರಾಫಿಕ್ ಮತ್ತು ವೇಗವಾದ ಇಂಡೆಕ್ಸಿಂಗ್.
ಲಾಗ್ ಫೈಲ್ ವಿಶ್ಲೇಷಣೆಯಿಂದ ಸಾಮಾನ್ಯ ಒಳನೋಟಗಳು
ನಿಮ್ಮ ಡೇಟಾ ಪಡೆದ ನಂತರ, ನಿಜವಾದ ಕೆಲಸ ಪ್ರಾರಂಭವಾಗುತ್ತದೆ. ನಾನು ಪದೇಪದೇ ನೋಡುವ ಮಾದರಿಗಳು ಇಲ್ಲಿವೆ:
1. ತೆಳು ಅಥವಾ ನಕಲಿ ವಿಷಯದ ಕ್ರಾಲ್
Googlebot ಗೆ ಸಾವಯವ ಮೌಲ್ಯವಿಲ್ಲದ ಪುಟಗಳನ್ನು—ಫೇಸೆಟ್ಗಳು, ಪುಟ ಸಂಖ್ಯೆಯ ಆರ್ಕೈವ್ಗಳು, ಮುದ್ರಣ-ಸ್ನೇಹಿ ಆವೃತ್ತಿಗಳು—ತಲುಪುತ್ತಿದ್ದರೆ, ನೀವು ಕ್ರಾಲ್ ಬಜೆಟ್ ವ್ಯರ್ಥ ಮಾಡುತ್ತಿದ್ದೀರಿ. ಇದನ್ನು ಬಳಸಿ log file analysis ಈ URL ಗಳನ್ನು ಗುರುತಿಸಿ ಸೇರಿಸಲು noindex or disallow directives.
2. ದೋಷ ಪುಟಗಳು ಇನ್ನೂ ಕ್ರಾಲ್ ಆಗುತ್ತಿವೆ
ಹಳೆಯ ಪುಟಗಳನ್ನು ಅಳಿಸಿದ ನಂತರವೂ, ಅವು ಇಂಡೆಕ್ಸ್ನಿಂದ ತೆಗೆದುಹಾಕುವವರೆಗೆ Googlebot 404 ಗಳನ್ನು ಕ್ರಾಲ್ ಮಾಡುವುದನ್ನು ಮುಂದುವರಿಸಬಹುದು. ಯಾವ URL ಗಳು 404 ನೀಡುತ್ತವೆ ಮತ್ತು ಎಷ್ಟು ಬಾರಿ ಎಂದು ಲಾಗ್ಗಳು ತೋರಿಸುತ್ತವೆ. 404 ಪ್ರತಿದಿನ ಹಿಟ್ ಆಗುತ್ತಿರುವುದನ್ನು ನೀವು ನೋಡಿದರೆ, ಸಂಬಂಧಿತ ಪುಟಕ್ಕೆ 301 ಮರುನಿರ್ದೇಶನ ಹೊಂದಿಸಿ ಅಥವಾ ಕಸ್ಟಮ್ 404 ನಿರ್ವಹಣೆ ಜಾರಿಗೊಳಿಸಿ.
3. ಕ್ರಾಲ್ ಆವರ್ತನ ಅಸಮಾನತೆಗಳು
ಆಗಾಗ್ಗೆ ನವೀಕರಿಸುವ ಪುಟಗಳನ್ನು (ಸುದ್ದಿ ಲೇಖನಗಳು ಅಥವಾ ಉತ್ಪನ್ನ ಬೆಲೆಗಳಂತೆ) ಹೆಚ್ಚಾಗಿ ಕ್ರಾಲ್ ಮಾಡಬೇಕು. ನಿಮ್ಮ ಅತ್ಯಂತ ಪ್ರಮುಖ ವಿಷಯವನ್ನು ತಿಂಗಳಿಗೊಮ್ಮೆ ಮಾತ್ರ ಕ್ರಾಲ್ ಮಾಡಲಾಗುತ್ತಿದ್ದರೆ ಹಳೆಯ ಬ್ಲಾಗ್ ಪೋಸ್ಟ್ಗಳಿಗೆ ದೈನಂದಿನ ಭೇಟಿಗಳು ಸಿಗುತ್ತಿದ್ದರೆ, ಅದು ಕೆಂಪು ಧ್ವಜ. ಲಾಗ್ ಫೈಲ್ಗಳು ಈ ಅಸಮತೋಲನಗಳನ್ನು ಬಹಿರಂಗಪಡಿಸುತ್ತವೆ.
4. GSC ಯಲ್ಲಿ ಕ್ರಾಲ್ ದರ ಸೆಟ್ಟಿಂಗ್ಗಳ ಪರಿಣಾಮ
Google Search Console ಕ್ರಾಲ್ ದರ ಮಿತಿಯನ್ನು ಹೊಂದಿಸಲು ನಿಮಗೆ ಅವಕಾಶ ನೀಡುತ್ತದೆ, ಆದರೆ ಅದು ಮೊಂಡು ಸಾಧನ. ಲಾಗ್ ಫೈಲ್ಗಳು ಆ ಸೆಟ್ಟಿಂಗ್ಗಳ ನೈಜ-ಸಮಯದ ಪರಿಣಾಮವನ್ನು ಮತ್ತು ತಾಜಾ ವಿಷಯದ ವೇಗವಾದ ಸೂಚ್ಯಂಕಕ್ಕಾಗಿ ಮಿತಿಯನ್ನು ಹೆಚ್ಚಿಸಬೇಕೇ ಎಂದು ತೋರಿಸುತ್ತವೆ.
5. ಬಾಟ್ ಅನುಕರಣೆಯ ಪತ್ತೆ
ಕೆಲವೊಮ್ಮೆ ದುರುದ್ದೇಶಪೂರಿತ ಬಾಟ್ಗಳು Googlebot ಎಂದು ನಟಿಸುತ್ತವೆ. ರಿವರ್ಸ್ DNS ಪರಿಶೀಲನೆಯೊಂದಿಗೆ ಸರ್ವರ್ ಲಾಗ್ಗಳು ನಕಲಿಗಳನ್ನು ಗುರುತಿಸಬಹುದು. ನೈಜ Googlebot ವಿನಂತಿಗಳು ಯಾವಾಗಲೂ googlebot.com ಹೋಸ್ಟ್ಹೆಸರುಗಳಿಂದಲೇ ಬರುತ್ತವೆ. ಸಂಪನ್ಮೂಲಗಳನ್ನು ಬಳಸುವ ನಕಲಿ ಬಳಕೆದಾರ ಏಜೆಂಟ್ ಕಂಡರೆ, ಅದನ್ನು ಫೈರ್ವಾಲ್ನಲ್ಲಿ ನಿರ್ಬಂಧಿಸಿ.
ಲಾಗ್ ಫೈಲ್ ವಿಶ್ಲೇಷಣಾ ಟೂಲ್ಗಳನ್ನು ಹೋಲಿಸುವುದು
ಸರಿಯಾದ ಸಾಧನವನ್ನು ಆಯ್ಕೆ ಮಾಡಲು ನಿಮಗೆ ಸಹಾಯ ಮಾಡಲು, ನನ್ನ ಪ್ರಾಯೋಗಿಕ ಅನುಭವವನ್ನು ಆಧರಿಸಿದ ಹೋಲಿಕೆ ಕೋಷ್ಟಕ ಇಲ್ಲಿದೆ:
| Tool | Pricing | Key Features | Best For |
|---|---|---|---|
| [Screaming Frog Log File Analyser](https://www.screamingfrog.co.uk/log-file-analyser/) | ಉಚಿತ (ಸೀಮಿತ) / ಪಾವತಿಸಿದ £149/ವರ್ಷ | ರಿಯಲ್-ಟೈಮ್ ಲಾಗ್ ಆಮದು, ಯೂಸರ್ ಏಜೆಂಟ್ ಫಿಲ್ಟರಿಂಗ್, ಪ್ರತಿಕ್ರಿಯೆ ಕೋಡ್ ವಿಭಜನೆ, ರಫ್ತು ಮಾಡಬಹುದಾದ ವರದಿಗಳು | ವ್ಯಕ್ತಿಗಳು ಮತ್ತು ಸಣ್ಣದಿಂದ ಮಧ್ಯಮ ಸೈಟ್ಗಳು |
| [Botify](https://www.botify.com) | ಎಂಟರ್ಪ್ರೈಸ್ ಕಸ್ಟಮ್ ಬೆಲೆ | ನಿರಂತರ ಲಾಗ್ ಸ್ಟ್ರೀಮಿಂಗ್, ಕ್ರಾಲ್ ಬಜೆಟ್ ಡ್ಯಾಶ್ಬೋರ್ಡ್, ಆದಾಯ ಆಟ್ರಿಬ್ಯೂಷನ್, API | ದೊಡ್ಡ ಇ-ಕಾಮರ್ಸ್ ಮತ್ತು ಉದ್ಯಮ |
| [Lumar (DeepCrawl)](https://www.lumar.io) | ಎಂಟರ್ಪ್ರೈಸ್ ಕಸ್ಟಮ್ ಬೆಲೆ | ಲಾಗ್ ಫೈಲ್ ಅಪ್ಲೋಡ್, ಕ್ರಾಲ್ ಹಾದಿ ವಿಶ್ಲೇಷಣೆ, GSC ಮತ್ತು GA ಜೊತೆ ಏಕೀಕರಣ | ದೊಡ್ಡ ಮಟ್ಟದಲ್ಲಿ ಇನ್-ಹೌಸ್ SEO ತಂಡಗಳು |
| ಕಸ್ಟಮ್ ಸ್ಕ್ರಿಪ್ಟ್ಗಳು (Python/AWK) | Free | ಪೂರ್ಣ ನಿಯಂತ್ರಣ, ಸ್ಕೇಲೆಬಲ್ | ಸಮಯ ಮತ್ತು ಬಜೆಟ್ ಇರುವ ಡೆವಲಪರ್ಗಳು |
ನಾಲ್ಕನ್ನೂ ಬಳಸಿದ್ದೇನೆ. ಹೆಚ್ಚಿನ ಏಜೆನ್ಸಿಗಳು ಮತ್ತು ಇನ್-ಹೌಸ್ ತಂಡಗಳಿಗೆ, Screaming Frog Log File Analyser ಅತ್ಯುತ್ತಮ ಮೌಲ್ಯ. ಬೃಹತ್ ಸೈಟ್ಗಳಿಗೆ (1M+ ಪುಟಗಳು), Botify ಸ್ವಯಂಚಾಲಿತ ಸಂಸ್ಕರಣೆಯನ್ನು ಸೋಲಿಸುವುದು ಕಷ್ಟ.
ಕ್ರಾಲ್ ಡೇಟಾದ ಮೇಲೆ ಹೇಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುವುದು
ಕ್ರಮವಿಲ್ಲದೆ ಡೇಟಾ ಸಂಗ್ರಹ ವ್ಯರ್ಥ. ನಿಮ್ಮ ನಂತರ ನಿಖರವಾಗಿ ಏನು ಮಾಡಬೇಕೆಂದು ಇಲ್ಲಿದೆ log file analysis:
ರಿಡೈರೆಕ್ಟ್ ಸರಪಳಿಗಳು ಮತ್ತು ಮುರಿದ ಲಿಂಕ್ಗಳನ್ನು ಸರಿಪಡಿಸಿ
Googlebot 404 ಗಳಿಗೆ ಕಾರಣವಾಗುವ 301 ಗಳನ್ನು ತಲುಪುತ್ತಿದ್ದರೆ, ಮರುನಿರ್ದೇಶನ ಸರಪಳಿಯನ್ನು ಅಪ್ಡೇಟ್ ಮಾಡಿ. ಅತಿ ಹೆಚ್ಚು ಕ್ರಾಲ್ ಮಾಡಿದ ಮುರಿದ URL ಗಳ ಪಟ್ಟಿಯನ್ನು ಕಂಪೈಲ್ ಮಾಡಲು ಲಾಗ್ ಫೈಲ್ ಡೇಟಾ ಬಳಸಿ ಮತ್ತು ಸಂಬಂಧಿತ ಪುಟಗಳಿಗೆ ಸರಿಯಾದ 301 ಗಳನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಿ.
Robots.txt ನೊಂದಿಗೆ ಕ್ರಾಲ್ ಬಜೆಟ್ ಆಪ್ಟಿಮೈಸ್ ಮಾಡಿ
ಅಗತ್ಯವಲ್ಲದ ಎಲ್ಲಾ ವಿಭಾಗಗಳನ್ನು ನಿರ್ಬಂಧಿಸಿ: admin, facet ನಿಯತಾಂಕಗಳು, session IDಗಳು, ಕಾಮೆಂಟ್ ಪುಟಗಳು. ಬಳಸಿ crawl-delay ಅಗತ್ಯವಿದ್ದರೆ ಮಾತ್ರ ನಿರ್ದೇಶನ — ಹೆಚ್ಚಿನ ಸೈಟ್ಗಳಿಗೆ ಅದರ ಅಗತ್ಯವಿಲ್ಲ.
ಪ್ರಮುಖ ಪುಟಗಳಲ್ಲಿ ಆಂತರಿಕ ಲಿಂಕಿಂಗ್ ಸುಧಾರಿಸಿ
ಉನ್ನತ-ಮೌಲ್ಯದ ಪುಟಗಳು (ನಿಮ್ಮ ಅತಿ ಹೆಚ್ಚು ಮಾರಾಟವಾಗುವ ಉತ್ಪನ್ನಗಳಂತಹವು) ವಿರಳವಾಗಿ ಕ್ರಾಲ್ ಆಗುತ್ತವೆ ಎಂದು ಲಾಗ್ಗಳು ತೋರಿಸಿದರೆ, ಹೆಚ್ಚಿನ-ಕ್ರಾಲ್ ಪುಟಗಳಿಂದ (ಮುಖಪುಟ ಅಥವಾ ವರ್ಗ ಪುಟಗಳಂತಹವು) ಹೆಚ್ಚಿನ ಆಂತರಿಕ ಲಿಂಕ್ಗಳನ್ನು ಸೇರಿಸಿ. ಇದು Googlebot ಗೆ ಮಹತ್ವವನ್ನು ಸಂಕೇತಿಸುತ್ತದೆ.
ಸರ್ವರ್ ಪ್ರತಿಕ್ರಿಯಾ ಸಮಯವನ್ನು ವೇಗಗೊಳಿಸಿ
ಸರ್ವರ್ ಪ್ರತಿಕ್ರಿಯಾ ಸಮಯ 200 ms ಮೀರಿದಾಗ Googlebot ಕ್ರಾಲ್ ದರವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ನಿಧಾನ ಎಂಡ್ಪಾಯಿಂಟ್ಗಳನ್ನು ಗುರುತಿಸಲು ಲಾಗ್ಗಳನ್ನು ಬಳಸಿ ಮತ್ತು ಅವುಗಳನ್ನು ಆಪ್ಟಿಮೈಸ್ ಮಾಡಿ. ಪುನರಾವರ್ತಿತ URLಗಳಿಗಾಗಿ CDN ಅಥವಾ ಕ್ಯಾಶಿಂಗ್ ಪರಿಗಣಿಸಿ.
GSC ಮೂಲಕ ನಿರ್ಣಾಯಕ ಪುಟಗಳನ್ನು ಸಲ್ಲಿಸಿ
ತಕ್ಷಣ ಇಂಡೆಕ್ಸಿಂಗ್ ಅಗತ್ಯವಿರುವ ಸುದ್ದಿ ಲೇಖನ ಅಥವಾ ಹೊಸ ಉತ್ಪನ್ನ ಬಿಡುಗಡೆ ನಿಮ್ಮ ಬಳಿ ಇದ್ದರೆ, ಲಾಗ್ಗಳನ್ನು ಪರಿಶೀಲಿಸಿ Googlebot ಈಗಾಗಲೇ ಪುಟವನ್ನು ತಲುಪಿದೆಯೇ ಎಂದು ಗುರುತಿಸಿ. ಇಲ್ಲದಿದ್ದರೆ, ಇಂಡೆಕ್ಸಿಂಗ್ ವಿನಂತಿಸಲು URL Inspection ಸಾಧನ ಬಳಸಿ.
ಕ್ರಾಲ್ ಡೇಟಾದಿಂದ ರ್ಯಾಂಕಿಂಗ್ಗಳಿಗೆ
ನಾವು ಇದನ್ನು ಹೇಗೆ ಪರಿಶೀಲಿಸಿದೆವು (ಸೆಪ್ಟೆಂಬರ್ 2026): ನಾವು ಸೆಪ್ಟೆಂಬರ್ 2026ರಲ್ಲಿ ಕ್ಲೈಂಟ್ ಆಸ್ತಿಗಳ ಮೇಲೆ ಲಾಗ್-ಫೈಲ್ ಪರಿಶೀಲನೆಗಳನ್ನು ಮರುಚಲಾಯಿಸಿದೆವು; ಉಪಕರಣ ಹೆಸರುಗಳು ಮತ್ತು ಉಚಿತ-ಶ್ರೇಣಿ ಮಿತಿಗಳು ಆ ದಿನಾಂಕದಂದು ನಾವು ಪರಿಶೀಲಿಸಬಹುದಾದುದನ್ನು ಪ್ರತಿಬಿಂಬಿಸುತ್ತವೆ.
ಕ್ರಾಲ್ ಡೇಟಾ ಏನಾಯಿತು ಎಂದು ಹೇಳುತ್ತದೆ. ಈ ಮಾರ್ಗದರ್ಶಿಗಳು ಅದನ್ನು ಪರಿಹಾರಗಳಾಗಿ ಪರಿವರ್ತಿಸುತ್ತವೆ:
- ವೆಬ್ಸೈಟ್ SEO ವಿಶ್ಲೇಷಕ ವಾಕ್ಥ್ರೂ — ನಿಮ್ಮ ಲಾಗ್ ಸಂಶೋಧನೆಗಳ ಸುತ್ತ ಸಂಪೂರ್ಣ ಆಡಿಟ್ ಕೆಲಸದ ಹರಿವು
- Next.js SEO: SSR vs ISR vs SSG — ಲಾಗ್ಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಬಹಿರಂಗಪಡಿಸುವ ರೆಂಡರಿಂಗ್ ಸಮಸ್ಯೆಗಳನ್ನು ಸರಿಪಡಿಸಿ
- AEO vs SEO — ಕ್ರಾಲ್ ಮಾಡಿದ ಪುಟಗಳು AI ಉಲ್ಲೇಖಗಳನ್ನು ಗಳಿಸುವಂತೆ ಮಾಡಿ
ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು
1. ಲಾಗ್ ಫೈಲ್ ವಿಶ್ಲೇಷಣೆಯು ಸೈಟ್ ಕ್ರಾಲ್ ಮಾಡುವುದಕ್ಕೆ ಸಮಾನವೇ?
ಇಲ್ಲ. ಸೈಟ್ ಅನ್ನು ಕ್ರಾಲ್ ಮಾಡುವುದು (Screaming Frog ಅಥವಾ ಇತರರೊಂದಿಗೆ) ಬಾಟ್ ಏನು ಮಾಡುತ್ತದೆ ಎಂಬುದನ್ನು ಅನುಕರಿಸುತ್ತದೆ could ಕ್ರಾಲ್ ಮಾಡಿ. Googlebot ಏನು ಎಂದು ಲಾಗ್ ಫೈಲ್ ವಿಶ್ಲೇಷಣೆ ತೋರಿಸುತ್ತದೆ actually ಕ್ರಾಲ್ ಮಾಡಲಾಯಿತು. ಎರಡೂ ಪರಸ್ಪರ ಪೂರಕವಾಗಿವೆ.
2. ಹಂಚಿಕೆಯ ಹೋಸ್ಟಿಂಗ್ನಿಂದ ಲಾಗ್ ಫೈಲ್ಗಳನ್ನು ಪಡೆಯಬಹುದೇ?
ಹೌದು, ಹೆಚ್ಚಿನ ಶೇರ್ಡ್ ಹೋಸ್ಟ್ಗಳು cPanel ಮೂಲಕ ರಾ ಆಕ್ಸೆಸ್ ಲಾಗ್ಗಳನ್ನು ಒದಗಿಸುತ್ತವೆ (ಸಾಮಾನ್ಯವಾಗಿ “Metrics” ವಿಭಾಗದಲ್ಲಿ). ಇಲ್ಲದಿದ್ದರೆ, ಅವುಗಳನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಲು ಬೆಂಬಲ ತಂಡವನ್ನು ಕೇಳಿ.
3. ವಿಶ್ಲೇಷಿಸಲು ನನಗೆ ಎಷ್ಟು ಲಾಗ್ ಡೇಟಾ ಬೇಕು?
ಕನಿಷ್ಠ 7 ದಿನಗಳು; ವಾರದ ಮಾದರಿಗಳನ್ನು ಹಿಡಿಯಲು 14–30 ದಿನಗಳು ಉತ್ತಮ. ನಿಮ್ಮ ಗಮನ ಅದಲ್ಲದಿದ್ದರೆ ಹಬ್ಬದ ಟ್ರಾಫಿಕ್ನಂತಹ ಉತ್ತುಂಗಗಳನ್ನು ತಪ್ಪಿಸಿ.
4. ಲಾಗ್ ಫೈಲ್ಗಳಲ್ಲಿ JavaScript ಕ್ರಾಲ್ ಡೇಟಾ ಇದೆಯೇ?
ಪ್ರವೇಶ ಲಾಗ್ಗಳು JS-ರೆಂಡರ್ ಮಾಡಿದ ವಿಷಯಕ್ಕಾಗಿ XHR/fetch ಕರೆಗಳು ಸೇರಿದಂತೆ ಎಲ್ಲಾ HTTP ವಿನಂತಿಗಳನ್ನು ಸೆರೆಹಿಡಿಯುತ್ತವೆ. ಆದಾಗ್ಯೂ, ಅವು ಹೆಚ್ಚಾಗಿ Googlebot ನಿಂದ ಅಲ್ಲದೆ ಬ್ರೌಸರ್ನಿಂದ ಬರುತ್ತವೆ. ಬಳಕೆದಾರ ಏಜೆಂಟ್ ಮೂಲಕ ನೀವು ಎಚ್ಚರಿಕೆಯಿಂದ ಫಿಲ್ಟರ್ ಮಾಡಬೇಕು.
5. Googlebot ನ IP ಶ್ರೇಣಿ ಬದಲಾದರೆ ಏನು?
Google ತನ್ನ IP ಶ್ರೇಣಿಗಳನ್ನು ಇದರಲ್ಲಿ ಪ್ರಕಟಿಸುತ್ತದೆ Googlebot FAQ. ಹೆಚ್ಚಿನ ಲಾಗ್ ವಿಶ್ಲೇಷಕಗಳು ಆ ಪಟ್ಟಿಯ ವಿರುದ್ಧ IP ಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಪರಿಶೀಲಿಸುತ್ತವೆ.
ಅಂತಿಮ ಆಲೋಚನೆಗಳು & ಮುಂದಿನ ಹಂತಗಳು
Log file analysis ಎಂಬುದು Google ನ ಕಣ್ಣುಗಳ ಮೂಲಕ ನೋಡುವುದಕ್ಕೆ ಅತ್ಯಂತ ಹತ್ತಿರದ ಮಾರ್ಗ. ಯಾವ ಪುಟಗಳನ್ನು ಕ್ರಾಲ್ ಮಾಡಲಾಗುತ್ತಿದೆ, ಎಷ್ಟು ಬಾರಿ, ಮತ್ತು Googlebot ಕಡಿಮೆ ಮೌಲ್ಯದ URL ಗಳ ಕುಣಿಕೆಯಲ್ಲಿ ಸಿಲುಕಿದೆಯೇ ಎಂಬುದನ್ನು ಇದು ನಿಖರವಾಗಿ ಹೇಳುತ್ತದೆ. ಇದರೊಂದಿಗೆ Googlebot ಕ್ರಾಲ್ ನಡವಳಿಕೆ Search Console ನಿಂದ ಡೇಟಾ, ನೀವು ಕ್ರಾಲ್ ಬಜೆಟ್ ಉಳಿಸುವ ಮತ್ತು ಇಂಡೆಕ್ಸಿಂಗ್ ದಕ್ಷತೆಯನ್ನು ಹೆಚ್ಚಿಸುವ ನಿಖರ ತಾಂತ್ರಿಕ SEO ತಂತ್ರವನ್ನು ನಿರ್ಮಿಸಬಹುದು.
DG10 Agency ಯಲ್ಲಿ, ಪ್ರತಿ ಎಂಟರ್ಪ್ರೈಸ್ ಆಡಿಟ್ನಲ್ಲಿ ನಾವು ಲಾಗ್ ಫೈಲ್ ವಿಶ್ಲೇಷಣೆಯನ್ನು ಬಳಸುತ್ತೇವೆ. ಇದು ಐಚ್ಛಿಕವಲ್ಲ—ಅಡಿಪಾಯ. ಇಂಡೆಕ್ಸಿಂಗ್ ಸಮಸ್ಯೆಗಳು, ನಿಗೂಢ ಟ್ರಾಫಿಕ್ ಇಳಿಕೆಗಳು, ಅಥವಾ ಸಂಪೂರ್ಣವಾಗಿ ಇಂಡೆಕ್ಸ್ ಆಗದ ದೊಡ್ಡ ಸೈಟ್ನಿಂದ ನೀವು ತೊಂದರೆಗೊಳಗಾಗಿದ್ದರೆ, ಲಾಗ್ಗಳನ್ನು ನೋಡುವ ಸಮಯ.
Googlebot ನಿಮ್ಮ ಸೈಟ್ ಅನ್ನು ಹೇಗೆ ಕ್ರಾಲ್ ಮಾಡುತ್ತದೆ ಎಂದು ನಿಖರವಾಗಿ ನೋಡಲು ಸಿದ್ಧರಿದ್ದೀರಾ? Contact DG10 Agency ಆಳವಾದ ಲಾಗ್ ಫೈಲ್ ವಿಶ್ಲೇಷಣೆ ಮತ್ತು ಕಾರ್ಯಸಾಧ್ಯ ಕ್ರಾಲ್ ಆಪ್ಟಿಮೈಸೇಶನ್ ಒಳಗೊಂಡಿರುವ ತಾಂತ್ರಿಕ SEO ಆಡಿಟ್ಗಾಗಿ. ನಿಮ್ಮ ಸರ್ವರ್ ಲಾಗ್ಗಳನ್ನು ಉತ್ತಮ ಸಾವಯವ ಕಾರ್ಯಕ್ಷಮತೆಗಾಗಿ ಮಾರ್ಗಸೂಚಿಯಾಗಿ ನಾವು ಪರಿವರ್ತಿಸುತ್ತೇವೆ.
ಈ ಲೇಖನವನ್ನು DG10 Agency ನ ತಾಂತ್ರಿಕ SEO ತಂಡ ಬರೆದಿದೆ. ಎಲ್ಲಾ ಡೇಟಾ ಮತ್ತು ಪ್ರಕರಣ ಅಧ್ಯಯನಗಳು ನಿಜವಾದ ಕ್ಲೈಂಟ್ ಯೋಜನೆಗಳಿಂದ, ಗೌಪ್ಯತೆಗಾಗಿ ಅನಾಮಿಕಗೊಳಿಸಲಾಗಿದೆ. ತಾಂತ್ರಿಕ SEO ಅಡಿಪಾಯಗಳ ಕುರಿತು ಹೆಚ್ಚಿನದಕ್ಕಾಗಿ, ನಮ್ಮ ಓದಿ ಎಂಟರ್ಪ್ರೈಸ್ ತಾಂತ್ರಿಕ SEO ಗಾಗಿ ಪಿಲ್ಲರ್ ಮಾರ್ಗದರ್ಶಿ.



