گوگل منابع نامحدود ندارد و برای هر سایت مقدار مشخصی خزش انجام میدهد. در سایتی با صد صفحه، این موضوع تقریباً بیاهمیت است؛ اما در فروشگاهی با دهها هزار محصول یا پلتفرمی با میلیونها صفحه، بودجه خزش تعیین میکند کدام صفحهها اصلاً دیده و ایندکس شوند.
بودجهٔ خزش از چه چیزی تشکیل میشود؟
- ظرفیت خزش (Crawl Capacity): چقدر میتواند بدون آسیب به سرور خزش کند؛ به سرعت و پایداری سرور بستگی دارد.
- تقاضای خزش (Crawl Demand): چقدر میخواهد خزش کند؛ به محبوبیت صفحهها، تازگی محتوا و اهمیت سایت بستگی دارد.
چه سایتهایی باید نگران باشند؟
- سایتهایی با بیش از ده هزار صفحهٔ متغیر
- فروشگاهها با فیلترها و پارامترهای زیاد
- سایتهای خبری با انتشار روزانهٔ زیاد
- پلتفرمها و دایرکتوریها با میلیونها نشانی
برای سایتهای کوچک، تمرکز روی محتوا و لینک داخلی کافی است.
هدررفت بودجهٔ خزش
| منبع هدررفت | راهحل |
|---|---|
| پارامترهای فیلتر و مرتبسازی بیپایان | canonical، robots.txt برای الگوهای بیارزش |
| صفحههای تکراری | مدیریت محتوای تکراری |
| زنجیرهٔ ریدایرکت | ریدایرکت مستقیم به مقصد نهایی |
| خطاهای ۴۰۴ و ۵xx زیاد | رفع لینکهای شکسته و پایداری سرور |
| صفحههای کمارزش و خالی | ادغام، noindex یا حذف |
| جستوجوی داخلی قابل خزش | مسدود کردن در robots.txt |
| تقویمها و صفحهبندی بیپایان | محدود کردن عمق |
روشهای بهینهسازی
- سرور سریع و پایدار: پاسخ سریع یعنی خزش بیشتر. خطاهای ۵xx خزش را کم میکند.
- نقشهٔ سایت تمیز و بخشبندیشده فقط با نشانیهای مهم و قابل ایندکس؛ نقشهٔ سایت XML.
- robots.txt حسابشده برای بستن فضاهای بیارزش؛ robots.txt.
- لینک داخلی قوی به صفحههای مهم و صفحههای جدید.
- کاهش صفحههای کمارزش و تقویت صفحههای باقیمانده.
- lastmod دقیق در نقشهٔ سایت تا گوگل بداند چه چیزی تغییر کرده.
سنجش با Crawl Stats
در سرچ کنسول، بخش تنظیمات، گزارش Crawl Stats تعداد درخواستهای روزانه، زمان پاسخ سرور، نوع فایلها و کدهای پاسخ را نشان میدهد. گزارشهای لاگ سرور هم دقیقترین تصویر را از رفتار گوگلبات میدهند.
تجربهٔ ایرانگاه
در پلتفرم ایرانگاه با بیش از یک میلیون نشانی، مدیریت بودجهٔ خزش با نقشههای سایت بخشبندیشده، حذف فضاهای تکراری و لینکسازی داخلی ساختاریافته، به ایندکس بیش از ۵۰۰ هزار صفحه در حدود سه ماه کمک کرد.
نکتهٔ میزبانی داخلی
اگر سرور در ایران است و در زمان اختلال اینترنت بینالملل برای گوگلبات در دسترس نیست، خزش متوقف میشود؛ هاست ایران یا خارج.
جمعبندی
بودجهٔ خزش برای سایتهای بزرگ تعیینکننده است: هدررفت را ببندید، سرور را سریع نگه دارید و گوگل را با نقشهٔ سایت و لینک داخلی به صفحههای مهم هدایت کنید. مدیریت بودجهٔ خزش سایتهای بزرگ یکی از تخصصهای تیم سئو یادگار است.


دیدگاهتان را بنویسید