بودجه خزش ( Crawl budget ) اصطلاحی است که توسط سئوکاران ایجاد شده و به تعداد دفعاتی که
ربات های گوگل می توانند در یک بازه زمانی مثلا در یک روز صفحات یک سایت را ایندکس کنند ، اشاره دارد.
این یک مفهوم مهم در زمینه سئو است که باید در صورت کار در وب سایت های بزرگ از آن آگاه باشید.
در این مقاله ، میخواهیم درباره ی اینکه بودجه خزش چیست و چرا مهم است و چگونه می توان آن را برای
بهبود سئو بهینه کرد صحبت کنیم .
بودجه خزیدن وب سایت شما به تعداد URL هایی که Googlebot می تواند یا میخواهد خزنده شود ، بسته به
میزان نرخ خزیدن وب سایت و تقاضای خزیدن متقابل ، تعریف شده است.
اگر تقاضای نمایه سازی صفحات وب شما کم باشد ، Googlebot از خزیدن صفحات شما جلوگیری می کند.
محدودیت Crawl Rate معرفی شده است تا Google نتواند خیلی سریع صفحات وب سایت شما را خسته کند و سرور
شما را خسته کند. محدودیت Crawl Rate درخواست های Google را بیش از حد متوقف می کند زیرا ممکن است منجر
به کاهش سرعت وب سایت شما شود.
هیچ کس دوست ندارد یک وب سایت بارگیری کند داشته باشد. سرعت وب سایت خود را برای نمایش موبایل و دسک تاپ بهینه کنید.
اطمینان حاصل کنید که هر URL در وب سایت شما باید به کاربر شما ارزش افزوده دهد.
چرا بودجه خزش Crawl Budget برای سئو سایت مهم است؟
به طور خلاصه ، اگر گوگل صفحهای را ایندکس نکند، آن صفحه جایگاهی در رتبه بندی گوگل نخواهد داشت.
بنابراین اگر تعداد صفحات سایت شما از بودجه خزش Crawl Budget سایت شما افزایش پیدا کند، سایت شما در
معرض خطر جدی ایندکس نشدن است.
اگر سرعت سایت شما کم است یا زمان پاسخ سرور کم است ، میزان سرعت خزیدن کاهش می یابد و Googlebot
فقط چند صفحه شما را ایندکس می کند. بهبود سرعت صفحه سایت میتواند منجر به کراول بیشتر صفحه های سایت
شما توسط Googlebot شود.
در واقع گوگل بیان می کند : “ایجاد یک سایت سریع تر باعث بهبود تجربه کاربران و درعین حال افزایش نرخ خزش میشود.”
بارگذاری کند صفحات یک سایت باعث از بین رفتن زمان حضور Googlebot در سایت می شود. اگر صفحات شما سریع بارگیری
شوند، Googlebot زمان بیشتری برای بازدید و ایندکس صفحات شما دارد.
محتوای قدیمی ترجیح داده نمی شود. برای بالا بردن بودجه خزش وب سایت خود را هر از چند گاهی به روز کنید و محتوای
تازه و جدیدی را در اختیار کاربران خود قرار بدهید.
محتوای تکراری می تواند وب سایت شما را خراب کند.
کپی Meta و عنوان برچسب ها می تواند باعث بلایایی شود. بخاطر بسپارید ، بهتر است بدون داشتن برچسب های Meta و
Title دارای برچسب های تکراری باشید.
گوگل می گوید محتوای محبوب و به روز شده تقاضای بالاتری برای خزیدن دارد. تقاضای خزیدن به محبوبیت صفحات وب و
همچنین طراوت و اصالت محتوای شما بستگی دارد.
سایت مپ یک فایل متنی با فرمت xml است که در هاست سایت قرار میگیرد. درون سایت مپ آدرس تمامی صفحات
وب سایت شما موجود است و خزنده ها به کمک این آدرس ها و لینک ها، سریعتر صفحات مختلفتان را ایندکس می کنند.
در صورتی که سایتتان سایت مپ نداشته باشد، باعث کاهش بودجه خزش و یکی از راه های کاهش بهینه سازی سایت می شود.
Googlebot صفحاتی که دارای لینک سازی خارجی و داخلی بیشتری نسبت به سایر صفحات سایت هستند را در اولویت
قرار می دهد که به آنها اشاره دارد. به همین دلیل لینکهای داخلی بسیار کلیدی هستند. بهتر است از صفحاتی که
لینک سازی داخلی و خارجی نشدند استفاده نشود.این صفحات باعث کاهش بودجه خزش می شود. سعی کنید حداقل
یک لینک داخلی یا خارجی در هر صفحه سایت شما وجود داشته باشد.
وجود منابع اندک هاست میتواند باعث کاهش crawl budget شود. بنابراین اگر خیلی برایتان اهمیت دارد که محتواهایتان
به سرعت ایندکس شوند، بهتر است به جای هاست اشتراکی سراغ سرور مجازی یا سرور اختصاصی بروید.
می توانید از ابزار رایگان داده شده توسط خود Google ، Google Search Console استفاده کنید. به راحتی می توانید آمار
خزیدن خود را در اینجا بررسی کنید. همچنین ، می توانید خطاهای سرور و خطاهای خزنده را بررسی کرده و سایت خود را
برای افزایش بودجه خزیدن خود بهینه کنید.