بودجه خزش ( Crawl budget ) اصطلاحی است که توسط سئوکاران ایجاد شده و به تعداد دفعاتی که
ربات های گوگل می توانند در یک بازه زمانی مثلا در یک روز صفحات یک سایت را ایندکس کنند ، اشاره دارد.
این یک مفهوم مهم در زمینه سئو است که باید در صورت کار در وب سایت های بزرگ از آن آگاه باشید.
در این مقاله ، میخواهیم درباره ی اینکه بودجه خزش چیست و چرا مهم است و چگونه می توان آن را برای
بهبود سئو بهینه کرد صحبت کنیم .
بودجه خزیدن وب سایت شما به تعداد URL هایی که Googlebot می تواند یا می‌خواهد خزنده شود ، بسته به
میزان نرخ خزیدن وب سایت و تقاضای خزیدن متقابل ، تعریف شده است.
بودجه خزش سایت چگونه تعیین می‌شود؟
خزنده گوگل به هنگام سر زدن به سایت شما به طور مرتب به هاست درخواست ارسال می کند. حال تصور کنید
که هاست به اندازه کافی قوی نباشد. از طرفی تعداد این درخواست ها نیز بالا باشد. بدین ترتیب سایت از دسترس
خارج خواهد شد. در این شرایط به اصطلاح می گویند، سایت Down شده است.
برای جلوگیری از این شرایط گوگل پیش از هر کاری ابتدا میزان منابع سایت را بررسی می کند. چرا که گوگل می خواهد
مطمئن شود، سایت شما گنجایش میزان ظرفیت بالای خزش را دارد. برای این منظور گوگل دو موضوع را مورد توجه قرار می دهد.
اولین موضوع، مربوط به تعداد دفعاتی است که هاست به هنگام خزش ربات ها با مشکل روبه رو شده است.
اما موضوع دوم به تعداد سایت هایی که روی سرور اصلی قرار دارند، برمی گردد.
هنگامی که گوگل قصد کراول کردن یک سایت را دارد، به میزان فعالیت در سایت نیز توجه می کند. در واقع میزان فعالیت در یک
سایت نشان دهنده میزان لیاقت بودجه خزش است. به بیان دیگر گوگل به سایت فعال جایزه می دهد.
بدین منظور برای دیده شدن بیشتر، تعداد خزنده ها را افزایش می دهد. در واقع گوگل بنا به لینک های خارجی و داخلی،
میزان تولید محتوای مفید و نیز دسته بندی صفحات، نرخ بودجه را تعیین می کند.
تقاضا خزش :
اگر تقاضای نمایه سازی صفحات وب شما کم باشد ، Googlebot از خزیدن صفحات شما جلوگیری می کند.
محدودیت نرخ خزیدن :
محدودیت Crawl Rate معرفی شده است تا Google نتواند خیلی سریع صفحات وب سایت شما را خسته کند و سرور
شما را خسته کند. محدودیت Crawl Rate درخواست های Google را بیش از حد متوقف می کند زیرا ممکن است منجر
به کاهش سرعت وب سایت شما شود.
هیچ کس دوست ندارد یک وب سایت بارگیری کند داشته باشد. سرعت وب سایت خود را برای نمایش موبایل و دسک تاپ بهینه کنید.
اطمینان حاصل کنید که هر URL در وب سایت شما باید به کاربر شما ارزش افزوده دهد.
چرا بودجه خزش Crawl Budget برای سئو سایت مهم است؟
به طور خلاصه ، اگر گوگل صفحه‌ای را ایندکس نکند، آن صفحه جایگاهی در رتبه بندی گوگل نخواهد داشت.
بنابراین اگر تعداد صفحات سایت شما از بودجه خزش Crawl Budget سایت شما افزایش پیدا کند، سایت شما در
معرض خطر جدی ایندکس نشدن است.
عدم توجه به بودجه خزش، سبب بروز مشکلاتی در بهینه سازی سایت می‌شود. در ادامه به شما خواهیم گفت
چرا توجه به این مقوله اهمیت دارد.
همان طور که پیش تر نیز گفته شد،هنگامی که بودجه کراول کم می شود، محتواها به صورت منظم
ایندکس نخواهند شد. در چنین شرایطی افرادی بدون رعایت حق کپی رایت، محتوای شما را به نام خود
منتشر می کنند. لذا بودجه کراول به واسطه ایندکس کردن، از دزدی محتوا جلوگیری می کند.
از سوی دیگر ایندکس سریع نتیجه بودجه کراول بالا است. اما همان طور که واضح است ایندکس سریع
یک مطلب سبب افزایش بازدید کنندگان می شود. بنابراین می توان نتیجه گرفت که افزایش بودجه کراول
سبب افزایش ترافیک ارگانیک سایت می شود.
چگونه بودجه خزش را افزایش دهیم؟
سرعت سایت شما
اگر سرعت سایت شما کم است یا زمان پاسخ سرور کم است ، میزان سرعت خزیدن کاهش می یابد و Googlebot
فقط چند صفحه شما را ایندکس می کند. بهبود سرعت صفحه سایت میتواند منجر به کراول بیشتر صفحه های سایت
شما توسط Googlebot شود.
در واقع گوگل بیان می کند : “ایجاد یک سایت سریع تر باعث بهبود تجربه کاربران و درعین حال افزایش نرخ خزش می‌شود.”
بارگذاری کند صفحات یک سایت باعث از بین رفتن زمان حضور Googlebot در سایت می شود. اگر صفحات شما سریع بارگیری
شوند، Googlebot زمان بیشتری برای بازدید و ایندکس صفحات شما دارد.
محتوای جدید و منظم
محتوای قدیمی ترجیح داده نمی شود. برای بالا بردن بودجه خزش وب سایت خود را هر از چند گاهی به روز کنید و محتوای
تازه و جدیدی را در اختیار کاربران خود قرار بدهید.
محتوای تکراری می تواند وب سایت شما را خراب کند.
کپی Meta و عنوان برچسب ها می تواند باعث بلایایی شود. بخاطر بسپارید ، بهتر است بدون داشتن برچسب های Meta و
Title دارای برچسب های تکراری باشید.
گوگل می گوید محتوای محبوب و به روز شده تقاضای بالاتری برای خزیدن دارد. تقاضای خزیدن به محبوبیت صفحات وب و
همچنین طراوت و اصالت محتوای شما بستگی دارد.
ایجاد سایت مپ
سایت مپ XML یک فایل متنی با فرمت xml است که در هاست سایت قرار میگیرد. درون سایت مپ آدرس تمامی صفحات
وب سایت شما موجود است و خزنده ها به کمک این آدرس ها و لینک ها، سریعتر صفحات مختلفتان را ایندکس می کنند.
در صورتی که سایتتان سایت مپ نداشته باشد، باعث کاهش بودجه خزش و یکی از راه های کاهش بهینه سازی سایت می شود.
لذا اگر می خواهید بودجه خزش سایت افزایش یابد، سایت مپ را جدی بگیرید. گوگل برای ایندکس کردن مقالات
ابتدا به سایت مپ مراجعه می کند. چرا که موتورهای جستجو برای ایندکس کردن مقالات ابتدا به نقشه سایت مراجعه می کنند.
حال اگر در سایت مپ، آدرس صفحاتی باشد که دیگر وجود ندارد و یا ریدایرکت شده اند، بودجه کراول سایت شما به هدر رفته است.
برای جلوگیری از این اتفاق به طور مرتب نقشه سایت را به روز رسانی کنید. لذا در فایل xml لینک هایی را که می خواهید کراول
شوند، قرار دهید. البته توجه کنید که این لینک ها با نسخه ی robot.txt همخوانی داشته باشد.
لینک سازی داخلی
Googlebot صفحاتی که دارای لینک سازی خارجی و داخلی بیشتری نسبت به سایر صفحات سایت هستند را در اولویت
قرار می دهد که به آن‌ها اشاره دارد. به همین دلیل لینک‌های داخلی بسیار کلیدی هستند. بهتر است از صفحاتی که
لینک سازی داخلی و خارجی نشدند استفاده نشود.این صفحات باعث کاهش بودجه خزش می شود. سعی کنید حداقل
یک لینک داخلی یا خارجی در هر صفحه سایت شما وجود داشته باشد.
استفاده زیاد و مناسب ( نه اسپم) از لینک داخلی و نیز خارجی سبب افزایش کراول باجت می شود.
چرا که هنگامی که خزنده های گوگل وارد یک صفحه می شوند، موظف اند تمامی لینک های آن را کراول کنند
تصور کنید هنگامی که خزنده های گوگل در حال بررسی سایت شما هستند، لینک های بسیاری را ببینند.
در این حالت ممکن است نتواند در دفعه اول تمامی لینک ها را کراول کنند. لذا برای کراول بعدی میزان نرخ
بودجه خزش خود را حتما افزایش می دهند. بدین ترتیب می توانند تمامی صفحات را بررسی کنند.
خرید سرور اختصاصی :
وجود منابع اندک هاست میتواند باعث کاهش crawl budget شود. بنابراین اگر خیلی برایتان اهمیت دارد که محتواهایتان
به سرعت ایندکس شوند، بهتر است به جای هاست اشتراکی سراغ سرور مجازی یا سرور اختصاصی بروید.
بدین ترتیب میزان بودجه خزش افزایش می یابد. چرا که تقویت سرور موجب می شود، تا گوگل به
هنگام دانلود فایل های داخل سایت منابع کمتری را شامل شود.
درست کردن لینک‌های شکسته
همان طور که می دانید لینک های شکسته سبب باز شدن صفحاتی می شوند، که وجود ندارند.
در حقیقت این لینک ها موتورهای جستجو را به یک بن بست می کشانند. بنابراین توجه به این لینک ها را جدی بگیرید.
ابزارهای بسیاری وجود دارد که شما بتوانید این لینک ها را بیابید. به طور مثال شما می توانید از ahrefs
کمک بگیرید. برای این منظور شما باید وارد بخش reports شوید. سپس وارد قسمت internal pages شوید
و صفحات سایت خود را بررسی کنید. این کار سبب افزایش بودجه خزش سایت شما می گردد.
پرهیز از ریدایرکت های زنجیره ای
از جمله مواردی که روی سلامت سایت تاثیر منفی می گذارد، ریدایرکت های زنجیروار است. هنگامی که
از یک ریدایرکت زنجیره ای بزرگ استفاده می کنید، توجه ربات های گوگل را از دست می دهید.
زیرا ربات ها پس از بررسی چند صفحه در یک زنجیری از ریدایرکت، دست از دنبال کردن بر می دارد. لذا این
امکان وجود دارد که صفحات آخر ایندکس نشوند. بنابراین از ساخت زنجیرهای بزرگ ریدایرکت پرهیز کنید.
البته ایجاد یک یا نهایتا دو ریدایرکت آسیبی به سایت نمی زند.
چگونه بودجه خزش را بررسی کنیم؟
می توانید از ابزار رایگان داده شده توسط خود Google ، Google Search Console استفاده کنید. به راحتی می توانید آمار
خزیدن خود را در اینجا بررسی کنید. همچنین ، می توانید خطاهای سرور و خطاهای خزنده را بررسی کرده و سایت خود را
برای افزایش بودجه خزیدن خود بهینه کنید.
سخن پایانی
قطعا با خواندن این مقاله متوجه اهمیت بودجه خزش شده اید. لذا اگر شما نیز دارای یک سایت هستید،
اما نمی دانید چگونه کراول باجت سایت را افزایش دهید، نگران نباشید. شرکت سه سوت وب می تواند
شما را به راحتی در این کار به هدفتان برساند. این شرکت با به کار گیری تیمی بسیار مجرب هر گونه
سئو سایت در کرج را انجام دهد.
