موتورهای جستجو چگونه کار می کنند؟

موتورهای جستجو ماشین های پاسخگو هستند و برای این ساخته شده اند که محتواهای موجود در فضای اینترنت را کشف و درک و سازمان دهی کنند و برای سوالات کاربران پاسخی مناسب پیدا کنند و در نتایج جستجوی کاربر ارائه دهند. و برای ظاهر شدن در نتایج جستجو محتواهای شما باید برای موتورهای جستجو قابل رویت باشند در صورتی که سایت شما در دسترس موتورهای جستجو نباشد نمی توانند محتوای شما را در  SERPs (نتایج صفحه موتور جستجو) نشان دهند و راه حل این مسئله سئو می باشد.

موتورهای جستجو چگونه کار می کنند؟

موتورهای جستجو سه عملکرد اصلی دارند:

خزنده ها: (Crawl) ربات های گوگل به صورت روزانه اینترنت را می گردند و لینکها

، کد ،  محتواها را  بررسی می کنند.

فهرست: (Index) محتواهایی که در مرحله خزیدن پیدا کرده اند را  ذخیره و سازمان

دهی می کند. هنگامی که یک صفحه ایندکس شده باشد و در فهرست باشد، به

عنوان نتیجه سوالات کاربران نمایش داده می شود.

رتبه: (Rank) مطالب ارائه شده به بهترین وجه در پاسخ به سؤال جستجوگرها ارائه

می شوند، به این معنی که نتایج مرتبط انتخاب می شوند.

خزنده موتور جستجو چیست؟

خزیدن در موتورهای جستجو یک نوع  فرآیند کشف است که در آن موتورهای

جستجو ، تیمی از ربات ها (معروف به خزنده یا عنکبوت) را برای یافتن محتوای

جدید و به روز ارسال می کنند. محتوا می تواند متفاوت باشد، یک صفحه وب ،

یک تصویر، یک فیلم، یک PDF و… این محتواها توسط لینک ها خوانده می شوند.

Googlebot با واکشی چند صفحه وب شروع به کار می کند و سپس لینک ها را

در این صفحات وب دنبال می کند تا URL های جدید پیدا شوند. با جست و خیز

در این مسیر از لینک ها،خزنده قادر خواهد بود تا محتوای جدید را پیدا کند و آن

را به فهرست خود در پایگاه داده گسترده ای از URL های کشف شده اضافه کند.

با این عمل در هر زمان وقتی جستجوگر در جستجوی اطلاعاتی باشد که محتوا

در آن URL قرار گیرد، می توان آن اطلاعات را بازیابی کرد.

فهرست موتور جستجو چیست؟

موتورهای جستجو اطلاعاتی را که خزنده ها در یک فهرست پیدا می کنند، پردازش

و ذخیره می کنند.در نتیجه یک بانک اطلاعاتی عظیم و به اندازه کافی از تمام مطالبی

که آنها کشف کرده اند برای جستجوگرها ارائه می شود.

رتبه بندی موتور جستجو

وقتی یک نفر جستجویی را انجام می دهد، موتور جستجو صفحه ی اول (شاخص)

خود را برای مرتبط ترین محتوا اماده می کند سپس این صفحه را بر اساس مرتبط

ترین محتوا مرتب می کند به امید اینکه بتواند پاسخ مناسبی را برای پرسش کاربر

پیدا کند. این مرتب سازی نتایج جستجو بر اساس مرتبط ترین محتوا را رنکینگ می

گویند.در کل می توان فهمید هرچه وب سایت رتبه بالاتری داشته باشد موتور جستجو

فکر می کند که این سایت بهترین جواب برای جستجوی شما است.

شاید جالب باشد بدانید امکان این وجود دارد که شما خزنده های موتور جستجو را

مسدود کنید که به بخش یا کل سایت شما دسترسی نداشته باشند و نتوانند آن

قسمت ها را ایندکس کنند. تا زمانی که شما بخواهید موتورهای جستجو از سایت

شما دور باشند مشکلی نیست و موتورهای جستجو نمی توانند محتوای شما را

ایندکس کنند ولی اگر می خواهید محتواهای متنی و تصویری شما توسط جستجو

گرها پیدا شوند شما باید مطمئن باشید که سایت شما در دسترس خزنده های

موتور جستجو می باشد .در کل هدف ما آموزش چگونگی کار با موتورهای جستجو

است نه مقابله با آنها!

همه موتورهای جستجو در سئو، مشابه هم کار نمی کنند.

بسیاری از افراد از اهمیت نسبی موتورهای جستجوگر خاص تعجب می کنند و وقتی

راجع به سئو و موتور جستجو حرف زده می‌شود تنها به گوگل فکر می کنند، البته حق

دارند، از هر کسی بپرسید موتور جستجوگر چیست می گوید گوگل. چون گوگل بیشترین

سهم بازار را دارد ولی نباید سایت های دیگر مانند بینگ و یاهو را به کلی فراموش کرد

حقیقت این است که بیش از ۳۰ موتور جستجوگر بزرگ در دنیا وجود دارد ولی انجمن

سئو فقط به گوگل توجه می کند شاید بپرسید چرا؟ پاسخ این سوال کوتاه است زیرا

همه ازگوگل استفاده می کنند. هر چیزی که ما در اینترنت به دنبال آن هستیم را از

گوگل می خواهیم، برای عکس سراغ Google Images می رویم برای نقشه سراغ

Google Maps می رویم و برای فیلم نیز YouTube (از دارایی های گوگل) را باز می

کنیم. بیش از ۹۰٪ جستجوی های اینترنت در گوگل اتفاق می افتد ، که تقریبا ۲۰ برابر

سهم بینگ و یاهو به هم است!

آیا موتورهای جستجو می توانند صفحات شما را پیدا کنند؟

همانطور که تا اینجا بیان شد، اطمینان از اینکه سایت شما کراول و ایندکس می شود

اولین و اصلی ترین شرط لازم برای نمایش در صفحه نتایج موتورهای جستجو (SERPs)

است. اگر از قبل وب سایتی دارید برای فهمیدن اینکه کدام صفحه شما ایندکس شده

است آن را در گوگل سرچ کنید، این کار بینشی جالب در مورد اینکه آیا گوگل سایت

شما را کراول می کند؟ یکی از راه های بررسی صفحات فهرست بندی شده شما

“site: yourdomain.com” ، یک اپراتور جستجوی پیشرفته است . به گوگل بروید و

site: yourdomain.com”” را در نوار جستجو تایپ کنید. فقط yourdomain را با دامنه

خود عوض کنید با این کار نتایج گوگل در فهرست خود برای سایت مشخص شده نمایش

داده میشود. تعداد نتایج نمایش داده شده در گوگل دقیق نیست، اما می تواند این

اطمینان را به شما دهد که صفحات سایت شما ایندکس شده اند و چگونه در حال

حاضر در نتایج جستجو نشان داده می شوند.

برای نتایج دقیق تر، گزارش Index Coverage را در کنسول جستجوی Google نظارت

و استفاده کنید. اگر در حال حاضر آن را ندارید می توانید یک حساب کنسول جستجوی

Google رایگان ثبت نام کنید. با استفاده از این ابزار، می توانید بر سایت خود نظارت

داشته باشید و تعداد صفحات ایندکس شده به فهرست گوگل و موارد دیگر را بررسی

کنید.

اگر سایت شما در هیچ کجای نتایج جستجو نشان داده نشده است، چند دلیل وجود دارد:

• سایت شما کاملا جدید است و هنوز توسط ربات های کراولر پیدا نشده است.
• سایت شما هیچ پیوند خارجی ندارد.
• نحوه ی ناوبری در سایت شما برای ربات ها سخت است و نمی توانند به راحتی صفحه ها را پیدا کنند.
• سایت شما حاوی قطعه کد های ساده ای است که از ورود ربات ها و کراولر های موتور جستجو جلوگیری می کند.
• سایت شما به دلیل استفاده از تاکتیک های اسپم پنالتی شده است.

به موتورهای جستجو بگویید چگونه با خزنده ها، سایت شما را پیدا کنند.

اگر از کنسول جستجوی گوگل یا اپراتور جستجوی پیشرفته “site: domain.com” استفاده

کرده اید و متوجه شدید که برخی از صفحات مهم شما از ایندکس حذف نشده اند و یا برخی

از صفحات بی اهمیت شما به اشتباه ایندکس شده اند، باید کاری کنید که گوگل به آن

صفحات دسترسی نداشته باشد. در این شرایط  Googlebot را پیاده سازی کنید تا شما

را بهتر راهنمایی کند و به او بگویید که چگونه می خواهید محتوای سایت شما کراول شود.

با انجام این عمل موتورهای جستجو در مورد خزیدن سایت شما می توانند کنترل بهتری را

در فهرست خود به دست آورند.

اکثر مردم فکر می کنند که گوگل می تواند صفحات مهم را پیدا کند، اما فراموش می شود

که صفحاتی هم وجود دارند که نمی خواهید Googlebot آنها را پیدا کند. این موارد ممکن

است شاملURL  های قدیمی باشد که دارای محتوای نادرست، نشانی اینترنتی های تکراری

(مانند پارامترهای مرتب سازی و فیلتر برای تجارت الکترونیکی)، صفحات کد تبلیغی ویژه ،

صفحات مرحله بندی یا تست و غیره هستند. برای هدایت Googlebot از صفحات و بخشهای

خاص سایت خود، از robots.txt استفاده کنید.

Robots.txt چیست؟

فایل robots.txt در ریشه سایت شما قرار دارد (به عنوان مثال yourdomain.com/robots.txt)

و به کراولر ها توصیه می کند که موتور جستجو کدام قسمت از سایت را باید و کدام قسمت

را نباید کند ایندکس کند .بهترین راه برای مسدود کردن ربات‌ها از صفحه غیر خصوصی استفاده

از robots.txt است.

شما نباید در اینجا ربات‌ها را از دسترسی به صفحه های حساس و خصوصی مسدود کنید

چون هر کاربری یا ربات با یک جستجوی ساده می‌تواند به صفحه ی robots.txt دست پیدا

کند و URLها را ببیند.

چگونه Googlebot با فایل robots.txt رفتار می کند:

• اگر Googlebot نتواند یک فایل robots.txt برای یک سایت را پیدا کند ، به کراول کردن سایت ادامه می دهد.
• اگر Googlebot یک فایل robots.txt را برای یک سایت پیدا کند ، معمولاً از دستورات پیروی می کند وطبق دستورات به کراول سایت ادامه می باشد.
• اگر Googlebot هنگام تلاش برای دسترسی به فایل robots.txt یک سایت با خطایی روبرو شود و مطمئن نشود که وجود دارد یا خیر، آن سایت را crawl نمی کند.

بهینه سازی بودجه  (budget) خزیدن

بودجه خزیدن میانگین تعداد URL هایی است که Googlebot قبل از ترک سایت شما کراول

می کند ، بنابراین بهینه سازی بودجه خزیدن باعث می شود که در وقت Googlebot صرفه

جویی شود. بودجه خزیدن در سایتهای بسیار بزرگ با ده ها هزار URL مهم است، اما شما

می توانید دسترسی خزندگان را به محتوائی که به آنها اهمیتی نمی دهید مسدود نمایید.

فقط اطمینان حاصل کنید که دسترسی یک خزنده به صفحاتی که  می خواهید noindex

نباشد.  زیرا اگر Googlebot از یک صفحه مسدود شود، نمی تواند دستورالعمل های موجود

در آن صفحه را مشاهده کند.

توجه به تمام نکاتی که در این مقاله گفته شد به شما کمک می کند تا بتوانید با سئو مناسب

به کمک ابزار هایی که گوگل معرفی کرده است به دنبال بهینه سازی سایت خود باشید.