موتور جست و جو چگونه کار می کند ؟ پاسخی بر سوال بی جواب!

تقریبا همه کسانی که در حوزه های مربوط به وب کار می کنند یا اصلا کسب و کارشان سایت دارد حداقل در ذهنشان یکبار این سوال بوجود آمده است، موتور جست و جو چگونه کار می کند ؟ چندین و چند مقاله برای آن نوشته شده است و تا حدودی مشخص شده است که یک موتور جست و جو چگونه کار می کند. سازندگان موتور های جست و جو مثل گوگل، سعی می کنند همیشه یکسری توضیحات شفاف را ارائه بدهند که موتور جست و جویشان چگونه کار می کند. اما بگذارید به شما بگوییم که حرفه ای ترین سئو کار هم به طور 100 درصد راز کار موتور های جست و جو را نمی داند. چون واقعا چیزی نیست که بشود به آن یک جواب حتمی داد.

جدا از این موضوع اما در طی سال ها، یکسری حداقل ها و بدیهیاتی مشخص شده است و کسانی که در حوزه های دیجیتال مارکتینگ، خصوصا سئو فعالیت می کنند، می دانند که حداقل تا حدود زیادی یک موتور جست و جو چگونه کار می کند و یک سایت چه کار هایی باید انجام دهد که بتواند یک رتبه خوب حداقلی از موتور جست و جو دریافت کند. در اینجا هم قرار است به شما بگوییم که موتور جست و جو چگونه کار می کند ولی باز هم ما گوگل نیستیم و پاسخ مطمئن و کلی داد به این سوال را فقط مدیران موتور های جست و جو می توانند جواب بدهند. (که این کار را نمی کنند!)

اما به هر حال بدیهیاتی که باید همه بدانند را همراه با چند نکته خاص به شما خواهیم گفت. پس با ما همراه باشید.

بخواهیم درست تقسیم بندی کنیم، موتور های جست و جو بر پایه سه کارکرد اصلی کار می کنند و تمامی فعالیت های آن ها در چهارچوب همین سه کارکرد انجام می شود. این کارکرد ها همگی نقش اصلی را در سئو سایت ایفا می کنند و می شود گفت که این موارد، بدیهیات سئو سایت محسوب می شوند. حال به علاوه بخش سئو، اجرا کردن این موارد به طور کلی برای سایت شما لازم است. چون اگر ما سئو سایت را بهینه سازی سایت برای موتور های جست و جو در نظر بگیریم، این موارد موارد اولیه و پایه به حساب می آیند.

کراول: موتورهای جست و جو کراولر هایی دارند که در اینترنت، طبق URL ها می گردند و کد ها و محتوا های صفحات را پیدا می کنند.

ایندکس: در طی فرایند کراول موتور های جست و جو محتوا ها را سازمان دهی می کنند و ذخیره سازی آن ها را انجام می دهند. زمانی که یک صفحه ایندکس می شود، آماده می شود که در زمانی که یک کوئری خاصی جست و جو شد، به کاربر نمایش داده شود.

رتبه بندی: در این بخش موتور جست و جو می خواهد بهترین پاسخ را به جست و جوی مخاطب فراهم بکند که در نتیجه، نمایش نتایج به ترتیب از مرتبط ترین صفحه به کوئری مورد نظر تا غیر مرتبط ترین، نمایش داده می شود.

موتور جست و جو چگونه کار می کند: کراول (Crawling)

همانطور که می دانید یکی از مهمترین چیز ها برای صفحه سایت شما این است که به درستی کراول شود و در صفحه نتایج موتور جست و جو ایندکس شود تا به نمایش در بیاید. اگر همین حالا هم دارای یک وب سایت هستید، بد نیست که چک کنید و ببینید که آیا همه صفحات آن ایندکس شده است یا خیر. همین موضوع می تواند دید درستی از اینکه آیا گوگل سایت شما را کراول می کند یا خیر به شما بدهد.

یکی از راه های ساده برای اینکه بفهمید صفحه ای از سایتتان ایندکس شده است، این است که در صفحه سرچ گوگل این عبارت را تایپ کنید : “site:yourdomain.com” و به جای عبارت yourdomain شما باید آدرس سایت خودتان را قرار بدهید. نتیجه ای که به شما می دهد، تعداد صفحاتی از سایت شماست که در گوگل ایندکس شده اند.

اگر صفحه ای از سایت شما در نتایج نشان داده نمی شود ممکن است دلایل زیر را داشته باشد:

-سایت شما جدید اس و هنوز کراول نشده است.

-سایت شما از سمت سایت های خارجی لینکی دریافت نکرده است.

-ربات های گوگل به دلیلی نویگیشن پیچیده سایتتان نتوانسته اند آن را به طور موثر کراول کنند.

-سایت شما حاوی کد هایی می باشد که هرگونه دسترسی کراولر ها را بلاک می کند.

-سایت شما توسط گوگل به دلیل تاکتیک های اسپمی اخطار گرفته است.

کراول شدن سایت شما توسط موتور های جست و جو

اگر از Google Search Console یا “site:domain.com” استفاده کردید و متوجه شدید که چند تا از صفحات مهم سایتتان( یا حتی صفحات غیر مهم سایت) در موتور جست و جو به طور اشتباه نمایش داده نمی شوند، می توانید چند روش استفاده کنید که مستقیما به بات های گوگل بگویید که بیایند و صفحه شما را کراول و ایندکس کنند.

Robot.txt

فایل های robot.txt در بخش root directory سایت شما پیدا می شوند که برای موتور های جست و جو مشخص می کنند که کدام یک از صفحه های سایت شما را باید کراول کنند و کدام ها را نباید کراول کنند.

رفتار بات گوگل با این فایل به صورت های زیر می باشد:

-اگر بات های گوگل نتوانند این فایل را پیدا کنند، سایت شما را کراول می کنند.

-معمولا اگر این فایل را پیدا کنند، این فایل برایشان مشخص کرده است که تمامی صفحات سایت شما را کراول کنند.

-اگر گوگل بات در مواجهه با این فایل دچار ارور شوند، در آن صورت سایت شما را کراول نخواهند کرد.

آیا کراولر ها صفحات مهم سایت شما را پیدا می کنند؟

همانطور که می دانید یک سری تاکتیک هایی وجود دارند که شما مطمئن شوید موتور های جست و جو، صفحات غیر مهم شما را نمی بینند، حال بیایید ببینیم که چه بهینه سازی هایی باید انجام بدهیم که موتور های جست و جو صفحات مهم سایت ما را ببینند.

بعضی وقت ها ممکن است یک موتور جست و جو با کراول کردن بخش هایی از سایت شما را پیدا کند، اما یک سری بخش های دیگر را به هر دلیل نتواند پیدا کند و کراول کند. این موضوع مهم است که شما مطئن شوید موتور جست و جو می تواند تمامی صفحات سایت شما را کشف و پیدا کند تا آن ها را ایندکس کند. اینکه موتور جست و جو فقط صفحه هوم پیج شما را ایندکس کند به هیچ عنوان کافی نیست.

گاهی ممکن است به دلایل زیر کراولر ها نتوانند یک سری از صفحات سایت شما را کراول کنند:

آیا محتوای شما پشت فرم های لاگ این پنهان شده است؟

اگر ورود به سایت شما به لاگ این کاربران، پر کردن فرم، پاسخ به نظر سنجی و … دارد تا بشود وارد سایتتان شد، موتور های جست و جو نمی توانند صفحه شما را را ببینند. پس در نتیجه یک کراولر هم در سایت شما “لاگ این” نمی کند و برای ورود کراولر ها باید این موارد که در سایتتان قرار داده اید را بردارید.

آیا محتوای متنی شما داخل محتوای غیر متنی پنهان شده است؟

محتوا های غیر متنی شما مانند تصویر، ویدیو و… نباید برای نشان دادن متنی که می خواهید ایندکس شود استفاده شوند. درست است که گوگل بات ها می توانند تصویر را تشخیص دهند، اما هنوز آنقدر درکشان پیچیده نشده است که متن را داخل عکس تشخیص بدهند و با خواندن آن صفحه را ایندکس کنند. متن شما احتما باید داخل مارک آپ <HTML> قرار بگیرد.

آیا موتور های جست و جو نویگیشن سایت شما را به خوبی دنبال می کنند؟

همانطور که کراولر  ها نیاز دارند سایت شما را از طریق لینک های سایت های دیگر تشخیص بدهند، داخل صفحات سایت خودتان نیز باید به درستی با لینک ها به سمت صفحات مختلف راهنمایی شوند. اگر شما می خواهید یک صفحه را کراولر ها پیدا کنند اما از صفحه دیگری لینکی به آن صفحه داده نشده است، آن صفحه فرقی با یک صفحه نامرئی برای موتور های جست و جو ندارد. یکسری از سایت ها در مورد Navigation سایتشان اشتباهات حساسی می کنند که سایت را به طور کلی از دسترس موتور های جست و جو خارج می کنند. نمونه ای از این اشتباهات عبارتند از:

-داشتن نویگیشن موبایلی که نتایجی متفاوت ار از نویگیشن دسکتاپ را نشان می دهد

-سایت نویگیشنی دارد که آیتم های منوی سایت را در HTML سایت نمایش نمی دهد، مانند نویگیشن های بر پایه جاوا اسکریپت که ممکن است بعضی هایشان این مورد را انجام دهند.

-شخصی سازی نویگیشن سایت برای یکسری کاربر خاص که نویگیشنشان با دیگر کاربران فرق می کند.

-عدم دادن لینک به صفحه اصلی از طریق نویگیشن

سایت مپ چه کمکی به پیدا کردن سایت شما توسط موتور جست و جو می کند؟

کاری که یک سایت مپ برای سایت شما انجام می دهد دقیقا همان چیزیست که از نامش پیداست. لیستی از URL ها را در اختیار کراولر ها قرار می دهد تا آن ها محتوای شما را پیدا کنند و آن را ایندکس کنند. یکی از ساده ترین راه هایی که مطئن شوید گوگل صفحات سایت شما را پیدا می کند، همین هستش که سایت مپ را طراحی کنید و آن را در Google Search Console ثبت کنید تا گوگل ب راحتی سایت شما را پیدا کند. البته این موضوع را مد نظر داشته باشید که سایت مپ به اندازه یک نویگیشن خوب نمی تواند موثر باشد. اما به هر حال کمک بزرگی می کند و می تواند در کنار نویگیشن، مورد اطمینان بخشی باشد.

موتور جست و جو چگونه کار می کند: ایندکس (Indexing)

زمانی مطمئن شدید که سایتتان کراول می شود، نوبت آن می رسد که از ایندکس شدن آن هم اطمینان کافی حاصل کنید. درست است! اینکه سایت شما توسط موتور های جست و جو کراول می شود، اصلا دلیل بر این نیست که ایندکس شدن آن ها هم تضمین می شود. در قسمت کراول به شما گفتیم که چگونه موتور های جست و جو سایت شما را پیدا می کنند. حال وقتی کراولر یک سایت را پیدا می کند، موتور جست و جو مثل یک مرورگر، اول آن را رندر می کند و در این فرایند، محتوای سایت شما به طور کامل بررسی می شود و تمام اطلاعات در ایندکس ذخیره می شوند.

آیا ممکن است صفحات سایت ما از ایندکس حذف بشوند؟

بله! مسلما این امکان وجود دارد. چند تا از دلایل اصلی که ممکن است یک سایت از ایندکس حذف شود به شرح زیر می باشد:

-ممکن است URL شما خطای “not found”  یا 4XX بدهد یا ممکن است خطا از سمت سرور(5XX) باشد. ممکن است این موضوع تصادفی باشد(صفحه جا به جا شده باشد و ری دایرکت 301 آن ثبت نشده باشد) یا ممکن است عمدی باشد.(صفحه پاک شده است و وجود ندارد پس خطای 404 می دهد و از ایندکس حذف می شود)

-ممکن است روی URL صفحه شما تگ noindex خورده باشد. این تگ ممکن است توسط خود صاحب سایت گذاشته شده باشد که صفحه را از ایندکس موتور های جست و جو حذف کند.

-ممکن است URL شما به دلیل رعایت نکردن قوانین و ضوابط موتور های جست و جو از نتایج و ایندکس حذف شده باشد.

-ممکن است URL شما از دسترس کراولر ها خارج شده باشد و دلیل آن این باشد که کاربران برای ورود به آن صفحه باید رمز عبور وارد کنند.

چگونه به موتور جست و جو بگوییم که سایتمان را ایندکس کند؟

از طریق متا دایرکتیو ها

متا دایرکتیو ها یا به عبارت دیگر متا تگ ها، دستورالعمل هایی هستند که شما می توانید برای موتور های جست و جو تعریف کنید تا مشخص کنید چگونه با صفحه شما رفتار کنند.

مثلا شما با یک متا تگ می توانید به موتور جست و جو بگویید “این صفحه از سایت من را ایندکس نکن” یا “لینک های داده شده به این صفحه را محاسبه نکن” و … . این دستورالعمل ها توسط ربات های متا تگ در بخش <head> از HTML صفحه شما ثبت می شوند.

از طریق X-Robots-Tag

تگ ایکس-رباتس در بخش هدر HTTP یو آر ال شما استفاده می شود و کارکرد و انعطاف پذیری بیشتری به نسبت متا تگ ها در برابر موتور های جست و جو دارد.

برای مثال شما به سادگی با دستور زیر می توانید کل یک فولدر را از ایندکس خارج کنید:

<Files ~ “\/?no\-bake\/.*”> Header set X-Robots-Tag “noindex, nofollow”</Files>

موتور جست و جو چگونه کار می کند : رتبه بندی (Ranking)

موتور های جست و جو چگونه مطئن می شوند وقتی کسی یک کلمه را در آن ها جست و جو می کند به مناسب ترین پاسخ می رسد؟ در این زمینه موتور جست و جو چگونه کار می کند ؟ به این  فرایند رتبه بندی می گویند و مسلما اینجاست که کم کم داریم به بحث سئو سایت بیشتر و بیشتر نزدیک می شویم.

برای اینکه صفحه مناسب هر جست و جو تشخیص داده شود، موتور های جست و جو از الگوریتم ها استفاده می کنند. این الگوریتم ها فرایند یا فرمول هایی هستند که اطلاعات را با روش های معنا داری ذخیره می کنند تا راه های درستی برای ارائه دادن بهترین نتیجه جست و جو ارائه بدهند. این الگوریتم ها در طی سال ها دچار تغییرات بسیاری شده اند تا روز به روز کیفیت نتایج جست و جو را بالاتر ببرند. برای مثال گوگل هر روز بر روی الگوریتم هایش تجدید نظر انجام می دهد که همیشه بهترین نتیجه را برای شما به ارمغان بیاورد.

موتور های جست و جو از سایت ما چه می خواهند؟

موتور های جست و جو همیشه از ما یک چیز را می خواهند: اینکه کاربردی ترین پاسخ را در بهترین فرمت به سوال هایی که جست و جو می شود بدهید. اگر همچین چیزی واقعیت داشته باشد، پس چرا مبحث سئو سایت در سال های گذشته با چیزی که در حال حاضر هستش بسیار متفاوت است؟

به فرض مثال تصور کنید که یک نفر می خواهد یک زبان جدید یاد بگیرد. اول از همه فهم آن ها از زبان مورد نظر یک چیز سطحی است، اما به مرور زمان فهم آن ها عمیق تر می شود و به جز موارد پایه، ارتباط بین کلمات و عبارات را هم متوجه می شوند. در نتیجه با تمرین بسیار، زبان آموز به یک سطح بالایی از درک زبان مورد نظر می رسد و می شود گفت که آن را یاد گرفته است.

موتور های جست و جو هم در اوایل راه همین رویکرد را داشتند. قبلا خیلی ساده تر و راحت تر می شد با چند کلک و تاکتیک، موتور های جست و جو را قانع کرد که صفحه ما مناسب ترین نتیجه برای نمایش است. مثلا در آن زمان از keyword stuffing به وفور استفاده می شد. مثلا اگر می خواستید صفحه خودتان را با کلمه “جک های بامزه” بالا بیاورید، فقط کافی بود هرچقدر که جا داشت کلمه “جک های بامزه” را در صفحه خود بگنجانید تا بهترین رتبه را هم دریافت کنید.

واضح است که چقدر این موضوع به تجربه کاربری آسیب می زد و مردم به جای اینکه با “جک های با مزه” رو به رو بشوند و سرگرم شوند، با انبوهی از عبارت “جک های بامزه” رو به رو می شدند و این موضوع برایشان به شدت آزار دهنده بود.

لینک در سئو سایت چه نقشی ایفا می کند؟

این موضوع یکی از اصلی ترین مواردی است که بفهمیم موتور جست و جو چگونه کار می کند و بر چه اساسی رتبه بندی انجام می شود. وقتی درباره لینک ها صحبت می کنیم، منظور ما دو نوع لینک است. اولی بک لینک ها یا هستند که به لینک هایی می گویند که سایت های دیگر به سایت ما می دهند و دومی لینک های داخلی هستند که ما در صفحاتمان، به صفحات دیگر سایت خودمان می دهیم.

لینک ها در سئو سایت نقش بسیار مهمی از دیرباز ایفا می کردند و همچنان هم این نقش پابرجا مانده است. لینک ها به موتور های جست و جو کمک می کنند که تشخیص دهند دقیقا کدام URL قابل اعتماد تر است و شما با دانستن این موضوع مسلما بهتر می توانید کاری کنید که رتبه بهتری در موتور های جست و جو دریافت کنید. در رابطه با این موضوع بک لینک ها تاثیر بسیار بالاتری دارند به این خاطر که حکم همان “بازاریابی دهان به دهان” را در دنیای واقعی دارند.

مثلا به این صورت که شما اگر یکی از دوستانتان از یک کسب و کاری تعریف و تمجید کند، آن کسب و کار برای شما قابل اعتماد تر از قبل خواهد شد. در بحث سئو سایت هم اگر یک سایت معتبر به شما لینک بدهد، برای موتور های جست و جو دارد اعتبار شما را بالا تر می برد و در نظر موتور های جست و جو این موضوع یک امتیاز برای قابل اعتماد بودن شما محسوب می شود.

محتوا چه نقشی در سئو سایت ایفا می کند؟

کراولر های گوگل آمدند و صفحه ما را کراول کردند، ایندکس صفحه ما هم با موفقیت انجام شد و ما لینک سازی بسیار عالی ای هم برای صفحه انجام داده ایم و حتی کاربر هم وارد سایت ما شده است. کاربر برای چه وارد سایت ما می شود؟ مسلما پاسخ این سوال محتوای سایت ماست و مسلما موردی به این مهمی نقش کلیدی ای در سئو سایت ما ایفا می کند.

محتوا فراتر از کلمات است و به هرچیزی که جست و جو کننده آن را مصرف می کند اطلاق می شود. حال این محتوا تصویر، ویدیو، متن و یا هرچیز دیگری باشد. بگذارید اینطوری به شما بگوییم که اگر موتور های جست  و جو را ماشین پاسخگویی در نظر بگیریم، محتوا به معنی واقعی کلمه همان “پاسخ” است. حال چگونه موتور های جست و جو تشخیص می دهند که محتوای یک صفحه خوب و مناسب است و صفحه دیگر، به خوبی صفحه قبلی نیست؟

اولین ملاک این است که محتوای سایت شما کاملا مطابق با همان چیزی باشد که کاربر آن را جست و جو کرده است. حال به این خاطر که موتور های جست و جو تمرکزشان بر این است که در سریع ترین زمان، بهترین جواب را به مخاطب بدهند، دیگر اصلا مهم نیست که شما چند بار از کلمه کلیدی استفاده کرده اید و حجم محتوای شما چقدر است. چیزی که مهم است این است که کاربر سوالی دارد، آیا صفحه شما جواب را به او داده است؟ اگر بله پس رتبه خوبی خواهید گرفت و اگر خیر، مسلما رتبه شما افت پیدا خواهد کرد.

RankBrain چیست؟

رنک برین یک مولفه ماشین لرنینگ از الگوریتم های بنیادی گوگل است. احتمالا می دانید که ماشین لرنینگ یا یادگیری ماشین یک برنامه کامپیوتری است که بوسیله مشاهدات و تمرین های جدید، به صورت خودکار و به مرور زمان دانسته های خود را افزایش می دهد. به عبارت دیگر این مولفه همیشه در حال یادگیری است و به همین خاطر هم روز به روز رتبه بندی موتور جست و جو را بهتر می کند.

به فرض مثال اگر RankBrain متوجه شود که یک URL که رتبه پایین تری دارد، محتوای بهتری به نسبت یک URL در رتبه بالا دارد، تجدید نظری در سیستم رتبه بندی خود می کند و رتبه URL های مورد نظر را با یکدیگر جا به جا می کند.

مولفه های انگیجمنت سایت چه چیز هایی هستند؟

وقتی صحبت از مولفه های Engagement می شود منظور ما تمامی تعامل هایی هستش که جست و جو کنندگان با سایت شما دارند. که همین تعامل ها خیلی به سئو سایت شما کمک می کنند و به خودی خود می توانند رتبه شما را بالاتر ببرند. چهار مورد از مهمترین مولفه های انگیجمنت به شرح زیر می باشند:

-کلیک ها (ورودی های سایت شما از طریق جست و جو)

-تایم آن پیج( مقدار زمانی که کاربر قبل از ترک صفحه شما در صفحه تان می ماند)

-بانس ریت(نرخ پرش یا درصد سشن هایی که یک کاربر در سایت شما با دیدن فقط یک صفحه ایجاد کرده است)

-Pogo-sticking (کلیک بر روی یک نتیجه اورگانیک در صفحه سرچ و بازگشت سریع به صفحه سرچ برای دیدن دیگر نتایج)

جست و جوی محلی چیست؟

موتور جست و جویی مانند گوگل یک لیستی از کسب و کار های هر منطقه را در اختیار دارد که همین لیست، نتایج جست و جوی محلی را رقم می زند.

مثلا اگر شما روی سئو محلی سایتتان کار کرده باشید و یک کسب و کاری باشید که مشتریان می توانند به صورت فیزیکی در محل کسب و کار شما حضور پیدا کنند، می توانید این اطمینان را داشته باشید اگر جست و جو کننده ای در نزدیکی شما کلمه کلیدی مربوط به کسب و کار شما را جست و جو کند، گوگل او را به سمت صفحه شما هدایت می کند.

گوگل برای رتبه دهی جست و جوی محلی سه فاکتور مهم را مد نظر قرار می دهد:

1-مرتبط بودن

2-فاصله جست و جو کننده

3-برتری

نتیجه گیری

با وجود اینکه ما و خیلی از کسانی که با سئو درگیر هستند، سعی کرده ایم پاسخی پیدا کنیم که دقیقا موتور جست و جو چگونه کار می کند ، باز هم پاسخی که به این سوال می توانیم بدهیم مواردی هستش که خود مدیران موتور های جست و جو تایید کرده اند. مسلما رتبه بندی موتور های جست و جو فراتر از این موارد است. یک سری از این موارد را می دانیم که بعدا حتما درباره آن ها با شما صحبت خواهیم کرد و یک سری موارد هم هستند که حتی برای سئو کاران حرفه ای نیز گنگ محسوب می شوند. به این دلیل که خود موتور های جست و جو هستند که تمام تلاششان را می کنند که این موارد مشخص نشوند.

به همین دلیل هم هستش که حتی اگر شما به نحو احسن هم سئو سایت را انجام دهید، باز هم ممکن است رتبه های اول را کسب نکنید و ماه ها و شاید سال ها طول بکشد که سایتتان را در رتبه اول ببینید. اما این موضوع نباید باعث شود که دست از علم آموزی بکشید و دنبال جواب این سوال که موتور جست و جو چگونه کار می کند نروید. این را همیشه بدانید که در دنیا علومی وجود دارند که ما با تلاش بیشتر می توانیم به آن ها دسترسی پیدا کنیم. ممنون که در این مقاله با ما همراه بودید.

منبع:

Moz