تا حالا به این فکر کرده اید که ربات ها دارند حداقل بخشی از فضای اینترنت را در دست می گیرند و خیلی از کار ها توسط آن ها انجام می شود؟ موضوعی که شاید کمی ترسناک هم باشد اما نگران نباشید، ربات های گوگل حداقل همیشه قرار است که خیر ما را بخواهند (فعلا که اینطور است) و قرار است به نفع کاربران موتور جست و جو کار کنند. در این مقاله قرار است با انواع ربات های گوگل آشنا بشویم و ببینیم که هرکدام از آن ها چه کاری انجام می دهد. گوگل فکر همه جا را کرده است تقریبا برای انواع محتوا ها یک ربات را به خدمت گرفته است که کار ها را پیش ببرد. حال بیایید کمی این ربات ها را بیشتر بشناسیم تا با َآشنایی با کارکرد های آن ها، بدانیم که برای سئو سایت چه کار هایی باید انجام دهیم.
انواع ربات های گوگل
زمانی که ما سئو سایت را شروع می کنیم، طرف حساب ما انواع ربات های گوگل می باشند. ربات هایی که نه با ما دشمنی دارند و نه برای کسی پارتی بازی می کنند. ربات هایی که هرچقدر سئو سایت شما بهتر باشد رتبه بهتری در موتور جست و جوی گوگل به شما اختصاص می دهند و هر مشکل و Error ای را هم در سایت شما به خوبی تشخیص می دهند. برای اینکه بتوانیم یک سئو سایت عالی داشته باشیم بد نیست که “انواع بات های گوگل” را بشناسیم. به هر حال زمانی که می خواهیم کاری را انجام بدهیم، بد نیست که ناظر و داور آن کار را بشناسیم و بدانیم که قرار است بر اساس چه معیار هایی ما را مورد قضاوت قرار بدهد و قرار است درباره ما چه فکری کند. داوری که چون انسان هم نیست، اصلا با ما شوخی ندارد!
انواع ربات های گوگل هرکدام طبق الگوریتم خاصی عمل می کنند. هر کدام از آن ها وظیفه ای بر دوششان است و در فضای وب می چرخند و وب سایت ها را کراول می کنند و آن ها را در موتور جست و جو Index می کنند و در آخر هم رتبه خاصی به آن ها می دهند. البته این موضوع را هم باید بدانیم که این ربات ها با اجازه ما به سایت ما می آیند و محتوای ما را می بینند و هر صفحه از سایتی که نخواهیم را می توانیم با تگ no-index، کاری کنیم که این ربات ها دستشان به سایت ما نرسد. ما می توانیم هر زمان که صفحه ما آماده بود از طریق robot.txt اقدام کنیم و به گوگل بات ها اجازه دهیم که سایت ما را بررسی و در نتیجه اگر مورد قبول بود، Index کنند. برویم و با آن ها آشنا شویم.
5 تا از انواع ربات های گوگل
Google Bot
مهمترین انواع ربات های گوگل و همان رباتی که از همه برای ما آشنا تر است. همان کراولری که صفحات جدید را تشخیص می دهد و به Index گوگل اضافه می کند. این مورد از ربات های گوگل، به دو نوع Deep Bot و Fresh Bot تقسیم بندی می شود. Deep Bot ها تلاش می کنند هر چند تا لینکی که در دنیای وب می بینند را دنبال و دانلود کنند. همچنین این ربات جزئیات دقیقه ای از سایت را مانند ساختار داخلی آن را نیز می خوانند.
Fresh Bot در دنیای وب می چرخد و به دنبال محتوا های تازه می گردد. این ربات صفحه هایی را کراول می کند که قبلا ایندکس شده اند و به تازگی به روزرسانی شده اند. این عنکبوت گوگل تلاش می کند که محتوای تازه و آپدیت شده را در موتور جست و جو به نمایش کاربر دربیاورد. همچنین این ربات به کیفیت لینک های داخلی نیز بسیار اهمیت می دهد. اگر می خواهید این ربات از انواع ربات های گوگل صفحه شما را کراول کند بهتر است زود به زود صفحه خودتان را بروزرسانی کنید. (البته از بروزرسانی های بی محتوا و بی دلیل جدا خودداری کنید)
Media Bot
تا حالا دقت کرده اید که گوگل می داند چه تبلیغ مرتبطی را کجا قرار دهد؟ گوگل از کجا انقدر دقیق است که تبلیغات مختلف و مرتبط به هر شخصی را می تواند به او نشان دهد؟ این کار یکی از انواع ربات های گوگل به نام Media Bot است. این ربات صفحاتی که AdSense دارند را بررسی می کند و تصمیم می گیرد که چه تبلیغی را در کدام صفحات گوناگون به نمایش دربیاورد. اگر می خواهید به Media Bot اجازه دسترسی به سایتتان را بدهید کافی است که این کد را در فایل robot.txt خود که یک فایل متنی است قرار بدهید:
User-agent: Mediapartners-Google*
به یاد داشته باشید که تبلیغات، حتی اگر این بات به صفحه شما نیامده باشد هم در صفحه شما به نمایش درخواهد آمد. برای همین هم تبلیغات بر پایه قالب سایت شما انتخاب خواهد شد.
معمولا در ایران ممکن است کسی این بات را ندیده باشد و خیلی سایت های ایرانی خبری از این ربات گوگل نداشته باشند اما در سایت های خارجی کاملا حضور او مشهود است.
Image Bot
از اسم این مورد از انواع ربات های گوگل مشخص است که با تصاویر سر و کار دارد. Image Bot یک ربات دیگر گوگل است که گوگل از آن برای کراول کردن تصاویر سایت ها و قرار دادنشان در نتایج جست و جوی “تصاویر” استفاده می کند. تصاویر بر اساس نام فایل تصاویر، متن ALT، متن اطراف آن و عنوان صفحه رتبه بندی می شوند. اگر سایت شما بر پایه تصاویر بنا شده است، پس با این ربات خیلی بیشتر از دیگر سایت ها سر و کار دارید. شما باید تصاویر بهینه سازی شده و عالی در سایت خود قرار دهید که سایت شما از طریق این تصاویر و نتایج جست و جوی تصاویر گوگل، ترافیک اضافی دریافت کنید.
هرچند که معمولا بازدیدکنندگان تصاویر شاید به مشتری تبدیل نشوند و صرفا برای دیدن عکس به سایت شما آمده باشند، اما به هر حال همین موضوع ترافیک و رتبه سایت شما را تحت تاثیر قرار می دهد. اگر هم می خواهید که به Image Bot اجازه ندهید که به تصاویر سایت شما دسترسی پیدا کند تا پهنای باند خودتان را ذخیره کنید، می توانید از طریق فایل متنی robot.txt اقدام کنید.
در ضمن گوگل یک Video Bot هم دارد که کارکرد مشابه همین ربات دارد با این تفاوت که تمرکز آن روی ویدیو های سایت شما می باشد که نتایج را در صفحه جست و جوی “ویدئو” نمایش دهد.
Ads Bot
کار این مورد از انواع ربات های گوگل کراول و بررسی کردن لندینگ پیج های تبلیغاتی و دادن امتیاز به کیفیت تبلیغات صفحات می باشد. با این امتیاز، گوگل مشخص می کند که تبلیغات شما باید دقیقا در چه موقعیتی قرار بگیرد. پس این موضوع نشان می دهد که چقدر محتوای با کیفیت در تبلیغات هم مهم است و گوگل به آن ها نیز اهمیت زیادی می دهد. گوگل تبلیغات با کیفیت تر را اول از همه نشان می دهد و مهم نیست که شما چقدر بابت آن ها پول پرداخت کرده باشید. همین موضوع باعث می شود که به شما پیشنهاد کنیم که دسترسی AdsBot را در سایت خودتان بیشتر کنید و حتی دسترسی کامل را به این ربات ها بدهید. نگران نباشید، این ربات ها کاملا قابل اطمینان هستند و حضورشان در سایت شما نه تنها به ضرر شما نیست بلکه به نفع شما هم می باشد.
Google Bot Mobile
کار این ربات کاملا مشخص است، این مورد از انواع ربات های گوگل قصد دارد که نسخه موبایلی سایت شما را بررسی کند و ببیند که آن طور که باید با استاندارد های گوگل مطابقت دارد یا اینکه ریسپانسیو سایت شما آنقدری خوب نیست که در موتور جست و جوی گوگل در موبایل نمایش داده شود. این ربات ها به تمامی المان های مرتبط با گوشی های تلفن همراه حساس هستند و بررسی می کنند که محتوا چگونه روی صفحه موبایل نمایش داده می شود. حواسمان باید باشد که به تازگی این ربات ها بیش از قبل فعال شده اند و تمرکز روی نسخه موبایلی سایت ها بیشتر از قبل شده است. پس طراحی سایت موبایل خودتان را به گونه ای انجام دهید و محتوا را طوری بنویسید که مورد قبول این ربات گوگل قرار بگیرد.
سخن پایانی
اصلا این موضوع بسیار مهم است که اگر شما بخواهید که بیشتر در نتایج جست و جو نمایش داده شوید، باید دسترسی کامل به سایت را به گوگل بدهید. البته درست است که یک سری صفحات را باید از دسترس انواع ربات های گوگل دور نگه داشت (صفحات ثبت نام، درگاه های پرداخت، اطلاعات محرمانه کاربران و …) اما صفحاتی که می خواهید در نتایج جست و جو قرار بگیرند باید حتما دسترسی ربات ها را برایشان باز کنید. برای این کار هم بهتر است یک Sitemap برای سایتتان طراحی کنید که این سایت مپ به ربات های گوگل بگوید که چگونه باید سایت شما را کراول و ایندکس کنند. همچنین گوگل اگر نتواند سایت شما را کراول کند این موضوع را به شما خبر خواهد داد. همین موضوع باعث می شود که شما به سرعت مشکلات سایت را متوجه شوید و برای رفع آن اقدامات لازم را انجام بدهید.
ممنون که در این مقاله با ما همراه بودید و امیدواریم که رضایت تمامی انواع ربات های گوگل را بتوانید بدست بیاورید و سایت شما از همه لحاظ مورد تایید آن ها باشد.
منبع:
