تصور اینکه ربات های گوگل، یک سری کارمند بامزه و جالب هستند که کارشان این است که بین میلیون ها سایت در دنیای وب سفر کنند و آن ها را Crawl کنند چیز جالبی است. اگر بخواهیم اینگونه تصور کنیم، احتمالا نتیجه می گیریم که این ربات ها نمی توانند در یک لحظه، در چند جا باشند. درست است که آن ها ربات اند و انسان نیستند، اما باز هم هنوز محدودیت هایی را دارند که باعث می شوند که برای هر صفحه، کرال باجت یا Crawl Budget خاصی در نظر بگیرند. در واقع با این کار، ربات های گوگل می خواهند کاری کنند که وقت داشته باشند به همه سایت ها سر بزنند و تا جایی که می شود، هیچ سایتی از قلم نیفتد. در این مقاله قصد داریم درباره این مفهوم مهم صحبت کنیم و از ماهیت آن با خبر شویم. پس همراه ما باشید.
کرال باجت ( Crawl Budget )
سئو سایت دنیای گسترده ای دارد، هرچند که یک سری مفاهیمی هستند که شاید خارج از سئو سایت هم مطرح بشوند، اما معمولا آن ها را اختصاصا برای سئو سایت می دانند و مسلما این مفاهیم با سئو خیلی بیشتر از هرچیز دیگری در ارتباط هستند. یکی از این مفاهیم کرال باجت یا Crawl Budget است که مفهوم آن در معنای آن کاملا نهفته است. این کلمه در فارسی “بودجه خزش” معنی می شود ولی فکر نمی کنم که در دنیای سئو، کسی واقعا از معنی فارسی آن استفاده کند. حرفه ای تر است که ما نیز از اصطلاح اصلی استفاده کنیم و کلا سعی نکنیم برای هرچیزی در دنیا یک معادل بسازیم. برای اینکه این مفهوم را متوجه شویم، باید اول از همه درباره اینکه اصلا Crawl چیست اطلاعات کافی را داشته باشیم و بعد به سراغ مفهوم بودجه آن برویم.
همانطور که در مقاله قبلی یعنی گوگل بات چیست هم گفتیم، ربات های گوگل را با دو اسم دیگر عنکبوت (Spider) و خزنده (Crawler) هم می شناسند. مفهوم عنکبوت خیلی استفاده نمی شود اما کلمه Crawler حتی ممکن است گاهی از خود کلمه Googlebot هم بیشتر استفاده شود. در واقع این ربات های گوگل، یک سری خزنده تصور می شوند که در طی سایت ها می خزند یا به اصطلاح آن ها را Crawl می کنند و URL های آن ها را به پایگاه داده خودشان اضافه می کنند. پس از این کار، اگر محتوا و ساختار سایت ها مورد تایید بود، این سایت ها Index می شوند و به فهرست مطالب موتور جست و جو اضافه می شوند. مسلما هر سایتی که بیشتر Crawl می شود، شانس بیشتری دارد که محتوای به روز شده آن دیده شود و رتبه بهتری دریافت کند. اینجاست که Crawl Budget مهم می شود.
Crawl Budget چیست ؟
Crawl Budget یک عدد است که به تعداد آن، ربات ها یا همان خزنده های گوگل، صفحه سایت شما را کرال می کنند و در طی یک زمان خاصی هم آن صفحه از سایت را Index می کنند. این کرال باجت برای هر سایتی با سایت دیگر فرق می کند و شاید در ادامه متوجه بشویم که مقدار این عدد بستگی به چه چیز هایی دارد و چرا تا این حد این موضوع برای سئو سایت مهم است.
چرا کرال باجت برای سئو سایت مهم است؟
خیلی کوتاه بخواهیم پاسخ بدهیم باید بگوییم کرال باجت به این خاطر برای سئو سایت مهم است که اگر یک سایتی Crawl Budget نداشته باشد، Crawl نمی شود و اگر هم کرال نشود، مسلما Index نخواهد شد. پس اگر این بودجه کرال سایت شما کم باشد، ممکن است یک سری صفحاتی در سایت شما باشند که اصلا ایندکس نشوند و ربات های گوگل حتی متوجه حضور آن ها نیز نشوند. البته این را باید در نظر داشت که بخش اعظمی از صفحات یک سایت، اصلا نباید نگران این موضوع باشند. گوگل در پیدا کردن و ایندکس کردن صفحات یک سایت واقعا استاد است. اما باز هم در شرایط زیر، بد نیست که به “Crawl Budget” توجه کنیم:
زمانی که یک سایت بزرگ داریم: اگر یک سایت بزرگ (مثلا یک سایت فروشگاهی با هزاران محصول) دارید که بیشتر از 10 هزار صفحه است، ممکن است گوگل نتواند همه آن ها را پیدا کند.
به تازگی چندین صفحه به سایتتان اضافه کرده اید: اگر اخیرا یک بخش جدید به سایت خودتان اضافه کرده اید که صد ها صفحه دارد، باید مطمئن شوید که کرال باجت شما همه آن ها را پوشش دهد.
ری دایرکت های زیاد: ری دایرکت های زیاد، به معنای واقعی بودجه کرال شما را تصاحب می کنند و نمی گذراند چیزی برای صفحات اصلی بماند.
با تمامی این تفاسیر، همچنان روش هایی وجود دارد که باعث شوند که بودجه کرال ما از اینی که هست بیشتر بشود. با ما همراه باشید تا این روش ها را به شما معرفی کنیم.
روش های افزایش Crawl Budget چیست؟
افزایش دادن سرعت سایت
یکی از مهمترین و بهترین راه ها برای افزایش Crawl Budget ، افزایش دادن سرعت سایت است. خود مدیران گوگل هم گفته اند که “افزایش دادن سرعت سایت، نه تنها باعث بهتر شدن تجربه کاربری می شوند، بلکه نرخ کرال را هم بالا می برند” . به عبارت دیگر، صفحاتی که کند بارگذاری می شوند، وقت “با ارزش” خزنده های گوگل را می گیرند و ممکن است این خزنده ها، خیلی برای بارگذاری این سایت ها صبر نکنند. اما اگر شما یک سایت پر سرعت داشته باشید، گوگل بات این زمان را دارد که به تمامی صفحات سایت شما سرک بکشد و آن ها را کرال کند.
استفاده از لینک های داخلی
ربات های گوگل زیادند، اما دلیل نمی شود که برای کرال کردن سایت شما، همه ربات های گوگل با هم دست به کار بشوند. ممکن است یک یا دو ربات وظیفه کرال کردن سایت شما را به عهده بگیرند و از طریق لینک های داخل صفحات سایت شما، صفحات دیگر سایت را نیز کرال کنند. این گوگل بات ها، صفحاتی از سایت را در اولویت قرار می دهند که لینک های داخلی و خارجی بسیاری به آن ها داده شده باشد. شما ممکن است که برای هر صفحه از سایت خودتان بک لینک داشته باشید، اما به هیچ عنوان نباید لینکسازی داخلی را هم فراموش کنید. لینکسازی داخلی باعث می شود که ربات های گوگل، به صفحات مختلفی از سایت شما بروند و آن ها را هم ایندکس کنند. اینطوری کرال باجت شما هم افزایش پیدا می کند.
ساختار Flat سایت
گوگل گفته است:
“URL هایی که بیشتر از دیگران در اینترنت محبوب باشند، بیشتر هم کرال می شوند. در نتیجه باید همیشه صفحات سایت را تازه نگه دارید که مطلب جدیدی برای Crawler ها داشته باشند.”
منظور از “محبوبیت” از نظر گوگل، همانطور که می دانیم، “اعتبار لینک” یا Link Authority است. برای همین هم هستش که ما باید در سایتمان از ساختار Flat بهره جویی کنیم. این ساختار، ساختاری است که جریان اعتبار لینک در صفحات پخش می شود و تمامی صفحات سایت با یکدیگر در ارتباط هستند. این یکدست بودن سایت می تواند باعث شود که تا حد زیادی Crawl Budget ما افزایش پیدا کند و ربات های گوگل، مشکلی برای خزیدن در سایت ما و ایندکس کردن آن نداشته باشند.
پرهیز از صفحات Orphan
Orphan در فارسی به معنی “یتیم” است. صفحات یتیم یا Orphan Pages ها صفحاتی هستند که بندگان خدا، نه لینک داخلی ای به آن ها شده است و نه هیچ لینک خارجی ای به آن ها لینک داده است. همه ما حتی اگر تجربه نداشته باشیم، باز هم می توانیم درک کنیم که یتیم بودن چقدر سخت و غمگین است. پیدا کردن این صفحات هم برای گوگل سخت است. پس اگر می خواهید Crawl Budget بیشتری داشته باشید، نباید اجازه دهید که هیچکدام از صفحات سایتتان یتیم بمانند و آن ها باید حداقل یک لینک از سایت شما و یک لینک هم از جای دیگری داشته باشند.
محتوای کپی نداشته باشید
کمتر کردن محتواهای کپی یا Duplicate Content ها حرکت هوشمندانه ای است. این محتوا ها می توانند آسیب بدی به بودجه کرال شما وارد کنند. چرا؟ چون گوگل اصلا نمی خواهد منابع خودش را صرف ایندکس کردن صفحاتی کند که همه آن ها یک محتوای یکسان دارند. پس صد رد صد مطمئن بشوید که تمام محتواهای شما منحصر به فرد و با کیفیت هستند و هیچ صفحه کپی در سایت شما وجود ندارد. شاید اگر یک سایت شرکتی داشته باشید، پیش خودتان فکر کنید که “این موضوع چرا انقد مهم است؟ بدیهی است که تمام صفحات سایت ما محتوای منحصر به فرد دارد” که باید به شما بگوییم که بله، سایت هایی که معمولا کمتر از 10 هزار صفحه دارند، کم پیش می آید که محتواهای کپی در آن ها باشد و معمولا هر صفحه، محتوای مخصوص به خودش را دارد. اما این موضوع برای سایت های فروشگاهی اصلا آسان نیست.
سایت های فروشگاهی معمولا بیش از 10 هزار صفحه دارند و هر آن ممکن است که یک محصول، محتوای یکسانی با محصول دیگر داشته باشد اما محصولات مورد نظر با هم فرق کنند. پس سایت های فروشگاهی باید خیلی بیشتر از دیگر سایت ها حواسشان را به این موضوع جمع کنند تا بتوانند کرال باجت بیشتری دریافت کنند.
آیا ما باید روی گرفتن بودجه کرال تمرکز کنیم؟
پاسخ این سوال کمی دشوار است. ما باید برای بدست آوردن Crawl Budget تلاش کنیم اما تمام تمرکز ما نباید صرف این موضوع بشود. کرال باجت داشتن خوب است و معمولا با همان چیز هایی بدست می آید که سئو سایت لازم دارد، اما باز هم با این وجود، چیزی که ما باید روی آن تمرکز کنیم کیفیت سایت و تجربه کاربری است. شاید اگر یک سایتی داشته باشیم که یک تیم سئو آن را همراهی می کنند، بتوان گفت که تمرکز کردن روی بدست آوردن Crawl Budget کاملا طبیعی است و باید این اتفاق رخ بدهد، اما اگر صرفا یک مدیر سایت هستیم، اینکه روی تجربه کاربری و محتوای غنی و عالی تمرکز کنیم خیلی بهتر است.
در طرف دیگر، بودجه کرال از آن دسته مواردی است که باید یک چالش برای سایت های بزرگ باشد. سایت های کوچک که صفحات چندانی هم ندارند اصلا نباید نگران این موضوع باشند و صرفا کافیست که مواردی که بالاتر گفتیم را انجام بدهند تا به اندازه کافی کرال باجت را دریافت کنند. چون این سایت ها معمولا صفحات کمی دارند و خود گوگل به هر حال بودجه خاصی را برای هرکدام از آن ها در نظر می گیرد. در ضمن، برای چک کردن بودجه کرال هم شما می توانید از Google Search Console و بخش Crawl آن استفاده کنید تا بودجه کرال هرکدام از صفحات خودتان را در یک بازه زمانی خاص متوجه بشوید.
سخن پایانی
در این مقاله به سراغ یکی از مهمترین مسائل در سئو سایت یعنی Crawl Budget رفتیم. کرال باجت از آن دسته مفاهیمی است که با وجود مهم بودن، آنطور که باید به آن توجه نشده است و سئو کاران باید خصوصا در زمینه سایت های بزرگ، توجه بیشتری به آن نشان بدهند. ما نیز در این مقاله تلاش کردیم که به جز تعریف این مفهوم، روش هایی برای افزایش آن را نیز به شما معرفی کنیم که البته، این روش ها باید در کنار محتوای ارزشمند و غنی مورد استفاده قرار بگیرند. ممنون که در این مقاله همراه ما بودید و امیدواریم که گوگل، بودجه کرال بالایی برای سایت شما در نظر بگیرد و ربات های بامزه گوگل، همیشه در حال گشت و گذار در سایت شما باشند.
منبع:
