در اینجا قصد داریم درباره دو مفهوم مهم سئو صحبت کنیم که ممکن است درباره آن ها چیز هایی شنیده باشید. هرچقدر هم این دو مفهوم جدا از هم تعریف بشوند، به دلیل شباهت مرتبط بودنشان، گاهی ممکن است افراد این دو را با یکدیگر یکی بدانند. در حالی که این دو مفهوم که Crawling و Indexing نام دارند با وجود مرتبط بودن، کاملا متفاوت از هم هستند. در اینجا هم ما می خواهیم به تفاوت crawling و indexing بپردازیم. هرچند که ممکن است اگر سئو کار باشید این مطلب برایتان کاملا جا افتاده باشد یا اگر در این زمینه کار نکرده باشید به طور کلی این دو مفهوم برایتان گنگ باشند، در اینجا سعی شده است که به ساده ترین شکل ممکن این دو را شرح دهیم و سپس کمی وارد پیچیدگی آن ها شویم. با ما همراه باشید.
تفاوت crawling و indexing
در مقالات قبلی که درباره این بود که موتور جست و جو چگونه کار می کند، اشاراتی به بحث تفاوت crawling و indexing داشتیم. گفتیم که موتور جست و جو اینگونه کار می کند که اول از همه کراولر ها صفحه شما را آنالیز می کنند و سپس در صورتی که مشکلی در صفحه تان به طور جدی وجود نداشت، آن را وارد ایندکس موتور جست و جو می کنند. اینکه موتور جست و جو گونه کار می کند چیزی نیست که بشود به راحتی به آن پاسخ داد. لازم است که بخش های مختلف این موضوع بررسی بشود تا بتوانیم به یک جواب درست در این زمینه برسیم. “تفاوت کراولینگ و ایندکسینگ” از آن دسته از مواردیست که اگر به خوبی آن ها را متوجه شویم، حداثل می دانیم که موتور جست و جو در رابطه با سایت ما، چگونه کارش را شروع می کند.
Crawling و indexing چه هستند؟
برای اینکه بهتر متوجه تفاوت crawling و indexing شویم چطور است که با یک مثال شروع کنیم؟ فرض کنید که گوگل یک شخص است که رهبری یک تور را بر عهده دارد. اگر شما به گوگل اجازه دهید که داخل یک موزه را نگاه کند، در واقع به طور خاص داخل اتاق را نگاه کند، می تواند هرچیزی که در آن هست را ببیند. این در واقع همان کراولینگ است که ما به گوگل اجازه می دهیم سایتمان را ببیند. حال که گوگل اتاق را نگاه کرد، می بیند که بر روی تابلویی در اتاق نوشته شده است که می تواند بقیه راه هم خبر کند که اتاق را ببینند. یعنی گوگل می تواند این اتاق را به لیست خودش اضافه کند و اجازه دهد بقیه هم از آن دیدن کنند. پس این همان ایندکسینگ است که گوگل سایت شما را در نتایج خود نمایش می دهد.
حال تصور کنید که یک شخصی در این تور مسافرتی، درخواست کند که می خواهد کوزه های قدیمی را ببیند (استعاره از چیزی که کاربر سرچ می کند)، گوگل اگر اجازه داشته باشد که اتاق شما (سایتتان) را نمایش دهد، اگر اتاق شما کوزه قدیمی داشته باشد، گوگل شخص را به اتاق شما راهنمایی می کند یا حداقل به او می گوید که اتاق شما یکی از اتاق هاییست که کوزه های قدیمی را دارد. این در واقع همان مفهوم صفحه SERP یا صفحه نتایج جست و جو هست که شما هم در آن به دلیل Index شدن سایتتان حضور دارید. حال اتاقی که گوگل اجازه نشان دادن آن را به کسی نداشته باشد، نمایانگر مفهوم NOINDEX است که به هر دلیل ممکن است گوگل آن اتاق را به کسی نشان ندهد. تفاوت crawling و indexing در همین مثال نمایان است.
Crawling چیست و web crawler ها چه هستند؟
مفهوم Crawling به دنبال کردن لینک ها از پیجی به پیج دیگر و ادامه این فعالیت تا هر زمان که ادامه داشته باشد می گویند. یک Web Crawler هم در واقع همان برنامه نرم افزاری ای هستش که این کار را انجام می دهد و تا زمانی که لینک جدیدی برای کراول کردن نباشد، به کارش ادامه می دهد. این وب کراولر ها را به اسم های جالبی مانند عنکبوت ها، ربات ها و ربات های موتور جست و جو می شناسند. (البته که این ربات ها شبیه آن چیزی که ما از یک “ربات” به صورت فیزیکی می شناسیم نیستند) به این ربات ها در کراولر های گوگل، Googlebot می گویند که وظیفه آن ها کراول کردن و دیدن پیج های مختلف در سرتاسر وب است که تشخیص دهند آیا قابل ایندکس هستند یا خیر. اینجاست که تفاوت crawling و indexing بحثش وسط می آید.
Indexing چیست؟
مفهوم ایندکسینگ را که به شما توضیح دهیم، فرق crawling و indexing را بهتر متوجه خواهید شد. ایندکس کردن به عمل ذخیره سازی و سازمان دهی اطلاعات داخل صفحه می گویند که توسط کراولر ها بررسی شده اند. بات گوگل همانطوری یک کد را در صفحه رندر می کند که یک مرورگر این کار را انجام می دهد. یعنی تمامی محتوا، لینک ها و متا دیتا ها را در پیج کاتالوگ بندی می کند و نوع آن ها را تشخیص می دهد.
Rendering چیست؟
رندرینگ در بحث تفاوت crawling و indexing به شرح و تشخیص HTML، CSS و جاوا اسکریپت در صفحه می گویند که توسط ربات ها انجام می شود. این کار برای این است که کد ها در مرورگر، حالت بصری بگیرند و صفحه ای که توسعه دهندگان می خواهند ما ببینیم، برایمان به نمایش دربیاید.
به طور کلی تفاوت crawling و indexing چیست؟
حال که این موارد را تعریف کردیم به احتمال زیاد فرق کراولینگ و ایندکسینگ را باید متوجه شده باشید. مجموع این تعریف ها دارند می گویند که کراول کردن شامل کشف و پیدا کردن لینک صفحات که به صفحات دیگر راه پیدا می کنند، می شود و ایندکس کردن، شامل ذخیره سازی، بررسی و سازماندهی محتوا و ارتباط بین صفحات می شود. شاید کمی این موضوع برای کسانی که در این زمینه تخصصی نداشته باشند پیچیده باشد، اما به مرور زمان اگر به زمینه سئو سایت علاقه داشته باشید، این موارد را فراخواهید گرفت و دیگر مشکلی در تعریف مفهوم آن ها و دریافت آن نخواهید داشت.
اهمیت crawling و indexing چیست؟
حال که تفاوت crawling و indexing را به خوبی متوجه شده اید بد نیست به اهمیت این دو مفهوم هم اشاره کنیم. سه مورد از مهمترین اهمیت های این موارد به شرح زیر هستند:
-وب سایت شما به صورت ناخودآگاه توسط گوگل بلاک نمی شود.
-ارور های سایت شما چک می شود و رفع می شود.
-مطمئن می شوید که در صفحه سرچ گوگل نمایش داده می شوید.
اصلا دقیقا با پشت سر گذاشتن این دو مفهوم است که تازه سئو سایت شما شروع می شود. اگر گوگل نتوانید سایت شما را کراول کند، مسلما آن را در نتایج سرچ خودش هم نشان نمی دهد و این موضوع به کسب و کار شما و سایتتان صدمه وارد خواهد کرد. پس قبل از هرچیز robot.txt را بررسی کنید و هر مشکلی که مرتبط با سئو تکنیکال می شود رفع کنید. اگر سایت شما انبوهی از ارور های مرتبط با موتور های جست و جو باشد، گوگل تشخیص خواهد داد که صفحه شما از کیفیت لازم برخوردار نیست و آن را صفحه به درد بخوری قلمداد نخواهد کرد و در نتیجه از نتایج صفحه سرچ شما را حذف خواهد کرد. حال چگونه اصلا از این ارور ها با خبر شویم؟ چگونه بفهمیم که سایت ما به درستی کراول و ایندکس می شود؟ با ما همراه باشید.
چگونه از مشکلات crawling و indexing با خبر شویم؟
سرچ گوگل برای دیدن indexing و crawling
قبل از استفاده از هر ابزاری شما به راحتی با جست و جوی “site:yourdomain” در گوگل می توانید ببینید که کدام صفحه هایتان در گوگل ایندکس شده اند. منظور از عبارت yourdomain هم دامنه سایت خودتان است که باید در جلوی site: نوشته شود.
استفاده از Google Search Console
چه ابزاری بهتر از ابزار خود گوگل که به ما بگوید آیا سایت ما در رابطه با Crawling و indexing مشکلی دارد یا خیر. هر زمان که وب سایت شما به طور کامل طراحی شد، باید دامنه خودتان را در Google Search Console ثبت کنید. گوگل هم گزارش هایی از عملکرد کلیک ها و ایمپرشن سایت شما به شما می دهد، هم اینکه موارد مرتبط با وضعیت Crawl و Index سایتتان را نیز برایتان شرح می دهد. اولین جایی هم که برای ارور نداشتن سایتتان باید سر بزنید، همین سرچ کنسول است.
نتیجه گیری
اگر در زمینه سئو سایت فعالیت می کنید، دانستن مفاهیمی که برای شما شرح دادیم ضروری و واجب است. هرچند که اگر حتی سئوکار نیستید و فقط صاحب سایت هستید، دانستن این موارد می تواند به سلامت سایت شما کمک کند. پس اصلا فرقی ندارد که در چه زمینه ای فعالیت می کنید، در بحث سئو دانستن تفاوت crawling و indexing همیشه خوب است و باید به طور جداگانه این مفاهیم را درک کنید و آن ها را یاد بگیرید. همیشه بدانید که دانستن هر نکته ای درباره سئو سایت و اینکه موتور های جست و جو چگونه کار می کنند، می تواند برای شما یک امتیاز مثبت محسوب بشود. ممنون که در این مقاله هم با ما همراه بودید.
