ابزار اسکریمینگ فراگ چیست ؟ سایتتان را از دید خود گوگل ببینید!

مسلما چه سئو کار باشید و چه صاحب سایت باشید، دوست دارید که سایتی که در دست دارید در نتایج گوگل جزو بهترین ها باشد. خیلی از امور مختلف را برای سئو سایت خود انجام می دهید و دوست دارید که گوگل متوجه خوب بودن سایت شما بشود. حال تا به حال به این فکر کردید که گوگل با ربات های خودش چگونه سایت شما را می بیند؟ ابزار اسکریمینگ فراگ به طور تقریبی این دید را به شما می دهد. در واقع فضایی برای شما ایجاد می کند که کمی دستتان بیاید که کراولر ها چگونه سایت شما را رصد می کنند و به چه مواردی اهمیت می دهند. البته که کشف کار ربات های گوگل به همین راحتی ها نیست و اگر بود، دیگر سئو سایت و این همه وقت و هزینه ارزشی نداشت اما به هر حال بد نیست دیدی نسبت به آن داشته باشیم.

وقتی درباره سئو سایت صحبت می کنیم همیشه می دانیم که یک سری ابزار های خیلی حرفه ای برای سئو سایت وجود دارند که هم هزینه بالایی دارند و هم اطلاعات زیاد و حرفه ای در رابطه با سئو سایت به ما می دهند. ابزار اسکریمینگ فراگ از آن دسته ابزار ها “نیست”. سازنده های آن خیلی دست و دل بازانه این ابزار جالب و عجیب را در سایت خود برای دانلود قرار داده اند. حال شاید تصور کنید که احتمالا چون رایگان است، یک سری اطلاعات دم دستی مثل سرچ کنسول به ما می دهد و سر و ته ماجرا را هم می آورد. عجیب اینجاست که این حدس شما هم غلط است. امکاناتی که “ابزار Screaming Frog” در اختیار شما می گذارد شاید همه چیز نباشد، اما انصافا هم این امکانات زیاد هستند و هم اطلاعات با ارزشی به ما می دهند. باور کردنی نیست اما واقعیت دارد!

این ابزار نه چندان معروف و نه چندان بزرگ رایگان است (نسخه پولی هم دارد که فکر نمی کنیم حتی به آن نیازی پیدا کنید)، اطلاعات خوبی درباره سئو سایت می دهد، کم حجم است و به طرز غیر قابل باوری هم امکانات زیادی دارد. بله درست است که اسکریمینگ فراگ هم مانند ابزار های دیگر به طور مستقیم هرچیزی که برای سئو لازم است را برای شما فراهم نمی کند اما حداقل اطلاعاتی که به ما می دهد هم کمیت بالایی دارند و هم مفید هستند و خود این موضوع بیشتر از همه باعث تعجب است. به هر حال در ادامه می خواهیم خیلی بیشتر با این ابزار عجیب که نامش هم مثل خودش عجیب است آشنا بشویم و ببینیم که چرا باید از آن استفاده کنیم و چه امکاناتی قرار است به ما بدهد. در ادامه این مقاله همراه ما باشید.

اسم این ابزار اسکریمینگ فراگ است و اسم آن هم مانند خودش عجیب و غریب است. Screaming Frog به فارسی می شود قورباغه در حال فریاد زدن (یا جیغ کشیدن) یا مثلا قورباغه فریاد زن (جیع کش) که بسیار اسم عجیبی است و مشخص نیست که چرا این اسم برای آن انتخاب شده است. شاید به این خاطر که این ابزار مانند کراولر ها یا عنکبوت های گوگل عمل می کند منتهی به جای خزیدن در سایت ها (کراول کردن)، روی سایت ها می جهد. به هر حال به اسم ابزار اسکریمینگ فراگ بیش از این کار نداشته باشیم بهتر است که اصلا مهم هم نیست.

Screaming Frog SEO Spider یک ابزار سئو سایت می باشد که توسط آژانس مارکتینگ بریتانیایی Screaming Frog ساخته شده است. این ابزار در واقع خودش یک کراولر یا ربات است که به جای اینکه در فضای وب بچرخد و سایت ها را پیدا کند، یک دامنه یا لینک خاص به آن می دهیم و او این دامنه را کراول می کند و به جای اینکه مانند ربات های گوگل اطلاعات دریافت شده را فاش نکند، آن ها را به شما می گوید. در واقع یک گزارش از عملکرد صفحه مورد نظر شما به شما تحویل می دهد. حال در ادامه می خواهیم ببینیم که این اسکریمینگ فراگ دقیقا چه اطلاعات را برای ما آماده می کند.

این قورباغه عزیز ما یعنی ابزار اسکریمینگ فراگ اگر از عنکبوت های گوگل قوی تر نباشد ضعیف تر هم نیست. اطلاعاتی که این ابزار به ما می دهد باور نکردنی است و ممکن است کمی عذاب وجدان بگیریم که چرا می توانیم از آن به صورت رایگان استفاده کنیم. این امکانات شامل موارد زیر می شود:

پیدا کردن لینک های خراب شده

اسکریمینگ فراگ سایت را زیر و رو می کند و تمامی لینک های خراب آن را به شما گزارش می دهد. منظور ما از لینک خراب هم لینک هایی هستند که به صفحه های 404 منتهی می شوند. این ابزار ارور ها را بازنمایی می کند و URL هایی که باید اصلاح بشوند را برای شما می فرستد.

گزارش از ری دایرکت ها

این ابزار می تواند تمامی ری دایرکت های همیشگی و موقت را پیدا کند و یک لیست از تمامی URL های ری دایرکت شده به شما تحویل بدهد.

بررسی عنوان صفحه و متا دیتا ها

این ابزار اسکریمینگ فراگ عناوین صفحانت را بررسی می کند و توضیحات متای آن ها را هم در کراول خود به خوبی تشخیص می دهد. به شما می گوید که کدام یک از این عناوین و توضیحات متا زیادی کوتاه، زیادی بلند، گم شده و یا کپی شده هستند.

محتوا های کپی را پیدا می کند

ابزار اسکریمینگ فراگ می داند که یکی از بدترین موارد در سئو سایت صفحات کپی هستند. پس با یک الگوریتم MD5 تمامی URL های کپی شما را کشف می کند و حتی صفحاتی که فقط بخشی از آن ها مانند عنوان ، توضیحات یا تیتر هایشان تکراری است را هم برای شما می فرستد.

انتقال داده ها با XPath

با استفاده از CSS Path، XPath و Regex داده های HTML سایت شما را جمع آوری می کند. این داده ها می توانند شامل تگ های شبکه های اجتماعی، سر تیتر های اضافی، قیمت ها، SKU ها و … بشود.

ربات ها را بررسی می کند

ابزار اسکریمینگ فراگ URL هایی که توسط robot.txt، meta robots یا X-Robots-Tag بلوکه شدند را تشخیص می دهد و به شما می گوید که در چه حالت هایی مانند noindex، nofollow یا کنونیکال هایی مانند rel=”next” و rel=”prev” هستند

برایتان سایت مپ درست می کند

از این ابزار دیگر چه می خواهید؟ این ابزار برای شما به سرعت یک XML Sitemaps و Image XML Sitemaps درست می کند که تنظیمات پیشرفته ای مرتبط با URL ها را شامل می شود و به شما می گوید که آخرین بار این سایت مپ کی ئیرایش شده و چگونه فرکانس آن تغییر کرده است.

JavaScript سایت را کراول می کند

با یک Chromium WRS صفحات پیج شما را رندر می کند تا جاوا اسکریپت، Angular، React و Vue.js را در سایت تشخیص بدهد

مهندسی سایت را به شما نشان می دهد

ابزار اسکریمینگ فراگ تمامی لینک های داخلی، ساختار URL را با رسم دیاگرام های تصویری برای شما مانیتور می کند.

گزارش های روی برنامه زمانی به شما می دهد

می گردد و اطلاعات لازم درباره سایت شما را از جاهایی مانند Google Sheet پیدا می کند و از طریق خط دستوری خود آن را اتماسیون سازی می کند.

مشکلات سئویی را تا حد امکان تشخیص می دهد

به شما می گوید که چرا سایت شما کراول یا ایندکس نمی شود و باید چه کار هایی نسبت به آن انجام دهید.

به این خاطر که ابزار اسکریمینگ فراگ دقیقا همان کار گوگل بات ها را انجام می دهد. در واقع اسکریمینگ فراگ یک دید کلی از آن طوری که گوگل به سایت شما نگاه می کند را به شما می دهد. این ابزار به شما می گوید که چگونه باید ارور های سایت خودتان را درست کنید و روی چه URL هایی برای رفع مشکل باید تمرکز کنید.

بله ابزار اسکریمینگ فراگ رایگان است مگر اینکه به 500 صفحه برای کراول کردن برسید. (که احتمالا نرسید مگر اینکه بخواهید همیشه رقبای خودتان را هم مثل سایت خود بررسی کنید) اگر بخواهید صفحات بیشتر از 500 تا را کراول کنید باید هزینه برنامه را پرداخت کنید.

خیلی راحت می توانید با سرچ کردن کلمه Screaming Frog در گوگل و پیدا کردن سایت آن، اسکریمینگ فراگ را دانلود و نصب کنید. استفاده از این ابزار هم به دو صورت انجام می شود. اول اینکه می توانید نرم افزار آن را روی کامپیوتر نصب کنید و اجرا کنید و دوم اینکه میتوانیدExtension آن را روی مرورگر خودتان نصب کنید و یک سری اطلاعات محدود اما مفید را درباره سایت های مختلف کسب کنید.

ابزار اسکریمینگ فراگ مانند اسمش، امکانات جالب و باور نکردنی ای دارد که می توانید رایگان از آن ها استفاده کنید و یک درود بر شرف سازندگانش بفرستید که چنین ابزار خوبی را رایگان در اختیار ما قرار دادند. بخشی از سئو سایت استفاده از همین ابزار ها در کنار یکدیگر است که گزارش های هر کدام از آن ها می توانند یک دید کلی به سایت ما بدهند تا سایت ما موفق تر عمل کند. ممنون که همراه ما بودید.

منابع:

Seonorth

Screamingfrog