کراول باجت چیست و چطور باعث رشد سئو با مقابله با فاکتور دنس گوگل می شود؟

کراول باجت | Crawl Budget چیست؟

کراول باجت که به بودجه خزیدن نامگذاری شده است به تعداد صفحاتی است که گوگل بوت یا ربات خزنده گوگل (Googlebot) و سایر خزنده‌های موتورهای جستجو می‌توانند در مدت زمان معینی سایت شما را بخزند. مدیریت بودجه خزش سایت شما می تواند به سئو سایت شما کمک کند.

 💡 چگونه؟ در ادامه توضیح می دهم…

• نکته1: برای اینکه Googlebot وب سایت شما را بخزد، باید مطمئن شوید که اجازه خزیدن در فایل Robots.txt به این ربات داده شده است.
• نکته 2: بعضی هکرها ربات های می نویسند که سایت شما بخزد و مطالب شما را سرقت کند جلوی آنها را در فایل Robots.txt  ببندید.
• نکته3: بعضی آنالیزورها اطلاعات شما را در اختیار رقبا و هکر ها قرار می دهند دسترسی آنها را هم در Robots.txt ببندید.

در حالی که خزیدن و فهرست کردن هر صفحه در سایت شما توسط گوگل غیرمعمول است، اما ما می خواهیم مطمئن شویم که همه صفحات مهم ما ایندکس شده اند و می توانند در SERP ظاهر شوند. متأسفانه، ما کنترل 100% صفحاتی را که گوگل می خزند، نداریم. گوگل مشخص می کند که کدام صفحات مهم ترین هستند و آنها را از نظر اولویت فهرست می کند. برخی از عوامل موجود عبارتند از ساختار پیوند داخلی، نقشه های سایت XML و اعتبار وب سایت.

یک راه آسان برای درک بودجه خزیدن سئو با این دو مثال است:

کسب و کار کوچک: شما صاحب یک کسب و کار کوچک هستید که گیاه می فروشد و وب سایت شما دارای 100 صفحه و بودجه خزیدن 1000 صفحه است (به این معنی که اگر 900 صفحه جدید ایجاد کنید، همچنان می توانید بودجه خزیدن خود را تامین کنید!). شما می توانید بودجه خزیدن خود را برای افزایش کارایی بهینه کنید و اگر مجموع صفحات از بودجه فعلی شما فراتر رفت، آماده باشید.

تجارت الکترونیک: شما صاحب یک تجارت الکترونیکی بین المللی هستید که در آن 100.000 صفحه و بودجه خزیدن 90.000 صفحه دارید. مشکل در بودجه خزیدن شما نهفته است زیرا 10.000 صفحه وجود دارد که خزیده یا نمایه نمی شوند. در حالی که برخی از این صفحات ممکن است دارای یک برچسب noindex باشند ، ممکن است دید شما در صفحات نتایج موتورهای جستجو (SERP) و همچنین مشتریانی که ایندکس نمی شوند را از دست بدهید.

تفاوت بین خزیدن در مقابل نمایه سازی در مقابل رتبه بندی را به خاطر نمی آورید ؟ نگران نباشید، ما شما را تحت پوشش قرار داده ایم !

کراول ریت |Crawl Rate  چیست؟

کنسول جستجوی گوگل نرخ خزیدن را به این صورت تعریف می‌کند: «Googlebot در هر ثانیه چند درخواست به سایت شما می‌دهد که در حال خزیدن آن است: به عنوان مثال، 5 درخواست در ثانیه.

در حالی که نمی‌توانید تعداد درخواست‌هایی را که ربات Google هنگام خزیدن آن ارسال می‌کند در هر ثانیه افزایش دهید ، در صورت نیاز می‌توان آن را محدود کرد. همچنین می‌توانید درخواست کنید که گوگل یک صفحه را دوباره بخزد. چند دلیل برای اینکه ممکن است بخواهید یک صفحه را دوباره خزیده کنید عبارتند از:

1. صفحه جدید است و هنوز خزیده نشده است
2. محتوا یا ابرداده در صفحه به روز شده است
3. صفحه در آخرین خزیدن به درستی ایندکس نشد

چگونه می توانم بررسی کنم که آیا صفحات سایت من خزیده شده است؟

برای بررسی آخرین زمان خزیدن صفحه خود، به کنسول جستجوی گوگل بروید. پس از پیمایش به سایت خود، URL خود را در نوار جستجو در بالای صفحه درج خواهید کرد. سپس، به بازرسی URL هدایت می شوید که به شما کمک می کند بفهمید چه زمانی صفحه شما خزیده شده است، URL ارجاع دهنده چیست، هر مشکلی که در طول نمایه سازی ایجاد شده است و موارد دیگر!

در بازرسی URL، کنسول جستجوی گوگل به شما می گوید که آیا URL شما در فهرست گوگل قرار دارد یا خیر. اگر ایندکس نشده باشد، ممکن است مشکلات مختلفی وجود داشته باشد که باید بررسی شود. ممکن است به سادگی صفحه ای باشد که هنوز خزیده/ایندکس نشده است، یا می تواند به اندازه یک مشکل در فایل Robots.txt یا عملکرد دستی جدی باشد. همچنین می توانید با استفاده از ویژگی “Test Live URL” مشاهده کنید که چگونه صفحه شما توسط Googlebot مشاهده می شود .

از طریق مسیری که در شکل زیر نشان داده شده به کراول باجت سایتتون در سرچ کنسول نگاه کنید

فراموش نکن! در حالی که می‌توانید از Google بخواهید یک صفحه را مجدداً خزیده کند، درخواست چندین بار فهرست‌سازی، خزیدن شما را در اولویت قرار نمی‌دهد.

برای کسب اطلاعات بیشتر درباره جزئیات صفحه و خزیدن، برگه پوشش را باز کنید . این جایی است که شما تشخیص می دهید که آیا صفحه شما ایندکس شده است، در نقشه سایت ارسال شده است، آیا خزیدن یا ایندکس در فایل Robots.txt شما مجاز است یا خیر و چه عاملی در صفحه خزیده است.

حتماً URL ارجاع دهنده را مرور کنید زیرا این صفحه ای است که باعث شده گوگل صفحه شما را بخزد. صفحه شما ممکن است از طریق منابع مختلفی مانند پیوندهای داخلی/خارجی یا درخواست خزیدن پیدا شود.

برای دیدن جزئیات بیشتر مانند نوع خزنده و زمان آخرین خزیدن، روی بخش خزیدن تمرکز کنید. در حالی که دو نوع خزنده Googlebot (موبایل و دسکتاپ) وجود دارد، همانطور که ما همچنان به سمت بهینه‌سازی برای موبایل و سازگاری با موبایل ادامه می‌دهیم، وب‌سایت شما به احتمال زیاد منحصراً توسط یک تلفن هوشمند Googlebot خزیده می‌شود، اگر قبلاً وجود نداشته باشد.

یکی از موارد مهمی که در بخش خزیدن باید به آن توجه کرد این است که آیا یک صفحه را می توان خزیده و ایندکس کرد. Moz تشخیص داده است که مواردی نیز وجود دارد که یک صفحه خزیده می شود، اما فهرست نشده است، به این معنی که صفحه (هنوز) در کتابخانه فهرست گنجانده نشده است و بنابراین واجد شرایط نمایش در نتایج جستجو نیست.

اگر صفحه شما مجاز به خزیدن یا فهرست بندی نیست، که اغلب با «عدم اجازه کاربر-عامل» نشان داده می شود، کد منبع خود را دوباره بررسی کنید یا با یک توسعه دهنده وب ارتباط برقرار کنید.

می‌خواهید مطمئن شوید که اگر صفحه شما یک خزنده را مسدود می‌کند، عمدی است و تصادفی در کد نیست.

چند صفحه یا ناحیه در سایت شما وجود دارد که نیازی به ایندکس کردن گوگل نیست: برخی از دلایلی که ممکن است بخواهید گوگل صفحات شما را ایندکس نکند که به عنوان برچسب noindex نیز شناخته می شود عبارتند از:

• صفحات ورود
• نتایج جستجوی داخلی
• صفحات متشکرم
• صفحات ارسال فرم
• هکرها
• رقبا

همچنین چند روش وجود دارد که می توانید برای جلوگیری از اضافه شدن صفحات به فهرست استفاده کنید :

1. noindex tab
2. x-robots
3. Robots.txt (if the page hasn’t been crawled/indexed yet)
4. GSC removals tool

 بودجه کرال خود را از کجا پیدا کنم؟

چند ابزار مفید وجود دارد که می توانید از آنها برای کسب اطلاعات بیشتر در مورد آمار خزیدن سایت خود یا مشاهده تعداد صفحات سایت شما در گوگل در روز استفاده کنید.

در Google Search Console، می‌توانید به ویژگی دامنه خود > تنظیمات > آمار خزیدن بروید و این تعداد درخواست‌های خزیدن، زمان دانلود و میانگین زمان پاسخ صفحه را به شما نشان می‌دهد. این گزارش آمار خزیدن می تواند هنگام کار برای بهینه سازی بودجه خزیدن خود مفید باشد، که کمی بعد به آن خواهیم پرداخت.

ما همچنین می‌توانیم گزارش‌های سرور را بررسی کنیم تا دقیقاً ببینیم Googlebot در حال خزیدن چه چیزی است. این ابزارها را که همگی راه حل های تجزیه و تحلیل فایل لاگ ارائه می دهند را بررسی کنید:

1. Screaming Frog
2. Content King
3. Botify

چرا این برای سئو مهم است؟

بنابراین ما اصول اولیه را شناسایی کرده‌ایم و مشخص کرده‌ایم که کجا باید وضعیت‌های خزیدن را بررسی کنیم – اما ممکن است از خود بپرسید که چرا باید به آن اهمیت بدهم، و آیا واقعا برای سئو مهم است؟

وقتی یک صفحه جدید ایجاد می کنیم یا یک صفحه قدیمی را به روز می کنیم، می خواهیم افراد آن را ببینند! خواه کاربر شخصی باشد که قصد خرید یک دوچرخه سفارشی را دارد، یا فردی است که به دنبال یک برنامه مدرک برای ثبت نام در آن است، ما می خواهیم که این صفحات برای کاربران قابل دسترسی باشد ، ترجیحاً در صفحه یک موتور جستجوی آنها.

اگر بودجه خزیدن ما فقط 50 درصد از وب سایت ما را پوشش دهد (100000 صفحه، 50000 صفحه اختصاص داده شده در بودجه خزیدن)، 50 درصد از وب سایت ما در نتایج جستجو قابل کشف نخواهد بود. و بله، ممکن است کسی بتواند URL شما را با تایپ کلمه به کلمه پیدا کند، اما همیشه اینطور نیست – و صادقانه بگویم، این ریسکی نیست که سئوکار ها مایل به انجام آن باشند، زمانی که ما بتوانیم برای بهینه سازی بودجه خزیدن خود کار کنیم!

چگونه بودجه کرال خود را بهینه کنید؟

اکنون، بهینه سازی بودجه خزیدن شما یک کار یک روزه نیست. ممکن است در این راه ناامید شوید، اما ما اینجا هستیم تا کمک کنیم!

برای شروع، بیایید آنچه را که می‌توانیم برای کمک به بهبود بودجه خزیدن خود انجام دهیم، مرور کنیم:

• بهبود سرعت سایت
• پیوند داخلی
• از محتوای تکراری خودداری کنید
• سرعت سایت

سرعت سایت

 به دلایل مختلفی مهم است. ما می‌خواهیم صفحات به‌موقع بارگذاری شوند تا کاربران با سایت ما درگیر شوند، اما همچنین می‌خواهیم سریع باشد تا Googlebot بتواند در سریع‌ترین زمان ممکن محتوای ما را بخزد.

ما می‌خواهیم از این انتظار طولانی برای Googlebot نیز جلوگیری کنیم، زیرا هرچه صفحات ما سریع‌تر بارگیری شوند، Googlebot سریع‌تر می‌تواند صفحات ما را بخزد و فهرست کند.

در حالی که ما بودجه خزیدن را افزایش نمی دهیم، اگر بتوانیم 10 صفحه را در یک دقیقه بارگذاری کنیم در مقایسه با بارگیری 1 صفحه در یک دقیقه، شاهد پیشرفت های بصری خواهیم بود.

لینک های داخلی

لینک های داخلی و خارجی بخش کلیدی هر استراتژی سئو هستند. لینک های داخلی، که لینک هایی هستند که به صفحات مختلف در یک دامنه اشاره می کنند، هم برای تجربه کاربر و هم برای ساختار سایت بسیار مهم هستند.

برای شروع، اگر وبلاگ A شامل یک برچسب DO-FOLLOW باشد، GoogleBot می تواند به پیوند داخلی دسترسی پیدا کند و به وبلاگ B رفته و آن را بخزد.

اگر وبلاگ A شامل یک تگ DO-FOLLOW باشد

اگر وبلاگ A دارای یک تگ NO-FOLLOW در کد منبع آن پیوند فعال باشد، GoogleBot می تواند وجود پیوند را ببیند، اما به وبلاگ B نمی رود یا نمی خزند. نگران نباشید، ما می توانیم زمان دیگری درباره پیوندهای بدون دنبال کردن اطلاعات کسب کنیم. .اگر وبلاگ A دارای برچسب NO-FOLLOW باشد

شاید از خود بپرسید، چرا باید در مورد لینک های داخلی برای بودجه خزیدن خود بدانم؟ زیرا فعال کردن پیوندهای بدون دنبال کردن یا انجام دادن راه دیگری برای کمک به بهینه سازی بودجه خزیدن است! اگر به صورت داخلی به صفحه‌ای پیوند می‌دهید که ارزشی برای Google ندارد، و نیازی به رتبه‌بندی آن در SERP‌ها ندارید، مانند صفحه تشکر، چرا بودجه ارزشمند خود را که می‌تواند به صفحات خزیدن اختصاص داده شود که به پیشبرد آن کمک می‌کنند، هدر دهید. بازگشت سرمایه؟

همچنین مهم است که هر صفحه یتیمی را که ممکن است در سایت شما باقی مانده است شناسایی کنید. صفحه یتیم صفحه‌ای است که به آن لینک نمی‌دهند یا هیچ پیوند داخلی به آن اشاره نمی‌کند. تنها راهی که می توان آنها را خزید این است که به صورت دستی درخواست ایندکس شدن آنها را بدهید زیرا گوگل نمی تواند آنها را به طور طبیعی پیدا کند.

💡 یاد آوردن! اگر در حال ساخت یک وب سایت جدید یا بازسازی ساختار سایت خود هستید، مطمئن شوید که از ایجاد صفحات یتیم خودداری کنید. اگر خیلی دیر متوجه شدید که آن صفحات بدون هیچ پیوندی شناور می شوند تا آنها را حفظ کند، یک پیوند داخلی ایجاد کنید تا به GoogleBot کمک کند تا وقتی که سایت شما را می خزند راحت تر به آنها دسترسی پیدا کند.

محتوای تکراری

اگر محتوای تکراری دارید که ضروری است آن را در سایت خود زنده نگه دارید، از یک برچسب متعارف استفاده کنید تا مطمئن شوید Googlebot فقط صفحه اولویت را می خزد.

نکته متعارف! فرض کنید یک جفت کفش تنیس دارید که در رنگ های آبی، قرمز و زرد است. در حالی که می خواهید کاربران بتوانند کفش های آبی، سایز 12 یا زرد، سایز 4 را پیدا کنند، برای خزیدن در صفحه اصلی محصول فقط به GoogleBot نیاز دارید. با حذف تمام تغییرات مختلف (اندازه، رنگ، و غیره) و استفاده از یک برچسب متعارف، می‌توانید کرک‌های غیرضروری را که باید خزیده و نمایه شوند، کاهش دهید.

عواملی که مانع خزیدن بودجه می شوند

Google Search Central  مشخص کرد که چه چیزی می تواند بر بودجه خزیدن تأثیر منفی بگذارد:

طبق تجزیه و تحلیل ما، داشتن URL های کم ارزش افزوده می تواند تأثیر منفی بر خزیدن و نمایه سازی سایت داشته باشد. ما متوجه شدیم که URL های کم ارزش به ترتیب اهمیت در این دسته بندی ها قرار می گیرند:

• ناوبری وجهی و شناسه جلسه
• محتوای تکراری در سایت
• صفحات خطای نرم
• صفحات هک شده
• فضاها و پراکسی های بی نهایت
• محتوای بی کیفیت و اسپم

هدر دادن منابع سرور در صفحاتی مانند این، فعالیت خزیدن را از صفحاتی که واقعاً دارای ارزش هستند، تخلیه می کند، که ممکن است باعث تاخیر قابل توجهی در کشف محتوای عالی در یک سایت شود.

–  وبلاگ مرکزی جستجوی گوگل

در حالی که برخی از مسائل مانند محتوای تکراری را می توان با تغییر مسیر 301 یا ممیزی بررسی کرد، برخی از عوامل مانند صفحات هک شده نیاز به یک فرو رفتن عمیق تر برای حل مشکل اصلی دارند. علاوه بر بهینه‌سازی برای بودجه خزیدن، می‌خواهید از آدرس‌دهی و نشانی‌های وب کم ارزش شناسایی شده توسط Google مطمئن شوید.

برای بهینه سازی بودجه خزیدن خود به کمک بیشتری نیاز دارید؟ آیا باید بدانید که چگونه خطاهای خزیدن را برطرف کنید ؟ آیا می خواهید مناطق دیگری را که می توانند از بهینه سازی بیشتر استفاده کنند شناسایی کنید؟ با ما تماس بگیرید تا بدانید که چگونه  شرکت سئو ورد seoword  می تواند به شما کمک کند!