راهنمای بهینه سازی بودجه خزش: 10 نکته طلایی

راهنمای کامل بودجه خزش گوگل و بهینه سازی بودجه خزش با هزاران نکته حرفه ای برای بهبود سئو وب سایت. در ادامه همراه وب تمیم باشید.

بودجه خزش گوگل تعداد منابعی است که گوگل برای خزیدن یک وب سایت استفاده می کند. به عبارت دیگر، تعداد و دفعاتی را که گوگل تصمیم می گیرد صفحات یک وب سایت را جستجو کند را توصیف می کند.

اگر مدتی است که در سئو فعالیت کرده اید، احتمالاً در مورد بودجه خزش و بهینه سازی بودجه خزش شنیده اید. اما آیا این موضوع یک حوزه مهم سئو فنی است؟ آیا بهینه سازی بودجه خزش چیزی است که باید نگران آن باشید؟

در این راهنما، خواهید آموخت که بودجه خزش چیست، چه عواملی بر بودجه خزش تأثیر می‌گذارند، چرا بودجه خزیدن برای سئو مهم است، چگونه بودجه خزیدن را برای نتایج بهتر سئو بهینه کنید، تا در طراحی سایت خود موارد مورد نظر را برای بهبود بودجه خزش اعمال کنید.

بودجه خزش گوگل چیست؟

واقعاً تعاریف مختلفی از بودجه خزیدن یا بودچه خزش وجود دارد و انتخاب تنها یکی از آنها دشوار است. علاوه بر این، چند اصطلاح دیگر وجود دارد که با بودجه خزیدن همراه هستند.

در اینجا مهمترین آنها ذکر شده است:

• بودجه خزش گوگل تعداد URL هایی است که ربات گوگل قادر به خزیدن است و می خواهد بخزد.
• تقاضای خزیدن – که در مورد میزان خزیدن گوگل در صفحات وب سایت است – بخش مهمی از بودجه خزش است.
• محدودیت نرخ خزش – که قرار است میزان خزیدن گوگل در سایت را محدود کند تا سرور آن بیش از حد بارگیری نشود – نیز جزء مهمی از بودجه خزیدن است. محدودیت سرعت خزیدن به سه عامل زیر بستگی دارد که در اسناد جستجوی مرکزی Google نیز ذکر شده است.
• بودجه خزش چیزی است که سایت های کوچکتر (زیر چند هزار URL) معمولاً نیازی به نگرانی در مورد آن ندارند (در ادامه در مورد آن بیشتر توضیح خواهیم داد).

آیا بهینه سازی بودجه خزیدن مهم است؟

در اینجا دلایلی وجود دارد که چرا می لازم است به بودجه خزش سایت خود اهمیت دهید:

شما می خواهید که موتورهای جستجو تا حد امکان صفحات قابل ایندکس شما را پیدا و درک کنند و می خواهید این کار را در سریع ترین حالت ممکن انجام دهند.

شما می خواهید که موتورهای جستجو صفحات جدیدی را که اضافه می کنید و صفحات موجود را که به روز می کنید ایندکس کنند و می خواهید این کار در اسرع وقت انجام شود. اگر زودتر صفحات را ایندکس کنند، شما زودتر از آنها سود خواهید برد.

اگر بودجه خزش خود را هدر دهید، موتورهای جستجو نمی توانند وب سایت شما را به طور مؤثر بررسی کنند. آنها زمان خود را صرف بخش هایی از سایت شما می کنند که نامربوط هستند، این چیزی است که می تواند منجر به ناشناخته ماندن بخش های مهم وب سایت شما شود.

آنها اگر در مورد آنها اطلاعاتی نداشته باشند، این صفحات را نمی خزند و فهرست نمی کنند و شما در موقعیتی نخواهید بود که بازدیدکنندگان را از طریق موتورهای جستجو به آنها بیاورید.

هدر دادن بودجه خزیدن برای عملکرد سئو سایت مضر است.

چه زمانی باید به بودجه خزش اهمیت دهید؟

شرایط زیر زمانی است که واقعاً باید نگران بودجه خزش سایت خود باشید:

• بودجه خزش، به طور کلی، تنها چیزی است که باید نگران آن باشید اگر یک وب سایت بزرگ دارید، به عنوان مثال، بیش از 10000 صفحه. در اینجا چیزی است که اسناد گوگل در مورد آن می گوید.
• بودجه خزش به سرعت برای وب سایت هایی که تغییرات روزانه ایجاد می کنند یا تعداد زیادی صفحه فرعی دارند که نیازی به خزیدن ندارند، محدود می شود.
• این تأثیر ویژه ای بر فروشگاه های آنلاین با هزاران محصول، دسته بندی محصولات متعدد، لبرچسب ها، لیست های توصیه ها، گزینه های فیلتر، عملکردهای جستجو و غیره دارد. به عنوان آنهایی که متناسب با آن دسته هستند.
• با توجه به مسائل مربوط به مدت زمان ایندکس، اگر متوجه شدید که صفحات جدید یا محتوای به روز شده برای یافتن راه حل بالقوه نمایه شدن زمان زیادی طول می کشد، نگاهی به بودجه خزش خود بیندازید.

عوامل اصلی که بر بودجه کرال یا خزش تأثیر می گذارد

عوامل متعددی بر بودجه خزش تأثیر می گذارد. بسیاری از آنها می توانند تأثیر منفی بر بودجه خزیدن داشته باشند.

در اینجا عواملی هستند که باید با توجه به بودجه خزش در نظر گرفته و به آنها توجه کنید:

• هنگامی که یک ربات گوگل وب سایت شما را می خزند، مهم است که همه صفحات ارزش افزوده ارائه دهند. یک مشکل اغلب زمانی ایجاد می شود که یک وب سایت دارای تعداد زیادی صفحات وب با کیفیت پایین باشد.
• به دلیل محدودیت خزش، ممکن است همه صفحات وب سایت خزیده نشوند و در نتیجه ایندکس شوند. سپس این می تواند به دریافت ترافیک کمتر ترجمه شود. در اینجا تعریف محدودیت خزیدن از اسناد Google آمده است.
• در این زمینه، باید به نرخ خزیدن نیز فکر کنید، که فرکانس خزیدن است که تعداد درخواست‌هایی را که Googlebot در هر ثانیه به وب‌سایت شما می‌کند در طول فرآیند خزیدن، برای مثال، پنج درخواست در ثانیه، توصیف می‌کند.

نرخ خزش به زبان ساده

1. تعداد اتصالاتی که توسط ربات گوگل برای خزیدن یک وب سایت استفاده می شود.
2. زمان سپری شده بین بازدید از یک صفحه وب.

• اگر یک وب سایت بسیار سریع واکنش نشان دهد، خزنده فرض می کند که سرورها به درستی کار می کنند. با این حال، زمانی که یک وب سایت به کندی واکنش نشان می دهد، ممکن است مشکلی رخ دهد. در نتیجه، این باعث کاهش نرخ خزش برای این وب سایت می شود.

• Crawl Health به سرعت یا کندی واکنش یک وب سایت اشاره دارد.
• در این راستا اصطلاح بودجه شاخص نیز حائز اهمیت است. این ثبت می کند که چه تعداد از صفحات خزیده شده واقعاً ایندکس شده اند.

چه عوامل دیگری بر بودجه کرال یا خزش تأثیر می گذارد

عوامل زیر بر بودجه خزیدن وب سایت تأثیر می گذارد:

• اعتبار لینک: بک لینک از وب سایت های بزرگ و مرتبط عامل مهمی است که می تواند تأثیر مثبتی بر بودجه خزیدن داشته باشد. در این زمینه، گوگل تمایل دارد پیوندهای محبوب را در اینترنت بیشتر بخزد تا آنها را در فهرست خود حفظ کند.
• محتوا: دامنه و تازگی محتوا. این شامل تعداد کل اسناد قابل نمایه سازی و ایندکس است و فاصله زمانی است که محتوای جدید به وب سایت اضافه می شود.
• اولویت بندی محتوا: محتوای مهم باید بیشترین لینک را چه در داخل و چه در خارج دریافت کند. این به خزنده کمک می کند تا اسناد مهم را به سرعت شناسایی و پردازش کند.
• نمایه سازی کنترل: لازم نیست همه صفحات در فهرست گنجانده شوند. با حذف برخی از صفحات فرعی، می توانید خزنده را به صفحات مهمی که می خواهید ابتدا ایندکس شوند هدایت کنید.
• سرعت: گوگل وب سایت های سریع را دوست دارد. بنابراین، اولویت هر مدیر وب سایتی است که با افزایش سرعت سایت، وب سایت خود را در سریع ترین زمان ممکن بارگذاری کند.

نحوه بررسی منابعی که گوگل در حال خزیدن است

اساساً دو روش وجود دارد که از طریق آنها می توانید بررسی کنید که Google در حال خزیدن چه منابعی است تا بتوانید تعیین کنید که آیا بودجه خزیدن هدر می رود یا خیر: تجزیه و تحلیل فایل گزارش Semrush یا/و تجزیه و تحلیل گزارش آمار خزیدن موجود در کنسول جستجوی Google.

تجزیه و تحلیل فایل لاگ

انجام تجزیه و تحلیل فایل لاگ بهترین راه برای یادگیری نحوه خزیدن گوگل در سایت شما و اینکه آیا برخی از منابع را بی جهت می خزند یا خیر است. می توانید تجزیه و تحلیل فایل لاگ “خام” را با استفاده از صفحه گسترده اکسل انجام دهید یا از ابزاری استفاده کنید که داده ها را برای شما تجزیه و تحلیل می کند. من دوست دارم از Semrush Log File Analyzer استفاده کنم.

گزارش آمار خزش سرچ کنسول را بررسی کنید

گزارش آمار خزیدن سرچ کنسول جستجوی گوگل به اندازه تجزیه و تحلیل فایل لاگ دقیق نیست، اما همچنان می تواند بینش خوبی در مورد نحوه خزیدن ربات گوگل در سایت شما ارائه دهد. با رفتن به تنظیمات > Crawl stats > OPEN REPORT می توانید به گزارش دسترسی داشته باشید.

چرا بودجه کرال گوگل برای سئو مهم است؟

بودجه خزش گوگل برای سئو مهم است زیرا اگر خزنده با تعداد زیادی فایل بی ربط مشغول باشد، ممکن است بودجه کافی برای صفحات “خوب” و مهم باقی نماند.

به عنوان مثال، یک فروشگاه آنلاین که دارای 10000 صفحه جزئیات محصول است، برای هر یک نیاز به یک درخواست دارد. هر صفحه چندین مگابایت “وزن” دارد. خزنده این صفحات را می خزد و بخش خاصی – احتمالاً بسیار بزرگ – از بودجه خزش را می خورد. اگر سپس محصولات جدیدی اضافه کنید، ممکن است بعداً ایندکس شوند.

در اینجا چیزی است که باید بدانید و انجام دهید:

• باید اطمینان حاصل کنید که محتوای نامربوطی که توسط Google خزیده شده است ندارید.
• زمانی که گوگل با صفحات بی ربط زیاد مشغول است به شما اطلاع نمی دهد.
• وقتی صحبت از تأثیر خزیدن بر رتبه‌بندی شما می‌شود، نباید نگران باشید زیرا هیچ‌گونه تاثیری ندارد.
• اگر بودجه خزیدن شما کافی نباشد، تغییرات و محتوای جدید با تاخیر به فهرست اضافه می شود. در بدترین حالت، این می تواند منجر به از دست رفتن فرصت برای افزایش ترافیک و فروش شود.
• با استفاده از ابزار بازرسی URL سرچ کنسول جستجوی Google، می‌توانید به Google در مورد صفحات جداگانه‌ای که می‌خواهید به سرعت خزیده شوند (مثلاً مقالات به‌روز شده) اطلاع دهید. در اینجا نحوه انجام آن آمده است:

به ابزار Inspection URL در Google Search Console بروید و URL مورد نظر خود را وارد کنید تا به سرعت خزیده شود. بعد روی REQUEST INDEXING کلیک کنید و Google URL را به صف اولویت خزیدن اضافه می کند.

چگونه بودجه خزش را بهینه کنیم

بهینه سازی بودجه خزیدن به معنای استفاده حداکثری از زمان کوتاهی است که Googlebot به سایت شما اختصاص می دهد.

بیایید به یک مثال عملی نگاهی بیندازیم.

اگر صفحاتی در وب سایت خود دارید که ارزشی برای کاربران شما ایجاد نمی کند، در معرض خطر از دست دادن زمان ارزشمند Googlebot هستید. به راحتی می توان تأثیر منفی این موضوع را مشخص کرد. نه تنها خطر از دست دادن زمان ارزشمند به خودی خود چیزی است که باید به آن تمسخر کرد، بلکه اگر این خطر متأسفانه محقق شود، به این معنی است که شما فرصتی را برای Googlebot از دست داده اید تا واقعاً روی صفحات وب متمرکز شود که در واقع ارزش افزوده به ارمغان می آورند. به میز

در زیر نکاتی است که باید در نظر داشته باشید:

• به یاد داشته باشید که یک وب سایت با محتوای به روز رسانی مداوم بودجه خزیدن خود را افزایش می دهد.
• در مقابل، محتوای بی کیفیت، منسوخ، تکراری و 404 صفحه، بودجه خزیدن را کاهش می دهد.
• اگرچه ممکن است بدیهی به نظر برسد، ایجاد محتوای بد نتیجه معکوس دارد. این خطر وجود دارد که Googlebot به جای اسکن صفحات با کیفیت بالا، زمان را برای اسکن صفحات بی کیفیت تلف کند.
• Googlebot در حال حاضر در کار خود بسیار خوب عمل می کند، اما همچنان می توانید با به روز نگه داشتن محتوای خود و با کیفیت بالا به آن کمک کنید!

دو روش برای بهینه سازی یا بهبود بودجه خزش برای سایت خود وجود دارد:

1. با بهبود سایت خود می توانید بودجه خزیدن را افزایش دهید.
2. می توانید زمان بین اسکن ها را کاهش دهید.

12 بهترین تکنیک و نکته بهینه‌سازی بودجه خزش در زیر به شما کمک می‌کند این کار را انجام دهید.

سرعت و عملکرد سایت خود را بهینه کنید

افزایش سرعت صفحه اولین راه برای بهینه سازی بودجه خزیدن یک وب سایت است. زمان بارگذاری طولانی همیشه به این معنی است که داده ها بسیار کندتر دانلود می شوند.

سرعت پایین وب سایت نه تنها منجر به تجربه کاربری بد می شود، بلکه تأثیر منفی بر بودجه خزیدن نیز دارد. بودجه خزیدن، همانطور که قبلا ذکر شد، یک بودجه زمانی است.

اگر Googlebot مجبور باشد حجم زیادی از داده ها را در هر صفحه پردازش کند، تعداد صفحاتی را که می توان در یک پنجره زمانی خاص خزیدن را کاهش می دهد.

در این راستا سرعت سرور بسیار مهم است. اگر زمان دانلود صفحه خود را بهینه کنید، Googlebot زمان بیشتری برای صفحات دیگر خواهد داشت. در اینجا نکاتی وجود دارد که باید در نظر بگیرید:

• روی یک سرور با کیفیت سرمایه گذاری کنید.
• کد منبع را بهینه کنید تا برای خزنده وب «قابل خواندن» شود. اگر کد HTML شما حاوی مقدار زیادی متن اضافی است، خزنده ممکن است صفحه شما را نا مرتبط در نظر بگیرد.
• تصاویر را در صفحه خود بدون کاهش کیفیت فشرده کنید. و راهنمای سئوی تصاویر را انجام دهید.
• وب سایت را برای Core Web Vitals بهینه کنید که در حال حاضر بهترین مجموعه معیارهایی هستند که بر سرعت و عملکرد یک وب سایت تأثیر می گذارند.
• از ابزارهای تست سرعت وب سایت مانند Google PageSpeed ​​Insights و Lighthouse برای تجزیه و تحلیل سرعت و عملکرد سایت خود استفاده کنید.

بهبود ساختار وب سایت

ساختار واضح و خطی صفحات در وب سایت شما به وب سایت کمک می کند تا از بودجه خزش خود حداکثر استفاده کند. این به Googlebot این امکان را می‌دهد تا صفحات وب جدید یا به‌روز شده را بدون هیچ مشکلی اسکن و فهرست‌بندی کند.

در اینجا برخی از بهترین روش ها در مورد ساختار سایت آورده شده است:

1-از قانون معروف سه کلیک پیروی کنید که می گوید هر کاربری باید بتواند از هر صفحه ای از سایت شما به صفحه دیگر با حداکثر سه کلیک برود.-
می توانید از Screaming Frog SEO Spider برای تجزیه و تحلیل ساختار و عمق خزیدن سایت خود استفاده کنید. این ابزار همچنین صفحات یتیم را به شما نشان می دهد.
2-از صفحات “بن بست” یا یتیم که صفحاتی هستند که هیچ پیوند داخلی یا خارجی ندارند خودداری کنید.
3-از URL های متعارف در نقشه سایت XML استفاده کنید. حتی اگر مستقیماً بر بودجه خزیدن تأثیری نداشته باشد، می‌تواند به Google کمک کند تا بفهمد کدام صفحات را باید بخزد و فهرست کند.

از قدرت لینک سازی داخلی استفاده کنید

یک ساختار لینک سازی داخلی خوب باعث می شود تا خزنده ها به راحتی در وب سایت حرکت کنند و ساختار و صفحات فرود کلیدی آن را شناسایی کنند

تعداد زیادی لینک داخلی که به یک صفحه وب معین اشاره می کنند نشان می دهد که این صفحه وب نسبتاً مهم وب سایت است.

لینک های داخلی به خزنده‌ها اجازه می‌دهند تا به صفحات وب مربوطه دسترسی پیدا کنند که باید ایندکس شوند و سپس – امیدواریم – در SERP رتبه بالایی داشته باشند.
ساختار خوب لینک داخلی تعداد صفحات به اصطلاح “یتیم” را کاهش می دهد، صفحات فرعی که دسترسی به آنها به دلیل عدم وجود پیوندهای خارجی و داخلی دشوار است.

لینک های خراب را برطرف کنید

پیوندهای شکسته نه تنها می توانند تأثیر منفی بر رتبه بندی سایت داشته باشند، بلکه بودجه گرانبهای خزیدن سایت را نیز هدر می دهند. در اینجا کاری است که باید انجام دهید:

وب سایت را با یک خزنده سایت مانند Semrush یا Screaming Frog SEO Spider بررسی کنید تا هر 404 صفحه وب را شناسایی کنید.
یا صفحات وب 404 را بازیابی کنید یا پیوندهای اشاره شده به آنها را حذف کنید. همچنین می توانید لینک های شکسته را با لینک های فعال جایگزین کنید.

از لینک های nofollow استفاده کنید

با لینک‌های nofollow، به Googlebot می‌گویید که وقت خود را برای اسکن برخی صفحات تلف نکند. این صفحات می توانند اهمیت کمتری داشته باشند یا از قبل در موضوع دیگری پیوند داده شده اند.

• در نظر بگیرید که پیوندهای صفحات وب را که نمی‌خواهید Googlebot در آن‌ها خزیده شود، دنبال نکنید. با این حال، به یاد داشته باشید که Google پیوندهای nofollow را فقط به عنوان راهنمایی (نه دستورالعمل) در نظر می گیرد.
• بدیهی است که به این ترتیب، نه بودجه و نه زمان را هدر خواهید داد، بنابراین مطمئن می شوید که اسکن در عوض با بخش هایی از سایت که واقعاً نیاز به خزیدن دارند سروکار دارد.
• یک مثال خوب برای این، پیوندهای ناوبری وجهی است. این هر صفحه ای است که دارای دو یا چند وجه ایندکس شده باشد. هنگامی که تمام پیوندهای داخلی را که به آن صفحات اشاره می کنند “nofollow” می کنید، به صرفه جویی در بودجه خزیدن و حفظ ارزش لینک کمک می کنید.

robots.txt را بهینه کنید

فایل robots.txt ابزاری قدرتمند برای آزاد کردن فضا برای خزیدن های مربوطه است. robots.txt رفتار خزنده را در وب سایت شما کنترل می کند.

مشخص می‌کند که کدام صفحات، دایرکتوری‌ها یا مناطق برای خزنده‌ها مسدود شده‌اند و کدام‌ها مجاز به بازدید هستند. ممکن است صفحاتی را بیابید که به طور غیر ضروری خزیده می شوند و در نتیجه بودجه ارزشمند خزیدن را هدر می دهند.

• مطمئن شوید که از robots.txt برای مسدود کردن منابعی که نمی‌خواهید Google خزیده شود، استفاده کنید.
• به یاد داشته باشید که مسدود کردن یک صفحه در robots.txt مانع از ایندکس شدن آن نمی شود.

محتوای موجود را به روز کنید

نمی توان به اندازه کافی بر آن تاکید کرد. به روز رسانی محتوای شما به این معنی است که گوگل زمان بیشتری را در وب سایت شما صرف می کند.

اگرچه می‌توانید به نوشتن و تولید محتوای بیشتر ادامه دهید، اما این کار پیچیده است و زمان زیادی می‌برد. در عوض، می توانید به سادگی محتوای قدیمی خود را به روز کنید. نه تنها کار کمتری می طلبد، بلکه نتایج سریع تری نیز به همراه دارد.

• اگر می‌خواهید اثربخشی تلاش‌های خود را از نقطه نظر سئو افزایش دهید و ترافیک موتور جستجوی خود را افزایش دهید، ساده است – محتوای قدیمی خود را به‌روزرسانی کنید و به خود امتیاز تازه‌تری بدهید.
• وقتی به گوگل می گویید که محتوای شما جدید است، افزایش ترافیک پیدا می کنید. این کار باعث می شود مقدار کمی از کار به خوبی ارزش آن را داشته باشد.
• اگر گوگل متوجه تغییری در محتوای شما شود، احتمالاً سایت شما دوباره خزیده می شود. اگر Googlebot در محتوای شما پیشرفت هایی پیدا کند، ممکن است بودجه بیشتری به شما بدهد.

محتوای جدید اضافه کنید

هرچه محتوای بیشتری به وب سایت اضافه کنید، Googlebot بیشتر می خواهد سایت شما را بخزد.

• محتوای جدید به معنای افزودن صفحات جدید است. انجام این کار فواید زیادی دارد. به عنوان مثال، می تواند به رتبه بندی وب سایت شما برای کلمات کلیدی بیشتر کمک کند و سئوی کلمات کلیدی را در ارتباط با موضوع وب سایت تقویت کند.
• همچنین، محتوای جدید در صفحات وب سایت کاملاً جدید به سایت شما کمک می کند تا محدوده وسیع تری از کلمات کلیدی را هدف قرار دهد. این به نوبه خود به وب‌سایت‌ها اجازه می‌دهد تا کلمات کلیدی و عبارات طولانی‌تری مرتبط با تجارت خود را هدف قرار دهند.
• علاوه بر این، صفحات محتوای جدید پیوندهای جدیدی را برای وب سایت شما به منظور پیوند داخلی و خارجی ایجاد می کنند. همچنین به شما کمک می کند تا برای کلمات کلیدی بیشتر رتبه بندی کنید، همچنین با تازه نگه داشتن محتوای شما، بودجه خزش شما را افزایش می دهد.
• با این حال، این طراوت در واقع می تواند با گذشت زمان کاهش یابد. به عبارت دیگر، گوگل زمانی که محتوا برای اولین بار منتشر می شود، تقویت اولیه می کند، اما سئوی آن به مرور زمان کاهش می یابد. به همین دلیل مهم است که به افزودن محتوای تازه ادامه دهید و آن را به بخشی منظم از استراتژی محتوای خود تبدیل کنید.

حذف محتوای تکراری

اگر تمام صفحاتی را که دیگر مرتبط نیستند حذف کنید، بودجه خزیدن اختصاص داده شده برای سایت خود را هدر نخواهید داد.

• اما اگر نمی خواهید این محتوا را به طور کامل حذف کنید، می توانید به ادغام آن با صفحات وب با کیفیت بالا فکر کنید.
• اگر تصمیم به انجام این کار دارید، پیوندهای داخلی را فراموش نکنید. اگر پیوندی به صفحه ای اشاره دارد که قصد حذف آن را دارید، دو گزینه دارید. می توانید یک تغییر مسیر 301 را پیاده سازی کنید که به موتور جستجو می گوید صفحه از یک URL دیگر قابل دسترسی است یا می توانید URL پیوند را در صفحه وب پیوند دهنده تغییر دهید.

کدهای وضعیت صحیح را ارائه دهید

هر تغییر مسیر یا یک صفحه 404 از بودجه خزیدن اختصاص داده شده برای صفحه وب استفاده می کند. صفحات خطا نه تنها تاثیری جدی بر تجربه کاربر دارند، بلکه به طور غیر ضروری خزیده می شوند.

• تغییر مسیرها کاملا طبیعی هستند و نمی توان از آنها اجتناب کرد. با این حال، باید مطمئن شوید که آنها را به حداقل برسانید و هیچ زنجیره تغییر مسیری وجود نداشته باشد.
• زنجیره های تغییر مسیر یک مسیر طولانی را برای خزنده ایجاد می کنند تا به هدف پیوند نهایی برسد. پس از سه پرش یا بیشتر، Googlebot ممکن است خزیدن در زنجیره را متوقف کند. بهترین کار این است که از هرگونه زنجیره تغییر مسیر اجتناب کنید.
• اگر صفحات وب را از وب سایت خود حذف می کنید، از خزنده سایت مانند Screaming Frog SEO Spider یا Semrush برای شناسایی لینک های داخلی که به صفحه حذف شده اشاره می کنند استفاده کنید و آنها را به روز کنید تا نشان دهنده یک صفحه وب موجود باشد.
• در صورت تغییر مسیر زنجیره ای، هر تغییر مسیری را که در بین آنها وجود دارد حذف کنید. صفحه A باید مستقیماً به صفحه B بدون هیچ صفحه دیگری در این بین هدایت شود.
• باید مطمئن شوید که اکثر URL های شما دارای کد وضعیت 200 = OK هستند. سپس همه چیز خوب است.
• 404 صفحه برای خزنده و کاربر بن بست هستند. صفحه خود را به طور مرتب برای خطاهای 404 بررسی کنید و در اسرع وقت آنها را برطرف کنید.
• ریدایرکت ها (ریدایرکت های 301) نیز خوب هستند، به شرطی که از آنها به صورت خزنده پسند استفاده کنید.

شما می توانید با گروه بندی داده های فایل گزارش خود بر اساس کد وضعیت، نحوه توزیع بودجه خزیدن در صفحات مختلف سایت خود را ارزیابی کنید. این به شما بالاترین دید کلی را در مورد اینکه چقدر از بودجه خزنده یک موتور جستجو برای 200 صفحه مهم خرج می شود، و همچنین مقداری که برای صفحات خطا و تغییر مسیرها تلف می شود، به شما می دهد.

با استفاده از این داده ها، اینها برخی از مراحلی هستند که می توانید برای بهبود بودجه خزیدن در سایت خود انجام دهید:

• 200 URL کد وضعیت را تجزیه و تحلیل کنید تا مواردی را که نیازی به خزیدن ندارند شناسایی کنید.
• قوانین غیر مجاز را برای صفحات غیر ضروری با 200 کد وضعیت به فایل robots.txt خود اضافه کنید تا آنها را برای خزنده ها غیر قابل دسترس کنید.
• پیوندهای داخلی به صفحات 404 را حذف کنید، و همچنین آنها را در جایی که لازم است هدایت کنید.
• تمام صفحات کد وضعیت غیر 200 را از نقشه سایت XML حذف کنید. راهنمای من در مورد چگونگی پیدا کردن نقشه سایت یک وب سایت را بررسی کنید.
• زنجیره های تغییر مسیر را اصلاح کنید تا اطمینان حاصل شود که در هر تغییر مسیر فقط یک مرحله توسط خزنده ها و کاربران موتورهای جستجو قابل دسترسی است.

چگونه زمان بین خزش را کاهش دهیم

اگر محتوای خود را به طور منظم به روز کنید، شاهد افزایش فعالیت خزیدن Googlebot خواهید بود. هر بار که خزنده وب از یک صفحه بازدید می کند و محتوای اصلاح شده را پیدا می کند، بودجه خزیدن شما افزایش می یابد.

وقتی نوبت به تعیین سرعت بهینه خزیدن برای یک سایت می رسد، گوگل الگوریتم های پیچیده ای دارد. هدف آنها این است که در هر بازدید تا جایی که می توانند صفحاتی را از سایت ها بخزند بدون اینکه پهنای باند سرور زیاد شود.

در برخی موارد، خزیدن سایت‌ها ممکن است باعث ایجاد بار بحرانی در زیرساخت شود یا باعث هزینه‌های ناخواسته در طول قطع شود. برای کاهش این مشکل، ممکن است تصمیم بگیرید که تعداد درخواست‌های Googlebot را کاهش دهید.