سئو, علمی-آموزشی, مقاله ها

بودجه خزش چیست و چگونه میتوان آن را افزایش داد

همه ما با موتورهای جستجوی گوگل آشنا هستیم. زمانی که به دنبال محصول خاصی می گردیم و یا اطلاعاتی درباره یک موضوع به دست بیاوریم به گوگل مراجعه می‌کنیم. 

تا به حال از خودتان پرسیده اید گوگل چگونه میلیاردها صفحه ای که در وب وجود دارد را مدیریت و ایندکس می کند؟

اینکار به کمک ربات‌هایی انجام می‌شود که به خزنده های گوگل معروف هستند.

 زمانی که صفحه ای جدید در اینترنت ایجاد می شود این ربات ها به سمت صفحات جدید روانه می‌شوند و محتوای موجود را مورد بررسی قرار می‌دهند.

 بدین منظور موضوع مهمی به نام بودجه خزش یا همان نرخ خزش وجود دارد که بیشتر کسب و کارهای اینترنتی توجهی بدان نداشته و همین عامل می‌تواند باعث ضعیف شدن وبسایت و در نهایت شکست سایت شود.

بودجه خزش چیست؟

به تعداد صفحاتی از یک سایت گفته می شود که ربات های گوگل در یک بازه زمانی خاص آنها را می خزند و ایندکس می کنند. 

تعداد این صفحات در روزهای مختلف می تواند کمی تغییر کند.گوگل ممکن است هرروز6 صفحه را در سایت شما کراول کند.  

این عدد ممکن است به 5000 یا حتی گاهی به ۴ میلیون صفحه در روز برسد.

بودجه خزش چه اهمیتی برای سایت دارد ؟

 مسلما هر مدیر وب سایتی می خواهد که پس از ایجاد صفحه ای جدید ، هرچه سریعتر گوگل و موتورهای جستجو صفحات قابل ایندکس را پیدا کرده و تمام صفحات را در زمانی کوتاه ایندکس کنند. 

چون هرچه قدر صفحات سریعتر کراول و ایندکس شوند ، از رقیبان پیشی خواهند گرفت. بنا براین بودجه خزش بر سئو سایت و رتبه سایت و بالطبع بر تعداد کاربران از وبسایت تاثیر دارد.

دلیل در نظر گرفتن بودجه خزش برای هر سایت

هر سایتی سهمیه ای از ربات های گوگل دارد. گوگل و ربات های موتور جستجو نمی توانند همه صفحات یک سایت را با اولویت یکسان بخزند و ایندکس کنند. 

درچنین شرایطی بودجه ای برای خزش درآن سایت اختصاص می‌دهند و میزان خزش را اولویت بندی می کنند.

اختصاص نرخ خزش به هر وب سایت، به موتورهای جستجو برای انجام اینکار کمک می‌کند. اگر گوگل صفحه را ایندکس نکند ،یعنی چنین صفحه ای اصلا وجود ندارد.

 بنابراین اگر تعداد صفحات شما از بودجه خزش سایت بیشتر باشد، قطعاً در سایت خود صفحاتی خواهید داشت که ایندکس و درنتیجه دیده نمی شود.

بنابراین بودجه خزش ،  بیشتر در سایت های بزرگ نقش دارد زیرا ربات های گوگل می توانند سایت های کوچک را به راحتی کراول کرده و صفحاتشان را ایندکس کنند.

 در شرایط زیر باید به بودجه خزش توجه ویژه‌ای داشته باشید

یک سایت خیلی بزرگ دارید که دارای صفحات زیادی است، مثلاً وبسایت فروشگاهی که بیش از ۱۰هزار صفحه داشته باشد.

ریدایرکت ها میتوانند مثل خوره، نرخ خزش سایت شما را بخورند. اگر صفحات زیاد ریدایرکت شده دارید، حتما بدین موضوع توجه کنید.

اگر اخیراً بخش جدیدی با صدها صفحه به سایت خود اضافه کرده اید، باید به میزان بودجه خزش خود توجه داشته باشید که بتواند همه این صفحات به سرعت ایندکس شوند.

 در ادامه مقاله به چگونگی مشاهده میزان بودجه سایت خود پرداخته ایم.

نرخ کراول یک سایت به طور کلی به اندازه بدون باگ بودن سایت و سرور (تعداد خطاهایی که گوگل با آنها روبرو می‌شود ) و تعداد لینک های سایت شما بستگی دارد.

چگونه بفهمیم بودجه خزش سایت ما چقدر است ؟

برای اینکه متوجه شوید بودجه خزش وب سایت شما چقدر است ؟ در هر ثانیه موتورهای جستجو چند درخواست برای سایت شما اختصاص داده‌اند ؟ چقدر زمان بین هر بار اسکن وجود دارد ؟

 تا بعد از فهمیدن پاسخ چنین سوالاتی بتوانید به طور بهینه ازنرخ کراول خود استفاده کرده و به اصطلاح بودجه خزش وب سایت خود را هدر ندهید؛ وب سایت سازه به شما پیشنهاد می‌دهد که از ابزار رایگان و راحت گوگل سرچ کنسول استفاده کنید.

برای مشاهده آمار و ارقام مربوط به بودجه خزش وب سایت ، وارد گوگل سرچ کنسول شده و سپس به قسمت Setting رفته و سپس بر روی گزینه گزارش بخش crawl stats کلیک کنید. حال 3 نمودار را مشاهده می کنید.

Total crawl requests: تعداد کل درخواست های خزش شده را نشان می دهد.

Total download size: تعداد دانلود های انجام شده در هنگام خزیدن بر حسب بایت را نشان می دهد.

Average respons time: میانگین زمان پاسخ دهی برای منبعی از سایت شما در طول زمان مشخصی واکشی می کنند.

چگونگی تعیین بودجه خزش سایت

برای مشخص کردن بودجه کراول ، گوگل به نکاتی در مورد سایت توجه می کند از جمله:

منابع هاست   (Crawl limit / Host load)  

هر خزنده زمانی که وب سایت را بازدید می‌کند ، به طور دائم به سرور هاست سایت درخواست ارسال می کند. 

اگرهاست به اندازه کافی قوی نباشد و تعداد این نوع درخواست ها نیز زیاد شود ممکن است سایت از دسترس خارج شود و به اصطلاح  Down  شود!.

 به همین دلیل زمانی که گوگل می خواهد بودجه خزش شما را تعیین کند ، ابتدا به میزان منابع سایت شما دقت می‌کند ومطمئن می شود که هاست ، گنجایش ظرفیت بالای خزش را دارد یا خیر؟

گوگل برای اینکه بفهمد هاست وب سایت شما چه ظرفیتی دارد ، دو جنبه را بررسی می کند

بررسی دفعاتی که هاست در زمان خزش ربات ها با مشکل روبرو شده است.

بررسی تعداد سایت های مستقر بر روی سرور اصلی

میزان فعالیت درسایت و تولید محتوا( Crawl Demand / Crawl Scheduling)

گوگل با توجه به فعالیت های یک سایت می فهمدکه سایت مورد نظر شایسته دریافت چه میزانی از بودجه است.

هر وبسایتی با افزایش فعالیت خود می تواند تقاضای خزش بیشتری از گوگل داشته باشد.زمانی که این موتور جستجو، تلاش های

 یک سایت را برای بهتر شدن ببیند ، به عنوان جایزه بودجه بیشتری را بدان اختصاص می‌دهد. 

گوگل با بررسی لینک های خروجی و داخلی ، نوع دسته بندی از صفحات و میزان تولید محتوا در یک بازه مشخص ، بودجه را تعیین میکند.

دلایلی که باعث هدر رفتن بودجه خزش سایت می شود ، کدام است؟

بهینه سازی بودجه خزش، یعنی آنکه هیچ کراول باجتی را از دست ندهید.

 کارشناسان مربوطه ، کراول سایت های گوناگونی را بررسی کردند و دریافتند که اکثر سایت های با بودجه خزش پایین ، درگیر مشکلات مشابهی هستند ؛ به همین دلیل بودجه آنها هدر می‌رود.

 این مشکلات ساده اما بزرگ قادرند سایت شما را با کمبود بودجه خزش روبرو کنند. 

از طرفی، با برطرف کردن آنها می توانید سایت خود را در بازه زمانی کوتاهی از نظر کراول بهینه سازی کنید تاصفحات مهم مورد نظر سریعتر این ایندکس شوند.

وجود پارامتر های فیلتر محصولات در URL

زمان استفاده از فیلترهای محصول در وبسایت های فروشگاهی ، معمولاً از URLهایی که پارامتر دارند، استفاده می شود. 

به پا به کارگیری این ویژگی‌ها خیلی کار آمد است، فقط باید به این اطمینان برسید که برای موتورهای جستجو غیرقابل دسترس باشند.

به جهت اینکه پارامترها را ازچشم ربات های گوگل دور نگه دارید ، می توانید از فایل Robots.txt استفاده کنید و به آنها بفهمانید که نباید این صفحات را کراول کنند.

اگر به هر دلیلی این مورد در دسترس نبود، از تنظیمات مدیریت پارامتر URL در سرچ کنسول گوگل و Bing Webmaster Tools استفاده نمایید.

 از طرفی می توان به لینک های فیلتر خود ، خصوصیت Nofollow نیز اضافه کرد. البته توجه کنید که از مارس ۲۰۲۰ گوگل تصمیم گرفت که لینک‌های Nofollow را نادیده بگیرد و کار خود را انجام دهد. بنابراین توصیه می کنیم که تا حد امکان از روش اول استفاده نمایید.

 وجود محتوای تکراری در سایت

صفحاتی که محتواهای کاملاً یکسان داشته باشند، با نام محتوای تکراری شناخته می شوند. (صفحات کپی شده، صفحات نتایج جستجو های داخلی و تگ پیج ها از این دسته محتواها هستند.)

لینک های شکسته

منظور از لینک های شکسته، همان هایی هستند که منجر به باز شدن صفحاتی می شوند که دیگروجود ندارند.

این دسته از پیوندها، موتورهای جستجو را به بن بست می رسانند؛ به همین دلیل باید تلاش کنید تا جای ممکن ، وجود آنها را در سایت خود به حداقل برسانید. 

مسلماً با اصلاح این نوع آدرس ها، می توانید کسری بودجه خزش خود را مجدداً به دست آورید. همچنین می توانید به صورت قابل توجهی تجربه کاربری بازدیدکنندگان سایت خود را نیز بهبود ببخشید. 

علاوه بر موارد گفته شده ، سایر مواردی که باعث از بین رفتن بودجه کراول سایت شما می شوند عبارتند از URL های اشتباه در سایت مپ– صفحاتی با سرعت بارگذاری پایین – تعداد بالای صفحات غیر قابل ایندکس- ساختار لینک بیلدینگ غیراستاندارد

افزایش بودجه خزش برای وب سایت

افزایش سرعت سایت

اگر بتوانید سرعت سایت خود را بهبود ببخشید، به ربات های گوگل اجازه می‌دهید. آدرس های بیشتری از سایت را بخزند و ربات ها هم سریعتر وارد عمل می‌شوند. صفحات بیشتری را ایندکس می کنند. 

گوگل در این باره می‌گوید: بارگذاری سریعتر سایت، تجربه کاربران را بهتر می کند و درعین حال سرعت خزش را بالاتر می‌برد. پس صفحات کند بودجه خزش را کاهش می دهند.

تاثیر لینک داخلی در افزایش میزان بودجه خزش

ربات های گوگل صفحاتی را ارزشمند می دانند که لینک های داخلی و خارجی بیشتری دارند. لینک های داخلی از اهمیت بسیارزیادی

 برخوردارند و می توانند تا حدودی نبود لینک های خارجی را جبران کنند (زیرا درواقع شما نمی توانید برای هر صفحه از سایت خود  لینک بگیرید.) 

لینک های داخلی، ربات های گوگل را به صفحات مختلف می فرستند و آنها را مجبور به ایندکس صفحات می کنند.

فلت کردن وب سایت

گوگل می گوید آدرس هایی که دراینترنت پرطرفدارترهستند ، بیشتر و سریعتر ازسایرآدرس ها خزیده می شوند تا محتوای تازه آنها با سرعت بیشتری ایندکس شوند. 

پس محبوب بودن به معنای اعتبار لینک هاست. به همین خاطر است که باید معماری سایت خود را فلت انتخاب کنید، زیرا باعث می‌شود همه صفحات سایت شما از اتوریتی لینک ها بهره ببرند.

نادیده گرفتن صفحات یتیم

صفحات صفحات یتیم که درانگلیسی به آن Orphan Pages هم می گویند، لینک داخلی به سایر صفحات سایت ندارند و هیچ لینک خارجی هم به آنها داده نشده است. 

پس اگر میخواهید از بودجه خزش خود درست استفاده کنید، مطمئن شوید که صفحات وبسایت شما لینک داخلی و خارجی دارند.

محدود کردن محتوا های تکراری

محدود کردن محتوای تکراری به دلایل مختلف بسیار ارزشمند است. اولین و مهم ترین دلیل این است که چنین محتوایی بودجه خزش شما را نابود می کند و مشکلات زیادی را به دنبال دارد.

 باید اطمینان حاصل کنید که ۱۰۰% صفحات شما محتوای منحصربه فرد و باکیفیتی دارند. رعایت این مسئله برای سایت هایی که صفحات بالای 10هزار دارند کمی دشوار است 

 اما اگر می خواهید بودجه شما از بین نرود، باید محتوایی جدید خلق کنید که برای مخاطبان ارزشمند است.

به منظور برطرف کردن مشکل صفحات تکراری در سایت هایی که با وردپرس طراحی شده اند، لازم است مطالبی که نسبت به سایرین کامل تر هستند را نگه دارید و بقیه را حذف کنید.

سپس با استفاده از پلاگین Redirection و سایر افزونه های آن ، مطالب قدیمی را به محتوای جدیدی که ایجاد کرده اید، ریدایرکت کنید.

بنابراین آنچه وبسایت سازه در مقاله فوق شما را بدان آشنا کرد، چنین بود که منظور از بودجه خزش ، میزان صفحاتی است که در یک بازه مشخص توسط ربات های گوگل ایندکس می شوند.

اگرمیزان بودجه مربوط به وب سایت شما کافی نباشد ، در بازه زمانی موقتی با مشکل روبرو خواهد شد که شامل ایندکس نشدن به موقع محتواهای جدید و به روز رسانی ها می باشد.

 همین موضوع سبب دزدی محتوا از سایت،کاهش بازدیدکنندگان و در نتیجه آسیب به سئوسایت خواهد شد.

*شما عزیزان می توانید جهت مطالعه مطالبو مقالات ما را در “سایت سازه” دنبال نمایید*

برای مشاهده ی نمونه کارهای سایت سازه “اینجا” را کلیک نمایید و یا برای اطلاعات بیشتر “خدمات ما” را مشاهده کنید.

برای دریافت مشاوره رایگان با ما “تماس بگیرید” یا با پر کردن “فرم ثبت سفارش” کارشناسان ما در اسرع وقت با شما تماس خواهند گرفت.

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد.