هشدار گوگل در مورد پارامترهای URL که باعث ایجاد مشکلات در خزش وب سایت ها می شوند

مقاله ترجمه شده Matt G. Southern
--------------------------------

به نقل از مقاله منتشر شده در search engine journal ، گری ایلیس، تحلیلگر گوگل، به یک مسئله بزرگ برای خزنده‌های وب اشاره کرده است: پارامترهای URL. در طول یکی از قسمت‌های اخیر پادکست Search Off The Record گوگل، گری توضیح داد که چگونه پارامترها می‌توانند URLهای بی‌پایانی را برای یک صفحه ایجاد کنند و باعث ناکارآمدی در خزش شوند. گری جنبه‌های فنی، تأثیر سئو و راه‌حل‌های بالقوه را پوشش داد. او همچنین در مورد رویکردهای گذشته گوگل بحث کرد و به اصلاحات آینده اشاره کرد. این اطلاعات به ویژه برای سایت‌های بزرگ یا تجارت الکترونیکی مرتبط است.

هشدار گوگل در مورد پارامترهای URL که باعث ایجاد مشکلات در خزش وب سایت ها می شوند
می خوای تو بــهترین مــوقعیت های شـــغلی اســتخدام بشــی ؟

به دنیایی از آموزش های هیجان انگیز و پردرآمد قدم بگذراید

می خوای تو بــهترین مــوقعیت های شـــغلی اســتخدام بشــی ؟

مشکل URL بی نهایت در چیست؟

گری درباره هشدار گوگل در مورد پارامترهای URL توضیح داد که پارامترهای URL می‌توانند چیزی معادل تعداد نامحدودی از URLها را برای یک صفحه ایجاد کنند. او توضیح می‌دهد:

«از نظر فنی، شما می‌توانید آن را به تعداد تقریباً نامحدود – خوب، در واقع نامحدود – پارامتر به هر URL اضافه کنید و سرور فقط آن‌هایی را که پاسخ را تغییر نمی‌دهند، نادیده می‌گیرد.»

این یک مشکل برای خزنده‌های موتور جستجو ایجاد می‌کند. در حالی که این تغییرات ممکن است منجر به محتوای یکسانی شوند، خزنده‌ها نمی‌توانند این را بدون بازدید از هر URL بدانند. این می‌تواند منجر به استفاده ناکارآمد از منابع خزش و مشکلات نمایه سازی شود. 

شاید برخی ندانید که Crawler چیست. خزنده یا همان Crawler رباتی اینترنتی است که به‌طور خودکار اطلاعات وب‌سایت‌ها را مرور کرده و صفحات سایت را بر اساس معیارهای مختلف برای فهرست‌بندی در موتورهای جست‌وجو بررسی می‌کند. این ربات‌ها به‌صورت خودکار صفحات وب‌سایت‌ها را مرور و اطلاعات آن‌ها را جمع‌آوری می‌کنند.

مشکل URL بی نهایت در چیست؟

همه چیز درباره هشدار گوگل در مورد پارامترهای URL

تاثیر url های طولانی در سایت های تجارت الکترونیکی چگونه است؟

این مشکل در وب‌سایت‌های تجارت الکترونیک (E-commerce) رایج است، که اغلب از پارامترهای URL برای پیگیری، فیلتر کردن و مرتب‌سازی محصولات استفاده می‌کنند. به عنوان مثال، یک صفحه محصول ممکن است چندین تغییر URL برای گزینه‌های مختلف رنگ، اندازه یا منابع ارجاع داشته باشد.

گری در ادامه موضوع هشدار گوگل در مورد پارامترهای URL اشاره کرد:

از آنجا که شما می‌توانید پارامترهای URL را به آن اضافه کنید … همچنین به این معنی است که وقتی در حال خزیدن هستید، و به معنای واقعی کلمه مانند دنبال کردن پیوندها در حال خزیدن هستید، همه چیز – همه چیز بسیار پیچیده‌تر می‌شود.

تاثیر url های طولانی در سایت های تجارت الکترونیکی چگونه است؟

اهمیت تاریخچه و گذشته url

درباره موضوع “هشدار گوگل در مورد پارامترهای URL”، گوگل سال‌هاست که با این مشکل دست و پنجه نرم می‌کند. در گذشته، گوگل یک ابزار پارامترهای URL در کنسول جستجو ارائه می‌کرد تا به مدیران وب کمک کند که کدام پارامترها مهم هستند و کدام یک می‌توانند نادیده گرفته شوند. با این حال، این ابزار در سال 2022 منسوخ شد و برخی از متخصصین سئو را نگران مدیریت این مسئله کرد.

اهمیت تاریخچه و گذشته url

راه حل های بالقوه برای مقابله با مشکلات url های طولانی چیست؟

در حالی که گری راه حل قطعی درباره رفع مشکلات url های طولانی ارائه نکرد، او به رویکردهای بالقوه اشاره کرد:

  1. گوگل در حال بررسی راه‌هایی برای مدیریت پارامترهای URL است، که به طور بالقوه با توسعه الگوریتم‌هایی برای شناسایی URL‌های زائد انجام می‌شود.
  2. ایلیز پیشنهاد کرد که ارتباط واضح‌تر از سوی صاحبان وب‌سایت در مورد ساختار URL آنها می‌تواند کمک کند. او اشاره کرد: «ما می‌توانیم به آنها بگوییم که، ‘خوب، از این روش برای مسدود کردن آن فضای URL استفاده کنید.»
  3. ایلیز اشاره کرد که فایل‌های robots.txt می‌توانند به طور بالقوه برای هدایت خزنده‌ها بیشتر استفاده شوند. او گفت: «با robots.txt، به طور شگفت‌انگیزی انعطاف‌پذیر است که چه کاری می‌توانید با آن انجام دهید.»

 

راه حل بالقوهتوضیحات
توسعه الگوریتم هایی برای شناسایی URL های زائدگوگل در حال بررسی راه هایی برای مدیریت پارامترهای URL است که به طور بالقوه با توسعه الگوریتم هایی برای شناسایی URL های زائد انجام می شود.
ارتباط واضح تر از سوی صاحبان وب سایت در مورد ساختار URL آنهاارتباط واضح تر از سوی صاحبان وب سایت در مورد ساختار URL آنها می تواند کمک کند.
استفاده بیشتر از فایل های robots.txt برای هدایت خزنده هافایل های robots.txt می توانند به طور بالقوه برای هدایت خزنده ها بیشتر استفاده شوند.

اهمیت کوتاه و یا طولانی بودن url در سئو

این بحث پیامدهای متعددی برای SEO دارد:

  • بودجهٔ خزش

برای سایت‌های بزرگ، مدیریت پارامترهای URL می‌تواند به حفظ بودجهٔ خزش کمک کند و اطمینان حاصل کند که صفحات مهم خزش و ایندکس می‌شوند. 

در واقع اگر می خواهد بدانید Crawl Budget چیست باید گفت که اگر گوگل یک صفحه از سایتی را Index نکند، آن صفحه هیچ رتبه ای دریافت نمی کند. پس اگر سایت شما به اندازه کافی بودجه خزش یا همان Crawl Budget را نداشته باشد، ممکن است شما در سایتتان صفحاتی داشته باشید که اصلا Index نمی شوند و ربات های گوگل به سراغ آن ها نمی روند.

  • معماری سایت

توسعه‌دهندگان ممکن است نیاز داشته باشند تا نحوهٔ ساختاردهی URLها را، به‌ویژه برای سایت‌های بزرگ تجارت الکترونیکی با تنوع زیاد محصولات، بازبینی کنند.

  • ناوبری فاستد

سایت‌های تجارت الکترونیکی که از ناوبری فاستد استفاده می‌کنند باید به نحوهٔ تأثیر این موضوع بر ساختار URL و قابلیت خزش توجه کنند.

  • تگ‌های کنونیکال

استفاده از تگ‌های کانونیکال می‌تواند به گوگل کمک کند تا بفهمد کدام نسخهٔ URL باید به عنوان نسخهٔ اصلی در نظر گرفته شود. 

در پاسخ به سوال برخی درباره Canonical tag چیست می توان گفت که Canonical Tag دارای محتوای اصلی برای صفحات تکراری با محتوای یکسان است. اگر یک تگ متعارف به 404 صفحه اشاره داشته باشد، موتورهای جستجوگر را به نادیده گرفتن تگ متعارف سوق می‌دهد زیرا سیگنال اشتباه آشکاری برای نمایه سازی می‌دهد.

اهمیت کوتاه و یا طولانی بودن url در سئو

سخن پایانی

در نهایت هشدار گوگل در مورد پارامترهای URL به مدیران وب‌سایت‌ها یادآوری می‌کند که استفاده بیش از حد یا نادرست از پارامترها در URL می‌تواند منجر به مشکلاتی در ایندکس شدن و خزش سایت توسط موتور جستجو شود. این مشکلات شامل ایجاد محتوای تکراری، افزایش پیچیدگی URLها، و کاهش کارایی خزش می‌شود. 

گوگل توصیه می‌کند که در صورت امکان از پارامترها در URLها اجتناب کنید و در عوض از ساختارهای URL ثابت و توصیفی استفاده کنید. در صورتی که استفاده از پارامترها ضروری است، باید از ابزار Google Search Console برای مدیریت آن‌ها استفاده کنید و به گوگل اطلاع دهید که کدام پارامترها بر محتوای صفحه تأثیر می‌گذارند و کدام‌ها صرفاً برای اهداف ردیابی یا فیلترینگ استفاده می‌شوند.