وارد شوید/ عضویت
منو
یک سری مفاهیم هستند که ما آن ها را به خوبی می شناسیم و هر روز هم از آن ها استفاده می کنیم. اما ممکن است نه چگونگی پروسه کار آن ها را بدانیم و نه اینکه بدانیم اصلا از چه ابزارهایی برای کار استفاده می کنند. یکی از این پدیده های شناخته شده برای ما گوگل و به طور کلی موتور های جست و جو هستند. موتور های جست و جویی که هرکدام برای خودشان Crawler هایی دارند. Crawler چیست ؟ در این مقاله قرار است به یکی از مهمترین مفاهیم در آموزش سئو داخلی بپردازیم که البته مفهوم آن، کمی فراتر از آموزش سئو نیز می رود. می خواهیم با یک ربات آشنا بشویم که با هر رباتی که تا به حال می شناختیم متفاوت است. یک ربات خزنده! در این مقاله همراه ما باشید تا با ربات خزنده موتور جست و جو آشنا شویم.
خود کلمه Crawler این وسط هم عجیب است، هم در عین حال انتخاب این کلمه در این جایگاه بسیار با عقل جور در می آید. اگر از کسی که آموزش سئو ندیده باشد بپرسید Crawler چیست ، اگر زبان انگلیسی اش خوب باشد که به شما می گوید Crawler یعنی “خزنده” و به همین هم اکتفا می کند. اما اگر آن شخص آموزش سئو و آموزش سئو داخلی را به طور کامل دیده باشد، گلو را صاف می کند و کلی مطلب در رابطه با Crawler به شما می گوید که با هر چیزی که تا به حال شنیده اید متفاوت است. بنده نویسنده در حد و اندازه ای نیستم، اما حداقل به آن شخص دوم کمی نزدیک تر هستم و برای همین هم در این بخش از آموزش سئو داخلی به سراغ Crawler رفته ام تا آن را برای شما توضیح بدهم.
Crawler یا Spider در واقع همان ربات موتور جست و جو است که در سرتاسر وب می چرخد تا سایت ها را به اصطلاح Crawl کند (در آن ها “بخزد”!) و آن ها را به فهرست مطالب موتور جست و جو اضافه کند. تمام این کار ها، فرایند Index شدن سایت در موتور جست و جو را انجام می دهند که در مقاله Index چیست به آن به طور کامل پرداختیم. قبلا به شما گفتیم که Index سایت ها در موتور جست و جو به چه صورتی انجام می شود. حالا در این مقاله، می خواهیم در رابطه با مامور انجام این کار صحبت کنیم که یک ربات خزنده یا Crawler است. این ربات شبیه ربات هایی که ما در سری جنگ ستارگان، وال-ای، سری ترانسفورمرز و حتی در دنیای واقعی دیده ایم نیست. با ما به یکی دیگر از مقالات اصطلاحات سئو همراه باشید تا بیشتر با ماهیت این خزنده الکتریکی آشنا بشویم.
در بالا خیلی خلاصه به شما گفتیم که Crawler چیست و آن خلاصه، خیلی حق مطلب را ادا نمی کند. برای کسانی که صرفا معنی این کلمه در سئو سایت برایشان مطرح است، توضیح بالا کافیست، اما اگر کنجکاو تر شده اید و می خواهید دقیق تر بدانید که Crawler چیست و می خواهید همه چیز را در رابطه با این ربات بدانید، پس تا آخر همراه ما باشید. Crawler، Spider، Googlebot، Search Engine Bot، Google Crawler و … همگی در نهایت همان خزنده گوگل یا دیگر موتور های جست و جو (برای ما گوگل مطرح است اما موتور های جست و جوی دیگر هم این Crawler را دارند و اسامی خودشان را روی آن گذاشته اند) هستند که کارشان کرال کردن صفحات وب می باشد.
از نظر ساختاری، این ربات شبیه به هیچ ربات دیگری نیست و بهتر است بگوییم که با اینکه وجود خارجی “دارد”، اما نمود جسمی ندارد و مختص به دنیای وب می باشد. این ربات خزنده توسط خود گوگل توسعه داده شده است و اینکه چگونه این ربات ساخته شده است برای کسی مشخص نیست. این ربات ساختار پیچیده ای دارد و قادر به درک خیلی از مفاهیم می باشد. جلوتر که کارکرد های این ربات را برای شما شرح بدهیم، بیشتر متوجه پیچیدگی کار آن می شوید، اما این ربات نه تنها در کار، بلکه در ساختار هم همچنان جزو پدیده های نادر در تکنولوژی به حساب می آید.
راستش اینکه کارکرد “Crawler چیست” هم همچنان جزو آن چیز هاییست که برای ما خیلی روشن نیست. ما کار این ربات را می دانیم، در مقاله Index چیست گفتیم که این ربات، در سرتاسر وب سفر می کند و در واقع می خزد و صفحات وب را بررسی می کند. اما چه اطلاعاتی در رابطه با نوع کار این ربات داریم؟ اول از همه این را می دانیم که این ربات، قادر به تشخیص محتوا مانند انسان ها نیست و محتوا را از روی متن و کد هاست که تشخیص می دهد. در واقع چیزی که این ربات می خواند، HTML و تگ های آن است و از روی آن ها، متوجه می شود که محتوای ما درباره چیست و ما از چه حرف می زنیم. در واقع ما می دانیم که این ربات، ساختار و اسکلت سایت ما را به خوبی متوجه می شود.
باز با این حساب، باید این موضوع را بدانیم که کارکرد کرالر ها متفاوت است و ما فقط یک نوع کرالر برای موتور های جست و جو نداریم. به تازگی اطلاعاتی منتشر شده است که نشان می دهد گوگل، کرالر های مخصوصی برای ویدیو ها و تصاویر دارد که هرکدام از آن ها، وظیفه ایندکس کردن محتوای مخصوص به خودشان را دارند و Crawler ها محدود به خواندن محتوای متنی نمی شوند. این موضوع را هم در نظر داشته باشید که کارکرد این Crawler ها، با کاری که انجام می دهند دو موضوع متفاوت است که باید جداگانه آن ها را بررسی کنیم. در اینجا به کارکرد این Crawler ها پرداختیم ولی همچنان باید در رابطه با کاری که انجام می دهند هم با دقت توضیحاتی را ارائه بدهیم. پس در ادامه همراه ما باشید که می خواهیم از وظیفه این خزنده ها بیشتر سر در بیاوریم.
اگر بخواهیم بدانیم کار Crawler چیست باید بگوییم که Crawler کار های مختلفی ممکن است انجام بدهد، اما کاری که برای همه ما مشخص است این است که این Crawler ها بین صفحات وب می چرخند و صفحات را بررسی می کنند. این کرالر ها رفتارشان با صفحات مثل کاربران عادی موتور های جست و جو است اما چیزی که از صفحات می بینند، با چیزی که ما عنوان یک انسان می بینیم فرق می کند. این ربات ها کد های داخل صفحات را می خوانند و متون را بررسی می کنند. آن ها بوسیله کد ها متوجه المان های صفحات می شوند و یکی یکی آن ها را بررسی می کنند تا ببینند مشکلی دارند یا خیر. زمانی که این ربات ها به قدر کافی صفحه را بررسی کردند، آن را برای Index شدن در موتور جست و جو آماده می کنند.
این ربات ها به هر صفحه رتبه خاصی را بر اساس بهینه سازی سایت ها برای موتور های جست و جو می دهند. این ربات ها رضایت مخاطب از یک صفحه را بوسیله رفتار کاربر شناسایی می کنند و می توانند نوع رضایت مخاطب نسبت به یک صفحه را به خوبی تشخیص بدهند. همچنین همانطور که در مقاله noindex چیست هم گفته شد، با راه های مختلفی می شود دسترسی این ربات ها را به صفحات سایت مسدود کرد. در همان مقاله، گفتیم که گاهی تگ noindex در صفحات سایت ما لازم است که ربات با دیدن این تگ، متوجه می شود که نباید اصلا به آن صفحه کاری داشته باشد و کرال کردن آن صفحه را به وقت دیگری موکول می کند. همچنین در همان مقاله گفتیم که بهتر است ربات ها به یک سری از صفحات ما به دلایل مختلف دسترسی پیدا نکنند.
گفتیم که کارکرد Crawler چیست و درباره چگونگی کار آن هم حرف زدیم. درست است که کار Crawler به صورت دستی و اختیاری انجام نمی شود، اما اینطور هم نیست که این ربات های عزیز ما در هر زمان، در چندین مکان باشند. این ربات ها تعدادشان زیاد است اما باز هم آنقدری نیست که به محض بوجود آمدن یک صفحه از سایت در دنیای وب، آن ها به سراغ صفحه مورد نظر بروند و شروع به کرال کردن آن کنند. این Crawler ها از چند طریق می توانند صفحات وب را پیدا کنند. یکی از این روش ها Track کردن جست و جو های کاربران در موتور جست و جو است و از طریق خود کاربران و مخاطبان صفحات آن ها را پیدا می کنند اما باز هم این دلیل اصلی پیدا شدن صفحات وب نیست.
دلیل اصلی پیدا شدن صفحات وب توسط Crawler ها یکی از مهمترین کار هایی هستش که ما برای سئو سایت انجام می دهیم. آن هم چیزی به جز لینکسازی بهینه نیست. لینکسازی چه به صورت داخلی و چه به صورت خارجی، باعث می شود که شانس کرال شدن و ایندکس شدن صفحات سایت ما بالاتر برود و ربات ها یا همان خزنده های گوگل، صفحات سایت ما را خیلی زودتر پیدا کنند. این ربات ها در هنگام بررسی صفحات مختلف، به لینک های داخل آن صفحات نیز سر می زنند و وارد صفحاتی که لینک داده شده می شوند. آن ها از این طریق آن صفحات دیگر را نیز بررسی می کنند و از طریق لینک ها وارد صفحات مختلف دیگر نیز می شوند. برای همین هم هستش که در سئو سایت، این همه روی لینکسازی تاکید می شود و همچنین باز هم تاکید می کنیم که لینکسازی باید بهینه باشد.
این ربات های خزنده با کسی شوخی ندارند و برای کسی هم پارتی بازی نمی کنند. در آپدیت های جدید برای الگوریتم های گوگل، نشان داده شده است که گول زدن این ربات ها کار سختی است و اگر هم آن ها متوجه این موضوع بشوند، عواقب آن پای خود صاحب سایت است. اما باز هم با این وجود، اینطور نیست که این ربات ها برای ما ارزشی قائل نشوند. گوگل برای هر سایتی یک Crawl Budget در نظر گرفته است که همانطور که از نام آن پیداست، بودجه کرالی هستش که گوگل به هر سایت اختصاص می دهد. این کرال باجت را شما می توانید در Google Search Console مشاهده کنید و با روش های درست سئو سایت، آن را افزایش هم بدهید. مسلما هرچه سایت بهتر و معتبر تری داشته باشید، این بودجه شما نیز بیشتر می شود.
البته که شما در همین Google Search Console می توانید با جست و جوی URL صفحات سایت خودتان، از Crawler ها بخواهید که به سایت شما بیایند و صفحه مورد نظر را بررسی کنند. ربات ها به صفحه سایت شما می آیند، آن را کرال می کنند و اگر مشکلی از بابت Index وجود داشته باشد به شما خبر می دهند. در این روش هم باز ممکن است Index شدن سایت شما کمی طول بکشد اما بالاخره اگر سایت شما از نظر بهینه سازی برای موتور های جست و جو هیچ مشکلی نداشته باشد، کرالر ها هم با شما دشمنی ای ندارند و آن را Index خواهند کرد.
هرچقدر هم که تلاش کنیم، اینکه بفهمیم دقیقا Crawler چیست کار آسانی نیست. به هر حال داریم از ربات های موتور جست و و صحبت می کنیم و شناخت کامل آن ها، احتمالا ممکن است خیلی چیز ها را برای ما فاش کند که مسلما موتور های جست و جو چنین چیزی را نمی خواهند. اما ما هیچوقت نباید از مطالعه و شناخت بیشتر دست بکشیم و باید سعی کنیم که همه چیز را به خوبی یاد بگیریم و از آن ها درست استفاده کنیم. حال اینکه این موضوع این باشید که ببینیم یک Crawler چیست یا اینکه هر موضوع دیگری که با آن درگیر هستیم. ممنون که در این مقاله همراه ما بودید و امیدواریم که توانسته باشیم در شناخت ربات گوگل و دیگر موتور های جست و جو به شما کمکی کرده باشیم و پاسخ سوال ها را به درستی داده باشیم.
منبع:
این مطلب رو به اشتراک بگذار...
اگر سوالی یا پیشنهادی دارید میتوانید با ما در میان بگذارید.
انرژی گرفته با 🤍 از تیم طراحی سایت تابان شهر
