نوین سئو
آموزش سئو و بهینه سازی سایت
ربات گوگل یا گوگل بات (Googlebot) چیست

ربات کوگل (Googlebot) یک کراولر (crawler) است که محتوای قابل ایندکس شدن وب سایت شما را جمع می‌کند. ربات گوگل برای این که موتور جستجو بتواند نتایج را آپدیت کند از اطلاعات جمع آوری شده توسط ربات گوگل استفاده می‌کند.

ربات گوگل چگونه کار می کند ؟

  • ربات گوگل اطلاعات یک صفحه مانند کلمات، کدها، عکسها و منابعی مانند CSS و جاوااسکریپت را جمع آوری میکند.
  • اگر لینک یا لینک هایی در صفحات موجود باشد، آنها را در نظر میگیرد. Googlebot از نقشه سایت ها و دیتابیس هایی استفاده می کند که شامل لینک های کشف شده قبلی هستند. این ربات ها از این داده ها برای تعیین مقاصد بعدی خود استفاده می کنند
  • کلیه دیتای جمع آوری شده را به سرورهای گوگل ارسال میکند

خزنده یا Webcrawler چیست؟

به طور کلی خزنده‌های وب، نرم افزارهایی هستند که در اینترنت وارد سایتهای گوناگون می شوند و همه صفحات آنها را می خوانند و لینکها را دنبال می کنند و در نهایت اطلاعات صفحات را جمع آوری و به محل مشخصی ارسال می کنند. کراولرهای وب با نامهای دیگری از قبیل ant، bot، spider و robot نیز شناخته شده هستند. در بخش آموزش سئو وب سایت نوین سئو می‌توانید بیشتر در مورد حوزه سئو اطلاعات کسب کنید.

ربات های گوگل چطور سایت های شما را بازدید می کنند؟

برای اینکه بفهمید ربات های گوگل چه زمان هایی به سایت شما مراجعه می کنند، می بایست فایل های Log سایت خود را بررسی کنید و یا به قسمت Crawl در کنسول جستجوی گوگل مراجعه نمایید.

گوگل لیست آدرس های آی پی ربات های خود را هیچ گاه منتشر نمی کند و همین طور این آی پی ها مدام در حال تغییر هستند. اگر می خواهید ماهیت ربات های گوگل را تایید کنید، می بایست از ابزارهای تبدیل آی پی به نام استفاده کنید. اسپمرها می توانند به راحتی نام user-agent خود را به Googlebot تغییر دهند اما شبیه سازی آی پی به این راحتی نیست.

شما می توانید با استفاده از فایل Robots.txt به ایجاد محدودیت و کنترل دسترسی ربات گوگل به سایت خود بپردازید. دقت داشته باشید که در صورت اشتباه در این کار، ممکن است جلوی دسترسی گوگل به محتوای اصلی سایت را بگیرید. این کار موجب عدم ایندکس محتوای سایت خواهد شد. همچنین راه های دیگری نیز برای جلوگیری از ایندکس شدن بعضی از صفحات سایت وجود دارد.

انواع ربات گوگل

ربات های مختلفی توسط گوگل ایجاد شده  است که هر کدام برای کراول (crawl) محتوایی خاص کربرد دارند:

  • Googlebot desktop: این ربات به بررسی و ایندکس نسخه دسکتاپی وب سایت ها می ردازد.
  • Googlebot mobile: این ربات به بررسی و ایندکس نسخه مویابلی سایت ها می پردازد.
  • Googlebot Video: این ربات به بررسی ویدئوهای موجود در وب می پردازد.
  • Googlebot Images: این ربات به پایش تصاویر موجود در وب می پردازد.
  • Googlebot News: این ربات مختص سایت های خبری است.
  • Googlebot AdsBot : این ربات برای سایت هایی که از طریق سیستم تبلیغات کلیکی ادوردز برای تلبلیغ نتایج خود استفاده می کنند کاربرد دارد.

نوین سئو با طراحی سایت شرکتی، شخصی و فروشگاهی می‌تواند کمکی به رشد کسب و کار شما کند.

ربات گوگل یا گوگل بات (Googlebot) چیست

4.8 (95%) 8 vote[s]

آموزش سئو با نوین سئو

یک سوال: سایتم را سئو کنم یا هزینه آگهی بدهم؟Reviewed by گروه نوین سئو on Feb 15Rating: 4.5یک سوال: سایتم را سئو کنم یا هزینه آگهی بدهم؟یک سوال: سایتم را سئو کنم یا هزینه آگهی بدهم؟ این سوالی است که همه از ما می پرسند. همه مشتریان ما غالبا اظهاراتی از این قبیل می شنویم:

مهمترین جنبه ی سئو ساده کردن وب سایت تان برای کاربر و ربات های موتور جستجو است. هر چند موتورهای جستجو به طور فزاینده پیچیده شده اند ولی هنوز نمی توانند صفحات وب را مانند انسان ها درک کنند. سئو به موتور کمک می کند تا ببیند هر صفحه در چه موردی است و چگونه برای استفاده ی کاربر مفید خواهد بود.

یک بحث عمومی بر علیه سئو

یک سوال: سایتم را سئو کنم یا هزینه آگهی بدهم؟ این سوالی است که همه از ما می پرسند. همه مشتریان ما غالبا اظهاراتی از این قبیل می شنویم:

“هیچ مهندس باهوشی هرگز موتور جستجویی نمی سازد که وب سایتی را مجبور به پیروی از یک سری قواعد و اصول خاص برای رتبه گرفتن و شاخص شدن بکند. هر آدم عاقلی سیستمی می خواهد که بتواند از هر ساختاری بگذرد و هر مقدار کد پیچیده و ناقصی را تجزیه کند و باز در نهایت راهی پیدا کند که بهترین نتیجه ی مربوط را برگرداند، نه چیزی که توسط متخصصین بدون مجوز موتورها بهینه سازی شده”.

ولی صبر کنید ….

تصور کنید عکس سگ خانگی تان را آنلاین پست کرده اید. مردم عکس را این طور شرح می دهند: “یک سگ سیاه , سایز متوسط ، از نژاد … که دارد تو پارک توپ بازی می کند”. در صورتی که بهترین موتور جستجو در دنیا هم امکان ندارد عکس را این گونه تشریح کند . پس چطور یک موتور جستجو می تواند عکسی را بفهمد؟ خوشبختانه سئو به وب مسترها این قدرت را می دهد تا سرنخ هایی به موتورها بدهند تا بتوانند برای درک مطلب از آنها استفاده کنند. در واقع اضافه کردن ساختار مناسب به مطلب تان برای سئو ضروری است.

شما با درک توانایی ها و محدودیت های موتورهای جستجو می توانید مطالب وب تان را به گونه ای که موتورها بتوانند هضم کنند بسازید ، فرمت کنید و حاشیه نویسی کنید. بدون سئو ، وب سایت ها می توانند برای موتورهای جستجو نامرئی شوند.

محدودیت های تکنولوژی موتور جستجو

موتورهای اصلی همگی طبق یک قاعده ی مشترک که در فصل یک توضیح دادیم عمل می کنند. روبات های جستجوی خودکار در وب حرکت ، لینک ها را دنبال و مطالب را در پایگاه های عظیم فهرست می کنند. آنها این کار را با هوش مصنوعی فوق العاده ای انجام می دهند ولی تکنولوژی جستجوی مدرن هنور آن قدر قدرتمند نشده و محدودیت های فنی دارند که باعث مشکلات جدی در “نتیجه” و “رتبه بندی” می شود , ما کلی ترین آنها را در زیر لیست کرده ایم.

مشکل حرکت و فهرست کردن

♦ فرم های آنلاین: موتورهای جستجو در پر کردن فرم های آنلاین خوب نیستند (مثل لاگین کردن) ، بنابراین هر مطلب پشت سر آنها می تواند پنهان باقی بماند.

♦ صفحات تکراری: وب سایت هایی که از CMS (سیستم مدیریت مطلب) استفاده می کنند اغلب اوقات نسخه های تکراری از همان صفحه ایجاد می کنند و این موضوع برای موتورهایی که به دنبال مطلب کامل و اصلی هستند مشکل بزرگی است.

♦ مسدود شدن در کد: خطا در دستورات حرکتی وب سایت ها (robots.txt) می تواند منجر به مسدود شدن کلی موتور شود.

♦ لینک با ساختار ضعیف: اگر “ساختار لینک وب سایت” برای موتور جستجو قابل درک نباشد پس نمی تواند به کل مطالب دسترسی پیدا کند و اگر هم در آن حرکتی کند شاید مطالب , ناقص و بی اهمیت جلوه کنند.

♦ مطالب غیرمتنی: هر چند موتورها در خواندن متن های غیر HTML بهتر و بهتر می شوند ولی تجزیه ی مطلبی با فرمت Rich Media هنوز برای موتورها سخت است. این گونه فرمت ها شامل فایل های فلش ، تصاویر ، عکس ها ، ویدیو ، صوتی و پلاگین هستند.

مشکل مطابقت دادن پرسش با مطلب

♥ واژه های غیر معمول: متنی که با واژه های عادی که مردم جستجو می کنند نوشته نشده است. مثلا نوشته ای در مورد “دستگاه های سرد کننده غذا” در صورتی که مردم در واقع “یخچال” را جستجو می کنند.

♥ زبان و پیچیدگی های خاص بین المللی: برای مثال “color” در مقابل “colour” . اگر شکی در کار است “چک کنید مردم چه چیزی جستجو می کنند” و دقیقا از همان در مطلب تان استفاده کنید.

♥ هدف گیری روی محل نامتجانس: هدف مطلب لهستان است در صورتی که اکثر مردمی که به سایت شما سر می زنند ژاپنی هستند.

♥ سیگنال های متنی درهم: برای مثال، عنوان وبلاگ پست شده ی شما “بهترین قهوه ی مکزیک” است ولی خود پست درباره ی استراحتگاه های تعطیلاتی کانادا است که به طور اتفاقی بهترین قهوه را هم سرو می کنند. این نوع پیغام های درهم سیگنال های گیج کننده ای به موتور می فرستد.

 

مطمئن شوید مطالب شما دیده می شوند

اصلاح جزئیات فنی و رفتار دوستانه با موتورها بسیار مهم است، ولی پس از اینکه اصول اولیه را رعایت کردید باید مطالب تان را به بازار ارائه بدهید. موتورها خودشان هیچ فرمولی برای اندازه گیری کیفیت مطلب شما ندارند , در عوض ، تکنولوژی شان تکیه بر معیارهای “ربط” و “اهمیت” دارد و اینها هم با پیگیری کارهایی که مردم انجام می دهند اندازه گیری می شود، یعنی چیزهایی که مردم کشف می کنند، عکس العمل نشان می دهند، نظر می دهند و به آنها لینک می شوند. بنابراین کافی نیست فقط یک سایت بی نقص بسازید و مطالب عالی در آن قرار بدهید، بلکه باید مطالب را به اشتراک بگذارید و در باره ی آنها صحبت کنید.

نگاهی به صفحه نتایج جستجوها بیاندازید , جواب اینکه چرا بازاریابان جستجو زندگی پرثمر ، طولانی و خوشی خواهند داشت را می گیرید.

صفحه نتایج جستجو به طور میانگین ده تا جا دارد و سایت ها براساس رتبه شان در این مکان ها قرار می گیرند. هر قدر سایت شما در صفحه نتایج در مکان بالاتری باشد میزان کلیک خوردن و جذب جستجوکننده سایت تان بالاتر میرود. مکان های ۱ و ۲ و ۳ ترافیک بسیار بالاتری نسبت به نتایج پایین همان صفحه و خیلی بیشتر نسبت به صفحات بعدی دارد. در حقیقت , توجه زیاد آن هم به چند تا سایت بدین معناست که همیشه برای رتبه بندی موتورها انگیزه مالی وجود دارد. مهم نیست جستجو در آینده چه تغییراتی پیدا کند , وب سایت ها و مشاغل به خاطر این توجه و ترافیک و دیده شدن مارک شان همیشه با یکدیگر در رقابت خواهند بود.

سئو دائما در حال تغییر است

وقتی در اواسط ۱۹۹۰ بازاریابی جستجو شروع شد ، چیزهایی از قبیل کتابچه راهنما ، تگ کلمات کلیدی متا و چاشنی های کلیدی همگی بخش عادی ای از تاکتیک های ضروری برای به دست آوردن رتبه ی خوب بودند. در سال ۲۰۰۴ ، بمباران لینکی با متن لنگر (anchor text) ، خرید انبوهی از لینک ها از وبلاگ های اسپم خودکار و ساختن انبوهی از وب سایت های هم لینک شده تماما اهرمی برای ترافیک شدند. در سال ۲۰۱۱ , بازاریابی از طریق رسانه های اجتماعی و vertical search inclusion اصلی ترین روش ها برای بهینه سازی موتور جستجو بوده اند و آلگوریتم موتورها همراه با این تکامل اصلاح شده اند , بنابراین تاکتیک هایی که در سال ۲۰۰۴ کاربرد داشتند امروز به سئوی شما صدمه میزند.

آینده نامعلوم است , ولی در دنیای جستجو , تغییر دائمی است و به همین دلیل بازاریابی جستجو برای کسانی که می خواهند در وب رقابتی عمل کنند در اولویت باقی خواهد ماند. بعضی ها ادعا می کنند که سئو مرده یا به اسپم تبدیل شده ولی از دید ما غیر از یک منطق ساده هیچ دفاع دیگری لازم نیست.

وب سایت ها برای توجه و قرار گرفتن در موتورهای جستجو رقابت می کنند و کسانی که که از دانش و تجربه برخوردارند با بهتر کردن رتبه ی سایت شان از ترافیک بالاتر بهره خواهند برد و بیشتر در معرض دید خواهند بود.

 

آموزش سئو با نوین سئو

لینک دوستان