ربات های گوگل در واقع خزنده های ( Crawler ) وب هستند که شرکت گوگل از آن ها برای پیدا کردن و دریافت صفحات وب استفاده می کند. همراه ایران تبلیغ باشید.
اطلاعاتی که به وسیله ربات های گوگل به دست می آید در نهایت برای بروز رسانی ایندکس های انجام شده به وسیله گوگل به کار می روند.
ربات های گوگل به صورت مستمر میلیاردها صفحه وب را تا کنون مشاهده کرده اند و همیشه نیز درحال انجام این کار می باشند.
خزنده وب که به آنها اغلب ربات یا عنکبوت نیز گفته می شوند نوعی از نرم افزارها هستند که برای دنبال کردن لینک ها طراحی شده اند.
آنها به دنبال این لینک ها رفته، اطلاعات لازم را به دست آورده و این اطلاعات را در نهایت به جایی ارسال می کنند.
اما کاری که ربات های گوگل انجام می دهند به این صورت است که محتوای صفحات ( کلمات ، کدها ، منابع و … ) را از سایت های مختلف به دست می آورند.
اگر این محتواها لینک هایی به دیگر جاها داشته باشند آنگاه این مکان ها در جایی یادداشت خواهد شد و سپس این اطلاعات را به مرکز داده گوگل ارسال می کنند.
مراحل عملکرد ربات های گوگل در ارائۀ نتایج جستجو
خزیدن (بررسی کردن):
آیا گوگل سایت شمارا میشناسد؟ آیا میتواند آن را پیدا کند؟
فهرست بندی کردن:
آیا گوگل میتواند سایت شمارا فهرست بندی کند؟
ارائه خدمات:
آیا سایت شما محتوای خوب و مفید دارد که مربوط به موضوع مورد جستجو کاربران باشد؟
در ادامه هریک از مراحل را با هم بررسی می کنیم.
۱.خزیدن ( بررسی کردن ) :
بررسی کردن ، روندی است که توسط ربات های گوگل برای جستجو و پیدا کردن صفحات جدید و یا آپدیت شده ، برای اضافه کردن به فهرست گوگل انجام میشود.
گوگل با استفاده از مجموعه عظیمی از کامپیوترها ، میلیاردها صفحه در وب را بررسی و واکشی میکند.
برنامهای که این واکشی را انجام میدهد ، ربات های گوگل ( البته بهعنوان عنکبوت نیز شناخته میشود ) نامیده میشوند.
ربات های گوگل از یک الگوریتمی با روند پیچیده استفاده میکنند که این الگوریتمها مشخص میکنند که کدام سراچهها و هرکدام هرچند وقت یکبار موردبررسی قرار بگیرند و چه تعداد صفحه از هر سایت واکشی و بررسی شوند.
روش بررسی گوگل با یک لیست از آدرسهای صفحه وب آغاز میشود که همه آنها از بررسیهای قبلی و اطلاعاتی که در نقشه طراحی سایت توسط مدیران وبسایتها ارائهشده ، جمعآوریشده است.
هرزمان که ربات گوگل وب سایتی را بررسی میکند ، تمامی لینکهایی را که هنگام بررسی صفحات مشاهده میکند ، به لیست خود جهت بررسی بعدی اضافه میکند.
طراحی سایت های جدید ، تغییرات در سایتهای موجود و لینکهای حذفشده ، یادداشت میشوند و در فهرست بندی جدید گوگل بروز رسانی میشوند.
گوگل برای بررسی کردن سایتها و تعداد دفعاتی که این کار را برای هر سایت انجام میدهد ، هیچ هزینهای دریافت نمیکند و جستجو در وب را از تبلیغات و درآمدزاییها جدا کرده است.
۲. فهرست کردن
رباتهای گوگل پردازش هر یک از صفحات وب را بهمنظور تدوین یک فهرست بزرگ و کامل از تمام کلماتی که میبیند به همراه آدرس صفحات آنها ، انجام میدهد.
علاوه بر این ، رباتها ، همهی اطلاعات موجود که بهصورت تگهای حاوی کلمات کلیدی و صفات ، مانند تگهای Title و ویژگی ALT را پردازش میکند.
گوگل میتواند اطلاعات بسیار زیادی را پردازش کند ، اما همه نوع محتوایی را نمیتواند موردبررسی و پردازش قرار دهد.
برای مثال محتوای فایلهای چندرسانهای مانند ویدئو و موزیک و یا صفحاتی که پویا هستند و مدام در حال تغییرند.
۳. نتایج ارائه خدمات
وقتی کاربری موضوعی را در گوگل جستجو میکند ، گوگل بین تمامی فهرست بندی قبلی صفحات خود شروع به جستجو میکند و صفحاتی را که طبق تحلیلها و پردازشهای خودش بیشترین تطبیق را با موضوع موردنظر کاربر داشته باشد بهعنوان نتیجه نمایان میکند. ۲۰۰ عامل برای تشخیص میزان ارتباط بین موضوع مورد جستجو کاربران و نتایج ارائهشده ، توسط گوگل موردبررسی قرار میگیرد.
یکی از این فاکتورها ، رتبه یا رنک صفحات است که بر اساس لینکهای ورودی از صفحات دیگر ( لینکهای خارجی ) اندازهگیری میشود.
به عبارت سادهتر، هر لینک به یک صفحه از سایتتان از سایت دیگر به رتبه طراحی سایت شما میافزاید.
البته تاثیر همهی لینکهای خارجی یکسان نیست و گوگل نیز سخت تلاش میکند که بهترین نتیجه را برای کاربرانش که درخواست جستجو به او دادهاند را ارائه دهد و لینکهای اسپم و روشهایی که بر نتایج تاثیر منفی میگذارند را شناسایی کند و بتواند محتوای باکیفیت را برای کاربران نمایش دهد.