روش رفع ارور های گوگل وب مستر Crawl Errors

چگونه ارور های گوگل وب مستر Crawl Errors را رفع کنیم ، در ادامه‌ی این مطلب شما را با راه حل این مشکل آشنا خواهیم کرد ،  با وب سایت ایران تبلیغ همراه باشید.

چگونه ارور های گوگل وب مستر Crawl Errors را رفع کنیم

گوگل وب مستر تولز به شما کمک می‌کند نحوه عملکرد گوگل نسبت به وب سایت خود را بررسی کنید ، وضعیت فعلی خود در جستجوها را ببینید و با رفع اشکالات وب سایت خود ، رتبه بهتری را در گوگل بدست آورید.

در این ابزار ، یک بخش به نام Crawl Errors وجود دارد که در آن ارور هایی که خزنده‌های گوگل زمان بررسی وب سایت شما با آن ها روبرو شده است را به نمایش می‌گذارد.

در ادامه میخواهیم دلیل این ارور های گوگل وب مستر را با آموزش کامل رفع آن‌ها ذکر کنیم.

این مقاله با هدف ایجاد یک مرجع کامل برای ارور های گوگل وبمستر نوشته شده است. بنابراین پیشنهاد می‌کنم حتماً این مقاله را در مرورگر خود بوکمارک کنید ( با استفاده از دکمه‌های Ctrl + D ) تا هر موقع با مشکلی در وب مستر روبرو شدید ، بتوانید به آن سری بزنید.

رفع ارور های Crawl Errors

برای مشاهده ارور های وب سایت خود پس از ورود به صفحه اصلی کنسول جستجوی گوگل به مسیر Crawl > Crawl Errors بروید.

همان‌گونه که در این بخش می‌بینید  ارورها در گوگل وبمستر به دو بخش ارور های کلی وب سایت ( Site Errors ) و ارور های آدرس‌ها ( URL Errors ) تقسیم می‌شوند. در ادامه با ما همراه باشید تا به رفع این ارورها بپردازیم.

۱٫ ارور های وب سایت در گوگل وبمستر تولز Site Errors

site errors  ارور های کلی وب سایت شما را در ۹۰ روز گذشته نشان می‌دهد. اگر وب سایت خود را به تازگی راه‌اندازی کرده‌اید وجود ارور در این قسمت عادی می‌باشد. اما اگر بیش از یک ماه از تولد وب سایت شما گذشته ، بهتر است ارور های این بخش گوگل وبمستر را جدی بگیرید و طبق این آموزش آن‌ها را بر طرف نمایید. اهمیت این موضوع آن‌چنان بالاست که اگر گوگل کوچک‌ترین ایرادی در این بخش احساس کند ، برای شما یک پیغام در Site Messages ارسال خواهد کرد. بنابراین همواره سعی کنید به طور مستمر این بخش را چک کنید.

در صورتی که وب سایت شما ارور نداشته باشد ، تصویری مانند زیر در کنسول جستجوی گوگل شما ( با سه تیک سبز رنگ ) نمایش داده می‌شود که یعنی هیچ‌گونه ارور در گوگل وبمسترتان وجود ندارد و بی نقص کار خود را انجام داده‌اید :

همانطور که مشاهده می‌کنید بخش site errors شامل سه قسمت Server connectivity ، DNS و Robots.txt fetch است که در ادامه ارور های مربوط به هر یک را همراه با راه حل بیان خواهیم کرد.

۱٫۱ ارور DNS

اگر به‌صورت متوالی  ارور DNS در گوگل وبمستر برای‌تان گزارش می‌شود ، بهتر است آن را جدی بگیرید. چرا که احتمال وجود مشکل در تنظیمات سرور وب سایت و یا ضعف سرور سایت‌تان وجود دارد. اما در صورتی که به تازگی هاست سایت خود را تغییر داده‌اید ، معمولاً این ارور تا چند روز به دلیل تغییر DNS نمایش داده می‌شود و سپس به صورت خودکار رفع می‌گردد.

البته لازم به ذکر است که ارور DNS ، مشکلی در سئوی وب سایت شما به وجود نخواهد آورد ؛ به این دلیل که ربات‌های خزنده گوگل همواره می‌توانند ارتباط‌شان را با سایت‌تان حفظ کنند. اما بروز چنین ارور هایی به این معنی است که کاربران نمی‌توانند وارد سایت شوند ، بنابراین بهتر است هرچه سریع‌تر اقدام به رفع این مشکل نمایید.

اصلا DNS چیست که ارورش چه باشد

در زمانی که اینترنت به شکل امروز گسترده نبود ؛ اگر می‌خواستید به سایتی مراجعه کنید ، باید آدرس وب‌سرور آن را می‌دانستید. آدرس وب‌سرور با IP مشخص می‌شود. بدین ترتیب که هر سایتی آی‌پی مختص به خود را دارد و شما می‌توانید آن را در نوار جستجوی مرورگر خود وارد کنید تا به وب سایت مربوطه بروید. اما از آن‌جایی که به خاطر سپردن آی‌پی کار دشواریست ، پای دامنه‌ها به میان می‌آید. کاراکترهای قابل فهمی که حفظ کردنشان ساده‌تر است ، البته برای انسان !

انتقال داده‌ها در کامپیوتر نه از طریق دامنه‌ها ، بلکه به همان روش قدیمی آی‌پی‌ها صورت می‌گیرد. یعنی اگر شما در مرورگر دامنه سایتی را تایپ کنید ( همان کاری که در حال حاضر انجام می‌دهید ) ، مرورگر به آدرس IP وب سایت متصل می‌گردد. این تبدیل توسط سرویسی به نام Domain Name System یا به اختصار DNS انجام می‌شود. به‌طور خلاصه می‌توان گفت تمام اطلاعات آدرس‌ آی‌پی‌ها و نام دامنه‌ها در ابرکامپیوترهایی به نام دی‌ان‌اس سرور ذخیره و ثبت شده‌اند که وظیفه اصلی آن‌ها تبدیل دامنه به آی‌پی‌های متناظر و بالعکس می‌باشد.

چه زمانی DNS Error  رخ می‌دهد

هنگامی که وب سایت شما نتواند با سرورهای دی‌ان‌اس ارتباط برقرار کنند ، ارور DNS Error در صفحه گوگل وبمستر شما نمایش داده خواهد شد. این اتفاق عموماً به دو دلیل رخ می‌دهد :

• DNS Timeout : گوگل نمی‌تواند به وب سایت شما دسترسی پیدا کند زیرا دی‌ان‌اس سرور شما پاسخگو نمی‌باشد.
• DNS Lookup : گوگل نمی‌تواند به وب سایت شما دسترسی پیدا کند زیرا دی‌ان‌اس سرورتان با دامنه شما ارتباط برقرار نمی‌کند.

اولین پیشنهاد گوگل وبمستر در زمان مواجه شدن با این  ارور استفاده از ابراز Fetch as Google است. این ابزار کارآمد نشان می‌دهد که آیا ربات‌های خزنده‌ گوگل می‌توانند صفحه ها شما را پردازش کنند یا خیر. همچنین می‌توانید با کمک وب سایت Web-Sniffer.net متوجه شوید که مشکل در برقراری با سرور سایت‌تان در کدام قسمت است.

وب سایت من دچار ارور DNS Error شده است ، چگونه می‌توانم آن را رفع کنم

1.   ابتدا وارد صفحه اصلی گوگل وب مستر شوید و از منوی crawl بروی گزینه Fetch as Google کلیک نمایید. سپس در کادر جستجو URL صفحه مد نظر خود را وارد کنید و گزینه FETCH AND RENDER را بزنید. پس از مدت کوتاهی گوگل نتایج بررسی را برای‌تان نشان می‌دهد. در صورتی که مشکلی در این قسمت یافت شود در مقابل آدرس صفحه‌ای که وارد کردید ، تیک قرمز خواهد خورد. همچنین توجه داشته باشید اگر گوگل توانست با صفحه نخست سایت‌تان بدون مشکل ارتباط برقرار کند ، به این معنی است که هیچ گونه مشکلی در این وب سایت شما وجود ندارد.

1. مطمئن شوید صفحه ها سایت‌تان با ارور ۵۰۰ یا ۴۰۴ مواجه نشده باشد. گاهی ممکن است دلیل قطع ارتباط یکی از این ارورها باشد ( بدین منظور می‌توانید در گوگل وب مستر خود به مسیر Crawl Errors > URL Errors بروید و وارد تب Not found شوید ).
2. تنظیمات دی‌ان‌اس سرور خود را بررسی کنید. اگر مشکل خاصی متوجه نشدید آن را با شرکت ارائه دهنده هاست وب سایت خود در میان بگذارید.

۱٫۲ ارور های سرور Server Errors

همان‌گونه که از نام آن پیداست ارور های سرور در گوگل وبمستر زمانی رخ می‌دهند که ربات‌های خزنده‌ گوگل نتوانسته باشند با سرورهای وب سایت شما ارتباط برقرار کنند. برای ارور های سرور نیز باید فوراً اقدام کنید چرا که ممکن است آسیب بزرگی به وب سایت شما برساند.

چه زمانی ارور سرور رخ می‌دهد

هنگامی که ربات‌های خزنده‌ گوگل در صفحه ها وب سایت شما می‌خزند ، مدت زمان خاصی را برای بارگذاری اختصاص می‌دهند. اگر در این مدت بنا به دلایلی که در ادامه بررسی خواهیم کرد ، سرور سایت‌تان پاسخگو نباشد ، علمیات خزش متوقف می‌شود و ارور سرور گزارش داده خواهد شد. اصلی‌ترین دلایل رخ دادن ارور سرور در گوگل وب مستر ، جاری شدن سیل عظیم ترافیک می‌باشد. انواع ارور هایی که سرور اتفاق می‌افتد به شرح زیر است:

• Timeout : وقفه‌ای در ارتباط به وجود آمده و سرور شما در زمان مقرر به درخواست گوگل پاسخ نداده است.
• Truncated headers : گوگل می‌تواند به سرور شما متصل شود اما اتصال قبل از ارسال‌های headers قطع شد.
• Connection reset : سرور شما با موفقیت درخواست گوگل را پردازش کرد. اما هیچ محتوایی را باز نمی‌کند زیرا ارتباط با سرور ریست شده است.
• Truncated response : سرور شما قبل از اینکه گوگل بتواند اطلاعات را کامل دریافت کند ، قطع شده است.
• Connection refused : گوگل نمی‌تواند به سرور وب سایت شما دسترسی پیدا کند زیرا هاست شما ممکن است Googlebot را مسدود کرده باشد و یا مشکلی با تنظیمات فایروال داشته باشد.
• Connect failed : گوگل قادر به اتصال به سرور وب سایت شما نمی‌باشد چون شبکه غیر قابل دسترس است.
• Connect timeout : گوگل نمی‌تواند با سرور وب سایت شما اتصال برقرار کند.
• No response : گوگل می‌تواند به سرور شما وصل گردد اما قبل از ارسال داده‌های مورد نیاز !

چگونه Server Errors را حل کنم

با استفاده از ابراز Fetch as Google مطمئن شوید ربات‌های خزنده‌ گوگل می‌توانند صفحه ها شما را پردازش کند. همانطور که گفته شد برای این کار از صفحه اصلی گوگل وب مستر به منوی crawl رفته و بروی گزینه Fetch as Google کلیک نمایید. سپس در کادر جستجو URL صفحه مد نظر خود را وارد کنید و گزینه FETCH ANA RENDER را بزنید.

1. اطمینان حاصل کنید که هاست وب سایت شما به درستی کار می‌کند یا پنهای باند آن به اتمام نرسیده است.
2. چک کنید که سهواً جلوی دسترسی گوگل را نگرفته باشید. گاهی این اتفاق ممکن است توسط سیستم مدیریت محتوا یا فایروال رخ داده باشد.
3. اگر به تازگی تغییری در خصوص نحوه ایندکس وب سایت خود در موتور جستجوی گوگل اعمال کرده‌اید ، آن را به حالت قبلی بازگردانید.
4. مشکل را به ارائه دهنده هاست خود گزارش کنید.

۱٫۳ ارور Robots failure

این ارور در گوگل وب مستر برای بازیابی فایل robots.txt می‌باشد ؛ قبل از اینکه خزنده‌های گوگل وب سایت شما را مورد بررسی قرار دهند ، حداقل یکبار فایل robots.txt را بازبینی می‌کنند تا از چگونگی خزیده شدن و ایندکس کردن صفحه ها وب سایت شما اطلاع یابند. شما در فایل مذکور می‌توانید رفتار Crawler های موتور جستجو در قبال وب سایت خود را تعیین کنید و به آن‌ها بگویید کدام قسمت از صفحه ها وب‌سایت‌تان را نباید جستجو و ایندکس کنند. بنابراین شما همیشه به یک فایل روبوت نیاز دارید و گوگل نیز وجود آن را الزامی می‌داند، حتی اگر حاوی محتوایی نباشد.

در صورت رخ دادن ارور Robots failure چکار باید انجام دهیم

1. برای حل کردن ارور Robots failure قبل از هرچیزی بررسی کنید که فایل robots.txt به درستی در سایت‌تان پیکربندی شده است ؛ مبادا نام یا آدرس آن دچار تغییری شده  و یا با ارور ۴۰۴ مواجه شده باشد.
2. اطمینان حاصل کنید که گوگل به فایل ربوت دسترسی دارد. گاهی ممکن است یک ارور از سمت سرور و یا تنظیمات فایروال هاست ، فایل Robots را مسدود کرده باشد.

همچنین می‌توانید برای اطمینان از صحت عملکرد از ابزار robots.txt Tester تعبیه شده در کنسول جستجوی گوگل استفاده کنید. برای دسترسی به این ابزار از صفحه گوگل وب مستر وارد منوی crawl شوید و بروی گزینه robots.txt Tester کلیک کنید. درصورت وجود مشکل به شما گزارش داده می‌شود.

۲٫ ارور های آدرس در گوگل وبمستر تولز URL Errors

ارور های URL در گوگل وب مستر زمانی رخ می‌دهند که برخی از صفحه ها سایت‌تان دچار مشکل شده باشند و کل وب سایت را درگیر نمی‌کند. در واقع این ارور به صفحه ها داخلی وب سایت توجه داشته و عدم دسترسی ربات گوگل به آن‌ها را لیست می‌کند. در صورتی که تعداد ارور های موجود در این بخش زیاد و مربوط به صفحه ها مهم سایت‌تان باشد ، می‌تواند برروی سئوی شما تاثیر منفی داشته باشد.

اگر به تازگی تغییرات زیادی در وب سایت خود ایجاد کرده‌اید و آدرس صفحه ها را عوض کرده باشید ، ارور در این بخش بسیار طبیعی می‌باشد. برخی از این ارورها نیز ممکن است مربوط به گذشته بوده و در حال حاضر حل شده باشند. برای عدم نمایش آن‌ها می‌توانید از گزینه Mark as fixed استفاده کنید که در ادامه روش انجام آن را آموزش خواهیم دید.
هنگامی که شما این کار را انجام می‌دهید گوگل وب مستر به صورت موقت آن‌ها را نادیده می‌گیرد اما اگر ارورها بر طرف نشده باشند ، پس از مدتی مجدداً یادآوری خواهد کرد.
به طور کلی با آپدیت کردن مداوم نقشه وب سایت و هرس کردن آدرس‌های آن ، و همچنین ریدایرکت  صفحه ها حذف شده می‌توانید ارور های این قسمت را کاهش دهید. اما اگر می‌خواهید دقیق ارورها را رفع نمایید.

۲٫۱ ارور ۴۰۴

این ارور زمانی رخ می‌دهد که سرور نمی‌تواند منبع درخواستی را پیدا کند. در ارور ۴۰۴ ارتباط با سرور به طور کامل برقرار شده ، اما صفحه یا فایل درخواستی موجود نمی‌باشد ؛ هنگامی که ربات‌های خزنده گوگل اقدام به خزیدن به صفحه‌ای از وب سایت شما می‌کند که حذف شده و یا آدرس آن تغییر کرده ، به کاربر ارور ۴۰۴ می‌دهد و لینک‌های داده شده به صفحه را شکسته طلقی می‌کند.

در چه صورتی با ارور ۴۰۴ مواجه می‌شویم

گاهی اوقات ممکن است ارور ۴۰۴ به صفحه های داده شوند که هرگز وجود نداشته‌اند. این آدرس‌ها ممکن است به دنبال لینک‌های موجود در فایل‌های جاواسکریپت یا فلش یا حتی نقشه وب سایت و… بدست آمده باشند.

گاهی نیز این امکان وجود دارد سایت‌های دیگر عمداً یا سهواً به شما پیوند اشتباهی داده باشند برای مثال  آدرس صفحه شما www.example.com/redshoos است اما مدیر سایتی دیگر به اشتباه آن را به این صورت تایپ کرده است : www.example.com/redshoes در این شرایط می‌بایست با مدیر وب سایت تماس گرفته و از او خواهش کنید تا مشکل به وجود آمده را اصلاح کند.

همچنین گاهی وجود محتوای جعلی یا ریدایریکت بیش از حد و بی‌جهت صفحه ها باعث می‌شود گوگل نتواند ساختار وب سایت شما را درک کند.

ارور های ۴۰۴ چگونه قابل رفع هستند

اطمینان حاصل کنید که صفحه شما منتشر شده باشد و در حالت پیش نویس یا خصوصی نباشد.

1. مطمئن شوید آدرس صفحه تغییر نکرده باشد.
2. بررسی کنید ارور ۴۰۴ در صفحه مد نظر با آدرس با www نشان می‌دهد یا بدون www همچنین HTTP در مقابل HTTPS.
3. نقشه وب سایت خود را مداوم به‌روز کنید و آدرس صفحه های که پاک کرده‌اید را از روی آن حذف نمایید.
4. اگر نمی‌خواهید صفحه مورد نظر را احیا کنید با استفاده ریدایرکت ۳۰۱ آدرس صفحه را به صفحه جدید منتقل کنید.

البته لازم به ذکر است برای جلوگیری از نمایش ارور های ۴۰۴ قدیمی پس از مدتی خوده گوگل وب مستر آنها را حذف می‌کند اما برای عدم گزارش آن‌ می‌توانید به روش زیر عمل کنید:

۱٫ برای مشاهده صفحه های که دچار ارور ۴۰۴ شده‌اند در گوگل وب مستر به مسیر Crawl Errors > URL Errors بروید و وارد تب Not found شوید.

۲٫ سپس روی آدرس صفحه مورد نظر کلیک کنید و در پنجره باز شده بروی Linked form کلیک نمایید.

۳٫ حال باید تمام لینک‌هایی که به این صفحه داده شده‌اند را از صفحه ها وب سایت خود و حتی سایت‌های دیگر حذف کنید. این کار یک مقدار دشوار است. اگر کاربر وردپرس هستید میتوانید از افزونه Broken Link Checker استفاده نمایید.

آیا خطاهای ۴۰۴ در سئو تاثیر بدی دارند

گوگل صراحتا طبق بیانیه ای اعلام کرده است که صفحه ها ۴۰۴ جزیی از اینترنت محسوب می شوند و یکی از بهترین راهکارهای اعلام به گوگل در هنگام پاک شدن یک یو آر ال می باشند، اما در حالت کلی برای سئو مطلوب نیستند.

وقتی یک لینک کاربران را به سمت صفحه ای که حاوی خطای ۴۰۴ است می کشاند، گوگل اینطور تشخیص می دهد که این صفحه دیگر موجود نیست و آن را پس از مدتی از ایندکس خود خارج می کند. این مسئله موجب از بین رفتن ارزش آن لینک و بک لینک های آن نیز می گردد.

با افزایش پاک شدن صفحه ها با ارزش سایت، پیج رنک وبسایت و قدرت دامنه آن کاهش یافته و در نتیجه موجب کاهش رتبه سایت در نتایج جستجو می گردد. به همین دلیل لازم است که این گونه صفحه ها با ارزش را به صفحه ها موجود دیگری ریدایرکت کنید.

به گفته یکی از کارمند گوگل ، سوزان موسکوا:

“ بهترین راه برای جلوگیری از موردجستجو قرار گرفتن آدرس‌ها و نقشه‌های قدیمی سایت توسط روبات گوگل ، این است که آنها را تبدیل به ۴۰۴ کنید. اگر ما ببینیم که آدرسی بطور پی در پی ۴۰۴ می شود ، از جستجو کردن آن دست می کشیم و سپس جستجوی نقشه سایت را متوقف می کنیم ، این کار را از تب all sitemaps انجام دهید “.

۲٫۲ ارور Soft 404

همانطور که می‌دانید اگر کاربر آدرس صفحه‌ای را که حذف شده و یا آدرس آن تغییر کرده باشد وارد کند ، سرور به او ارور ۴۰۴ نشان می‌دهد. این ارور از طرف مرورگر و موتورهای جستجو کاملا قابل تشخیص است درحالی که ارور ۴۰۴ soft تنها برچسبی است که موتورهای جستجو و گوگل به برخی از صفحه ها شما می‌دهند ؛ در واقع هنگامی که صفحه‌ای وجود نداشته باشد.

اما سرور به اشتباه صفحه دیگری( با محتوای کم و غیر قابل استفاده ) را نمایش دهد ، در گوگل وب مستر ارور ۴۰۴ soft رخ می‌دهد.
اهمیت این ارور نسبت به ارور ۴۰۴ بسیار بیشتر است زیرا باعث می‌شود موتورهای جستجو بیشتر وقت خود را صرف ایندکس صفحه ها و آدرس‌های غیر موجود در وب سایت شما کنند. بنابراین پیشنهاد می‌کنیم همیشه آن‌ها را جدی بگیرید.

چطور با ارور soft 404 مقابله کنیم

برای صفحه های که وجود ندارند :

1. تنظیمات وب سایت خود را در خصوص صفحه ها حذف شده تغییر دهید و آن‌ها را با پیغام ارور ۴۰۴ ( یافت نشد ) یا ارور ۴۱۰ ( صفحه پاک شده ) نمایش دهید.
2. با استفاده از ریدایرکت ۳۰۱ آدرس صفحه ها پاک شده را به صفحه جدید یا صفحه اصلی وب سایت خود منتقل کنید.
3. توجه داشته باشید در صورتی که صفحه دیگری با محتوای مشابه دارید ، بهتر است صفحه قدیمی را به روی آن ریدایرکت کنید.

همچنین برای صفحه های که قرار است نگهدارید قبل از هرچیزی مطمئن شوید محتوای مناسبی در صفحه وارد کرده‌اید. گاهی ارور ۴۰۴ soft در گوگل وب مستر به علت کم بودن محتوا به‌وجود می‌آید ؛ حداقل تعداد محتوای تولید شده مناسب ۳۰۰ کلمه می‌باشد.

۲٫۳ ارور Access denied

در حالت عادی خزنده‌های گوگل با دنبال کردن لینک‌ها از صفحه‌ای به صفحه دیگر وب سایت شما منتقل می‌شوند و محتوای آن‌ها را جمع‌آوری می‌کنند. اما در صورتی که به علت ممنوع بودن دسترسی به یک صفحه نتوانند آن را بارگذاری کنند ، ارور Access denied در گوگل وب مستر نمایش داده می‌شود. این مشکل عموما به دلیل وجود صفحه ها لاگین به وجود می‌آید و مانع از نمایش قسمتی یا تمام محتوای صفحه می‌شود.

چطور ارور Access denied را رفع کنم

1. فایل robots.txt را چک کنید تا مطمئن شوید که از ایندکس صفحه ها لاگین جلوگیری شده است. اگر قبلا آن‌ها را اضافه نکرده‌اید حتما این کار را انجام دهید.
2. با استفاده از ابزار robots.txt tester هشدارها و ارور های موجود در فایل robots.txt  را بررسی کنید.
3. با کمک ابزار Fetch as Google در گوگل وب مستر چک کنید که خزنده‌های گوگل چگونه صفحه مورد نظر شما را می‌بیند.
4. با استفاده از Screaming Frog درخواست‌های( requires ) وب سایت خود را بررسی کنید و مشکلات  را بر طرف نمایید.

۲٫۴ ارور Not followed

ارور Not followed به این معنی است که گوگل نمی‌تواند برخی از URLهای شما را دنبال کند ( با nofollow لینک‌ها اشتباه گرفته نشود ). اغلب دلیل به وجود آمدن این ارور به دو علت می‌باشد :

• فایل‌های جاوا اسکریپت و فلش و …

برخی از ویژگی‌ها مانند فایل‌های جاوا اسکریپت و فلش ، کوکی‌ها و  session ID ها و DHTML می‌توانند عملیات خزش خزنده‌های گوگل در وب سایت شما را سخت کنند. با کمک ابزار Fetch as Google در گوگل وب مستر یا یک مرورگر متن مانند lynx وب سایت خود را بررسی کنید ؛ این ابزارها بسیار کارآمد هستند و کمک شایانی برای از بین بردن این ارور می‌کنند چرا که بسیاری از موتورهای جستجو سایت‌ها این‌گونه می‌ببینند.

• ریدایرکت‌ها

1. صفحه ها‌تان را با یک روش صحیح ریدایرکت کنید.
2. در صورت امکان لینک‌های مطلق را جایگزین لینک‌های نسبی کنید ؛ به‌عنوان مثال هنگام پیوند دادن به صفحه دیگری از وب سایت خود به شکل www.example.com/mypage.html لینک دهید ، به جای mypage.html
3. مطئمن شوید ریدایرکت‌های خود را به صفحه های با URLهای نامعتبر انجام نداده باشید !
4. لینک صفحه‌هایی را که ریدایرکت کرده‌اید در نقشه وب سایت وارد نکنید.

۲٫۵ ارور Faulty redirect

برخی از سایت‌ها برای کاربران کامپیوتر و موبایل از URLهای متفاوتی استفاده می‌کنند ؛ برای مثال اگر آدرس وب سایت  example.com باشد ، افرادی را که با گوشی به وب سایت مراجعه می‌کنند به m.example.com هدایت می‌شوند. ارور Faulty redirect در گوگل وب مستر زمانی اتفاق می‌افتد که یک صفحه دسکتاپ به اشتباه برروی آدرس صفحه اصلی مختص موبایل ریدایرکت شود. این ارور موجب می‌شود کاربران نتوانند در بین صفحه ها وب سایت شما گردش داشته باشند و نهایتاً از آن خارج گردند ! برای متوجه شدن موضوع به تصویر زیر نگاهی بیندازید :

در صورت بروز گوگل برای شما یک پیغام ارسال خواهد کرد و همچنین در گوگل وب مستر به مسیر Crawl > Crawl Errors و در تب Smartphones  به نمایش گذاشته می‎شود.

به منظور رفع ارور Faulty redirect قبل از هر چیزی تنظیمات مربوط به جداسازی URL های موبایل و دسکتاپ را چک کنید و از درست بودن آن اطمینان حاصل نمایید. این کار عموماً از طریق فایل htaccess انجام می‌پذیرد. اما پیشنهاد اصلی گوگل در این زمینه  این است که با استفاده از طراحی ریسپانسیو وب سایت را به یک شکل برای کاربران موبایل و دسکتاپ نمایش دهید.

۲٫۶ ارور URLS blocked for smartphones

این ارور بدین معناست که URL یک یا چند صفحه از وب سایت شما در دستگاه‌های تلفن همراه هوشمند برای ربات‌های خزنده گوگل از طریق فایل robots.txt مسدود شده است. ارور در گوگل وب مستر به مسیر Crawl> Crawl Errors و در بخش URL Errors نمایش داده می‌شوند. البته گوگل می‌گوید لزوماً این ارور تنها در موبایل اتفاق نمی‌افتد و ممکن است صفحه ها برروی دسکتاپ هم مسدود شوند. به هرحال اگر این ارور را در گوگل وبمستر خود دریافت می‌کنید باید نگاهی به فایل robots.txt وب سایت خود انداخته و بررسی کنید جلوی دسترسی ربات‌های خزنده را به صفحه ها مسدود شده ، نگرفته باشید.

۲٫۷ ارور Flash content

از آنجا که در نسخه‌های جدید سیستم عامل IOS و اندروید از فلش پشتیبانی نمی‌شود ، الگوریتم‌های گوگل لیستی از URLهایی که مقادیر زیادی فلش می‌باشد را لیست می‌کند و در گوگل وب مستر به مسیر Crawl > Crawl Errors و در تب Smartphones به عنوان ارور flash content نمایش می‌دهد. گوگل توصیه می‌کند تجربه کاربری وب سایت خود را با بهره‌گیری از طراحی ریسپانسیو توسعه دهید.

همچنین دقت داشته باشید هر رویکردی که برای طراحی وب سایت دارید ، باید اجازه دهید ربات‌های خزنده گوگل به فایل‌های جاوا اسکریپ، CSS و تصاویر دسترسی داشته باشد و آن‌ها را با robots.txt یا روش‌های دیگر مسدود نکنید. چرا که الگوریتم‌های گوگل به این فایل‌ها برای شناسایی پیکربندی طراحی وب سایت نیاز دارد.

۲٫۸ ارور Article disproportionately short و ارور  Article too short

قسمت اصلی مقاله شما را که گوگل از محتوای HTML استخراج کرده است ، بسیار کوتاه می‌باشد. این ارور در گوگل وبمستر اکثراً مربوط به  صفحه ها خبرنامه یا صفحه‌هایی که حاوی محتوای چندرسانه‌ای هستند می‌باشد. برای رفع این مشکل پیشنهاد می‌کنم محتوای مرتبط به مقاله را به صفحه مربوطه اضافه کنید.

۲٫۹ ارور Article fragmented و  ارور No sentences found

ارور Article fragmented در گوگل وبمستر زمانی رخ می‌دهد که محتوای شما شامل پاراگراف‌ها نباشد. هر پاراگراف موجود در متن مقاله باید حدوداً ۶ – ۷ جمله و حداکثر دارای ۱۵۰ کلمه باشد ؛ به این معنی که نه خیلی کوتاه و نه خیلی طولانی باشد.
در صورتی که نکات فوق را رعایت کرده‌اید و فکر می‌کنید متن محتوای‌تان مشکلی ندارد، کدهای HTML متن را نیز یکبار مورد بررسی قرار دهید و مطمئن شوید که از تگ‌های < br > و < p > به درستی استفاده کرده‌اید.

۲٫۱۰ ارور Article too long

گوگل وبمستر می‌گوید محتوای این صفحه خیلی طولانی می‌باشد ! از علل رخ دادن این ارور می‌تواند مربوط به قالب وب سایت شما باشد که حاوی متونی افزون بر مقاله اصلی شماست ؛ که بهتر است آن‌ها را حذف نمایید. و یا ممکن است نظرات کاربران نیز در کنار مقاله توسط گوگل ایندکس شده باشد ؛ برای رفع این مشکل می‌توانید بخش نظرات وب سایت را در iframe قرار دهید یا با استفاده از تکنولوژی AJAX آن‌ها در لحظه بارگذاری کنید.

۲٫۱۱ ارور Date not found

نمایش این ارور در گوگل وبمستر بدین معناست که موتور جستجو نمی‌تواند تاریخ انتشار صفحه های که لیست شده‌اند را پیدا کند.( احتمال بروز ارور Date not found در سیستم‌های مدیریت محتوا مانند وردپرس بسیار کم می‌باشد مگر در موارد خاص ).

اگر از متا تگ‌ها استفاده می‌کنید باید تگ date را در بخش < head > وب سایت خود به کار ببرید. نحوه استفاده از این متا تگ به شکل زیر می‌باشد :

<meta name="date" content="YYYY-MM-DD">

تاریخ را طبق استاندارد W3C تاریخ و زمان را وارد نمایید ؛ یعنی به‌صورت YYYY – MM – DD یا با تاریخ کامل به همراه دقیقه و ثانیه و نیز منطقه زمانی YYYY – MM – DDThh : mm : ssTZD.

۲٫۱۲ ارور Data too old

این ارور بیان‌گر قدیمی بودن تاریخ انتشار مقاله می‌باشد ؛ گوگل نیوز تنها مقالات خبری را که تاریخ انتشارشان حداکثر برای ۲ روز گذشته باشند ، جمع‌آوری می‌کند.

۲٫۱۳ ارور Empty article

گوگل نتوانسته محتوایی از مقاله شما استخراج کند. ابتدا مطمئن شوید متن مقالات شما در کد منبع ( source code ) موجود باشد. گاهی ممکن است محتوای نوشته شما در فایل جاوا اسکریپت یا iframe جاسازی شده باشد. در گام بعدی چک کنید با ویژگی‌های ” display : none ” یا ” visibility : hidden ” در CSS متن نوشته را پنهان نکرده باشید.

۲٫۱۴ ارور Extraction failed

این ارور در وبمستر بیان می‌کند گوگل قادر نیست متن، عنوان و تاریخ انتشار محتوای مقاله شما را شناسایی کند و در Google News منتشر کند. ابتدا از صحت اطلاعات وارد شده مطمئن  شوید و سپس آن را در نقشه وب سایت news ارسال نمایید.

۲٫۱۵ ارور Off-site redirect

صفحه مقاله به یک آدرس دیگر ریدایرکت می‌شود. تمام صفحه ها و مقالات باید در دامنه وب سایت وارد شده به گوگل نیوز باشد. اگر به سایت‌های دیگر ریدایرکت نکرده‌اید ، مطمئن شوید سایت‌تان توسط شخص دیگری دستکاری نشده باشد ؛ بدین منظور می‌توانید آموزش گوگل را در خصوص سایت‌های هک شده بخوانید.

۲٫۱۶ ارور Page too large

ارور Page too large همان‌طور از نام آن پیداست بیانگر طولانی و سنگین بودن طول مقاله یا صفحه است ؛ منبع ( source ) صفحه HTML باید حداکثر ۲۵۶ کیلوبایت حجم داشته باشد.

۲٫۱۷ ارور Title not allowed

عنوانی که گوگل از مقاله شما استخراج می‌کند ، معتبر نیست ! اغلب می‌توان با استفاده از تگ < title > و استفاده از کلمات کلیدی ، همچنین بکار بردن آن در تگ‌های H این مشکل را حل کرد.

۲٫۱۸ ارور Title not found

این ارور بدین معناست که گوگل نتوانسته عنوان مقاله شما را پیدا کند ؛ با استفاده از متا تگ < title > در بخش head وب سایت ، این ارور را رفع کنید !

۲٫۱۹ ارور Uncompression failed

ربات خزنده اخبار گوگل ( Googlebot – News ) متوجه شد که صفحه خود را فشرده کرده‌اید اما قادر به استفاده از آن نیست ! این ارور می‌تواند به علت ارور سرور یا برنامه نویسی باشد.

جمع بندی

ابزار گوگل وبمستر به شما کمک می‌کند اطلاعات مفیدی را در مورد وب سایت خود و افرادی که از آن بازدید می کنند ، بدست آورید. برخی از این اطلاعات مربوط به ارورها و مشکلات وب سایت شما می‌باشد. به جای اینکه منتظر باشید تا فردی وجود مشکل را به شما اطلاع دهد از کنسول جستجوی گوگل استفاده کنید و ارور های Crawl Errors موجود را کشف نمایید.