دیر ایندکس شدن صفحات وبسایت در گوگل میتواند به عنوان یک چالش برای وبسایتهای جدید و برای وبسایتهایی با مسائل مربوط به سئوی تکنیکال یا کیفیت محتوا باشد. این مقاله به شما کمک میکند تا دلایل بالقوهی اینکه چرا ممکن است گوگل با ایندکس شدن سایت شما مشکل داشته باشد را بیابید. گاهی اوقات این مسائل میتواند سریع برطرف شود، اما زمانهایی وجود دارد که باید عمیقتر شوید تا علت اصلی ایندکس نشدن صفحات سایت خود را بیابید. بنابراین در این مقاله دلایل ایندکس نشدن سایت و همچنین مشکلاتی که باعث دیر ایندکس شدن سایت در گوگل میشود را بررسی میکنیم.
دلایل رایج ایندکس نشدن سایت توسط گوگل
در صورتی که صفحات شما یک کد پاسخ سرور 200 (OK) را ایجاد نکنند، انتظار نداشته باشید موتورهای جستجو آنها را ایندکس کنند (OK یا پاسخ موفق، زمانی است که درخواست در وب سرور با موفقیت پردازش شود و محتوا را به مرورگر بازگرداند، اکثرا درخواست های http در این وضعیت هستند). گاهی اوقات URLها که به طور تصادفی ریدایرکت میشوند خطاهای 404 یا 500 بسته مسائل CMS، مسائل مربوط به سرور یا خطای کاربر ایجاد میکنند. برای اطمینان از اینکه URL برای صفحه شما به درستی بارگذاری شده، یک بررسی سریع انجام دهید. اگر آدرس صفحه بارگذاری میشود و شما آن را می بینید، احتمالا خوب است. اما میتوانید همیشه URLهایی را از طریق HTTPStatus.io برای تأیید راهاندازی کنید.
فایل /robots.txt در وبسایت شما (به عنوان مثال در http://www.domain.com/robots.txt واقع شده) دستورات خزیدن (کراول) به گوگل میدهد. اگر صفحه خاصی از وبسایت شما توسط گوگل ایندکس نشده، اینجا اولین مکانی است که باید بررسی کنید. در صورتی که صفحهای بر روی سایت قبلا ایندکس شده است و اکنون توسط robots.txt مسدود شده است، گوگل ممکن است پیامی نشان دهد مبنی بر اینکه «صفحه در دسترس نیست به این دلیل که فایل robots.txt در URL قرار دارد». پیام در تصویر زیر نشان داده شده است:
یکی دیگر از دلایل رایج اینکه چرا ممکن است صفحات در گوگل ایندکس نشوند این است که ممکن است متا تگ « noindex» در <head> صفحه داشته باشید. هنگامی که گوگل این متا تگ robots را میبیند یک دستور واضح است که نباید صفحه را ایندکس کند. گوگل همیشه به این دستور احترام میگذارد و میتواند به چند شکل بسته به نحوه کد گذاری آن باشد:
در اینجا نمونه ای از اسکرین شات آورده شده است در مورد آنچه که در <head> یک صفحه میتواند به نظر برسد:
برای بررسی اینکه صفحه شما آیا دارای متا تگ رباتهای noindex است، منبع کد را مشاهده کنید و کد را در <head> دنبال کنید. اگر وبسایت شما با جاوا اسکریپت رندر شده است، ممکن است لازم باشد از ویژگی Inspect Element گوگل کروم برای مشاهده <head> به طور صحیح استفاده کنید.
شبیه متا تگ robots، یک تگ X-robots توانایی کنترل کردن ایندکس شدن در گوگل را از طریق یک تگ سطح صفحه (page-level tag) فراهم میکند. با این حال، این تگ در هدر پاسخ یک صفحه خاص یا سند استفاده میشود. این تگ معمولا بر روی صفحات غیر HTML استفاده میشود که هیچ <head> وجود ندارد مانند فایلهای PDF، فایلهای DOC و سایر فایلهایی که وبمستران مایل نیستند در گوگل ایندکس شود.
تکرار محتوای داخلی یک ریسک برای هر سئو کاری است. محتوای تکراری داخلی ممکن است باعث شود گوگل صفحه شما را ایندکس نکند، اما نسبتهای زیاد محتوای تکراری در صفحات شما احتمالا باعث خواهد شد که رتبهبندی خوبی نگیرید. بنابراین اگر صفحه خاصی دارید که مقدار زیادی محتوای مشابه با صفحه دیگر در سایت شما دارد ممکن است این دلیلی باشد که صفحه شما در گوگل ایندکس نشده و یا رتبهبندی خوبی نگیرد.
برای بررسی محتوای داخلی تکراری، پیشنهاد میشود که از ابزار Siteliner برای کراول شدن وبسایت خود استفاده کنید. این ابزار به شما همه صفحات با محتوای تکراری را گزارش میدهد و همچنین به شما یه نمایه گرافیکی از اینکه چند محتوا بر روی وبسایت شما تکرار شده است را نشان میدهد.
گوگل به وضوح در راهنمای کنسول جست و جو ی خود بیان میکند که وبسایتها باید محتوای مشابه را به حداقل برسانند. ممکن است که صفحاتی بر روی سایت با محتوای بسیار مشابه بتوانند هنوز تا حدی رتبه بگیرند، با این حال صفحاتی که دقیقا محتوای مشابهی دارند احتمالا از نتایج جستجوی گوگل به سرعت جدا خواهند شد. این صفحات ممکن است از نتایج جستجو تحت اطلاعیهای مانند زیر حذف شوند:
محتوای تکراری خارجی بدان معناست که ممکن است محتوای وبسایت شما از دیگر وبسایتها کپی شده باشد. نسبتهای زیاد محتوای تکراری یک نشانه مطمئن برای گوگل از محتوایی با کیفیت پایین است و باید با هر هزینهای از آن دوری کرد. مهم نیست که آیا وبسایت شما یک سایت بازاریابی با تولید مشتری راغب (lead generation)، فروشگاه تجارت الکترونیک، پلتفرم انتشار آنلاین یا وبلاگ شخصی است، برای همه قواعد مشابه اعمال میشود.
یک راه برای تشخیص دادن اینکه محتوای شما با سایتهای دیگر تکراری است این است که یک اسنیپت از محتوا را به صورت نقل قول در جستجوی گوگل قرار دهید که نشان میدهد به عنوان مثال توضیحات محصولی با تعدادی از دیگر سایتها تکراری است. اما لازم به ذکر است که برندهای معتبر احتمالا در نتایج جستجوی گوگل با محتوای تکراری رتبه خوبی خواهند داشت. با این حال، سایتهایی با اعتبار کمتر ممکن است به طور کامل ایندکس نشوند و یا رتبه خوبی با محتوای تکراری مانند توضیحات محصول ارائه شده توسط تولید کننده در سایت آن نگیرند.
برای بررسی محتوای تکراری خارجی، پیشنهاد میشود که از Copyscape برای اینکه نقشه سایت شما یا یک مجموعه خاصی از URLها کراول میشوند یا نه استفاده کنید. این ابزار یک گزارش بسیار مفید در مورد محتوای تکراری سایت شما نسبت با سایتهای دیگر را گزارش میدهد. در تصویر زیر اسکرین شات از آن چیزی است که نشان داده میشود.
بلیغات درون متنی/
اگر تمایل دارید خدمات درب شیشه ای ، راهبند ، دوربین مدار بسته و کرکره برقی را به بهترین قیمت و با کیفیت ترین خدمان نصب را در تهران و کل ایران داشته باشید با شرکت قائم درب تماس بگیرید.
تبلیغات درون متنی
همچنین ممکن است یک صفحه خاص یا کل وبسایت شما بسیار بد باشد تا آنجا که ارزش کافی برای ایندکس شدن از نظر گوگل را نداشته باشد. برای مثال سایتهای همکاری در فروش (affiliate sites) که چیزی جز تبلیغات پویا ایجاد نمیکنند برای کاربر ارزش کمی دارد. گوگل الگوریتم خود را برای جلوگیری از رتبهبندی چنین سایتهایی تصحیح کرده است.
وبسایتهای جدید توسط گوگل و موتورهای جستجوی دیگر به سرعت ایندکس نمیشوند. از لینکها و سایر سیگنالها، گوگل ایندکس میکند و بنابراین یک وبسایت در نتایج جستجویش رتبه میگیرد. به همین دلیل است که ساخت لینک یا لینک بیلدینگ به ویژه برای وب سایت های جدید بسیار مهم است.
اگر سایتی دارید که صفحات آن بسیار آهسته بارگذاری میشوند و مشکل آنها برطرف نشده گوگل رتبه شما را کاهش داده و حتی ممکن است از فهرست جستجوی موتور خود آن را خارج کند. به طور کلی، صفحه به سادگی رتبه آن پایین میآید اما به بدی آن نیست که اصلا ایندکس نشود.
برای بررسی زمان بارگذاری صفحه میتوانید از ابزار Google’s Page Speed Insights یا ابزار GTMetrix استفاده کنید. در تصویر زیر نمونهای از گزارش که توسط ابزار گوگل ارائه شده نشان داده شده است:
گوگل، وبسایت شما (و نقشه سایت XML) را برای یافتن لینکهایی به مطالب شما، بروز رسانی ایندکس خود کراول میکند و رتبهبندیهای سایت شما در نتایج جستجوی خود (از جمله عوامل دیگر) تحت تأثیر قرار میدهد. اگر گوگل نتواند لینکی را به مطالب شما یا بر روی سایت شما یا یک سایت خارجی پیدا کند، در نتیجه برای گوگل وجود ندارد و آن ایندکس نخواهد شد. صفحات بدون لینکهای داخلی به عنوان صفحات یتیم نامیده میشوند و آنها میتوانند دلیل کاهش ایندکس در گوگل باشند. برای تعیین اینکه صفحه یا صفحات شما قابل یافتن هستند، پیشنهاد میشود برای کراول شدن سایت خود از ابزاری مانند Screaming Frog استفاده کنید و سپس برای URLهای خاص در سؤال جستجو کنید. در اینجا مثالی از آنچه که میبینید آورده شده است:
یک روش قویتر برای بررسی صفحات یتیم این است که URLها را از Screaming Frog crawl فرستاده و یک صفحه گستردهای تهیه کنید که URLها با نقشه سایت XML همگام سازی شوند. این امر به شما اجازه خواهد داد فوری همه URLهایی که در نقشه سایت XML شما وجود دارند را شناسایی کنید اما در طی کراول کشف نمی شوند. به یاد داشته باشید که تنظیمات کراول شما میتواند امر کند که URLها کراول شوند.
دلایل دیر ایندکس شدن سایت
اگر ساختار و طراحی سایت به گونهای باشد که گوگل نتواند لینکهای مورد استفاده شما را در سایت پیدا کند و همچنین برای یافتن محتوای سایت شما دچار مشکل شود، بنابراین ایندکس شدن سایت شما با مشکل روبرو خواهد شد. بسیاری از تکنولوژی های مرتبط با وب نیز ممکن است چنین اختلالی را در سایت شما ایجاد کنند، این موضوع باید توسط برنامه نویس سایت مورد بررسی قرار گیرد و رعایت شود.
صفحات وبسایت شما باید حداقل به یکی دیگر از صفحات موجود در وبسایت یا وبسایتهای دیگر لینک شوند. موتورهای جستجوگر در نتایج خود، صفحاتی را که به صفحهای داخلی همان سایت یا صفحهای خارجی (سایت دیگر) لینک نمیشوند را ایندکس نخواهند کرد. به این دلیل که گوگل به راحتی آن صفحه را پیدا نمیکند و نمیتواند تغییرات آن را دنبال کند.
در صورتی که سرعت بارگذاری صفحات سایت شما کند باشد، گوگل به جای ایندکس کردن سایت شما به سراغ سایتهای دیگری میرود که سریع بارگذاری میشوند و محتوای آنان را ایندکس میکند.
با توجه به اینکه روزانه میلیونها مطلب، ویدئو، تصویر و غیره به اینترنت اضافه شده، برای نمایش بهتر آنها در نتایج موتور جستجو باید توسط خزندههای موتور جستجو مورد بررسی قرار گیرند، از این رو داشتن نقشه سایت امری ضروری است. بنابراین در صورت نداشتن نقشه سایت، گوگل خودش تصمیم میگیرد که با چه سرعتی صفحات سایت شما را کاوش کند و اگر تناوب بروزرسانی سایت شما کم باشد، در صورت تعریف نکردن نقشه سایت، باعث دیر ایندکس شدن مطالب سایت میشود. لازم به ذکر است که سایتهای خیلی بزرگ که مطالب زیادی دارند برخی مواقع توصیه میشود به جای استفاده از نقشه سایت اجازه دهند تا گوگل خودش مطالب را ایندکس کند.
نقشه سایت یا Sitemap یکی از قسمتهای بسیار مهم برای ایندکس شدن صفحات وبسایت است، با کمک نقشه سایت میتوانید صفحات وبسایت خود را به منظور اطلاع رسانی به گوگل و دیگر موتورهای جستجو، فهرست کنید تا رباتهای گوگل وبسایت شما را با دقت بیشتری بررسی کنند. همچنین هر زمان که محتوای یک صفحه تغییر میکند باید نقشه سایت هم تغییر کند، اما بسیاری از مدیران سایتها به جای نقشه سایت پویا، یک فایل استاتیک و ثابت را به عنوان Sitemap خود به گوگل معرفی میکنند و این همان دلیلی است که صفحات شما یا دیر ایندکس میشوند و یا ایندکس نخواهند شد.
اگر وبسایت خود را به طور مکرر با محتوای باکیفیت بروزرسانی کنید، موتورهای جستجو به سایت شما علاقه مند خواهند شد. به طور کلی موتورهای جستجو بروزرسانی منظم را دوست دارند و توجه ویژهای به محتوای سایت دارند. موتور جستجوی گوگل سرعت خزنده خود را با سرعت بروزرسانی اطلاعات سایت شما وفق میدهد؛ بدین صورت که اگر روزی یک مطلب در سایت خود بگذارید خزنده گوگل هم روزی یکبار به سایت شما سر خواهد زد و اگر روزی 10 مطلب در سایت خود بگذارید خزنده گوگل هم سرعت خود را افزایش میدهد تا بتواند مطالب سایتتان را ایندکس کند. بنابراین تناوب ایندکس شدن مطالب سایت، به تناوب بروزرسانی سایت شما بستگی دارد.
ممکن است برای شما پیش آمده است که به دلیل ایجاد مشکلاتی در سرور و یا اختلالهایی در تنظیمات DNS دامنه پیامی مبنی بر عدم دسترسی ربات گوگل به سایت در پنل مدیریت کنسول جستجوی گوگل دیده باشید. این قبیل مشکلات حتما بر روی ایندکس شدن صفحات سایت تأثیر خواهند گذاشت. اما اگر در مدت زمان کوتاهی و سریع این مشکلات را برطرف کنید دسترسی رباتهای گوگل به صفحات سایت شما ممکن شده و با بازخوانی مجدد، ایندکس مطالب را انجام خواهند داد. لازم به ذکر است در صورت رفع نکردن مشکل، گوگل سایت شما را از نتایج خود حذف میکند تا زمانی که سایت دوباره به عالت عادی برگردد که در اینصورت ممکن است مدت زمانی طول بکشد تا سرعت ایندکس شدن صفحات به حالت قبل برگردد.