قهر گوگل با سایت‌های ایرانی؛ دور شدن ربات‌های گوگل از سایت‌های داخلی و بحران سئو و ایندکس

حدود ۸۰ روز از اختلال گسترده اینترنت در ایران می‌گذرد. اختلالی که در ابتدا تصور می‌شد شکل قطعی مقطعی داشته باشد، اما طولانی شد و حالا تبعات پنهان‌تر و عمیق‌تر آن آرام‌آرام خودش را نشان می‌دهد. این بار موضوع فراتر از باز نشدن چند سایت یا دشواری استفاده از شبکه‌های اجتماعی است؛ بحران تازه، مستقیما قلب اقتصاد دیجیتال ایران را هدف گرفته است. جایی که گوگل، موتور جست‌وجوی اصلی جهان، کم‌کم ارتباطش را با بخش بزرگی از سایت‌های ایرانی از دست می‌دهد. در ظاهر، بسیاری از سایت‌ها هنوز باز می‌شوند.

فروشگاه‌ها کار می‌کنند، خبرگزاری‌ها مطلب منتشر می‌کنند و مدیران سایت‌ها هم هر روز محتوای تازه روی خروجی می‌گذارند. اما پشت صحنه، اتفاق دیگری جریان دارد. ربات‌های گوگل به بسیاری از هاست‌های داخلی دسترسی ندارند، نقشه سایت‌ها خوانده نمی‌شود، گواهی‌های امنیتی تمدید نمی‌شوند و بخشی از وب فارسی آرام‌آرام از حافظه اینترنت جهانی حذف می‌شود. کارشناسان سئو و مدیران فنی می‌گویند آنچه امروز رخ می‌دهد، شبیه خاموشی تدریجی یک شهر بزرگ در نقشه گوگل است. شهری که ساختمان‌هایش هنوز سر جایشان هستند، اما راه‌های منتهی به آنها بسته شده است.

وقتی گوگل‌بات پشت در می‌ماند

مهم‌ترین بحران این روز‌های سایت‌های ایرانی، دشواری دسترسی «گوگل‌بات»‌ها به سرور‌های داخلی است. گوگل برای ایندکس کردن صفحات، از ربات‌هایی استفاده می‌کند که مدام سایت‌ها را بررسی می‌کنند. این ربات‌ها اگر به سرور دسترسی نداشته باشند، عملا متوجه تغییرات جدید سایت نمی‌شوند. در هفته‌های اخیر، بسیاری از مدیران سایت‌ها متوجه شده‌اند صفحات تازه‌شان دیر ایندکس می‌شود یا اصلا وارد نتایج جست‌و‌جو نمی‌شود.

بعضی سایت‌ها نیز بخشی از صفحات قدیمی خود را از نتایج گوگل از دست داده‌اند. مشکل زمانی پیچیده‌تر می‌شود که سایت‌ها ترکیبی از هاست داخلی و خارجی دارند. مدلی که در سال‌های اخیر میان کسب‌وکار‌های ایرانی رایج شده بود. معمولا فایل‌ها روی سرور داخلی قرار می‌گرفت و بخشی از خدمات مانند CDN، دیتابیس، تصاویر یا ابزار‌های تحلیلی روی سرور خارجی فعال بود. اکنون ارتباط این دو بخش دچار اختلال شده و تبادل اطلاعات میان آنها به‌درستی انجام نمی‌شود. در چنین شرایطی، گوگل هنگام بررسی سایت با پاسخ‌های ناقص روبه‌رو می‌شود. بخشی از محتوا بارگذاری می‌شود و بخشی دیگر از دسترس خارج می‌ماند. نتیجه هم چیزی جز کاهش اعتبار سایت نزد موتور جست‌و‌جو نیست.

مرگ آرام «کرول باجت»

در دنیای سئو مفهومی وجود دارد به نام «کرول باجت». گوگل برای هر سایت، سهم مشخصی از زمان و منابع خود را اختصاص می‌دهد تا صفحات آن را بررسی کند. اگر ربات‌های گوگل هنگام مراجعه به سایت مدام با خطا، کندی یا قطعی روبه‌رو شوند، این سهم روزانه به‌تدریج کاهش پیدا می‌کند. به زبان ساده، گوگل ترجیح می‌دهد وقتش را صرف سایت‌هایی کند که پایدار، سریع و در دسترس هستند. کارشناسان می‌گویند بسیاری از سایت‌های ایرانی در هفته‌های اخیر عملا کرول باجت خود را از دست داده‌اند.

این اتفاق شاید در روز‌های اول دیده نشود، اما در بلندمدت فاجعه‌بار است. سایتی که دیر ایندکس شود، در نتایج جست‌و‌جو افت می‌کند. افت رتبه یعنی کاهش بازدید. کاهش بازدید هم در نهایت به افت فروش، کاهش تبلیغات و کوچک شدن بازار منجر می‌شود. برای فروشگاه‌های اینترنتی، رسانه‌ها و استارتاپ‌هایی که وابستگی شدیدی به ورودی گوگل دارند، این وضعیت شبیه قطع شدن تدریجی جریان خون است.
گواهی‌های امنیتی که دیگر تمدید نمی‌شوند

یکی دیگر از بحران‌های مهم، موضوع SSL است. همان قفل کوچکی که کنار آدرس سایت دیده می‌شود و نشان می‌دهد ارتباط کاربر با سایت امن است. بخش بزرگی از سایت‌های ایرانی از سرویس معروف Let’s Encrypt برای دریافت گواهی SSL استفاده می‌کنند. این گواهی‌ها معمولا هر ۹۰ روز یک بار به‌صورت خودکار تمدید می‌شوند. فرآیندی که نیازمند ارتباط پایدار سرور با سرویس خارجی است.

اما حالا بسیاری از مدیران سایت‌ها می‌گویند این تمدید خودکار با مشکل روبه‌رو شده است. نتیجه، هشدار‌های امنیتی برای کاربران و از دست رفتن اعتماد مرورگرهاست. بعضی سایت‌ها با پیام «اتصال شما امن نیست» باز می‌شوند و برخی دیگر در مرورگر‌ها دچار اختلال کامل هستند. این مشکل فقط ظاهری نیست. گوگل سال‌هاست امنیت را یکی از فاکتور‌های رتبه‌بندی در نظر می‌گیرد. سایتی که SSL معتبر نداشته باشد، شانس کمتری برای حضور در رتبه‌های بالای جست‌و‌جو خواهد داشت.

گوگل دیگر نقشه سایت‌ها را نمی‌بیند

یکی دیگر از مشکلات مهم این روزها، دیده نشدن Site Map‌های جدید است. نقشه سایت در واقع فهرستی از صفحات مهم هر سایت است که مدیران برای گوگل ارسال می‌کنند تا موتور جست‌و‌جو راحت‌تر بتواند محتوا را شناسایی کند. اکنون بسیاری از مدیران سایت‌ها گزارش می‌دهند که گوگل نقشه‌های جدید را نمی‌خواند یا با تاخیر بسیار طولانی بررسی می‌کند.

 خطا‌های robots.txt هم افزایش یافته است. فایل robots.txt به موتور‌های جست‌و‌جو می‌گوید کدام بخش سایت قابل بررسی است و کدام بخش محدودیت دارد. هنگامی که گوگل نتواند این فایل را بخواند، ممکن است کل سایت را با احتیاط بررسی کند یا حتی بخشی از صفحات را نادیده بگیرد. این وضعیت برای رسانه‌های خبری بحرانی‌تر است. خبر زمانی ارزش دارد که سریع دیده شود. وقتی گوگل چند ساعت یا چند روز دیرتر یک خبر را ایندکس کند، عملا بخش مهمی از ارزش رسانه از بین می‌رود.

فیلترشکن‌ها و آشفتگی تجربه کاربر

ماجرا فقط به گوگل محدود نمی‌شود. استفاده گسترده از فیلترشکن‌ها نیز ساختار فنی سایت‌ها را به‌هم ریخته است. بسیاری از کاربران ایرانی اکنون با IP‌های متغیر وارد سایت‌ها می‌شوند. بخشی از محتوا از سرور داخلی بارگذاری می‌شود و بخشی دیگر از مسیر‌های خارجی عبور می‌کند. این جابه‌جایی مداوم میان سرور‌ها باعث می‌شود عناصر صفحه با تاخیر ظاهر شوند یا جای آنها تغییر کند.

در دنیای فنی وب، این اتفاق با شاخصی به نام CLS شناخته می‌شود؛ معیاری که میزان جابه‌جایی ناگهانی عناصر صفحه را اندازه‌گیری می‌کند. هرچه CLS بالاتر باشد، تجربه کاربر ضعیف‌تر خواهد بود. کاربری را تصور کنید که می‌خواهد روی یک دکمه کلیک کند، اما ناگهان تصویر یا تبلیغی دیر بارگذاری می‌شود و جای دکمه را تغییر می‌دهد. نتیجه، آشفتگی و نارضایتی است. گوگل نیز سال‌هاست تجربه کاربری را یکی از معیار‌های اصلی رتبه‌بندی قرار داده است؛ بنابراین اختلال در CLS فقط یک ایراد فنی ساده محسوب نمی‌شود؛ موضوعی است که مستقیما روی جایگاه سایت‌ها در نتایج جست‌و‌جو اثر می‌گذارد.

سرچ کنسولی که خاک می‌خورد

در حالت عادی، مدیران سایت‌ها هر روز Search Console گوگل را بررسی می‌کنند؛ ابزاری که وضعیت ایندکس، خطاها، رتبه کلمات و سلامت فنی سایت را نشان می‌دهد. اما حالا دسترسی به همین ابزار هم برای بسیاری از مدیران دشوار شده است. بعضی افراد به دلیل محدودیت‌های اینترنت، عملا روز‌ها وارد پنل نمی‌شوند. برخی دیگر فقط با فیلترشکن‌های ناپایدار می‌توانند اطلاعات را بررسی کنند. نتیجه این وضعیت، انباشته شدن خطا‌ها بدون رسیدگی است. سایتی که هر روز باید وضعیتش کنترل شود، هفته‌ها بدون نظارت باقی می‌ماند. در چنین شرایطی، مشکلات کوچک تبدیل به بحران‌های بزرگ می‌شوند. لینک‌های خراب، صفحات حذف‌شده، خطا‌های ایندکس و اختلال‌های امنیتی، همگی آرام‌آرام روی هم جمع می‌شوند و کیفیت کلی سایت را پایین می‌آورند.

وقتی مدیر سایت چشمش را از گوگل برمی‌دارد

دسترسی ناپایدار مدیران سایت‌های ایرانی به Google Search Console خیلی فراتر از یک دردسر فنی ساده است. این اتفاق عملا روند نگهداری و مراقبت روزانه از سایت را مختل می‌کند. مدیران سایت و کارشناسان سئو معمولا هر روز وضعیت ایندکس صفحات، خطا‌های فنی، هشدار‌های امنیتی، سرعت بارگذاری و عملکرد کلمات کلیدی را در این پنل بررسی می‌کنند.

در واقع Search Console اتاق مانیتورینگ ارتباط سایت با Google محسوب می‌شود. وقتی این ارتباط به دلیل محدودیت اینترنت، اختلال VPN یا دشواری دسترسی مداوم قطع و وصل شود، بسیاری از خطا‌ها دیر دیده می‌شوند یا اصلا دیده نمی‌شوند. در چنین وضعیتی، صفحات معیوب در سایت باقی می‌مانند، نقشه‌های جدید ثبت نمی‌شوند، خطا‌های ایندکس افزایش پیدا می‌کند و بعضی محتوا‌ها از نتایج جست‌و‌جو حذف می‌شوند. ادامه این روند به‌تدریج اعتماد گوگل به پایداری و کیفیت سایت را کاهش می‌دهد و در نهایت جایگاه سایت‌های ایرانی در نتایج جست‌و‌جو افت می‌کند. افتی که مستقیما روی بازدید، تبلیغات و درآمد کسب‌وکار‌های آنلاین اثر می‌گذارد.

وب فارسی در خطر کوچک شدن

شاید در نگاه اول، این بحران فقط مسئله‌ای تخصصی برای برنامه‌نویس‌ها و مدیران سئو به نظر برسد، اما تبعات آن بسیار گسترده‌تر است. بخش بزرگی از اقتصاد دیجیتال ایران بر پایه دیده شدن در گوگل شکل گرفته است. فروشگاه‌های آنلاین، رسانه‌ها، سایت‌های آموزشی، پلتفرم‌های خدماتی و حتی کسب‌وکار‌های کوچک محلی، مشتریان خود را از جست‌و‌جو‌های گوگل پیدا می‌کنند. اگر سایت‌های ایرانی به‌تدریج از نتایج جست‌و‌جو حذف شوند یا رتبه‌شان افت کند، جریان ورودی کاربران نیز کاهش پیدا می‌کند. این یعنی بازار کوچک‌تر می‌شود، رقابت دشوارتر خواهد شد و هزینه جذب مخاطب بالا می‌رود.

برخی کارشناسان معتقدند ادامه این روند می‌تواند به مهاجرت گسترده‌تر کسب‌وکار‌ها به هاست‌های خارجی منجر شود. اتفاقی که برخلاف سیاست توسعه زیرساخت داخلی است. گروهی دیگر نیز هشدار می‌دهند که اگر اختلال‌ها طولانی شود، بخشی از وب فارسی عملا از حافظه موتور‌های جست‌وجوی جهانی پاک خواهد شد. این روز‌ها بسیاری از مدیران سایت‌ها هنوز امیدوارند وضعیت موقتی باشد. آنها هر روز صفحه‌های تازه منتشر می‌کنند، خطا‌ها را بررسی می‌کنند و منتظر بازگشت ارتباط پایدار هستند. اما هر روزی که می‌گذرد، بخشی از ردپای وب فارسی در گوگل کم‌رنگ‌تر می‌شود؛ خاموشی آرامی که شاید اثرش خیلی دیرتر از قطعی اینترنت دیده شود، اما ماندگاری‌اش بسیار بیشتر خواهد بود.

منبع: هفت صبح