28 июля 2015 года вебмастера массово получили в Search Console уведомления от Google. В них сообщалось о том, что поисковому роботу не доступны для обработки файлы CSS и JS на сайте. В качестве причины невозможности сканирования была названа блокировка в файле robots.txt.
Уведомления получили как зарубежные, так и отечественные вебмастера. Отдельные специалисты даже поделились скриншотами таких посланий от Google:
Представители поиска пока никак не прокомментировали случившееся.
В октябре 2014 года было обновлено официальное руководство для веб-мастеров от Google. В обновленном документе сообщалось, что блокирование CSS или JavaScript файлов может иметь негативное влияние на индексацию и ранжирование в Google.
Чтобы понять, как Googlebot видит страницу конкретного сайта, содержащую JavaScript и CSS, редакторы Search Engine Land советуют вебмастерам воспользоваться инструментом Fetch as Google в разделе «Сканирование» в Search Console.
Больше года назад Google официально представил инструмент, который позволит вебмастерам просматривать страницы сайтов, содержащие изображения, файлы CSS и JavaScrip, как Googlebot. Новая возможность доступна в Search Console в одной из вкладок раздела «Просмотреть как Googlebot».