Робот Яндекса теперь видит JavaScripts и CSS на сайтах

Мы начали использовать javascripts и CSS при обходе некоторых ресурсов для того, чтобы получить больше данных о страницах сайтов и увидеть содержимое таких сайтов в том виде, в каком оно отображается в современном браузере. Это позволяет оценить удобство интерфейса, получить контент, который ранее был недоступен роботу, и сравнить эти данные с уже используемыми при ранжировании в поиске. Если эти данные позволят предоставить пользователям нашего поиска лучший ответ по какому-либо запросу, то в ранжировании мы будем использовать именно версию, полученную с использованием javascripts и CSS.

В настоящий момент это происходит лишь для небольшой части сайтов и отдельных страниц, известных индексирующему роботу. Но мы постоянно следим за данным процессом и проверяем поступающую информацию, а также вносим необходимые изменения для применения этой технологии для всех известных нам сайтов в будущем, постепенно расширяя объем индексируемых таким образом ресурсов.

Поэтому мы рекомендуем владельцам и разработчикам сайтов, которые ранее закрывали файлы с javascripts и CSS для индексирующего робота, открыть их в robots.txt. Кроме того, стоит позаботиться о том, чтобы при обращении робота за данными файлами не возникло проблем с нагрузкой на сервер сайта.

Поскольку данный процесс только проходит тестирование, мы не можем использовать его для всех известных нам сайтов, как и предложить всем желающим вебмастерам поучаствовать в эксперименте. Но как только появится такая возможность, мы начнём индексировать все известные нам ресурсы именно таким образом.

Источник: https://webmaster.ya.ru/21369