Google вносит изменения в стандарт REP

Google вносит изменения в стандарт REP (Robots Exclusion Protocol), протокол исключения роботов, который используется файлами Robots.txt для googlebot, сообщается в официальном блоге компании.

Кроме того, были представлены новые META-тэги роботов: unavailable_after и X-Robots-Tag. С их помощью можно исключить страницу из результатов поиска после указанной даты, запретить кэширование страницы и т.д. Например, при использовании unavailable_after страница перестает показываться в результатах поиска, но продолжает оставаться в системе.

citcity.ru

публикации сходной тематики

Комментирование закрыто.

 

При наполнении сайта использована информация из открытых источников. Владелец сайта не несет ответственности за недостоверную и заведомо ложную информацию размещенную на страницах сайта. При использовании информации опубликованной на нашем сайте, ссылка обязательна.

Реклама на сайте: