Создаем файл robots.txt

Создаем файл robots.txt


Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

Основной синтаксис:

User-agent: *
# - запретить индексацию. новый раздел указывается через слеш до и после (/). важно: новый блок раздела - новый дисалоу
Disallow: /backup/
Disallow: /images/
Disallow: /files/
# - как НЕ нужно индексировать сайт подробнее
Disallow:host: www.artemmian.ru
#указываем карту сайта
sitemap: https://artemmian.ru/sitemap.xml подробнее


User-agent: * - для всех поисковых роботов
# - комментарий для файлов robots.txt


Подробнее о robots.txt на сайте яндекса
Понравилась статья "Создаем файл robots.txt" из раздела Создание сайта » Оптимизация сайта? Подпишись на RSS. Будь в курсе всего происходящего на сайте
Комментариев: 0 •  Просмотров: 2232   Дата: 22-дек-2011, 18:35

Похожие статьи

Комментарии

b
i
u
s
|
left
center
right
|
emo
color
|
hide
quote
translit
© 2010-2015 artemmian.ru v 7.0: flexyflat tpl Designed by artstudios
Карта сайта HTMLКарта сайта XMLПравообладателям
Яндекс.Метрика