robots.txt

Если Вы не нашли подходящего раздела, для вопроса связанного с web строительством, то Вам сюда.
Аватара пользователя
Slash
Администратор
Сообщения: 2031
Поблагодарили: 62 раза

robots.txt

Сообщение Slash » Вс ноя 17, 2013 2:09 pm

Файл robots.txt размещается в корне сайта (пример: http://сайт.ru/robots.txt) и служит для управления ботами посещающих Ваш ресурс. Бот (соблюдающий стандарты) при посещении сайта, прежде всего проверяет наличие файла robots.txt, если бот находит этот файл, то следует изложенной инструкции в нем. При помощи robots.txt, можно как разрешить посещение/индексировании, какого то раздела сайта, так и запретить. Пример кода файла:

Код: Выделить всё

User-agent: *
Disallow: /admin/
Disallow: /img/ 

User-agent: * - говорит для какого бота написана инструкция ниже, в данном случаи инструкция написана для все ботов (*). Если надо управлять конкретно каким то ботом то пишем так (пример для Яндекса): User-agent: Yandex. Вторая строчка файла Disallow: /admin/ - говорит боту, что папку /admin/ индексировать запрещено. Тоже самое и с третьей строчкой - стоит запрет на сканирование папки /img/. В общем команда Disallow отдает команду боту о запрете на посещение какой то директории/файла/раздела.

Проверить robots.txt для Яндекса: http://webmaster.yandex.ru/robots.xml
Проверить robots.txt для Google: https://www.google.com/webmasters/tools ... sting-tool

Читайте ещё: Найдено несколько директив Host в robots.txt
Реклама

Вернуться в «Прочее»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость