Список существующих ботов/роботов http://www.robotstxt.org/db.html   Проверка синтаксиса и структуры файла robots.txt Yandex https://webmaster.yandex.ua/robots.xml Google Webmaster tool->Сканирование->Инструмент проверки файла robots.txt https://support.google.com/webmasters/answer/6062598?hl=ru   Директивы файла robots.txt

— означает, что правила, приведенные ниже, будут действовать для всех поисковиков.

 — разрешено индексировать.

— запрещено индексировать.

 — обязательно нужно указать основное зеркало. Ваш сайт открывается по […]