Дмитрий184
Мастер
Дата регистрации:
29.06.2012 08:48:56
Сообщений: 225
Здравствуйте, Михаил!
Возник такой вопрос – запретить индексацию страницы можно как с помощью мета тега robots, так и с помощью файла robots.txt
А у кого выше приоритет в действии – если мета тег robots запрещает, а файл robots.txt разрешает?
Как я читал, когда робот поисковой системы попадает на сайт, то он первым делом смотрит содержимое файла robots.txt и дальше следует его указаниям. А когда робот смотрит мета тег robots? и все ли поисковые системы понимают мета тег robots одинаково?
Admin
Администратор
Дата регистрации:
27.05.2010 21:23:42
Сообщений: 3063
Роботы в первую очередь смотрят robots.txt. И если там индексация разрешена, он будет смотреть содержимое страницы и увидит теги. Если в robots.txt разрешено, а мета тег запрещает, то всё равно страница не будет индексироваться.
Все основные поисковые системы одинаково работают с ними. Хотя бывают такие роботы, которые эти указания полностью игнорируют.
Дмитрий184
Мастер
Дата регистрации:
29.06.2012 08:48:56
Сообщений: 225
Михаил! Спасибо за пояснение, теперь все понятно!