Дмитрий184
Мастер
Дата регистрации:
29.06.2012 08:48:56
Сообщений: 225
В файле robots.txt есть запрет на индексацию страницы admin.html
user-agent: *
disallow: /admin
И обнаружилась такая вещь. Поисковик Гугл в поиске обнаруживает страницу www.site.ru/admin.html И пишет так - Описание веб-страницы недоступно из-за ограничений в файле robots.txt.
А можно сделать так, что URL страницы не обнаруживалось в поисковике? Или URL нельзя запретить для поисковика?