21.08.2012 12:32:52 Разрешение и запрет индексации сайта Сообщение #1
Дмитрий184
Мастер
Дата регистрации:
29.06.2012 08:48:56
Сообщений: 225
Здравствуйте, Михаил!
Возник такой вопрос - в файле robots.txt можно задать разрешение и запрет на индексацию сайта для робота поисковых систем. Все что явно не запретить будет автоматически разрешено. Но если индексация автоматически разрешена, то это еще не значит, что поисковая система будет все индексировать. Хочу спросить - а если явно указать разрешение на индексацию с помощью директивы Allow , то индексация будет 100% или все опять же останется по желанию робота поисковой системы (если захочет, то проиндексирует, а если не захочет, то не проиндексирует).
Пример - файл robots.txt
User-agent: *
Allow: /index.html
Allow: /page (сотня страниц)
Disallow: /
Возник такой вопрос - в файле robots.txt можно задать разрешение и запрет на индексацию сайта для робота поисковых систем. Все что явно не запретить будет автоматически разрешено. Но если индексация автоматически разрешена, то это еще не значит, что поисковая система будет все индексировать. Хочу спросить - а если явно указать разрешение на индексацию с помощью директивы Allow , то индексация будет 100% или все опять же останется по желанию робота поисковой системы (если захочет, то проиндексирует, а если не захочет, то не проиндексирует).
Пример - файл robots.txt
User-agent: *
Allow: /index.html
Allow: /page (сотня страниц)
Disallow: /
