Подпишитесь на мой канал на YouTube, где я регулярно публикую новые видео.

Добавляйтесь ко мне в друзья ВКонтакте! Отзывы о сайте и обо мне оставляйте в моей группе.

Мой аккаунт Моя группа

Какая тема Вас интересует больше?

Программирование на Python для начинающих

Бесплатный курс по Python даст Вам всю необходимую базу для начала программирования на языке Python. В курсе Вас ждёт множество уроков (больше 4-х часов видео), исходников и упражнений.

Чтобы получить Видеокурс,
заполните форму

Другие курсы

11 шагов к созданию своей Web-студии

После семинара:

- Вы узнаете главное отличие богатых от бедных.

- Вы увидите разоблачения множества мифов об успешности и о бизнесе.

- Вы получите свой личный финансовый план прямо на семинаре.

- Мы разберём 11 шагов к созданию своей успешной Web-студии.

- Я расскажу о своих личных историях: об успешных и неуспешных бизнесах. Это мой многолетний опыт, которым я поделюсь с Вами.

Записаться

Другие курсы

Учись так, как будто тебе предстоит жить вечно - живи так, как будто тебе предстоит умереть завтра.

Отто фон Бисмарк

Форум сайта MyRusakov.ru

21.08.2012 12:32:52 Разрешение и запрет индексации сайта Сообщение #1

Дмитрий184

Мастер

Дата регистрации:
29.06.2012 08:48:56

Сообщений: 225

Здравствуйте, Михаил!
Возник такой вопрос - в файле robots.txt можно задать разрешение и запрет на индексацию сайта для робота поисковых систем. Все что явно не запретить будет автоматически разрешено. Но если индексация автоматически разрешена, то это еще не значит, что поисковая система будет все индексировать. Хочу спросить - а если явно указать разрешение на индексацию с помощью директивы Allow , то индексация будет 100% или все опять же останется по желанию робота поисковой системы (если захочет, то проиндексирует, а если не захочет, то не проиндексирует).

Пример - файл robots.txt
User-agent: *
Allow: /index.html
Allow: /page (сотня страниц)
Disallow: /

Профиль

21.08.2012 22:29:41 Разрешение и запрет индексации сайта Сообщение #2