RussianPro
Эксперт
Дата регистрации:
14.07.2011 01:32:38
Сообщений: 114
Привязал сайт к Яндексу,а он мне пишет, что в robots.txt запрещена индексация главной страницы сайта. Содержание файла такое:
User-agent: *
Allow: /index.php
Allow: /reviews.php
Allow: /sitemap.xml
Disallow: /
Crawl-delay: 1
В чём может быть ошибка?
Admin
Администратор
Дата регистрации:
27.05.2010 21:23:42
Сообщений: 3063
Disallow надо ставить вверху, чтобы приоритет был более низкий.
RussianPro
Эксперт
Дата регистрации:
14.07.2011 01:32:38
Сообщений: 114
Т.е. те что вверху имеют более низкий приоритет чем те, что снизу? Я почему-то думал наоборот.
kvorubin
Новичок
Дата регистрации:
22.01.2013 00:22:21
Сообщений: 8
Disallow: / - запрещает смотреть все страницы на сколько я понял попробовав однажды прописать.
RussianPro
Эксперт
Дата регистрации:
14.07.2011 01:32:38
Сообщений: 114
Яндекс по прежнему не индексирует главную страницу, хотя robots.txt я переписал.
User-agent: *
Disallow: /
Allow: /dostavka007.ru
Allow: /index.php
Allow: /reviews.php
Allow: /sitemap.xml
Crawl-delay: 1
kvorubin
Новичок
Дата регистрации:
22.01.2013 00:22:21
Сообщений: 8
Disallow: / попробуйте убрать, я вам писал уже выше
И ещё убедиться, что яндекс видит ваш сайт в виде главного зеркала
вот ссылка от яндекса на информацию http://help.yandex.ru/webmaster/?id=996567
вот информация от туда: (даже не на английском)
User-agent: Yandex
Disallow: / # блокирует доступ ко всему сайту
User-agent: Yandex
Disallow: /cgi-bin # блокирует доступ к страницам
#начинающимся с '/cgi-bin'
А вот в это я не верю (инфо от яндекса)
User-agent: Yandex
Disallow: /
Allow: /catalog
# разрешает скачивать только страницы,
# начинающиеся с '/catalog'
Яндекс машина не стабильная, захотел прочитал и проиндексировал, захотел не прочитал, думаю как взгрустнётся так и сделает.
Поправлю, !скачивать но не читать их )))
midi63
Продвинутый
Дата регистрации:
11.05.2013 14:57:31
Сообщений: 77
скажите эта запись имеет место быть?:
User-agent: *
Disallow: /img/
Disallow: /js/
Disallow: /css/
Disallow: /скрытая страница.php/
чет только главная страница индексируется.. можно ли приятать так картинки и все остальное?
Дмитрий184
Мастер
Дата регистрации:
29.06.2012 08:48:56
Сообщений: 225
Думаю, вполне нормальная запись - картинки можно так прятать. А если яндекс проиндексировал только главную страницу, то причина этого может быть, что поисковик не обязан индексировать весь сайт. Он может проиндексировать одну страницу и все. А может вообще ничего не проиндексировать. Или проиндексирует, но через долгое время.
