трашный заголовок? По-моему все уже привыкли к тому, что сайт может запросто вылететь из индекса нашего любимого Яндекса. Причем вылететь, как оказалось, можно не из-за линкопомоек, не из-за продажи ссылок, а совершенно по другому основанию.
Так вот...
Недели 2 назад мой сайт совершенно интересным образом пропал из индекса. Разумеется, я первым делом подумал, что его забанили за продажу ссылок (хотя все было сделано с умом — аккуратно и чисто) , но все же решил написать Платону Щ. Через несколько дней пришел такой вот ответ:
Здравствуйте, Роман!
Дело в том, что Ваш сайт может индексироваться Яндексом только по адресу
wwwsite.ru, адрес site.ru является его зеркалом. В данный
момент у Вас установлен серверный редирект с wwwsite.ru на
site.ru.
Страницы, с которых стоит серверный редирект, удаляются роботом из базы. Чтобы
вернуть сайт в базу Яндекса, необходимо снять редирект, тогда сайт вновь
начнет индексироваться по адресу wwwsite.ru. Если для Вас важно,
чтобы сайт индексировался именно по адресу site.ru, есть два пути:
1. оставить все как есть, но скорректировать robots.txt, добавив в него:
User-agent: Yandex
Disallow:
Host: site.ru
Важно: блоки указаний роботам должны разделяться пустой строкой. После этого
надо будет дождаться захода на сайт робота зеркальщика, он отследит изменения
и переклеит сайты по адресу, указанному в Host. Процесс переклейки в среднем
занимает до 4−6 недель, ускорить его, к сожалению, нельзя. В этом случае сайт
появится в базе Яндекса только после того, как произойдет «переклейка».
2. снять редирект, скорректировать robots.txt так, как указано выше. В этом
случае сайт вернется в базу Яндекса по адресу wwwsite.ru, после
переклейки в базе появится site.ru.
Честно говоря, сначала я ничего не понял. При втором прочтении тоже мало что изменилось. Robots.txt у сайта не было никогда.
В результате, заглянув на сайт https://robotstxt.ru, я слепил robots следующего содержания:
User-agent: Yandex
Disallow: /feed
Host: site.ru
Уж не знаю, правильно ли... Вскрытие покажет. Через 4−6 недель, как говорил П.Щ.
Так что мой вам совет: напишите этот роботс.тхт, мало ли что... А то Яндекс - (yandex) заблудится в трех соснах...
