Недавно заметил и понял, что в роботс txt обязательно должна быть строчка host. Это строчка значит - по какому домену из всех зеркал индексировать сайт. Например www.rucoz.com или rucoz.com. Она важна для робота Яндекса, а для гугла не вовсе не нужна, потому что в центре веб мастеров google можно выбрать основной домен.
Последствия не прописывания строчки, по моему опыту:
Изменения в Яндексе индексирования сайта то www.rucoz.com, то rucoz.com. То так то сяк. Раз в месяц может измениться. И в индексе будут неправильные страницы сайта.
Поэтому выберете свой домен и добавляйте строчку. У меня:
host: rucoz.com
Автор: DizeL'
Источник: http://rucoz.com