Те, кто следит за «чистотой» своего сайта (в плане СЕО), знают, как важно правильно составить файл robots.txt («роботс»). В CMS существует проблема дублей страниц, не очень существенная; но и тем более хочется закрыть их от индексации поисковиками при помощи этого файла. Я вот собрал несколько вариантов, как должен выглядеть он для разных систем управления сайтом. […]