Правильный robots.txt для разных CMS

Сен 07 2017

Те, кто следит за «чистотой» своего сайта (в плане СЕО), знают, как важно правильно составить файл robots.txt («роботс»).

В CMS существует проблема дублей страниц, не очень существенная; но и тем более хочется закрыть их от индексации поисковиками при помощи этого файла.

Я вот собрал несколько вариантов, как должен выглядеть он для разных систем управления сайтом.

Для начала — не забыть включить ЧПУ в настройках сайта.

Правильный robots.txt для WordPress

User-agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /webstat/ Disallow: /feed/ Disallow: /trackback Disallow: */trackback Disallow: /*/?replytocom=* Disallow: /*/?replytocom Disallow: /*?replytocom=* Disallow: /*?replytocom Disallow: */comment-page-* Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Disallow: /category/*/* Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-content/cache Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /comments Host: сайт.ru Sitemap: http://сайт.ru/sitemap.xml

Правильный robots.txt для Joomla

Robots.txt для Joomla 1.5

User-agent: * Crawl-delay: 2 Disallow: /administrator/ Disallow: /cache/ Disallow: /components/ Disallow: /component/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /xmlrpc/ Disallow: /index2.php?option=com_content&task=emailform Disallow: /*?sl* Disallow: /name.php?action=print Disallow: /trackback Disallow: /*rss.html Disallow: /*atom.html Disallow: /index* Host: сайт.ru Sitemap: http://сайт.ru/sitemap.xml

Robots.txt для Joomla 2.5

User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /cli/ Disallow: /components/ Disallow: /component/ Disallow: /includes/ Disallow: /language/ Disallow: /libraries/ Disallow: /logs/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /index* Host: сайт.ru Sitemap: http://сайт.ru/sitemap.xml

Robots.txt для Joomla 3.0

User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /components/ Disallow: /component/ Disallow: /images/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /xmlrpc/ Disallow: /index* Host: сайт.ru Sitemap: http://сайт.ru/sitemap.xml

Правильный Robots.txt для DLE

User-agent: Yandex Disallow: /user/ Disallow: /backup/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /upgrade/ Disallow: /uploads/ Disallow: /autobackup.php Disallow: /admin.php Disallow: /index.php?do=addnews Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=pm Disallow: /index.php?do=register Disallow: /index.php?do=stats Disallow: /index.php?do=search Disallow: /index.php?subaction=newposts Disallow: /?do=lastcomments Disallow: /statistics.html Host: сайт.ru

User-agent: * Disallow: /backup/ Disallow: /user/ Disallow: /engine/ Disallow: /language/ Disallow: /upgrade/ Disallow: /autobackup.php Disallow: /admin.php Disallow: /index.php?do=addnews Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=pm Disallow: /index.php?do=register Disallow: /index.php?do=stats Disallow: /index.php?do=search Disallow: /index.php?subaction=newposts Disallow: /?do=lastcomments Disallow: /statistics.html

Sitemap: http://сайт.ru/sitemap.xml/

Правильный Robots.txt для Ucoz CMS

User-agent: Yandex Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Host: сайт.ru Sitemap: http://сайт.ru/sitemap.xml Sitemap: http://сайт.ru/sitemap-forum.xml

Правильный robots.txt для OpenCart

User-agent: * Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /download Disallow: /export Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= Disallow: /*?page= Disallow: /*&page= Disallow: /wishlist Disallow: /login Disallow: /index.php?route=product/manufacturer Disallow: /index.php?route=product/compare Disallow: /index.php?route=product/category Host: сайт.ru

Правильный robots.txt для MODx Evo

User-agent: * Disallow: /assets/cache/ Disallow: /assets/docs/ Disallow: /assets/export/ Disallow: /assets/import/ Disallow: /assets/modules/ Disallow: /assets/plugins/ Disallow: /assets/snippets/ Disallow: /install/ Disallow: /manager/ Disallow: /? Disallow: /*? Disallow: /index.php Host: сайт.ru Sitemap: http://сайт.ru/sitemap.xml

Правильный robots.txt для MODx Revo

User-agent: * Disallow: /manager/ Disallow: /assets/components/ Disallow: /core/ Disallow: /connectors/ Disallow: /index.php Disallow: *? Host: сайт.ru Sitemap: http://сайт.ru/sitemap.xml

Некоторые советы по поводу составления «роботс» для CMS MODx

index.php — это дубль главной страницы сайта
с помощью *? мы удаляем дубли для всех страниц
Sitemap желательно не указывать в файле robots.txt, потому что существуют нехорошие боты, которые таким образом парсят ваши сайты, используя эту директиву. Для нормальных поисковых систем карту сайта можно загрузить через панель вебмастера. Но и это не так важно.

Правильный robots.txt для Bitrix (Битрикс)

Первый вариант правильного robots.txt для CMS 1C-Bitrix:

User-agent: * Disallow: /*index.php$ Disallow: /bitrix/ Disallow: /auth/ Disallow: /personal/ Disallow: /upload/ Disallow: /search/ Disallow: /*/search/ Disallow: /*/slide_show/ Disallow: /*/gallery/*order=* Disallow: /*?print= Disallow: /*&print= Disallow: /*register= Disallow: /*forgot_password= Disallow: /*change_password= Disallow: /*login= Disallow: /*logout= Disallow: /*auth= Disallow: /*?action= Disallow: /*action=ADD_TO_COMPARE_LIST Disallow: /*action=DELETE_FROM_COMPARE_LIST Disallow: /*action=ADD2BASKET Disallow: /*action=BUY Disallow: /*bitrix_*= Disallow: /*backurl=* Disallow: /*BACKURL=* Disallow: /*back_url=* Disallow: /*BACK_URL=* Disallow: /*back_url_admin=* Disallow: /*print_course=Y Disallow: /*COURSE_ID= Disallow: /*?COURSE_ID= Disallow: /*?PAGEN Disallow: /*PAGEN_1= Disallow: /*PAGEN_2= Disallow: /*PAGEN_3= Disallow: /*PAGEN_4= Disallow: /*PAGEN_5= Disallow: /*PAGEN_6= Disallow: /*PAGEN_7= Disallow: /*PAGE_NAME=user_post Disallow: /*PAGE_NAME=detail_slide_show Disallow: /*PAGE_NAME=search Disallow: /*PAGE_NAME=user_post Disallow: /*PAGE_NAME=detail_slide_show Disallow: /*SHOWALL Disallow: /*show_all= Host: сайт.ru Sitemap: http://сайт.ru/sitemap.xml

Второй вариант правильного роботс для Битрикс:

Дополнительно можно ещё использовать директиву Clean-param:

Например,
Clean-param: print&action&SHOWALL&PAGEN_1&PAGE_NAME&forgot_password&и_так_далее / #для всех страниц

Ну а более подробно и с техническими особенностями описано в соответствующем разделе Справки Яндекса: https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html