Логотип Симфо

Основное назначение файла robots.txt — ограничить действие поисковых систем на сайте, указав им, какие ресурсы не следует индексировать.
При самостоятельном  составлении файла стоит принять во внимание, что разработчики периодически вносят изменения в файл. Поскольку заменить файл при обновлении версии не представляется  возможным, то новый файл просто переносить в корне сайта с именем robots.txt.dist

Пример файла robots.txt для Joomla версии 3.9.x. и выше

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /index.php
Disallow: /index.php?*
Disallow: /search
Disallow: /*?start=*
Disallow: *?*

Sitemap: http://site.name/sitemap.xml

 

 Строки с запретом индексации: /components, /modules, /plugins можно удалить, поскольку и в компонентах и модулях и плагинах могут быть свои стили css и изображения, а следовательно не стоит закрывать их от индексации

 

 

Пример файла robots.txt для сайта с магазином VirtueMart

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /index.php
Disallow: /index.php?*
Disallow: /search
Disallow: /tmp/
Disallow: /templates/
Disallow: /xmlrpc/
Disallow: /index.php*
Disallow: /*.pdf
Disallow: /*print=1
Disallow: *?*
Allow: /components/com_virtuemart/

Sitemap: http://site.name/sitemap.xml

При составление файла, стоит помнить, что адрес карты сайта зависит от способа ее формирования — вручную или с помощью специализированных компонентов Joomla.