Основное назначение файла robots.txt — ограничить действие поисковых систем на сайте, указав им, какие ресурсы не следует индексировать. При самостоятельном  составлении файла стоит принять во внимание, что разработчики периодически вносят изменения в файл. Поскольку заменить файл при обновлении версии не представляется возможным, то новый файл просто переносить в корне сайта с именем robots.txt.dist

Пример файла robots.txt для Joomla версии 3.9.x. и выше

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /index.php*

Sitemap: http://site.name/sitemap.xml

 

Пример файла robots.txt для сайта с магазином VirtueMart

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /templates/
Disallow: /xmlrpc/
Disallow: /index.php*
Disallow: /*.pdf
Disallow: /*print=1
Allow: /components/com_virtuemart/

Sitemap: http://site.name/sitemap.xml

При составление файла, стоит помнить, что адрес карты сайта зависит от способа ее формирования — вручную или с помощью специализированных компонентов Joomla.