Файл robots.txt предназначен для того, чтобы дать поисковым системам указания по индексации сайта, и в первую очередь сообщить о том, что не следует индексировать.
Некоторые плагины, вроде Yoast SEO, All in One SEO Pack, SEO Framework и т.п. способны сами автоматически создавать robots.txt, но этот подход не является лучшим решение вопроса. Поэтому большинство вебмастеров предпочитает создавать такой файл вручную.
Ниже приведены примеры файлов robots.txt, которые подходит для абсолютного большинства проектов на Wordpress.
Вариант 1
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?
Disallow: /*?
Disallow: *?s=
Disallow: *&s=
Disallow: /search
Disallow: /author/
Disallow: */embed$
Disallow: */xmlrpc.php
Disallow: *utm*=
Disallow: /readme.html
Allow: /uploads
Allow: /*.js
Allow: /*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-*.svg
Allow: /wp-*.pdf
Allow: /wp-*.webp
Allow: /wp-admin/admin-ajax.php
Sitemap: https://site.name/sitemap.xml
Вариант 2
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /embed
Disallow: /trackback
Disallow: /page/
Disallow: /search
Disallow: *utm*=
Disallow: /cgi-bin
Disallow: /&
Disallow: /?
Disallow: /*?
Allow: /wp-admin/admin-ajax.php
Sitemap: https://site.name/sitemap.xml
Вариант 3
Файл robots.txt для проектов на WordPress – WooCommerce. Здесь закрыты от индексации корзина, страница оформления заказа и ссылки на добавление товара в корзину.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?
Disallow: /*?
Disallow: *?s=
Disallow: *&s=
Disallow: /search
Disallow: /author/
Disallow: /users/
Disallow: */embed$
Disallow: */xmlrpc.php
Disallow: *utm*=
Disallow: /readme.html
Disallow: */trackback
Disallow: */rss
Disallow: */wlwmanifest.xml
Disallow: /cart/
Disallow: /checkout/
Disallow: /*add-to-cart=*
Allow: /uploads
Allow: /*.js
Allow: /*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-*.svg
Allow: /wp-*.pdf
Allow: /wp-*.webp
Allow: /wp-admin/admin-ajax.php
Sitemap: https://site.name/sitemap.xml
Подробности о директивах файла и правилах использования можно прочитать в заметке Файл robots.txt — основные сведения