Файл robots.txt предназначен для того, чтобы дать поисковым системам указания по индексации сайта, и в первую очередь сообщить о том, что не следует индексировать.
Некоторые плагины, вроде Yoast SEO, All in One SEO Pack, SEO Framework и т.п. способны сами автоматически создавать robots.txt, но этот подход не является лучшим решение вопроса. Поэтому большинство вебмастеров предпочитает создавать такой файл вручную.
Ниже приведены примеры файлов robots.txt, которые подходит для абсолютного большинства проектов на Wordpress.
Вариант 1
User-agent: *
Disallow: /wp-
Disallow: /?
Disallow: /*?
Disallow: /&
Disallow: /*&
Disallow: /author/
Disallow: /embed
Disallow: /page/
Disallow: /trackback
Disallow: *utm*=
Disallow: /cgi-bin
Allow: /uploads
Allow: /*.js
Allow: /*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-*.svg
Allow: /wp-*.pdf
Allow: /wp-*.webp
Allow: /wp-admin/admin-ajax.php
Sitemap: https://site.name/sitemap.xml
Вариант 2
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /embed
Disallow: /trackback
Disallow: /page/
Disallow: /search
Disallow: *utm*=
Disallow: /cgi-bin
Disallow: /&
Disallow: /?
Disallow: /*?
Allow: /wp-admin/admin-ajax.php
Sitemap: https://site.name/sitemap.xml
Вариант 3
Файл robots.txt для проектов на WordPress – WooCommerce. Здесь закрыты от индексации корзина, страница оформления заказа и ссылки на добавление товара в корзину.
User-agent: *
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm*=
Disallow: *openstat=
Disallow: /cart/
Disallow: /checkout/
Disallow: /*add-to-cart=*
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
Sitemap: https://site.name/sitemap_index.xml
Подробности о директивах файла и правилах использования можно прочитать в заметке Файл robots.txt — основные сведения