Закрыть сайт от индексации - пара способов разной эффективности

Закрывать сайт от индексации поисковыми системами приходится по разным причинам, например, когда сайт делается для узкого круга своих посетителей или при разработке сайта.

Есть много способов закрыть сайт и контент сайта. Здесь приведем основные.

Запрет с помощью файла robots.txt

Файл предназначен для передачи информации о сайте поисковым системам, таким образом директивы в этом файле запрещают поисковому роботу исследовать страницы сайта.
Создается текстовый файл с названием robots.txt и кодом:

User-agent: *
Disallow: /

Полученный файл помещается в корень сайта. Это обеспечит закрытие от всех поисковых систем.
В большинстве случаев файл robots.txt существует в корне сайта и достаточно лишь изменить его содержимое. После выполнения необходимых работ желательно восстановить прежнее содержимое.
Тоже самое от Яндекса

User-agent: Yandex
Disallow: /

Аналогично от Google

User-agent: Google
Disallow: /

Закрыть сайт от индексации с помощью файла .htaccess

На хосте должен работать сервер Apache. Файл предназначен для пtредачи информации серверу который обрабатывает запросы к сайту. таким образом, директивы в этом файле запрещают отдавать контент в ответ на запросы поисковых роботов
В файл .htaccess добавляем следующий код:

SetEnvIfNoCase User-Agent "^Googlebot" search_bot
SetEnvIfNoCase User-Agent "^Yandex" search_bot
SetEnvIfNoCase User-Agent "^Yahoo" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Snapbot" search_bot
SetEnvIfNoCase User-Agent "^WordPress" search_bot
SetEnvIfNoCase User-Agent "^BlogPulseLive" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot

Каждая строка для своей поисковой системы