Логотип Симфо

Закрывать сайт от индексации поисковыми системами приходится по разным причинам, например, когда сайт делается для узкого круга своих посетителей или при разработке сайта.

Есть много способов закрыть сайт и контент сайта. Здесь приведем основные.

Запрет с помощью файла robots.txt

Файл предназначен для передачи информации о сайте поисковым системам, таким образом директивы в этом файле запрещают поисковому роботу исследовать страницы сайта.
Создается текстовый файл с названием robots.txt и кодом:

User-agent: *
Disallow: /

Полученный файл помещается в корень сайта. Это обеспечит закрытие от всех поисковых систем.
В большинстве случаев файл robots.txt существует в корне сайта и достаточно лишь изменить его содержимое. После выполнения необходимых работ желательно восстановить прежнее содержимое.
Тоже самое от Яндекса

User-agent: Yandex
Disallow: /

Аналогично от Google

User-agent: Google
Disallow: /

Закрыть сайт от индексации с помощью файла .htaccess

На хосте должен работать сервер Apache. Файл предназначен для пtредачи информации серверу который обрабатывает запросы к сайту. таким образом, директивы в этом файле запрещают отдавать контент в ответ на запросы поисковых роботов
В файл .htaccess добавляем следующий код:

SetEnvIfNoCase User-Agent "^Googlebot" search_bot
SetEnvIfNoCase User-Agent "^Yandex" search_bot
SetEnvIfNoCase User-Agent "^Yahoo" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Snapbot" search_bot
SetEnvIfNoCase User-Agent "^WordPress" search_bot
SetEnvIfNoCase User-Agent "^BlogPulseLive" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot

Каждая строка для своей поисковой системы