Как запретить индексацию сайта?

Проиндексированные поисковиками страницы обеспечивают стабильную посещаемость ресурса. Но если в данный момент ваш сайт находится в разработке, то появление поисковых роботов на страницах ресурса крайне не желательно, так как попавшая в поиск информация о незаполненных разделах может на долгое время лишить ваш ресурс целевых посетителей. Чтобы на время оградить сайт от сканирования роботами, нужно запретить его к индексации. Для этого достаточно произвести несколько несложных изменений в коде ресурса.

Вам понадобится

• - иметь хотя бы начальные знания HTML
• - знать, как открыть корневую папку каталога файлов вашего сайта

Инструкция

Сначала проверьте, есть ли на вашем сайте файл robots.txt, который отвечает за правильную индексацию ресурса. Для этого перейдите по адресу http: ⁄ ⁄ www·site·ru ⁄ robots.txt ⁄ , заменив http: ⁄ ⁄ www·site·ru на адрес вашего сайта.

Если при при переходе по этой ссылке открывается запись вида "User-agent: * Disallow...", то это означает, что нужный файл присутствует на вашем сайте. В этом случае зайдите в корневую папку, где хранятся все файлы вашего сайта, и найдите файл robots.txt.

Если система управления вашим сайтом позволяет редактировать этот файл прямо из корневой папки, то откройте robots.txt через вспомогательный сервис. При невозможности произведения каких-либо изменений с файлом через интерфейс системы сохраните документ на компьютер, а затем откройте его через программу «Блокнот».

Измените первые две строчки документа на такие:

"User-agent: *

Disallow:/".

Надпись "User-agent: *" показывает, что следующие за записью правила относятся ко всем поисковым роботам, а "Disallow:/" означает запрет индексации всего сайта. После коррекции содержания сохраните файл.

В случае отсутствия на сайте файла robots.txt создайте новый документ в программе «Блокнот». Впишите в него те же самые две записи, располагая каждую из них на новой строчке, и сохраните файл с помощью команды «Файл-Сохранить как...» под именем robots.txt.

Залейте созданный документ в корневую папку вашего сайта и проверьте его функционирование, снова перейдя по ссылке http: ⁄ ⁄ www·site·ru ⁄ robots.txt ⁄ , где вместо "http: ⁄ ⁄ www·site·ru" впишите адрес вашего ресурса.

Другим способм запрещения индексации является вставка специальных метатегов в HTML-код страниц сайта. Для того, чтобы воспользоваться этим методом, найдите в коде одной из страниц сайта надписи "" и поместите сразу после "" строчку "".

Если ваш сайта написан на языке HTML, то такой код необходимо вставлять на каждой странице. Для ресурса на PHP достаточно поместить такую запись в файле header.php.

Оцените статью!