Как запретить индексацию страницы?

Страницы каждого сайта регулярно обходятся поисковыми роботами, которые обрабатывают находящуюся на сайте информацию, чтобы она была доступна по запросам пользователей в поисковых системах. Визиты посетителей, пришедших из поисковиков, положительно влияют на посещаемость сайта и стимулируют развитие ресурса. Но, если на сайте есть страницы, информация на которых не предназначена для интернет-аудитории (например, личные страницы пользователей или страница регистрации), то переход с поисковиков на такие страницы не нужен и эту информацию лучше запретить к индексации.
Создать сайт самостоятельно с Wix.com

Вам понадобится

• - иметь собственный сайт
• - знать ссылки к страницам, индексацию которых нужно запретить.
• - иметь хотя бы начальные знания HTML

Инструкция

Для того чтобы запретить поисковому роботу индексировать определенные страницы сайта, необходимо произвести изменения в файле robots.txt, если он уже есть на вашем сайте, или создать этот файл.

Если файл robots.txt уже залит на сайт и возможно изменять этот файл прямо из панели управления ресурсом, то откройте robots.txt через веб-сервис для редактирования.

Если возможности вносить изменения в нужный файл прямо из панели управления нет, то откройте robots.txt в браузере, перейдя по ссылке к этому файлу. Скопируйте все данные с открывшейся страницы и вставьте на лист в программе «Блокнот».

При отсутствии robots.txt на сайте, откройте программу «Блокнот», в новый документ которой нужно будет вписать необходимый код.

На пустом листе текстового документа напишите первую обязательную строчку:

User-agent: *

Затем перейдите на следующую строчку, нажав клавищу Enter, и наберите следующий код:

Disallow: /index/page3Disallow: обозначает запрет индексации, а /index/page3 - это ссылка к странице, которую не нужно индексировать. Вместо ссылки /index/page3 вставьте ссылку на страницу вашего сайта, которую нужно запретить для обработки роботами.

Заметьте, что в начале ссылки отсутствует само имя домена, его наличие в записи подразумевает наклонная черта. Поисковый робот при обходе сайта автоматически подставляет в такие ссылки доменное имя. Поэтому ссылки на нужные страницы пишите именно таким образом.

После Disallow: можно помещать не только ссылку на конкретную страницу, но и ссылку на какой-либо раздел или директорию сайта. Подобным образом можно запретить индексацию нужной части сайта.

При необходимости запрета обработки роботами нескольких разных участков ресурса, ссылку на каждый раздел или страницу пишите с новой строки, в начале которой не забывайте помещать запись Disallow:.

Чтобы завершить изменение robots.txt, нажмите кнопку «Сохранить» при редактировании файла в панели управления или сохраните текстовый документ с записями под именем robots.txt и залейте этот файл на сайт.

Оцените статью!