Настройка выдачи ошибки 404 для лишних ссылок сайта на хостинге в панели ISPmanager

Вопрос:

На один и тот же материал, сайт выдает несколько разных ссылок. Появляются "Повторяющиеся заголовки" (теги title). Как это убрать? И как удалить из индекса поисковых систем?

Ответ:

Для удаления из индекса поисковых систем данных ссылок вам необходимо:

1. поправить структуру модулей самого сайта;
2. закрыть их в robots.txt;
3. настроить на все лишние ссылки ошибку 404 на вашем сервере;
4. и только потом, сделать запросы в поисковики Google и Яндекс для удаления их из индекса.

Пример:

Одна статья на сайте доступна по основной ссылке

http://domainname.com/publik/myarticle.html

Также она доступна по следующим ссылкам

http://domainname.com/content/statiy.html

http://domainname.com/treningi/pervay-statiya.html

http://domainname.com/v-pomosh-programeru/myarticle.html

http://domainname.com/kontakty/kak-na4inal-pisat.html

Для настройки 404 ошибок необходимо прописать соответствующие команды в файле .htaccess на хостинге.

Если нужно сделать, чтобы 404 были все страницы которые находятся в каталоге (например http://domainname.com/treningi/pervay-statiya.html), для этого нужно прописать следующее:

RewriteRule treningi* [L,R=404]

Если нужно сделать, чтобы 404 была конкретная страница, например http://domainname.com/v-pomosh-programeru/myarticle.html, то нужно прописать следующее:

RewriteRule v-pomosh-programeru/myarticle.html [L,R=404]

Также, чтобы не делать все страницы ошибкой 404, можно настроить редиректы. Это используется для того, чтобы ненужные ссылки, вели на нужные страницы.

Пример, чтобы ссылка: http://domainname.com/treningi/pervay-statiya.html вела на страницу http://domainname.com/content/statiy.html в .htaccess нужно прописать следующее:

RewriteRule treningi/pervay-statiya.html http://domainname.com/content/statiy.html [L,R=301]

Более подробно о том как прописать редиректы, читайте статью Как настроить 301/302/303 редирект.