Как закрыть страницу от индексации
Не все страницы сайта должны попадать в поисковики. И дело не только в SEO — иногда это вопрос безопасности, приватности или просто технической чистоты проекта.
В таких случаях важно закрыть страницу от индексации правильно. Ниже — обзор всех способов, их нюансы и подводные камни.
Когда нужно закрывать страницы от индексации
- Личный кабинет, корзина, оформление заказа;
- Фильтры и страницы с параметрами (utm, ?sort=);
- Дубли контента (например, одинаковые товары в разных категориях);
- Админ-панели, черновики, тестовые страницы;
- Политики конфиденциальности, оферты и т.п.;
- Файлы и документы, которые не должны попадать в поиск;
- Посадочные страницы под конкретную кампанию, которые не должны конкурировать с основной страницей услуги.
Основные способы закрытия от индексации
1. Файл robots.txt
Позволяет запретить доступ к странице или разделу. Пример:
User-agent: *
Disallow: /private-page/Однако этот способ работает только для будущей индексации. Если страница уже в поиске, она останется там, просто будет помечена как закрытая. Поэтому нужно комбинировать этот метод с другими.
2. Мета-тег noindex в <head>
Подходит для индивидуальных страниц. Добавьте в HTML-код:
<meta name="robots" content="noindex, nofollow">Это говорит поисковику не индексировать содержимое и не следовать по ссылкам. Тег должен присутствовать до загрузки основного контента страницы.
3. HTTP-заголовок X-Robots-Tag
Для случаев, когда доступ к HTML отсутствует, например для PDF-документов. Заголовок добавляется на уровне сервера:
X-Robots-Tag: noindex, nofollowРаботает на Apache, Nginx, через .htaccess или настройки nginx.conf.
4. Тег <noindex> (только для Яндекса)
Закрывает часть текста внутри страницы. Пример:
<noindex>Этот фрагмент не попадёт в индекс Яндекса</noindex>Важно: тег работает только у Яндекса. Google его игнорирует. Используется для скрытия баннеров, технической информации, дублей описаний и т.п.
Есть вопрос или задача по индексации и выдаче?
+7 (495) 128-83-60
Дополнительные рекомендации
— Используйте canonical, чтобы указать поисковику основную версию страницы при наличии дублей;
— Для временных акций применяйте тег noindex и настраивайте автоудаление через Яндекс.Вебмастер;
— Если хотите полностью скрыть контент от всех (включая пользователей) — лучше использовать авторизацию или basic-auth, а не SEO-инструменты.
Чек-лист: как закрыть страницу от индексации
- Определили, какие страницы точно не нужны в индексе;
- Добавили директиву в robots.txt или тег noindex в <head>;
- Проверили наличие заголовков и корректную отдачу кода 200;
- Проверили страницу через инструменты Яндекс.Вебмастера и Google Search Console;
- Удалили старую проиндексированную версию, если нужно (через Вебмастер);
- Проверили, что страница не ссылается с других открытых разделов (перелинковка);
- Не допустили случайного закрытия важных страниц (услуги, категории и т.д.);
- Настроили canonical, если есть дубли с другими параметрами.
Ошибки, которых стоит избегать
— Только robots.txt без удаления из индекса — страница останется в выдаче;
— Закрытие нужных страниц (например, всех фильтров без анализа трафика);
— Одинаковое закрытие для Google и Яндекса без учёта различий в поведении;
— Закрытие страницы с трафиком — можно потерять позиции и лиды;
— Отсутствие проверки после внедрения (страница всё ещё в индексе);
— Использование тегов или файлов с ошибками синтаксиса — поисковики их игнорируют.
Вывод
Закрытие страниц от индексации — не только про SEO, но и про управление безопасностью, структурой и релевантностью сайта. Чем раньше вы это внедрите — тем чище будет ваш проект и тем меньше проблем с дублями, мусором в выдаче и просадкой позиций. Главное — подходить к каждому случаю вдумчиво и с учётом всех технических нюансов.
Нужно закрыть страницы от индексации без потерь для SEO? Проведём аудит, определим приоритеты и правильно настроим все инструменты — без риска и с гарантией результата.
Есть вопрос или задача по индексации и выдаче?
Смотрите также
успешно отправлена!