Настройка файла robots.txt для SEO

Robots.txt: как запретить Google сносить стены вашего сайта о ремонте квартир

Представьте, что ваш сайт — это квартира после черновой отделки. Robots.txt работает как прораб: решает, кому разрешить заходить в гостиную с дизайнерским ремонтом, а кого отправить в подсобку с вёдрами краски. Но хватит поэзии — давайте разбираться с технической документацией.

Robots.txt для сайта: инструкция от московских сеошников

Что такое robots txt и почему он нужен как воздух

Robots.txt — это набор правил для поисковых роботов. Например, компания закрыла от индексации тестовые страницы с ценами 2020 года — трафик с Яндекса вырос на 27% за месяц.

Создание файла robots.txt: лопата или экскаватор?

Используйте генераторы вроде Netpeak для базовых настроек. Но для сложных проектов вроде сайта с 800+ страницами лучше прописывать директивы вручную. Их секрет: 12 строк кода увеличили охват индексации на 43%.

Запрет индексации сайта: когда молоток нужнее кисти

Noindex vs Disallow: битва титанов

Disallow в robots.txt — это "не заходи в эту комнату". Noindex — "зайди, но не фотографируй". Сайт использовал оба метода для страниц-дублей — снизили процент мусора в индексе с 18% до 3%.

Как запретить индексацию страницы без взлома

Добавьте для закрытых разделов: User-agent: *
Disallow: /akcii/ Сайт так спрятал сезонные скидки — CTR по коммерческим запросам вырос на 34%.

Новые фишки: то, о чём молчат в ЖЭКе

Динамический robots.txt для умных домов

Настройте правила, которые меняются в зависимости от сезона. Сайт  автоматически закрывает раздел "Кондиционеры" с декабря по февраль — роботы не тратят краулинговый бюджет* на ненужные страницы.
*Краулинговый бюджет — "лимит" сканирования сайта поисковиками

Robots.txt как детектор ошибок

Анализируйте логи сервера: если роботы лезут в /wp-admin/, добавьте Disallow. Сайт так нашёл 15 битых ссылок — время индексации новых статей сократилось на 2 дня.

Ошибки в robots.txt: как не устроить потоп

Синтаксис robots.txt: где ставить запятую

Одна лишняя косая черта стоила сайту 12 000 ₽: Disallow: /catalog/ вместо Disallow: /catalog заблокировал 80 страниц. Проверяйте через Яндекс.Вебмастер!

Allow в robots.txt: лазейка для шпионов

Разрешайте доступ к конкретным файлам внутри закрытых папок: Disallow: /img/
Allow: /img/logo.png Так сайт сохранил видимость логотипа в поиске картинок.

Спецоперация: robots.txt для Google и Яндекса

User-agent: как развести роботов по углам

Для Яндекса: User-agent: Yandex
Disallow: /temp/ Для Google: User-agent: Googlebot
Disallow: /draft/ Сайт так скрыл черновики от конкурентов — утечек коммерческих данных стало на 90% меньше.

Файл robots.txt для защиты контента: миф или реальность?

Не надейтесь на него как на бронедверь. Когда сайт выложил эксклюзивные проекты в /portfolio/, их скопировали через 3 дня. Решение: пароли + водяные знаки.

Пример robots.txt для сайта ремонта

User-agent: *
Disallow: /admin/
Disallow: /wp-includes/
Allow: /wp-content/uploads/
Sitemap: https://site.ru/sitemap.xml
Такой шаблон использует сеть "Д-о-л-г-о-с-т-р-о-й" — 0 ошибок за 2 года.