sitemap.xml и robots.txt
Как устроены файлы sitemap.xml и robots.txt: что в них писать, чем они отличаются и почему robots.txt не убирает страницу из поиска.
sitemap.xml — карта сайта
Это XML-файл со списком адресов, которые вы хотите показать поисковику. Он помогает роботу находить страницы, особенно на больших сайтах или новых проектах, но не гарантирует индексацию. Лежит обычно в корне: https://example.com/sitemap.xml.
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://example.com/</loc>
<lastmod>2026-03-15</lastmod>
</url>
<url>
<loc>https://example.com/catalog?page=2&sort=price</loc>
<lastmod>2026-03-10</lastmod>
</url>
</urlset>
Обратите внимание: в XML символ & в адресе обязан быть записан как &.
<loc>— полный абсолютный адрес, обязателен.<lastmod>— дата последнего изменения; полезна, если указывать честно.- Google не использует
<priority>и<changefreq>, их можно не писать. - Лимит одного файла по протоколу — 50 000 адресов и 50 МБ без сжатия; для большего делают индексный файл со ссылками на несколько карт.
- Включайте только страницы, которые должны быть в поиске: без
noindex, без редиректов, с каноническим адресом.
robots.txt — правила для роботов
Текстовый файл в корне сайта: https://example.com/robots.txt. В нём указано, какие разделы роботу сканировать не нужно.
User-agent: *
Disallow: /admin/
Disallow: /cart/
Allow: /admin/help/
Sitemap: https://example.com/sitemap.xml
| Директива | Смысл |
|---|---|
User-agent | Для какого робота правила; * — для всех |
Disallow | Путь, который не сканировать |
Allow | Исключение внутри закрытого пути |
Sitemap | Адрес карты сайта |
Главная ловушка
robots.txt запрещает сканирование, а не индексацию. Если на закрытую страницу ведут ссылки, адрес всё равно может появиться в выдаче — просто без описания. Чтобы страницы точно не было в поиске, используйте noindex (мета-тег или заголовок) и не закрывайте её в robots.txt, иначе робот не увидит запрет. Кроме того, robots.txt — публичный файл и не защита: закрытые разделы нужно защищать паролем.
Не закрывайте от сканирования CSS и JavaScript, нужные для отображения страницы: поисковику важно видеть её так, как видит пользователь.
Напишите robots.txt для сайта, где нужно закрыть /admin/ и /search/ и указать карту сайта. Затем составьте sitemap.xml из трёх страниц с lastmod.
Открытый в браузере robots.txt можно проверить на опечатки: путь в Disallow начинается с косой черты и чувствителен к регистру.
Оглавление курса
Модуль 1Старт10
- 1Что такое HTML и как работает веб-страница
- 2Инструменты: редактор, браузер и DevTools
- 3Первая страница: Hello, World
- 4Структура документа: doctype, html, head, body
- 5Раздел head: title, meta и кодировка
- 6Теги и атрибуты
- 7Комментарии и проверка разметки
- 8Файлы проекта и пути: абсолютные и относительные
- 9Публикация сайта: GitHub Pages и хостинг
- 10История HTML и стандарты: WHATWG, W3C
Модуль 2Текст, ссылки и списки10
Модуль 3Изображения, медиа и таблицы10
- 21Изображения: тег img
- 22Форматы изображений, srcset и picture
- 23figure и figcaption
- 24Аудио и видео: audio, video
- 25Встраивание: iframe, YouTube и карты
- 26Таблицы: основы
- 27Структура таблицы: thead, tbody, tfoot
- 28Объединение ячеек: colspan и rowspan
- 29Доступные таблицы: caption и scope
- 30Практикум: таблица тарифов
Модуль 4Семантическая вёрстка10
Модуль 5Формы10
- 41Форма: form, action и method
- 42Типы полей input
- 43label, id и name
- 44textarea и select
- 45Флажки и переключатели
- 46Кнопки: button и input type=submit
- 47Встроенная валидация: required, pattern, min, max
- 48Группировка полей: fieldset и legend
- 49datalist, output, progress и meter
- 50Практикум: форма регистрации
