Конвертер валютUSD 2,9976EUR 3,3551Моя статистикаПройдите любой тест
Все записи блога →
Последние Новости
  • Тур Хейердал — путешественник, переплывший океан на плоту
    Шесть мужчин, бальсовый плот и бескрайний Тихий океан. Тур Хейердал хотел проверить смелую идею: могли ли жители Южной Америки в древности добраться до островов Полинезии. Чтобы узнать это, он сам отправился в путь.Путь к успехуТур Хейердал родился 6 октября 1914 года в городе Ларвик в Норвегии. С детства он увлекался зоологией и дикой природой. В 1937–1938 годах Тур с женой прожил около года на острове Фату-Хива в Полинезии. Именно там, наблюдая за ветрами и течениями, он задумался о происхожде...
  • Христофор Колумб — мореплаватель, открывший Европе Америку
    Утром 12 октября 1492 года матрос с корабля «Пинта» крикнул, что видит берег. Через несколько часов три небольших судна подошли к острову, который местные жители называли Гуанахани. Экспедиция Христофора Колумба завершила первый переход через Атлантический океан, после которого мир перестал быть прежним.Путь к экспедицииКолумб родился около 1451 года в Генуе в семье ткача. Он рано ушёл в море, плавал по Средиземному и Атлантическому океанам, жил в Португалии. Он был уверен, что до Индии и Китая ...
  • Фрэнк Синатра — «Голос» века, певший по-своему
    Шляпа с лентой, небрежно накинутый плащ, бархатный баритон — Фрэнк Синатра умел превратить трёхминутную песню в маленький спектакль. Прозвище «Голос» закрепилось за ним ещё в 1940-х, и за десятилетия его мало кто смог оспорить.Путь к успехуСинатра родился в декабре 1915 года в Хобокене, штат Нью-Джерси, в семье итальянских эмигрантов. Музыкального образования он почти не получил, зато с юности пел на радио и в клубах. Первые успехи пришли в оркестрах Гарри Джеймса и Томми Дорси. В начале 194...
  • Михаил Булгаков — мастер, которого прочли после смерти
    Автор, которого при жизни почти не печатали, оказался одним из самых читаемых писателей столетия. История Михаила Афанасьевича Булгакова — это история терпения, упорства и веры в свою книгу.Путь к успехуБулгаков родился в 1891 году в Киеве, в семье преподавателя духовной академии. В 1916 году он окончил медицинский факультет Киевского университета и сразу начал работать врачом, в том числе в земской больнице в селе Никольском Смоленской губернии. Эти годы позже отразились в «Записках юного врача...
  • Дмитрий Менделеев — химик, составивший карту всех элементов
    Дмитрий Иванович Менделеев родился 8 февраля 1834 года (27 января по старому стилю) в Тобольске, в большой семье директора гимназии. Рос он в трудное время, но мать, по семейным преданиям, сделала всё, чтобы младший сын получил образование. Так будущий учёный оказался в Петербурге.Путь к успехуОкончив Главный педагогический институт, Менделеев стажировался в Европе, а в 1860-х годах стал профессором Петербургского университета. Читая курс неорганической химии, он не нашёл подходящего учебника и ...
  • Роальд Амундсен — покоритель полюсов и северо-западного прохода
    Полярные льды веками хранили свои тайны. Роальд Амундсен разгадал сразу несколько из них. Он не искал лёгкой славы: каждый его поход был итогом долгой учёбы у местных народов и внимательного расчёта.Путь к успехуАмундсен родился 16 июля 1872 года недалеко от города Борге в Норвегии. Он собирался стать врачом, но, прочитав о полярных экспедициях, выбрал другую жизнь. В 1897–1899 годах он участвовал в бельгийской экспедиции на судне «Бельжика», которая стала первой, перезимовавшей в Антарктике. Та...
  • Франциск Скорина — первопечатник Беларуси и Восточной Европы
    В 1517 году в Праге вышла небольшая книга, которую можно держать в одной руке. Это была Псалтирь, а на её страницах стояло имя издателя: «Франциск Скорина из Полоцка, в лекарских науках доктор». Так началась история восточнославянского книгопечатания.Путь к книгеТочная дата рождения Скорины неизвестна, обычно называют около 1490 года. Он родился в Полоцке в семье купца. В 1504 году его имя записано среди студентов Краковского университета. В 1512 году в итальянской Падуе он получил степень докто...
  • Марк Шагал — художник, чьи герои парят над городом
    На картинах Марка Шагала люди летают над крышами, скрипач сидит на домике, а синяя корова смотрит на зрителя человеческими глазами. Это не просто фантазия: художник всю жизнь рисовал родной Витебск, каким его хранила память, — с поэтической логикой сна.Путь к успехуМарк Шагал (при рождении Мовша Шагал) родился в 1887 году в семье бедного еврейского рабочего недалеко от Витебска и вырос в самом Витебске. Он учился у местного художника Юделя Пэна, затем уехал в Санкт-Петербург. В 191...
  • Янка Купала — народный поэт Беларуси
    Когда в начале XX века молодой поэт из деревни под Минском подписал свои стихи псевдонимом «Янка Купала», он, возможно, и не думал, что станет голосом целого народа. Но именно так и произошло.Путь к успехуИван Доминикович Луцевич родился в 1882 году в фольварке Вязынка близ Молодечно. Семья была небогатой: родители арендовали землю. Учился он в народном училище, потом работал домашним учителем, писарем, помощником провизора, много читал и рано начал писать стихи. Первое стихотворение «Мужик» нап...
  • Луи Пастер — учёный, победивший невидимых врагов
    Луи Пастер родился 27 декабря 1822 года в городке Доль на востоке Франции, в семье кожевника. Он был прилежным, но не блестящим учеником и интересовался живописью. Однако судьбу решила химия: она повела его от кристаллов к микробам и спасению жизней.Путь к успехуПервое крупное открытие Пастер сделал в 1848 году, изучая кристаллы солей винной кислоты. Он заметил, что они бывают двух зеркально отражённых форм, и тем самым заложил основы стереохимии. Позже он занялся брожением и показал, что за нег...

sitemap.xml и robots.txt

Качество и продвижение · модуль 11: SEO и метаданные · урок 106 / 15015.10.202639

Как устроены файлы sitemap.xml и robots.txt: что в них писать, чем они отличаются и почему robots.txt не убирает страницу из поиска.

sitemap.xml — карта сайта

Это XML-файл со списком адресов, которые вы хотите показать поисковику. Он помогает роботу находить страницы, особенно на больших сайтах или новых проектах, но не гарантирует индексацию. Лежит обычно в корне: https://example.com/sitemap.xml.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
	<url>
		<loc>https://example.com/</loc>
		<lastmod>2026-03-15</lastmod>
	</url>
	<url>
		<loc>https://example.com/catalog?page=2&amp;sort=price</loc>
		<lastmod>2026-03-10</lastmod>
	</url>
</urlset>

Обратите внимание: в XML символ & в адресе обязан быть записан как &amp;.

  • <loc> — полный абсолютный адрес, обязателен.
  • <lastmod> — дата последнего изменения; полезна, если указывать честно.
  • Google не использует <priority> и <changefreq>, их можно не писать.
  • Лимит одного файла по протоколу — 50 000 адресов и 50 МБ без сжатия; для большего делают индексный файл со ссылками на несколько карт.
  • Включайте только страницы, которые должны быть в поиске: без noindex, без редиректов, с каноническим адресом.

robots.txt — правила для роботов

Текстовый файл в корне сайта: https://example.com/robots.txt. В нём указано, какие разделы роботу сканировать не нужно.

User-agent: *
Disallow: /admin/
Disallow: /cart/
Allow: /admin/help/

Sitemap: https://example.com/sitemap.xml
ДирективаСмысл
User-agentДля какого робота правила; * — для всех
DisallowПуть, который не сканировать
AllowИсключение внутри закрытого пути
SitemapАдрес карты сайта

Главная ловушка

robots.txt запрещает сканирование, а не индексацию. Если на закрытую страницу ведут ссылки, адрес всё равно может появиться в выдаче — просто без описания. Чтобы страницы точно не было в поиске, используйте noindex (мета-тег или заголовок) и не закрывайте её в robots.txt, иначе робот не увидит запрет. Кроме того, robots.txt — публичный файл и не защита: закрытые разделы нужно защищать паролем.

Не закрывайте от сканирования CSS и JavaScript, нужные для отображения страницы: поисковику важно видеть её так, как видит пользователь.

Задание

Напишите robots.txt для сайта, где нужно закрыть /admin/ и /search/ и указать карту сайта. Затем составьте sitemap.xml из трёх страниц с lastmod.

Подсказка

Открытый в браузере robots.txt можно проверить на опечатки: путь в Disallow начинается с косой черты и чувствителен к регистру.

Проверьте себя: тест по HTML210 вопросов · с объяснениями, от Junior до Senior
Оглавление курса
Модуль 1Старт10
  1. 1Что такое HTML и как работает веб-страница
  2. 2Инструменты: редактор, браузер и DevTools
  3. 3Первая страница: Hello, World
  4. 4Структура документа: doctype, html, head, body
  5. 5Раздел head: title, meta и кодировка
  6. 6Теги и атрибуты
  7. 7Комментарии и проверка разметки
  8. 8Файлы проекта и пути: абсолютные и относительные
  9. 9Публикация сайта: GitHub Pages и хостинг
  10. 10История HTML и стандарты: WHATWG, W3C
Модуль 2Текст, ссылки и списки10
  1. 11Заголовки h1–h6
  2. 12Абзацы, переносы и разделители
  3. 13Выделение текста: strong, em, mark, small
  4. 14Цитаты и код: blockquote, q, code, pre
  5. 15Списки: ul, ol, dl
  6. 16Ссылки: тег a
  7. 17Якоря, target и rel
  8. 18Специальные символы и HTML-сущности
  9. 19Пробелы, переносы и тег pre
  10. 20Практикум: статья с оглавлением
Модуль 3Изображения, медиа и таблицы10
  1. 21Изображения: тег img
  2. 22Форматы изображений, srcset и picture
  3. 23figure и figcaption
  4. 24Аудио и видео: audio, video
  5. 25Встраивание: iframe, YouTube и карты
  6. 26Таблицы: основы
  7. 27Структура таблицы: thead, tbody, tfoot
  8. 28Объединение ячеек: colspan и rowspan
  9. 29Доступные таблицы: caption и scope
  10. 30Практикум: таблица тарифов
Модуль 4Семантическая вёрстка10
  1. 31Зачем нужна семантика
  2. 32header, nav и footer
  3. 33main, article и section
  4. 34aside и address
  5. 35div и span против семантических тегов
  6. 36time, mark, details и summary
  7. 37Диалоги и раскрывающиеся блоки
  8. 38Иерархия заголовков и структура страницы
  9. 39Ориентиры страницы и роли
  10. 40Практикум: страница блога
Модуль 5Формы10
  1. 41Форма: form, action и method
  2. 42Типы полей input
  3. 43label, id и name
  4. 44textarea и select
  5. 45Флажки и переключатели
  6. 46Кнопки: button и input type=submit
  7. 47Встроенная валидация: required, pattern, min, max
  8. 48Группировка полей: fieldset и legend
  9. 49datalist, output, progress и meter
  10. 50Практикум: форма регистрации
Модуль 6CSS: основы10
  1. 51Что такое CSS
  2. 52Как подключить CSS: link, style, style=""
  3. 53Селекторы
  4. 54Специфичность
  5. 55Каскад и наследование
  6. 56Цвета: hex, rgb, hsl
  7. 57Единицы измерения: px, rem, em, %, vw
  8. 58Шрифты и оформление текста
  9. 59Блочная модель: margin, padding, border
  10. 60Практикум: карточка товара
Модуль 7Раскладка: Flexbox и Grid10
  1. 61display и нормальный поток
  2. 62position: relative, absolute, fixed, sticky
  3. 63Flexbox: основы
  4. 64Flexbox: выравнивание
  5. 65Flexbox: типовые шаблоны
  6. 66Grid: основы
  7. 67Grid: области и именованные линии
  8. 68Grid: адаптивные сетки без медиа-запросов
  9. 69Шпаргалка: как центрировать что угодно
  10. 70Практикум: лендинг
Модуль 8Адаптивность и анимации10
  1. 71Viewport и медиа-запросы
  2. 72Mobile-first подход
  3. 73Адаптивные изображения
  4. 74Плавная типографика: clamp()
  5. 75CSS-переменные
  6. 76Псевдоклассы
  7. 77Псевдоэлементы
  8. 78Переходы: transition
  9. 79Анимации: @keyframes
  10. 80Трансформации: transform
Модуль 9Продвинутый CSS10
  1. 81Фоны и градиенты
  2. 82Тени и фильтры
  3. 83Свои шрифты: @font-face
  4. 84SVG: основы
  5. 85Иконки: SVG-спрайты и иконочные шрифты
  6. 86Тёмная тема: prefers-color-scheme
  7. 87Container queries
  8. 88Вложенность и @layer
  9. 89Именование классов: БЭМ
  10. 90Практикум: страница-портфолио
Модуль 10Доступность10
  1. 91Доступность: зачем и для кого
  2. 92ARIA: роли, состояния и свойства
  3. 93Клавиатура и фокус
  4. 94Альтернативные тексты
  5. 95Контраст и цвет
  6. 96Доступные формы
  7. 97Проверка скринридерами
  8. 98Уменьшение анимации: prefers-reduced-motion
  9. 99Аудит доступности: Lighthouse и axe
  10. 100Практикум: исправляем недоступную страницу
Модуль 11SEO и метаданные10
  1. 101SEO для вёрстки: основы
  2. 102title и description
  3. 103Open Graph и Twitter Cards
  4. 104canonical, robots и noindex
  5. 105Микроразметка: JSON-LD и schema.org
  6. 106sitemap.xml и robots.txt
  7. 107Иконки сайта и манифест
  8. 108Языки и hreflang
  9. 109Ссылки и анкоры с точки зрения SEO
  10. 110Практикум: SEO-аудит страницы
Модуль 12Производительность и загрузка10
  1. 111Как браузер строит страницу
  2. 112Парсинг HTML и ошибки разметки
  3. 113Загрузка скриптов: defer и async
  4. 114Ленивая загрузка
  5. 115Оптимизация изображений
  6. 116Загрузка шрифтов
  7. 117Критический CSS
  8. 118Кэширование и CDN
  9. 119Core Web Vitals
  10. 120Практикум: ускоряем страницу
Модуль 13Инструменты вёрстальщика10
  1. 121DevTools: углублённо
  2. 122Git и GitHub для вёрстальщика
  3. 123npm и сборка: Vite
  4. 124Sass и PostCSS
  5. 125Линтеры и форматтеры: Prettier, Stylelint
  6. 126Валидаторы HTML и CSS
  7. 127Bootstrap
  8. 128Tailwind CSS
  9. 129Веб-компоненты
  10. 130Шаблонизация: партиалы и генераторы страниц
Модуль 14JavaScript для вёрстальщика10
  1. 131JavaScript в HTML
  2. 132DOM: поиск и изменение элементов
  3. 133События
  4. 134Формы и JavaScript
  5. 135fetch и JSON
  6. 136localStorage
  7. 137Модальные окна и вкладки
  8. 138IntersectionObserver и анимация при прокрутке
  9. 139Canvas: первое знакомство
  10. 140Практикум: список дел
Модуль 15Профи10
  1. 141Архитектура CSS
  2. 142Дизайн-системы и UI-киты
  3. 143HTML-письма
  4. 144Кроссбраузерность и поддержка
  5. 145Безопасность: CSP, XSS и iframe sandbox
  6. 146Портфолио вёрстальщика
  7. 147Вопросы на собеседовании по HTML и CSS
  8. 148Код-ревью вёрстки
  9. 149Дипломный проект: разработка
  10. 150Дипломный проект: защита и итоги