- Выберите роль
- Пользователь форума
- CS 1.6 | FIRST BLOOD | 12x12 PUBLIC
- CS:S | HEADSHOT | 12x12 PUBLIC
- Тема Автор
- #1
Народ, я сам разработчик, и SEO для меня долгое время было «тёмной магией». Пока я не столкнулся с тем, что мой сайт smotrim.tatnet.app не появляется в поиске. Давайте разберём реальный кейс и исправим ошибки, которые допускают 90% программистов.
================================================================================
Основные причины отказа в индексации:
text
User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /*.json$
...
Sitemap: https://smotrim.net/sitemap.xml
Что здесь правильно:
Создать файл sitemap.xml на smotrim.tatnet.app и изменить robots.txt:
text
Sitemap: https://smotrim.tatnet.app/sitemap.xml
================================================================================
Поисковые роботы не читают содержимое после #. Это часть клиентского роутинга (SPA). Для них страница с # — это та же самая главная страница, а не отдельный URL.
Как исправить:
================================================================================
xml
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://smotrim.tatnet.app/</loc>
<priority>1.0</priority>
</url>
<url>
<loc>https://smotrim.tatnet.app/watch/tnt-i-tnt4</loc>
<lastmod>2026-04-09</lastmod>
</url>
<!-- добавьте остальные страницы -->
</urlset>
Сгенерировать автоматически можно:
================================================================================
Яндекс.Вебмастер:
================================================================================
================================================================================
Часть 1. Что такое индексация и почему она не происходит?
Индексация — это когда поисковый робот (Яндекс, Google) заходит на ваш сайт, читает его и добавляет страницы в свою базу. Если робот не может этого сделать — сайта в поиске не будет.Основные причины отказа в индексации:
- robots.txt запрещает доступ (Disallow)
- В коде страницы есть <meta name="robots" content="noindex">
- Сайт использует хэш-роутинг (# в URL) — роботы не видят контент
- sitemap.xml отсутствует или указывает на другой домен
- Сервер отвечает ошибкой (5xx, 4xx)
Часть 2. Разбираем
Твой файл (https://smotrim.tatnet.app/robots.txt) выглядит так:text
User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /*.json$
...
Sitemap: https://smotrim.net/sitemap.xml
Что здесь правильно:
- Разрешена индексация всего сайта (Allow: /)
- Закрыты служебные разделы (/api/, /admin/)
- Есть краулинг-задержки для Яндекса и Bing
- Sitemap указывает на чужой домен — smotrim.net вместо smotrim.tatnet.app. Поисковик проигнорирует эту карту сайта или посчитает её ошибкой.
- Отсутствует собственная sitemap.xml на твоём домене.
Создать файл sitemap.xml на smotrim.tatnet.app и изменить robots.txt:
text
Sitemap: https://smotrim.tatnet.app/sitemap.xml
================================================================================
Часть 3. Проблема с хэш-роутингом (
Ты дал ссылку: smotrim.tatnet.app/#watch/tnt-i-tnt4.Поисковые роботы не читают содержимое после #. Это часть клиентского роутинга (SPA). Для них страница с # — это та же самая главная страница, а не отдельный URL.
Как исправить:
- Используй History API (без #): smotrim.tatnet.app/watch/tnt-i-tnt4
- Если не можешь отказаться от хэшей — добавь для роботов ?_escaped_fragment_= (но это сложный костыль).
================================================================================
Часть 4. Как правильно создать
sitemap.xml — это карта вашего сайта для поисковых систем. Вот минимальный пример:xml
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://smotrim.tatnet.app/</loc>
<priority>1.0</priority>
</url>
<url>
<loc>https://smotrim.tatnet.app/watch/tnt-i-tnt4</loc>
<lastmod>2026-04-09</lastmod>
</url>
<!-- добавьте остальные страницы -->
</urlset>
Сгенерировать автоматически можно:
- Онлайн-генераторами (вбиваете в поиске «sitemap generator»)
- Плагинами для вашего фреймворка (например, next-sitemap для Next.js)
- Самописным скриптом (если сайт динамический)
================================================================================
Часть 5. Отправка сайта в Яндекс и Google (самое важное)
Даже если вы всё настроили, поисковики могут не узнать о вашем сайте. Их нужно поторопить.Яндекс.Вебмастер:
- Зарегистрируйтесь на webmaster.yandex.ru
- Добавьте сайт (smotrim.tatnet.app)
- В разделе «Инструменты» → «Проверить robots.txt» — убедитесь, что нет ошибок
- В разделе «Инструменты» → «Индексирование» → «Отправить страницу» — введите главный URL и sitemap
- Зайдите на search.google.com/search-console
- Добавьте сайт (вариант «Префикс URL»)
- Проверьте robots.txt и отправьте sitemap вручную
================================================================================
Часть 6. Чек-лист для разработчика (чтобы не забыть)
Перед запуском сайта проверьте:- robots.txt доступен, разрешает индексацию (Allow: /)
- Нет запрещающих метатегов <meta name="robots" content="noindex">
- URL без # (History API) или настроен ?_escaped_fragment_
- Создан и загружен sitemap.xml (на своём домене)
- В robots.txt указана правильная ссылка на sitemap.xml
- Сайт добавлен в Яндекс.Вебмастер и Google Search Console
- Sitemap отправлен вручную через вебмастера