Приветствуем на MYRN RW

Скачивайте плагины/ресурсы/стили/моды/скрипты абсолютно бесплатно для MTA/SAMP/XenForo, программы

Регистрация!
  • Открыт набор в команду RW на должность: Модератор ресурсов. Перейти по ссылке: https://resource-world.ru/threads/Набор-на-должность-«МОДЕРАТОР»-ОТКРЫТО.42911/#post-43779

Почему ваш сайт не индексируется? Настройка robots.txt и sitemap на живом примере

  • Автор темы Автор темы Twixoff 
  • Дата начала Дата начала

Twixoff 

Легенда RW + ВайбКодер 💻🍫
Команда форума
Куратор статей
Боец CS
Выберите роль
  1. Пользователь форума
  2. CS 1.6 | FIRST BLOOD | 12x12 PUBLIC
  3. CS:S | HEADSHOT | 12x12 PUBLIC
Народ, я сам разработчик, и SEO для меня долгое время было «тёмной магией». Пока я не столкнулся с тем, что мой сайт smotrim.tatnet.app не появляется в поиске. Давайте разберём реальный кейс и исправим ошибки, которые допускают 90% программистов.

================================================================================

Часть 1. Что такое индексация и почему она не происходит?​

Индексация — это когда поисковый робот (Яндекс, Google) заходит на ваш сайт, читает его и добавляет страницы в свою базу. Если робот не может этого сделать — сайта в поиске не будет.

Основные причины отказа в индексации:

  1. robots.txt запрещает доступ (Disallow)
  2. В коде страницы есть <meta name="robots" content="noindex">
  3. Сайт использует хэш-роутинг (# в URL) — роботы не видят контент
  4. sitemap.xml отсутствует или указывает на другой домен
  5. Сервер отвечает ошибкой (5xx, 4xx)
================================================================================

Часть 2. Разбираем​

Твой файл (https://smotrim.tatnet.app/robots.txt) выглядит так:

text
User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /*.json$
...
Sitemap: https://smotrim.net/sitemap.xml
Что здесь правильно:

  • Разрешена индексация всего сайта (Allow: /)
  • Закрыты служебные разделы (/api/, /admin/)
  • Есть краулинг-задержки для Яндекса и Bing
Что здесь НЕПРАВИЛЬНО:

  • Sitemap указывает на чужой домен — smotrim.net вместо smotrim.tatnet.app. Поисковик проигнорирует эту карту сайта или посчитает её ошибкой.
  • Отсутствует собственная sitemap.xml на твоём домене.
Исправление:
Создать файл sitemap.xml на smotrim.tatnet.app и изменить robots.txt:

text
Sitemap: https://smotrim.tatnet.app/sitemap.xml
================================================================================

Часть 3. Проблема с хэш-роутингом (​

Ты дал ссылку: smotrim.tatnet.app/#watch/tnt-i-tnt4.

Поисковые роботы не читают содержимое после #. Это часть клиентского роутинга (SPA). Для них страница с # — это та же самая главная страница, а не отдельный URL.

Как исправить:

  • Используй History API (без #): smotrim.tatnet.app/watch/tnt-i-tnt4
  • Если не можешь отказаться от хэшей — добавь для роботов ?_escaped_fragment_= (но это сложный костыль).
После исправления: каждая страница получит свой уникальный URL, и роботы смогут её проиндексировать.

================================================================================

Часть 4. Как правильно создать​

sitemap.xml — это карта вашего сайта для поисковых систем. Вот минимальный пример:

xml
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://smotrim.tatnet.app/</loc>
<priority>1.0</priority>
</url>
<url>
<loc>https://smotrim.tatnet.app/watch/tnt-i-tnt4</loc>
<lastmod>2026-04-09</lastmod>
</url>
<!-- добавьте остальные страницы -->
</urlset>
Сгенерировать автоматически можно:

  • Онлайн-генераторами (вбиваете в поиске «sitemap generator»)
  • Плагинами для вашего фреймворка (например, next-sitemap для Next.js)
  • Самописным скриптом (если сайт динамический)
После создания загрузите sitemap.xml в корень сайта и проверьте: smotrim.tatnet.app/sitemap.xml.

================================================================================

Часть 5. Отправка сайта в Яндекс и Google (самое важное)​

Даже если вы всё настроили, поисковики могут не узнать о вашем сайте. Их нужно поторопить.

Яндекс.Вебмастер:

  1. Зарегистрируйтесь на webmaster.yandex.ru
  2. Добавьте сайт (smotrim.tatnet.app)
  3. В разделе «Инструменты» → «Проверить robots.txt» — убедитесь, что нет ошибок
  4. В разделе «Инструменты» → «Индексирование» → «Отправить страницу» — введите главный URL и sitemap
Google Search Console:

  1. Зайдите на search.google.com/search-console
  2. Добавьте сайт (вариант «Префикс URL»)
  3. Проверьте robots.txt и отправьте sitemap вручную
Через 1-2 недели после отправки страницы начнут появляться в выдаче.

================================================================================

Часть 6. Чек-лист для разработчика (чтобы не забыть)​

Перед запуском сайта проверьте:

  • robots.txt доступен, разрешает индексацию (Allow: /)
  • Нет запрещающих метатегов &lt;meta name="robots" content="noindex"&gt;
  • URL без # (History API) или настроен ?_escaped_fragment_
  • Создан и загружен sitemap.xml (на своём домене)
  • В robots.txt указана правильная ссылка на sitemap.xml
  • Сайт добавлен в Яндекс.Вебмастер и Google Search Console
  • Sitemap отправлен вручную через вебмастера
================================================================================
 
Назад
Верх