XERN Analytics Bot

Кто мы и что делаем

XERN Analytics — российский сервис SEO-аналитики. По запросу владельца сайта (или его SEO-специалиста) мы периодически обходим сайт и снимаем технические метрики: статусы страниц, теги, скорость отклика, изменения относительно предыдущих сканов.

Если бот сканирует ваш сайт — кто-то из ваших коллег или партнёров подключил его к нашему сервису. Если вы хотите остановить сканирование, см. раздел «Как отключить» ниже.

Идентификация

Бот всегда представляется User-Agent'ом:

XERNAnalyticsBot/1.0 (+https://xern.ru/bot; contact@xern.ru)

IP-адреса исходящих запросов фиксированы за инфраструктурой xern.ru. Если нужен список — напишите нам.

Принципы вежливости

• robots.txt — соблюдаем директивы Disallow, Allow, Crawl-delay для нашего User-Agent.
• Скорость — не более 1 запроса в секунду на хост по умолчанию (можем ниже, если сайт явно просит).
• 429 Too Many Requests — уважаем заголовок Retry-After и автоматически снижаем нагрузку на остаток скана.
• Адаптация — если ваш сайт начал отвечать медленно (p95 > 3с), мы автоматически снижаем скорость вдвое.
• Размер ответа — читаем не более 2 МБ HTML, остальное игнорируем.
• Тип контента — обходим только HTML (текст/xhtml), бинари (PDF/изображения/видео) не качаем.
• Quiet hours — владелец проекта может задать «тихие часы», в которые мы не запускаем сканы.

Как отключить

Несколько способов, любой работает:

1. Добавьте в robots.txt:

   User-agent: XernAnalyticsBot
   Disallow: /

2. Напишите нам — мы добавим домен в общий blocklist.
3. Свяжитесь с владельцем проекта в XERN Analytics — он может удалить сайт из мониторинга.

Жалоба или вопрос

Если бот ведёт себя некорректно (игнорирует robots.txt, создаёт чрезмерную нагрузку, нарушает наши же принципы выше) — напишите на contact@xern.ru. Включите:

• Доменное имя вашего сайта
• Дата/время инцидента (по возможности access-log или RPS-график)
• User-Agent и IP-адреса наших запросов

Мы отвечаем в течение рабочего дня.