Про робота

Робот DobroCodeSeoBot

Эта страница объясняет, что за робот заходил на ваш сайт. Ссылка на неё стоит в его User-Agent — по ней и попадают сюда из логов сервера.

DobroCodeSeoBot/1.0 (+https://dobro-code.ru/seo-audit/bot)

Про робота

Коротко

Робот принадлежит сервису «Контент завод ДоброКод» и обходит сайт только по прямому заказу — когда владелец сайта или его представитель попросил сделать SEO-анализ.
Он только читает страницы: ничего не отправляет, не заполняет формы, не пытается войти в закрытые разделы.
Между запросами выдерживается пауза не меньше секунды, а число страниц ограничено несколькими десятками. Заметной нагрузки на сервер обход не создаёт.
Robots.txt выполняется: закрытые в нём разделы не запрашиваются, а Crawl-delay больше секунды соблюдается.
Содержимое страниц не сохраняется. В базу попадают только извлечённые признаки: коды ответов, заголовки, число слов, адреса ссылок.

Если обход нежелателен

Достаточно обычного правила в robots.txt в корне сайта — робот перечитывает его при каждом заказе:

User-agent: DobroCodeSeoBot
Disallow: /

После этого проверка вашего сайта будет отказываться от обхода. Если робот вёл себя иначе, чем описано, напишите нам — разберёмся и остановим.

Контакты

Вопросы о роботе — на общую почту, там же принимаем жалобы на его поведение.

Здесь же можно заказать проверку своего сайта.