Statdom.ru/Bot честно предупреждает: robots.txt его не остановит

statdom.ru/Bot — семейство роботов проекта «Домены России» (АО «Технический центр Интернета»). Собирают статистику о сайтах и веб-технологиях (CMS, сервер, скрипты, TLS) для аналитики доменных зон РФ. Не Googlebot. Проект «Домены России» — совместная инициатива Координационного центра национального домена сети Интернет (официального администратора зон .ru и .рф) и АО «Технический центр Интернет». Собранная статистика по национальным доменным зонам .ru, .su, .рф обновляется ежедневно и используется для анализа состояния и развития российского доменного пространства.

Параметры

Главное расхождение с типичной практикой: robots.txt здесь не работает по признанию самого оператора

Большинство крупных легитимных краулеров прямо заявляют о соблюдении robots.txt как о стандарте вежливого поведения. Проект «Домены России» поступает иначе — и честно предупреждает об этом на своей же странице: технически ограничить доступ отдельных роботов семейства statdom.ru через robots.txt или подобные механизмы не получится. Это не означает злонамеренность — скорее, специфику задачи: сервис собирает статистику по всему национальному доменному пространству, и точечные исключения плохо сочетаются с целью построить полную картину инфраструктуры зон .ru/.su/.рф. Практическое следствие: если решаете ограничить обход этого бота, сразу переходите к серверному уровню (nginx/Apache/TrafficVeil) — попытки полагаться на robots.txt здесь заведомо не дадут результата, в отличие от многих других легитимных краулеров.

Нагрузка

По сводке TrafficVeil — порядка 37 тысяч запросов. Задача бота — собрать технический профиль сайта (CMS, сервер, скрипты, TLS), а не вычитать весь контент, поэтому такой объём выглядит соразмерным точечной технической проверке, а не массовому обходу.

Контроль

grep -i "statdom" /var/log/nginx/access.log

# Формально можно прописать, но по заявлению оператора это не даёт гарантии
User-agent: statdom.ru/Bot
Crawl-delay: 10

User-agent: statdom.ru/Bot
Disallow: /

Для реального эффекта используйте блокировку на уровне сервера, а не только правку robots.txt.

Рекомендации

• Нейтральная статистика по российскому доменному пространству — часто оставляют разрешённой, поскольку данные идут в открытую аналитику официального администратора зон .ru/.рф, а не коммерческому третьему лицу
• Не хотите участвовать — учитывая прямое заявление оператора о неэффективности robots.txt, для гарантированного результата нужен deny на уровне сервера, а не только Disallow
• На Google не влияет — это отдельная от поисковой индексации инфраструктура