Website-info.net-Robot — краулер немецкого каталога доменов website-info.net (оператор Meins und Vogel GmbH): собирает данные о доменах для карточек на их сайте. Не Googlebot.
Параметры
| Параметр | Значение |
|---|---|
| UA | Mozilla/5.0 (compatible; Website-info.net-Robot; https://website-info.net/robot) |
| Токен robots | Website-info.net (так указано в их документации; в логах чаще встречается полная форма Website-info.net-Robot) |
| Docs | website-info.net/robot |
| Частота | ~1 секунда между запросами (по заявлению оператора) |
| robots.txt | Да, на добровольной основе (по их собственной странице) |
| IP-лист | ❌ Официального feed нет; в наблюдениях встречаются немецкие VPS-адреса |
Что стоит знать о нишевых доменных каталогах вроде этого
Website-info.net относится к обширной категории небольших национальных каталогов доменов и сайтов — таких сервисов в немецкоязычном сегменте интернета довольно много, и большинство из них не попадают в крупные международные трекеры ботов именно из-за узкой, локальной аудитории. Это не делает их автоматически нежелательными: логика та же, что у более известных каталогов — карточка домена с базовой технической и статистической информацией, которая может быть полезна для видимости сайта в узкоспециализированном локальном поиске, но не имеет отношения к основному SEO-трафику. Практический ориентир для оценки пользы: если у сайта есть немецкая аудитория или цель на этот рынок, попадание в подобные локальные каталоги иногда даёт небольшой, но релевантный реферальный трафик. Если аудитория не немецкая, ценность такой карточки, скорее всего, минимальна.
Нагрузка
По сводке TrafficVeil — порядка 2,8 тысячи запросов. Небольшой объём с заявленной паузой около секунды между запросами выглядит согласованным с описанием «вежливого» каталожного краулера, а не агрессивного скрапера.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
Контроль
grep -i "Website-info.net" /var/log/nginx/access.logUser-agent: Website-info.net
Disallow: /
User-agent: Website-info.net-Robot
Disallow: /if ($http_user_agent ~* "Website-info\.net") {
return 403;
}Рекомендации
- Не нужен чужой каталог — Disallow + deny, критичной пользы для большинства сайтов вне немецкого рынка нет
- Устраивает карточка на website-info.net — Allow, особенно если есть релевантная немецкая аудитория
- На Google блокировка не влияет — это независимая от поисковой индексации инфраструктура
- Поскольку официального списка IP нет, при подозрении на спуфинг ориентируйтесь на поведение (соблюдение заявленной паузы, отсутствие агрессивного обхода), а не только на строку UA
- AhrefsBot: полное руководство
- Googlebot: полное руководство
- Googlebot-Image
- Googlebot-News
- Googlebot-Video
- Google AdsBot
- Storebot-Google
- Mediapartners-Google (AdSense)
- Feedfetcher-Google
- APIs-Google
- Google-Read-Aloud
- Google-Site-Verification и InspectionTool
- Bingbot (MSN Bot)
- YandexBot
- YandexMetrika
- Yandex Userproxy
- MJ12bot
- SemrushBot
- Amazonbot
- DotBot
- FacebookBot
- Amazon SearchBot
- Yandex Direct Fetcher
- Anthropic AI
- Cohere AI
- llmstxtscan
- HetrixTools
- ArchiveTeam ArchiveBot
- HeadlessChrome
- crawler_eb
- EECS498
- IntelX
- statdom.ru
Частые вопросы
Зачем Website-info.net-Robot собирает данные о сайте?
Стоит ли ожидать заметный трафик от появления в этом каталоге?
Публикует ли оператор официальный список IP для верификации?
Соблюдает ли этот бот robots.txt?
Какая частота запросов заявлена оператором?
Что делать, если сайт не связан с немецким рынком?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.