AddSearchBot — редкий случай в этой серии, когда за именем стоит не просто узнаваемый бренд, а хостированный сервис поиска по сайту с двенадцатилетней историей: финская компания AddSearch, основанная в Хельсинки в 2013 году Антти Ала-Илккой, Микко Нурминеном и Паси Илолой. Продукт изначально создавался как современная альтернатива уже закрытому на тот момент Google Site Search — и с тех пор именно этот бот отвечает за то, чтобы у клиентов сервиса работал встроенный поиск по контенту собственного сайта.
Что делает бот и чем он принципиально отличается от Googlebot
AddSearchBot индексирует страницы конкретного сайта-клиента для нужд встроенного site search — того самого поля поиска внутри сайта, которое многие путают с обычной SEO-выдачей. Это не публичный веб-поиск и никак не связан с Googlebot или позициями в органической выдаче: индекс, который строит AddSearchBot, используется исключительно для поиска внутри самого сайта клиента, а не для того, чтобы сайт нашли через Google или Bing.
Помимо обычных HTML-страниц, AddSearch умеет индексировать содержимое PDF, DOCX и PPTX файлов (с лимитом 20 МБ на файл для PDF, с возможностью увеличения лимита по запросу в отдел продаж), а сама платформа разрабатывалась совместно с государственными учреждениями и соответствует требованиям доступности WCAG 2.0 AA и Section 508 — то есть изначально ориентирована в том числе на сайты госсектора и образовательных организаций, где формальное соответствие таким стандартам обязательно.
Параметры бота
| Параметр | Значение |
| User-Agent | Mozilla/5.0 (compatible; AddSearchBot/1.0; +http://www.addsearch.com/bot/) — версия может меняться, но токен AddSearchBot в строке присутствует всегда |
| Оператор | AddSearch (Хельсинки, Финляндия), основана в 2013 году |
| Официальная документация | Whitelisting AddSearch Bot — раздел документации AddSearch с инструкцией по разрешению доступа |
| Список IP-адресов | ✅ Публикуется в документации оператора и периодически обновляется (последнее обновление на момент проверки — с датой в самой документации) |
| robots.txt | Бот соблюдает правила robots.txt; клиентам сервиса обычно требуется явный Allow, а также добавление в whitelist WAF/CDN отдельно от robots.txt |
| Верификация в Cloudflare | Официально зарегистрирован как verified bot в Cloudflare Radar — хотя, по свидетельствам самой компании, смена URL документации однажды приводила к временной потере этого статуса верификации |
Реальный кейс: почему верификация не всегда работает автоматически
Показательная деталь из практики самого оператора: после смены основного сайта AddSearch старая ссылка в документации бота (URL в скобках строки User-Agent) стала недоступна, и Cloudflare — несмотря на статус verified bot — перестал распознавать трафик AddSearchBot как легитимный примерно с конца июня, о чём компания публично сообщала на форуме разработчиков Cloudflare. Урок для администраторов сайтов, использующих подобные системы бот-защиты: даже официально верифицированный и задокументированный бот может внезапно начать блокироваться сторонней инфраструктурой безопасности по независящим от клиента причинам — поэтому при неожиданном исчезновении бота из индексации сайта стоит в первую очередь проверить логи и настройки WAF/CDN, а не сразу искать проблему в собственной конфигурации.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
Стоит ли блокировать
Решение здесь одно из самых прямолинейных в этой серии — оно напрямую завязано на факт использования сервиса:
- если сайт подключил AddSearch для встроенного поиска — блокировка бота напрямую ломает саму функцию: индекс перестанет обновляться, и посетители будут получать устаревшие или пустые результаты в поле поиска сайта;
- если сервис не используется — блокировка ничего не портит и не за что переживать;
- на позиции в органической выдаче Google, Bing или Яндекса присутствие или отсутствие AddSearchBot не влияет — это отдельная от классической поисковой индексации система.
Как найти бота в логах
grep -i "AddSearchBot" /var/log/nginx/access.logКак настроить доступ
Для клиентов сервиса — явное разрешение и в robots.txt, и (что особенно важно, учитывая кейс с Cloudflare выше) отдельный whitelist на уровне CDN или WAF по User-Agent и/или IP:
User-agent: AddSearchBot
Allow: /Если сайт не является клиентом AddSearch — стандартный запрет:
User-agent: AddSearchBot
Disallow: /Для клиентов сервиса, у которых бот всё-таки блокируется на уровне защиты от ботов (Cloudflare Bot Fight Mode и подобные системы часто ловят даже легитимных краулеров под общие эвристики), в документации AddSearch отдельно рекомендуется либо точечно занести User-Agent и IP-адреса в исключения, либо временно отключить агрессивный режим защиты от ботов и проверить логи на предмет конкретного правила, которое блокирует запросы именно от AddSearchBot.
Частые вопросы
AddSearchBot связан с выдачей Google?
Публикует ли AddSearch список IP-адресов бота?
Может ли AddSearchBot индексировать не только HTML-страницы?
Что делать, если AddSearchBot внезапно перестал индексировать сайт?
Стоит ли блокировать бота, если сайт не пользуется AddSearch?
Достаточно ли одного правила в robots.txt для клиентов сервиса?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.