Технические статьи, руководства по защите трафика и кейсы клиентов. Отдельный большой раздел — разборы конкретных ботов: кто это, что делает в логах и что с ним делать.
SMARTSEO Checker заявлен как инструмент, который обходит сайт не по расписанию, а точечно — когда пользователь стороннего сервиса запускает конкретный SEO-аудит. Разбираем, чем это принципиально отличается от постоянного обхода классических backlink-индексаторов вроде AhrefsBot, и как отличить разовый всплеск активности от систематического обхода в собственных логах.
Ни один крупный профильный реестр AI-ботов не может назвать реального оператора MyCentralAIScraperBot — но это не помешало ему попасть в боевой robots.txt The New York Times рядом с GPTBot и PerplexityBot. Разбираем, почему коллективное наблюдение сообщества администраторов может быть достаточным основанием для блокировки даже без раскрытия личности оператора.
У Microsoft нет отдельного, официально задокументированного краулера с именем BingAI или CopilotBot — AI-функции Bing Chat/Copilot строятся поверх того же поискового индекса, который собирает обычный bingbot. Разбираем, как на самом деле устроена связка Bing Search и Copilot, что реально входит в семейство краулеров Microsoft, и что может означать появление токена bingai в логах.
Поиск по имени EpivozCrawler выводит на реальную калифорнийскую компанию Epivoz Corporation — но её профиль (персональные услуги, два сотрудника) никак не соотносится с ролью оператора веб-краулера, так что связь, вероятнее всего, случайна. Разбираем, почему совпадение звучания — не доказательство, и как оценивать бота по поведению, когда честный ответ об операторе — «неизвестно».
По данным каталога Cloudflare Radar, документация UptimeStatistics ведёт на тот же сервис, что и разобранный ранее uptimedoctor — сингапурский мониторинг, основанный в 2013 году, просто под другим историческим доменным именем. Разбираем, почему у одного оператора накопилось несколько разных User-Agent строк, включая архаичные записи, и почему оба токена стоит обрабатывать как одну учётную запись.
За Articoolo стоит небольшой израильский стартап, работающий с 2014 года: платный сервис генерации статей по ключевым словам с функциями переписывания, суммирования и подбора картинок. Разбираем, почему механика продукта предполагает точечное исследование темы по конкретному запросу пользователя, а не системный массовый обход сайта, и как это должно выглядеть в логах.
У Meta есть чётко задокументированный список собственных краулеров — и MetaTagBot среди них нет. Разбираем, почему совпадение имени с брендом Meta, вероятнее всего, случайность (слово "meta" относится к HTML meta-тегам, а не к компании), и почему ошибочная атрибуция оператору может привести к неверному решению allow/deny.
YandexFavicons — часть большого семейства специализированных ботов Яндекса, отвечающая исключительно за иконку сайта в поисковой выдаче. Разбираем, почему такие вспомогательные боты Яндекса официально могут не учитывать общую директиву User-agent: *, как верифицировать подлинность через двойной DNS, и почему для большинства сайтов правильная стратегия — не блокировать, а ускорить отдачу favicon.
В отличие от черновика с расплывчатым «оператор не указан публично», atlassian-bot — полностью задокументированный краулер Atlassian для системы Teamwork Graph, питающей поиск и AI-агентов Rovo. Разбираем официальный механизм подключения через коннектор Custom Website, нюанс с доступом ко всему контенту при настройке аутентификации, и как проверить подлинность запроса по официально публикуемому списку IP.
618 разборов: кто владеет ботом, какой User-Agent оставляет в логах, какую нагрузку создаёт и стоит ли его пропускать.
Открыть справочникКак выглядит L7-флуд в аналитике, чем он отличается от всплеска живого трафика и какие лимиты включать в первую очередь.
Защита от DDoS L7Бесплатный план подходит для старта с базовым контуром защиты. Расширенные возможности доступны на платных тарифах.
Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.