INKforall: зачем бот SEO-платформы INK заходит на сайты и когда его стоит ограничивать

Если в логах регулярно встречается строка с токеном inkforall, паниковать не стоит — это не паразитный скрапер, а служебный клиент платформы для контент-маркетинга INK (INKforall), которую с 2017 года используют более миллиона авторов, блогеров и SEO-специалистов по всему миру. Разбираемся, зачем этот бот заходит на сайты, чем он отличается от вредоносных краулеров и как решить, пускать его или нет.

Что такое INK и почему за ним стоит бот

INK (в поиске также фигурирует как INKforall или INK for All) — платформа для создания и оптимизации контента, которую основали Александр де Риддер и Майкл Уманский. Инструмент совмещает AI-редактор текста с SEO-модулем: пока пользователь пишет статью, сервис в реальном времени анализирует страницы, которые уже занимают верхние позиции по нужному запросу, и подсказывает, какие темы, ключевые слова и объём текста нужны, чтобы обойти конкурентов в выдаче. Именно эта функция — разбор чужих страниц по запросу пользователя — и есть основная причина, почему клиент INK может заходить на сторонние сайты: он подгружает содержимое страниц, которые попали в выборку для анализа конкретного пользователя платформы.

У INK есть и второй модуль — Content Shield, который проверяет текст на признаки плагиата и AI-генерации, сверяя его с открытыми источниками в интернете. Для такой проверки сервису также нужно обращаться к странице-первоисточнику, что даёт второй, независимый повод для визита бота.

Параметры бота

Чем он отличается от массового скана

Ключевое отличие INKforall от типичных AI-краулеров, собирающих датасеты для обучения моделей (вроде GPTBot или CCBot), — характер обхода. Массовый краулер методично проходит по всему сайту: каталогу, пагинации, карточкам товаров, накапливая объём. INKforall в норме ведёт себя иначе — обращается к конкретным URL, которые пользователь платформы указал напрямую или которые попали в выдачу по интересующему его запросу. Поэтому в логах это чаще выглядит как точечные, а не систематические обращения, без глубокого обхода внутренних ссылок сайта.

Это не значит, что бот безобиден по умолчанию — если ваш контент часто оказывается в топ-10 по коммерческим запросам, обращений от подобных SEO-инструментов может быть заметно больше, чем кажется на первый взгляд, просто это будет размазано по разным URL, а не сконцентрировано на одной точке входа.

Как найти бота в логах

# Базовый поиск по токену
grep -i "inkforall" /var/log/nginx/access.log

# Какие именно URL вычитывает бот
grep -i "inkforall" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# С каких IP приходят запросы
grep -i "inkforall" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

Поскольку официального списка адресов у оператора нет, а строку User-Agent в теории может подделать любой скрипт, для по-настоящему спорных случаев (например, подозрительно высокая частота с одного IP) стоит смотреть не только на UA, но и на связку с ASN и паттерном запросов — если поведение сильно расходится с описанным выше «точечным» профилем, вероятна подмена идентификатора.

Стоит ли блокировать

Решение здесь — вопрос не безопасности, а бизнес-логики:

• на позиции в органической выдаче Google, Bing или Яндекса блокировка не влияет — INKforall не имеет отношения к их индексации;
• если сайт часто становится ориентиром для чужих SEO-исследований, обращения от инструмента можно расценивать нейтрально: страница уже публична, а нагрузка от точечных запросов обычно невелика по сравнению с массовыми краулерами;
• жёсткая причина для блокировки — не сам факт визита, а объём: если по конкретному сайту счётчик обращений от бота непропорционально большой относительно размера каталога, это повод присмотреться к rate-limit, а не сразу к полному запрету.

Как ограничить или заблокировать

Базовый уровень — правило в robots.txt:

User-agent: inkforall
Disallow: /

Компромиссный вариант — закрыть только чувствительные разделы (личный кабинет, корзина, оформление заказа), оставив публичный контент доступным:

User-agent: inkforall
Disallow: /account/
Disallow: /cart/
Disallow: /checkout/
Allow: /

Для гарантированного исполнения правила на уровне сервера — блокировка в nginx:

if ($http_user_agent ~* "inkforall") {
    return 403;
}

Если проблема не в самом факте визитов, а в частоте, вместо полного запрета логичнее сначала попробовать ограничение скорости запросов — это сохранит доступ для легитимного сценария использования (когда бот приходит по конкретной задаче пользователя INK), но снимет нагрузку на сервер при аномальных всплесках.