Боты6 мин чтения·23 августа 2026 г.·обновлено 19 ноября 2026 г.

Cincraw: краулер публичной SEO-компании CINC

Cincraw принадлежит не безымянному оператору, а публичной японской SEO-компании CINC, и её официальная политика обхода прямо опровергает стандартный риск «мини-волн автоматизации» из черновика. Разбираемся, что реально собирает этот краулер, почему он намеренно не искажает аналитику посещаемых сайтов, и стоит ли статус в базе действительно оставаться «нежелательным».

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность
Уникальная иллюстрация бота Cincraw: нежелательный прочие краулеры и сервисы

Cincraw — редкий случай, когда у краулера есть не просто оператор, а подробная, официально опубликованная политика поведения, прямо противоречащая формулировкам черновика об «оператор не указан публично» и риске «мини-волн автоматизации». Это краулер японской компании CINC (株式会社CINC), публичной SEO-компании из Токио — и его собственная документация описывает поведение, специально спроектированное так, чтобы не создавать именно тех проблем, которые ему приписывает черновик.

1. Что такое Cincraw на самом деле

CINC — публичная японская компания (основана в 2014 году, на бирже с 2021 года), разработчик собственного SEO-инструмента Keywordmap и поставщик консалтинга по SEO, оптимизации под AI-поиск и контент-маркетингу. Cincraw, судя по всему, — краулер, который питает данными эти продукты: чтобы Keywordmap мог анализировать позиции, контент и техническое SEO-состояние сайтов клиентов и конкурентов, ему нужен собственный источник свежих данных о веб-страницах.

У бота есть официальная страница с детальной политикой обхода — cincrawdata.net/bot/, на которую прямо указывает сам User-Agent: Mozilla/5.0 (compatible; Cincraw/1.0; +http://cincrawdata.net/bot/). Уровень детализации этой политики выше, чем у большинства ботов в этой энциклопедии.

Параметр Значение
Название Cincraw
Оператор 株式会社CINC (CINC Inc.) — публичная японская компания, Токио, разработчик SEO-инструмента Keywordmap
Роль Сбор данных о веб-страницах (вероятно, для SEO-аналитики и business intelligence продуктов CINC)
User-Agent / паттерн Mozilla/5.0 (compatible; Cincraw/1.0; +http://cincrawdata.net/bot/)
Официальная политика обхода Опубликована на cincrawdata.net/bot/ — редкий уровень детализации для этой категории ботов
Что собирает по заявлению оператора HTML-контент страницы (текст, изображения, JS), информацию заголовков (в первую очередь — наличие noindex), HTTP-заголовки (код ответа, редиректы, mimeType), JS/CSS для рендеринга; после сбора рендерит страницу и сохраняет скриншот
Заявленные самоограничения Не концентрируется искусственно на отдельных сайтах (алгоритм выбора URL учитывает только снижение нагрузки на посещаемые сайты), не переходит по рекламным ссылкам, не сохраняет cookies между визитами, не подгружает аналитические/рекламные теги (чтобы не искажать собственную аналитику сайта)
robots.txt Прямых данных о соблюдении не найдено, но публичная и детальная политика поведения — сама по себе сильный сигнал добросовестности оператора
Пометка TrafficVeil Нежелательный / Прочие краулеры и сервисы — статус стоит пересмотреть с учётом официальной политики (см. раздел 8)

2. Зачем Cincraw приходит на сайт

  • сбор данных для SEO-аналитики Keywordmap и связанных продуктов CINC — вероятно, включая мониторинг позиций, контента и технического состояния сайтов клиентов и их конкурентов;
  • проверка технических SEO-сигналов страницы — наличие noindex, структура заголовков, статус-коды и редиректы;
  • создание скриншота страницы после рендеринга — часть визуальной фиксации состояния сайта на момент обхода.

Типичный кейс: сайт эпизодически появляется в выборке Cincraw без явной связи с конкретным событием — это ожидаемо, если сайт (или его конкурент) попал в зону интереса клиента CINC, использующего Keywordmap для SEO-мониторинга.

3. Нагрузка и риски

Здесь стоит прямо скорректировать формулировку черновика: практический риск «серии запросов выглядят как мини-волны автоматизации без конверсий» — это ровно тот паттерн, который оператор в своей официальной политике заявляет как намеренно исключённый. Собственный алгоритм выбора URL у Cincraw, по заявлению CINC, ориентирован именно на избежание концентрированного, искусственного обхода отдельных сайтов.

Отдельного внимания заслуживает заявленный отказ от подгрузки аналитических и рекламных тегов при обходе — это значит, что Cincraw специально спроектирован не искажать данные Google Analytics или аналогичных систем на посещаемом сайте, что нетипично тщательно для краулера такого профиля.

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

4. Как найти Cincraw в логах

# Базовый поиск
grep -i "cincraw" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "cincraw" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "cincraw" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность — по заявлению оператора, не должна выглядеть как концентрированный обход
grep -i "cincraw" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Проверка на отсутствие обхода рекламных/партнёрских ссылок — соответствие заявленной политике
grep -i "cincraw" /var/log/nginx/access.log | grep -icE "/ads/|/affiliate/|utm_source=ad"

Верификация. Строку UA подделать может любой скрипт. Официального списка IP-диапазонов не найдено — для решения allow/deny смотрите связку UA + IP/ASN + соответствие заявленному поведению (отсутствие концентрированного обхода, отсутствие переходов по рекламным ссылкам):

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для Cincraw

# Жёсткий запрет
User-agent: Cincraw
Disallow: /

# Разрешить всё
User-agent: Cincraw
Allow: /

# Компромисс: закрыть личный кабинет и служебные разделы, оставить публичку
User-agent: Cincraw
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

6. Блокировка вручную и через TrafficVeil

Nginx:

Для одного и того же User-Agent выберите полный запрет или ограничение частоты. Вариант А сохраняет исходный шаблон User-Agent и ответ 403/410. Вариант Б применяют вместо этого запрета. Не включайте оба режима для одного совпадения: return завершит запрос до ограничения частоты. Это не запрещает сохранять независимые политики для другого трафика.

# Вариант А: исходные запреты. server {} показан как схема размещения.
server {
    # Добавьте эти if в существующий server, сохранив остальную конфигурацию.
    if ($http_user_agent ~* "cincraw") {
        return 403;
    }
    # Существующие listen, server_name и обработчики сайта остаются здесь.
}

Ниже показано размещение директив в существующей конфигурации. Не заменяйте рабочие http/server/location этой схемой и не создавайте дублирующий location /: перенесите директивы в нужные блоки и сохраните обработчик приложения. Порог и burst оставлены из исходного примера как иллюстрация; это не подтверждённые лимиты оператора бота. Подбирайте их по допустимой нагрузке своего сервера. Для запросов, отклонённых этим лимитом, явно задан HTTP 429 через limit_req_status.

# Вариант Б: ограничение частоты вместо полного запрета.
# map и limit_req_zone — внутри существующего http {}, вне server/location.
map $http_user_agent $tv_ng_1018975e0eae_key {
    default "";
    "~*cincraw" $binary_remote_addr;
}
limit_req_zone $tv_ng_1018975e0eae_key zone=tv_ng_1018975e0eae:10m rate=10r/m;

# server/location ниже — схема размещения, не новый виртуальный хост.
server {
    # Используйте нужные существующие listen и server_name.
    location / {
        limit_req zone=tv_ng_1018975e0eae burst=20 nodelay;
        limit_req_status 429;
        # Сохраните здесь существующий proxy_pass/fastcgi_pass/root и другие директивы.
    }
}

Проверка синтаксиса примера — 19.11.2026. По документации NGINX, map и limit_req_zone размещаются в http; limit_req допускается в http/server/location, но не внутри if. Запросы с пустым ключом default "" этим лимитом не учитываются. Значение $binary_remote_addr ограничивает совпавшие запросы по IP. За CDN или обратным прокси отдельно настройте восстановление исходного IP только от доверенных прокси; не используйте непроверенный X-Forwarded-For как ключ. Совпадение User-Agent не подтверждает оператора бота; строки и регулярные выражения исходного примера сохранены без такой проверки. Сначала выполните nginx -t и проверьте поведение на тестовой площадке. Проверка касается размещения этих директив, а не всех утверждений статьи.

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} cincraw [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

  • найдите cincraw в разделе ботов домена или в /system/bots;
  • учитывая детальную официальную политику самоограничения, для большинства сайтов жёсткая блокировка по умолчанию, вероятно, избыточна — рассмотрите allow или мягкий rate-limit как более пропорциональный ответ;
  • если сайт фигурирует в SEO-мониторинге конкурентов через Keywordmap и это нежелательно — Disallow остаётся законным способом выразить это пожелание, но не единственно верным вариантом по умолчанию;
  • после изменения сверьте логи: хиты Cincraw должны уйти в блок/лимит, а нужные поисковики остаться.

7. Что делать: короткий алгоритм

  • Пользы для сайта нет, но и заявленного оператором вреда/концентрированной нагрузки не наблюдается — можно оставить allow или ограничиться мягким rate-limit;
  • Принципиально не хотите фигурировать в SEO-мониторинге конкурентов — Disallow, это законное решение;
  • Наблюдаемое поведение расходится с официально заявленной политикой (концентрированный обход, переходы по рекламным ссылкам) — это повод для более пристальной верификации подлинности трафика;
  • Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.

8. Открытый вопрос по категоризации

Стоит пересмотреть пометку «нежелательный» для Cincraw: у бота есть публично идентифицируемый, публичный (в смысле биржевого листинга) оператор и детальная официальная политика самоограничения — редкость даже среди легитимных ботов в этой энциклопедии. Формулировка риска в черновике («мини-волны автоматизации без конверсий») прямо противоречит заявленной политике оператора. Возможно, корректнее присвоить статус «легитимный, оценивать по бизнес-пользе» — аналогично тому, как это сделано для других SEO/business-intelligence краулеров с открытой политикой.

Бот / сосед Кластер Комментарий
DataForSeoBot SEO и backlink-краулеры Похожая природа — SEO-данные для стороннего инструмента, но с иной, менее детальной публичной политикой
Keys-so Bot SEO и backlink-краулеры Аналог для российского рынка — мониторинг позиций и семантики
Content Harmony Требует пересмотра (см. отдельную статью) Тоже SEO-инструмент конкурентного анализа, ошибочно классифицированный как AI-краулер в черновиках — похожая по духу проблема категоризации
360Spider Прочие краулеры и сервисы нежелательный, но без сопоставимой публичной политики самоограничения

9. Стратегия allow/deny для Cincraw

Ситуация Действие
Стандартный сайт, нет принципиальных возражений Allow или мягкий rate-limit — заявленная политика оператора минимизирует риск
Принципиально не хотите присутствовать в SEO-мониторинге через Keywordmap Disallow — законное решение
Наблюдаемое поведение расходится с официальной политикой Усилить верификацию IP/ASN, возможен спуфинг
Нагрузка неожиданно высокая для заявленного профиля бота Rate-limit как промежуточная мера перед полным deny
Подозрение на spoofing UA Не доверять строке UA; сверять с заявленным поведением (отсутствие концентрации, отсутствие переходов по рекламе)
Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

Частые вопросы

Cincraw — это анонимный сборщик данных?
Нет, оператор — публичная японская компания CINC, разработчик SEO-инструмента Keywordmap, и у бота есть детальная официальная политика поведения.
Правда ли, что Cincraw создаёт «мини-волны автоматизации» на сайте?
По официальной политике оператора — нет, алгоритм специально спроектирован избегать концентрированного обхода отдельных сайтов.
Искажает ли Cincraw аналитику посещаемого сайта?
Нет, бот намеренно не подгружает теги Google Analytics и подобных систем именно чтобы не смешивать свои визиты с данными реальных посетителей.
Сохраняет ли Cincraw cookies между визитами на разные сайты?
Нет, оператор заявляет полное удаление cookies после каждого визита.
Переходит ли Cincraw по рекламным и партнёрским ссылкам?
Нет, это явно исключено официальной политикой краулера.
Стоит ли пересмотреть статус Cincraw в базе TrafficVeil?
Да, учитывая публичного оператора и детальную политику самоограничения, статус «нежелательный» выглядит устаревшим.
#Cincraw#CINC#Keywordmap#SEO-краулеры#User-Agent#robots.txt#TrafficVeil
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Боты·6 мин

StatOnlineRuBot: краулер REG.RU, а не анонимный SEO-скрейпер

В черновых списках ботов StatOnlineRuBot обычно соседствует с классическими backlink-краулерами вроде Ahrefs — но за ним стоит не безымянный сторонний сервис, а публичный статистический портал StatOnline.ru от REG.RU. Разбираемся, чем агрегированная статистика по CMS и хостингу отличается от целевого сбора ссылочного графа и когда бота стоит заблокировать без сожалений.

Читать
Уникальная иллюстрация бота bnf.fr_bot: нежелательный прочие краулеры и сервисы
Боты·7 мин

Bnf.fr_bot: краулер с законодательным мандатом Франции

В отличие от большинства ботов в этой категории, у bnf.fr_bot есть не просто официальный оператор, а закреплённое французским законом право архивировать национальный веб — и библиотека прямо просит не блокировать его. Разбираемся, для каких сайтов это реально имеет значение, почему robots.txt здесь не работает по замыслу, а не по недосмотру, и когда обычная логика «нежелательный, если пользы нет» всё же применима.

Читать
Уникальная иллюстрация бота factset_spyderbot: нежелательный прочие краулеры и сервисы
Боты·6 мин

Factset-spyderbot: краулер FactSet, а не анонимный сборщик данных

Токен в UA прямо называет оператора — это краулер FactSet, крупного публичного поставщика финансовых данных и аналитики для институциональных инвесторов. Разбираемся, зачем компании нужен сбор контента с обычных сайтов, почему независимые каталоги относят его к той же категории, что GPTBot, и когда allow всё же может быть осмысленным решением, а не исключением из общего правила.

Читать

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil