Cincraw — редкий случай, когда у краулера есть не просто оператор, а подробная, официально опубликованная политика поведения, прямо противоречащая формулировкам черновика об «оператор не указан публично» и риске «мини-волн автоматизации». Это краулер японской компании CINC (株式会社CINC), публичной SEO-компании из Токио — и его собственная документация описывает поведение, специально спроектированное так, чтобы не создавать именно тех проблем, которые ему приписывает черновик.
1. Что такое Cincraw на самом деле
CINC — публичная японская компания (основана в 2014 году, на бирже с 2021 года), разработчик собственного SEO-инструмента Keywordmap и поставщик консалтинга по SEO, оптимизации под AI-поиск и контент-маркетингу. Cincraw, судя по всему, — краулер, который питает данными эти продукты: чтобы Keywordmap мог анализировать позиции, контент и техническое SEO-состояние сайтов клиентов и конкурентов, ему нужен собственный источник свежих данных о веб-страницах.
У бота есть официальная страница с детальной политикой обхода — cincrawdata.net/bot/, на которую прямо указывает сам User-Agent: Mozilla/5.0 (compatible; Cincraw/1.0; +http://cincrawdata.net/bot/). Уровень детализации этой политики выше, чем у большинства ботов в этой энциклопедии.
| Параметр | Значение |
| Название | Cincraw |
| Оператор | 株式会社CINC (CINC Inc.) — публичная японская компания, Токио, разработчик SEO-инструмента Keywordmap |
| Роль | Сбор данных о веб-страницах (вероятно, для SEO-аналитики и business intelligence продуктов CINC) |
| User-Agent / паттерн | Mozilla/5.0 (compatible; Cincraw/1.0; +http://cincrawdata.net/bot/) |
| Официальная политика обхода | Опубликована на cincrawdata.net/bot/ — редкий уровень детализации для этой категории ботов |
| Что собирает по заявлению оператора | HTML-контент страницы (текст, изображения, JS), информацию заголовков (в первую очередь — наличие noindex), HTTP-заголовки (код ответа, редиректы, mimeType), JS/CSS для рендеринга; после сбора рендерит страницу и сохраняет скриншот |
| Заявленные самоограничения | Не концентрируется искусственно на отдельных сайтах (алгоритм выбора URL учитывает только снижение нагрузки на посещаемые сайты), не переходит по рекламным ссылкам, не сохраняет cookies между визитами, не подгружает аналитические/рекламные теги (чтобы не искажать собственную аналитику сайта) |
| robots.txt | Прямых данных о соблюдении не найдено, но публичная и детальная политика поведения — сама по себе сильный сигнал добросовестности оператора |
| Пометка TrafficVeil | Нежелательный / Прочие краулеры и сервисы — статус стоит пересмотреть с учётом официальной политики (см. раздел 8) |
2. Зачем Cincraw приходит на сайт
- сбор данных для SEO-аналитики Keywordmap и связанных продуктов CINC — вероятно, включая мониторинг позиций, контента и технического состояния сайтов клиентов и их конкурентов;
- проверка технических SEO-сигналов страницы — наличие noindex, структура заголовков, статус-коды и редиректы;
- создание скриншота страницы после рендеринга — часть визуальной фиксации состояния сайта на момент обхода.
Типичный кейс: сайт эпизодически появляется в выборке Cincraw без явной связи с конкретным событием — это ожидаемо, если сайт (или его конкурент) попал в зону интереса клиента CINC, использующего Keywordmap для SEO-мониторинга.
3. Нагрузка и риски
Здесь стоит прямо скорректировать формулировку черновика: практический риск «серии запросов выглядят как мини-волны автоматизации без конверсий» — это ровно тот паттерн, который оператор в своей официальной политике заявляет как намеренно исключённый. Собственный алгоритм выбора URL у Cincraw, по заявлению CINC, ориентирован именно на избежание концентрированного, искусственного обхода отдельных сайтов.
Отдельного внимания заслуживает заявленный отказ от подгрузки аналитических и рекламных тегов при обходе — это значит, что Cincraw специально спроектирован не искажать данные Google Analytics или аналогичных систем на посещаемом сайте, что нетипично тщательно для краулера такого профиля.
4. Как найти Cincraw в логах
# Базовый поиск
grep -i "cincraw" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот
grep -i "cincraw" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "cincraw" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность — по заявлению оператора, не должна выглядеть как концентрированный обход
grep -i "cincraw" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
# Проверка на отсутствие обхода рекламных/партнёрских ссылок — соответствие заявленной политике
grep -i "cincraw" /var/log/nginx/access.log | grep -icE "/ads/|/affiliate/|utm_source=ad"Верификация. Строку UA подделать может любой скрипт. Официального списка IP-диапазонов не найдено — для решения allow/deny смотрите связку UA + IP/ASN + соответствие заявленному поведению (отсутствие концентрированного обхода, отсутствие переходов по рекламным ссылкам):
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"5. robots.txt для Cincraw
# Жёсткий запрет
User-agent: Cincraw
Disallow: /
# Разрешить всё
User-agent: Cincraw
Allow: /
# Компромисс: закрыть личный кабинет и служебные разделы, оставить публичку
User-agent: Cincraw
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /6. Блокировка вручную и через TrafficVeil
Nginx:
if ($http_user_agent ~* "cincraw") {
return 403;
}
limit_req_zone $binary_remote_addr zone=cincraw:10m rate=10r/m;
location / {
if ($http_user_agent ~* "cincraw") {
limit_req zone=cincraw burst=20 nodelay;
}
}Apache (.htaccess):
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} cincraw [NC]
RewriteRule ^ - [F,L]TrafficVeil:
- найдите cincraw в разделе ботов домена или в /system/bots;
- учитывая детальную официальную политику самоограничения, для большинства сайтов жёсткая блокировка по умолчанию, вероятно, избыточна — рассмотрите allow или мягкий rate-limit как более пропорциональный ответ;
- если сайт фигурирует в SEO-мониторинге конкурентов через Keywordmap и это нежелательно — Disallow остаётся законным способом выразить это пожелание, но не единственно верным вариантом по умолчанию;
- после изменения сверьте логи: хиты Cincraw должны уйти в блок/лимит, а нужные поисковики остаться.
7. Что делать: короткий алгоритм
- Пользы для сайта нет, но и заявленного оператором вреда/концентрированной нагрузки не наблюдается — можно оставить allow или ограничиться мягким rate-limit;
- Принципиально не хотите фигурировать в SEO-мониторинге конкурентов — Disallow, это законное решение;
- Наблюдаемое поведение расходится с официально заявленной политикой (концентрированный обход, переходы по рекламным ссылкам) — это повод для более пристальной верификации подлинности трафика;
- Не блокируйте по маске
User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.
8. Открытый вопрос по категоризации
Стоит пересмотреть пометку «нежелательный» для Cincraw: у бота есть публично идентифицируемый, публичный (в смысле биржевого листинга) оператор и детальная официальная политика самоограничения — редкость даже среди легитимных ботов в этой энциклопедии. Формулировка риска в черновике («мини-волны автоматизации без конверсий») прямо противоречит заявленной политике оператора. Возможно, корректнее присвоить статус «легитимный, оценивать по бизнес-пользе» — аналогично тому, как это сделано для других SEO/business-intelligence краулеров с открытой политикой.
| Бот / сосед | Кластер | Комментарий |
| DataForSeoBot | SEO и backlink-краулеры | Похожая природа — SEO-данные для стороннего инструмента, но с иной, менее детальной публичной политикой |
| Keys-so Bot | SEO и backlink-краулеры | Аналог для российского рынка — мониторинг позиций и семантики |
| Content Harmony | Требует пересмотра (см. отдельную статью) | Тоже SEO-инструмент конкурентного анализа, ошибочно классифицированный как AI-краулер в черновиках — похожая по духу проблема категоризации |
| 360Spider | Прочие краулеры и сервисы | нежелательный, но без сопоставимой публичной политики самоограничения |
9. Стратегия allow/deny для Cincraw
| Ситуация | Действие |
| Стандартный сайт, нет принципиальных возражений | Allow или мягкий rate-limit — заявленная политика оператора минимизирует риск |
| Принципиально не хотите присутствовать в SEO-мониторинге через Keywordmap | Disallow — законное решение |
| Наблюдаемое поведение расходится с официальной политикой | Усилить верификацию IP/ASN, возможен спуфинг |
| Нагрузка неожиданно высокая для заявленного профиля бота | Rate-limit как промежуточная мера перед полным deny |
| Подозрение на spoofing UA | Не доверять строке UA; сверять с заявленным поведением (отсутствие концентрации, отсутствие переходов по рекламе) |