ScriptBook в логах: совпадение имени, не доказательство

Строка scriptbook в логах на первый взгляд легко закрыть: есть реальная компания с таким названием — сервис AI-анализа киносценариев ScriptBook.io. Но при ближайшем рассмотрении бизнес-модель этой компании не объясняет, зачем ей вообще нужен краулер, обходящий чужие сайты. Разбираемся, почему совпадение имени — не то же самое, что подтверждённая связь.

Что такое ScriptBook на самом деле

ScriptBook — компания, основанная в 2014 году Надирой Азермаи: запатентованный NLP-движок анализирует киносценарии по 6000+ параметрам (структура истории, дуги персонажей, тональность диалогов, жанровые маркеры) и выдаёт прогноз кассовых сборов. Среди клиентов упоминаются крупные голливудские студии. Но ключевая деталь для этой энциклопедии: сервис работает исключительно через прямую загрузку сценария в формате PDF, оплата идёт через Stripe, а сама компания прямо заявляет — «мы никогда не обучаем модели на вашем контенте» и «ваш сценарий никогда не используется для обучения ИИ». Это модель «загрузи файл — получи отчёт», а не сбор данных с открытого веба.

Почему найденная компания не объясняет визит бота

Это отличается от большинства других случаев в энциклопедии: обычно найденная компания своей бизнес-моделью прямо объясняет, зачем её боту нужно заходить на посторонние сайты — SEO-инструментам нужен конкурентный анализ, фид-фетчерам нужен RSS, ad-tech ботам нужен контекст страницы. У ScriptBook.io такой связи нет: сценарии загружают вручную, платно, по одному файлу — сервису попросту не для чего массово обходить веб. Поэтому, встретив строку scriptbook в логах, не стоит автоматически связывать её с этой компанией только по совпадению имени — как и с «Automated Writer» или «Narrative Device», разумнее относиться к такой строке с большей осторожностью.

Как оценивать визиты ScriptBook на практике

# Базовый поиск
grep -i "scriptbook" /var/log/nginx/access.log

# Какие страницы вычитывает
grep -i "scriptbook" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP
grep -i "scriptbook" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Регулярность
grep -i "scriptbook" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

Раз связь UA с подтверждённым оператором отсутствует, решение стоит принимать полностью по поведению:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

robots.txt и блокировка через TrafficVeil

# Осторожный вариант по умолчанию: наблюдать и ограничивать
User-agent: scriptbook
Disallow: /

# Если нагрузка минимальна и решено не блокировать превентивно
User-agent: scriptbook
Allow: /

TrafficVeil: без подтверждённой связи с реальным оператором разумная стратегия по умолчанию ближе к осторожной: rate-limit или точечный запрет, если нагрузка заметна, и наблюдение — если визитов мало. Совпадение имени с известной компанией — не основание для автоматического allow.

Что в итоге делать со ScriptBook