Devin — ещё один случай неверной категоризации того же типа, что уже разбирался с Manus-User: черновик описывает его как «сканер... классифицирован как нежелательный», но по факту это браузерный компонент одного из самых известных в мире автономных AI-агентов для разработки — Devin от компании Cognition AI. Когда этот бот заходит на сайт, это почти всегда означает, что конкретный разработчик поручил ему конкретную инженерную задачу, для которой понадобилось обратиться к вашей странице — например, к документации API.
1. Что такое Devin на самом деле
Devin — облачный автономный AI-агент для разработки ПО, созданный компанией Cognition AI (основана в 2023 году, штаб-квартира в Нью-Йорке). Пользователь описывает задачу на естественном языке, а Devin самостоятельно составляет план и выполняет его, используя собственные терминал, редактор кода и веб-браузер — вплоть до открытия pull request для проверки человеком. Продукт вызвал большой резонанс при запуске в марте 2024 года и с тех пор существенно развился (Devin 2.0 вышел в апреле 2025 года), сейчас доступен по индивидуальной и командной подпискам через app.devin.ai.
Ключевой момент: веб-браузер — штатный инструмент агента наравне с терминалом и редактором кода. Когда Devin выполняет инженерную задачу, требующую свериться с документацией, API-референсом или любой другой веб-страницей, он обращается к ней в рамках выполнения конкретного поручения конкретного разработчика — а не системно обходит веб для сбора данных впрок.
| Параметр | Значение |
| Название | Devin |
| Оператор | Cognition AI, Inc — известная, хорошо финансируемая компания (первый раунд $21 млн Series A, впоследствии значительно выросла в оценке), также владеет Windsurf |
| Правильная категория | AI Agent — принципиально отличается от краулера/скрейпера (см. раздел 8) |
| Роль | Веб-браузер как штатный инструмент автономного AI-агента для инженерных задач — обращение к странице привязано к конкретному поручению конкретного пользователя |
| User-Agent / паттерн | devin |
| Официальный сайт | devin.ai, документация — docs.devin.ai |
| Паттерн поведения | Точечные обращения к конкретным страницам (документация, API-референсы) в рамках выполнения задачи — не системный обход каталога |
| Пометка TrafficVeil | Нежелательный / Прочие краулеры и сервисы — категория и статус, по всей видимости, ошибочны (см. раздел 8) |
2. Зачем Devin приходит на сайт
- разработчик поручил агенту задачу, для выполнения которой требуется свериться с документацией, спецификацией API или технической страницей, размещённой на вашем сайте;
- если ваш сайт — техническая документация, справочник API, блог с гайдами по интеграции — обращение Devin означает, что конкретный инженер в этот момент использует ваш контент по прямому назначению: как источник технической информации для решения задачи;
- в отличие от training-краулеров, у Devin нет цели «собрать контент впрок» — обращение разовое и утилитарное, привязанное к моменту выполнения конкретной задачи.
Типичный кейс: единичный или редкий запрос к конкретной странице документации без последующего системного обхода остального сайта — та же логика, что у Manus-User и других AI-агентов, действующих от имени реального человека.
3. Нагрузка и риски
Формулировка черновика про «фоновый шум в аналитике, расход CPU/bandwidth» описывает риск, характерный для системных краулеров, а не для точечного обращения AI-агента по задаче конкретного разработчика. Нагрузка обычно минимальна и коррелирует с тем, насколько часто разработчики, использующие Devin, обращаются к задачам, связанным с вашим контентом.
Если сайт — техническая документация или справочник по API, стоит перевернуть логику черновика: блокировка Devin не защищает контент, а мешает разработчикам, использующим один из самых заметных AI-инструментов для инженерных задач, корректно работать с вашей документацией — то есть снижает практическую полезность и доступность именно той аудитории, для которой техническая документация и создаётся.
4. Как найти Devin в логах
# Базовый поиск
grep -i "devin" /var/log/nginx/access.log
# Топ URL — ожидаемо документация, API-референсы, технические страницы
grep -i "devin" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "devin" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Суточная активность — ожидаемо нерегулярная, привязанная к задачам, а не системный фон
grep -i "devin" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
# Признак технического интереса — концентрация на документации/API
grep -i "devin" /var/log/nginx/access.log | grep -icE "/docs/|/api/|/reference/"Верификация. Строку UA подделать может любой скрипт. Официального списка IP-диапазонов не найдено — для решения allow/deny смотрите связку UA + IP/ASN + характерный точечный, привязанный к технической документации паттерн обхода, отличающий AI-агента от системного краулера:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"5. robots.txt для Devin
# Жёсткий запрет — как правило, не рекомендуется для документационных сайтов, см. раздел 3
User-agent: devin
Disallow: /
# Разрешить всё — рекомендуемый вариант по умолчанию, особенно для технической документации
User-agent: devin
Allow: /
# Компромисс: закрыть личный кабинет и служебные разделы, оставить документацию доступной
User-agent: devin
Disallow: /admin/
Disallow: /account/
Allow: /6. Блокировка вручную и через TrafficVeil
Nginx:
if ($http_user_agent ~* "devin") {
return 403;
}Apache (.htaccess):
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} devin [NC]
RewriteRule ^ - [F,L]TrafficVeil:
- найдите devin в разделе ботов домена или в /system/bots;
- для сайтов с технической документацией, API-справочниками или гайдами по интеграции — allow обоснован по умолчанию: агент представляет реального разработчика, и блокировка портит именно его опыт использования вашей документации;
- для сайтов без технического контента (например, чисто коммерческий лендинг) — обращения Devin маловероятны или бессмысленны по его собственной логике, реального риска или пользы, как правило, нет;
- после изменения сверьте логи и, если применимо, учитывайте, что блокировка может ухудшить практическую доступность документации для разработчиков.
7. Что делать: короткий алгоритм
- Сайт содержит техническую документацию/API-референсы — allow по умолчанию, это реальные пользователи-разработчики;
- Сайт не технический — обращения маловероятны, можно не тратить на это отдельное внимание;
- Не применяйте к Devin логику «просто ещё один нежелательный сканер» — категория и мотивация здесь принципиально другие, как и у Manus-User;
- Заметна нагрузка, непропорциональная ожидаемому паттерну точечных обращений — стоит проверить, действительно ли это Devin, а не подделка UA;
- Не блокируйте по маске
User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.
8. Открытый вопрос по категоризации
Это явный случай ошибочной категоризации, аналогичный уже разобранному Manus-User: Devin отнесён к «Прочие краулеры и сервисы (нежелательный)», хотя по факту относится к категории AI-агентов — программ, которые используют веб-браузер как штатный инструмент для выполнения задач конкретного человека, а не для системного сбора данных. Рекомендую перенести запись в ту же категорию «AI-агенты» (или создать её, если такой ещё нет в базе) и пересмотреть статус с «нежелательный» на «легитимный», особенно для сайтов с технической документацией.
| Бот / сосед | Категория | Комментарий |
| Manus-User | AI Agent (см. отдельную статью) | Та же природа ошибки категоризации — оба ошибочно попали в «Прочие краулеры и сервисы» вместо категории AI-агентов |
| ChatGPT Agent | AI Agent | Официально задокументированный агент OpenAI с той же логикой — действует от имени пользователя |
| Claude-Code | Не в базе TrafficVeil, но стоит знать | Похожий по духу инструмент — агентная работа с кодом от Anthropic, тоже может обращаться к веб-документации по задаче разработчика |
| GPTBot | AI и LLM-краулеры (training) | Настоящий training-краулер — принципиально другая природа: системный фоновый сбор, а не разовое действие по задаче человека |
9. Стратегия allow/deny для Devin
| Ситуация | Действие |
| Сайт с технической документацией или API-справочником | Allow — блокировка вредит реальным разработчикам-пользователям, а не защищает от угрозы |
| Сайт без технического контента | Обращения маловероятны, отдельного внимания не требует |
| Ошибочно применена логика «нежелательный сканер» | Пересмотреть — правильная категория и мотивация другие |
| Нагрузка неожиданно высокая для точечных обращений AI-агента | Проверить подлинность UA, прежде чем менять политику |
| Подозрение на spoofing UA | Не доверять строке UA; смотреть IP/ASN и характерную концентрацию на документации/API |