Devin: AI-агент разработчика, а не нежелательный сканер

Devin — ещё один случай неверной категоризации того же типа, что уже разбирался с Manus-User: черновик описывает его как «сканер... классифицирован как нежелательный», но по факту это браузерный компонент одного из самых известных в мире автономных AI-агентов для разработки — Devin от компании Cognition AI. Когда этот бот заходит на сайт, это почти всегда означает, что конкретный разработчик поручил ему конкретную инженерную задачу, для которой понадобилось обратиться к вашей странице — например, к документации API.

1. Что такое Devin на самом деле

Devin — облачный автономный AI-агент для разработки ПО, созданный компанией Cognition AI (основана в 2023 году, штаб-квартира в Нью-Йорке). Пользователь описывает задачу на естественном языке, а Devin самостоятельно составляет план и выполняет его, используя собственные терминал, редактор кода и веб-браузер — вплоть до открытия pull request для проверки человеком. Продукт вызвал большой резонанс при запуске в марте 2024 года и с тех пор существенно развился (Devin 2.0 вышел в апреле 2025 года), сейчас доступен по индивидуальной и командной подпискам через app.devin.ai.

Ключевой момент: веб-браузер — штатный инструмент агента наравне с терминалом и редактором кода. Когда Devin выполняет инженерную задачу, требующую свериться с документацией, API-референсом или любой другой веб-страницей, он обращается к ней в рамках выполнения конкретного поручения конкретного разработчика — а не системно обходит веб для сбора данных впрок.

2. Зачем Devin приходит на сайт

• разработчик поручил агенту задачу, для выполнения которой требуется свериться с документацией, спецификацией API или технической страницей, размещённой на вашем сайте;
• если ваш сайт — техническая документация, справочник API, блог с гайдами по интеграции — обращение Devin означает, что конкретный инженер в этот момент использует ваш контент по прямому назначению: как источник технической информации для решения задачи;
• в отличие от training-краулеров, у Devin нет цели «собрать контент впрок» — обращение разовое и утилитарное, привязанное к моменту выполнения конкретной задачи.

Типичный кейс: единичный или редкий запрос к конкретной странице документации без последующего системного обхода остального сайта — та же логика, что у Manus-User и других AI-агентов, действующих от имени реального человека.

3. Нагрузка и риски

Формулировка черновика про «фоновый шум в аналитике, расход CPU/bandwidth» описывает риск, характерный для системных краулеров, а не для точечного обращения AI-агента по задаче конкретного разработчика. Нагрузка обычно минимальна и коррелирует с тем, насколько часто разработчики, использующие Devin, обращаются к задачам, связанным с вашим контентом.

Если сайт — техническая документация или справочник по API, стоит перевернуть логику черновика: блокировка Devin не защищает контент, а мешает разработчикам, использующим один из самых заметных AI-инструментов для инженерных задач, корректно работать с вашей документацией — то есть снижает практическую полезность и доступность именно той аудитории, для которой техническая документация и создаётся.

4. Как найти Devin в логах

# Базовый поиск
grep -i "devin" /var/log/nginx/access.log

# Топ URL — ожидаемо документация, API-референсы, технические страницы
grep -i "devin" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA
grep -i "devin" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность — ожидаемо нерегулярная, привязанная к задачам, а не системный фон
grep -i "devin" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Признак технического интереса — концентрация на документации/API
grep -i "devin" /var/log/nginx/access.log | grep -icE "/docs/|/api/|/reference/"

Верификация. Строку UA подделать может любой скрипт. Официального списка IP-диапазонов не найдено — для решения allow/deny смотрите связку UA + IP/ASN + характерный точечный, привязанный к технической документации паттерн обхода, отличающий AI-агента от системного краулера:

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для Devin

# Жёсткий запрет — как правило, не рекомендуется для документационных сайтов, см. раздел 3
User-agent: devin
Disallow: /

# Разрешить всё — рекомендуемый вариант по умолчанию, особенно для технической документации
User-agent: devin
Allow: /

# Компромисс: закрыть личный кабинет и служебные разделы, оставить документацию доступной
User-agent: devin
Disallow: /admin/
Disallow: /account/
Allow: /

6. Блокировка вручную и через TrafficVeil

Nginx:

if ($http_user_agent ~* "devin") {
    return 403;
}

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} devin [NC]
RewriteRule ^ - [F,L]

TrafficVeil:

• найдите devin в разделе ботов домена или в /system/bots;
• для сайтов с технической документацией, API-справочниками или гайдами по интеграции — allow обоснован по умолчанию: агент представляет реального разработчика, и блокировка портит именно его опыт использования вашей документации;
• для сайтов без технического контента (например, чисто коммерческий лендинг) — обращения Devin маловероятны или бессмысленны по его собственной логике, реального риска или пользы, как правило, нет;
• после изменения сверьте логи и, если применимо, учитывайте, что блокировка может ухудшить практическую доступность документации для разработчиков.

7. Что делать: короткий алгоритм

• Сайт содержит техническую документацию/API-референсы — allow по умолчанию, это реальные пользователи-разработчики;
• Сайт не технический — обращения маловероятны, можно не тратить на это отдельное внимание;
• Не применяйте к Devin логику «просто ещё один нежелательный сканер» — категория и мотивация здесь принципиально другие, как и у Manus-User;
• Заметна нагрузка, непропорциональная ожидаемому паттерну точечных обращений — стоит проверить, действительно ли это Devin, а не подделка UA;
• Не блокируйте по маске User-agent: *, чтобы не задеть Googlebot/YandexBot заодно.

8. Открытый вопрос по категоризации

Это явный случай ошибочной категоризации, аналогичный уже разобранному Manus-User: Devin отнесён к «Прочие краулеры и сервисы (нежелательный)», хотя по факту относится к категории AI-агентов — программ, которые используют веб-браузер как штатный инструмент для выполнения задач конкретного человека, а не для системного сбора данных. Рекомендую перенести запись в ту же категорию «AI-агенты» (или создать её, если такой ещё нет в базе) и пересмотреть статус с «нежелательный» на «легитимный», особенно для сайтов с технической документацией.

9. Стратегия allow/deny для Devin