EvernoteRichLinkBot в логах: превью для чужих заметок

Если фильтровать access.log по evernoterichlinkbot, часто всплывает целый пласт машинных хитов — это и есть EvernoteRichLinkBot. Evernote — реальная и давно известная компания (сервис заметок, публичное веб-приложение с 24 июня 2008 года), поэтому в отличие от многих ботов этой категории здесь есть на что опереться: оператор точно установлен, вопрос лишь в деталях его поведения и репутации.

1. Что такое EvernoteRichLinkBot

Когда пользователь Evernote добавляет в заметку ссылку на веб-страницу (через Web Clipper или простое связывание, а не полный клиппинг всей страницы), сервису нужно получить название, описание и превью-картинку по этой ссылке — примерно так же, как соцсети формируют карточку при шеринге. Именно эту задачу, судя по всему, решает EvernoteRichLinkBot. У этого семейства есть более старый задокументированный родственник — «Evernote Clip Resolver», который в независимых источниках связывают с официальным диапазоном IP компании (204.154.94.0/23, историческая запись от 2013 года, актуальность стоит проверять отдельно).

2. Зачем EvernoteRichLinkBot приходит на сайт

Бот забирает Open Graph и meta-теги для формирования карточки ссылки — это происходит, когда конкретный пользователь Evernote явно сохраняет или связывает вашу страницу в своей заметке, а не по фоновому расписанию произвольного обхода. С точки зрения владельца сайта это выглядит как классический link preview-fetcher: точечный запрос к переданному URL, а не индексация домена целиком.

• Какие зоны чаще трогает: URL из шеринга, og:image, главные лендинги — конкретные страницы, которые кто-то сохранил в Evernote;
• Что ищет: заголовок, описание и превью-изображение страницы для карточки в заметке пользователя;
• Чем отличается от браузерного пользователя: нет нормальной сессии, обращение разовое и привязано к конкретному действию пользователя Evernote, а не к произвольному расписанию.

Типичный кейс: CDN-трафик дорожает, origin CPU пилит HTML. Фильтр по evernoterichlinkbot показывает точечные запросы к URL из шеринга — если объём неожиданно велик, вероятная причина — вирусно расходящаяся по Evernote-пользователям ссылка, а не постороннее сканирование.

3. Нагрузка и риски именно для EvernoteRichLinkBot

Отдельной строки в публичной сводке top-bot TrafficVeil у evernoterichlinkbot может не быть, но в категории «Превью ссылок в соцсетях» такие агенты дают характерный фон: при блокировке пользователи Evernote увидят «голую» ссылку без картинки и описания в своей заметке. Отдельный, менее технический риск — репутационный: в публичном обсуждении вебмастеров встречается позиция, что подобные боты «забирают контент без разрешения», и часть администраторов сознательно блокирует семейство Evernote именно по этой причине, а не из-за нагрузки.

4. Как найти EvernoteRichLinkBot в логах

Не ищите «просто ботов» — ищите конкретный токен evernoterichlinkbot и рядом смотрите более старого родственника Evernote Clip Resolver.

# Базовый поиск по семейству токенов Evernote
grep -iE "evernoterichlinkbot|evernote clip resolver" /var/log/nginx/access.log

# Топ URL, которые вычитывает бот
grep -i "evernoterichlinkbot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

# Топ IP за этим UA — сверьте с историческим диапазоном 204.154.94.0/23
grep -i "evernoterichlinkbot" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# Суточная активность
grep -i "evernoterichlinkbot" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

# Отделить от похожих строк семейства ботов предпросмотра
grep -iE "evernoterichlinkbot|linkwalker|linkfluence" /var/log/nginx/access.log | wc -l

Верификация. Подделать User-Agent может любой скрипт. Актуального официального списка IP не найдено — по историческим данным упоминается диапазон 204.154.94.0/23, но проверяйте его свежесть отдельно, поскольку данные могут устареть с 2013 года.

IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"

5. robots.txt для EvernoteRichLinkBot

# Жёсткий запрет
User-agent: evernoterichlinkbot
Disallow: /

# Разрешить всё
User-agent: evernoterichlinkbot
Allow: /

# Компромисс: закрыть деньги/кабинет, оставить публичку
User-agent: evernoterichlinkbot
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /api/
Allow: /

Важно: ставьте Disallow или 403 для evernoterichlinkbot, если превью в заметках Evernote для вас принципиально не нужны. Если агент игнорирует robots.txt, переходите к nginx/Apache или запрету в TrafficVeil.

6. Блокировка вручную и через TrafficVeil

Nginx

if ($http_user_agent ~* "evernoterichlinkbot") {
    return 403;
}

limit_req_zone $binary_remote_addr zone=evernoterichlinkbo:10m rate=10r/m;
location / {
    if ($http_user_agent ~* "evernoterichlinkbot") {
        limit_req zone=evernoterichlinkbo burst=20 nodelay;
    }
}

Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} evernoterichlinkbot [NC]
RewriteRule ^ - [F,L]

TrafficVeil

• Найдите evernoterichlinkbot в ботах домена или в /system/bots;
• Для нежелательного сценария выберите категорию «запретить»; для мягкого варианта — rate-limit;
• Allow только при явной пользе — если вы сознательно хотите, чтобы страницы сайта корректно выглядели в заметках Evernote пользователей;
• После изменения сверьте логи: хиты EvernoteRichLinkBot должны уйти в блок или лимит, а нужные поисковики — остаться без изменений.

7. Рекомендации: что делать с EvernoteRichLinkBot

• Ломаются карточки превью в заметках Evernote — блокируйте только если это принципиально не важно для вашей аудитории;
• Учитывайте репутационный аспект: часть сообщества вебмастеров сознательно блокирует боты Evernote из принципа «забирают контент без разрешения», а не только из-за нагрузки — это вопрос вашей собственной позиции, не только технической целесообразности;
• Если нагрузка мешает — сначала rate-limit, затем полный запрет;
• Не режьте слишком широко правилом User-agent: *, чтобы случайно не закрыть Googlebot или YandexBot;
• Что будет при блокировке: пользователи Evernote, сохранившие ссылку на ваш сайт, увидят голую ссылку без описания и картинки в своей заметке.

8. С кем не путать EvernoteRichLinkBot

9. Стратегия allow/deny для EvernoteRichLinkBot