Строка dlvr.it в access.log обычно попадает в общую кучу «фонового шума» вместе со всеми остальными непонятными хитами — сессий нет, поведение машинное, повторяется по кругу. Разница в том, что за этим конкретным именем стоит не безымянный сборщик данных, а сервис автопостинга в соцсети, и обращается он к сайту строго по чужому явному запросу: кто-то подключил ваш RSS-фид к своему аккаунту dlvr.it, чтобы автоматически публиковать ваши новые материалы в Twitter/X, Facebook, LinkedIn или Pinterest. Разбираемся, как устроен этот бот на самом деле и почему для него не работает привычное правило блокировки через TrafficVeil.
Что такое dlvr.it
dlvr.it — сервис автоматизации постинга в соцсети, основанный в 2009 году, штаб-квартира в Портленде (Орегон), компания частная, привлекла около $8 млн инвестиций. Работает в одной нише с Buffer, Hootsuite и Curata: пользователь подключает RSS- или Atom-фид своего или чужого сайта, а dlvr.it автоматически публикует новые записи из этого фида в подключённые соцсети — вплоть до Instagram, Blogger и Pinterest.
| Параметр | Значение |
| Название | dlvr.it (техническое имя — dlvr.it Feed Fetcher) |
| User-Agent / паттерн | dlvr.it |
| Оператор | dlvr.it, Портленд, США, основан в 2009 году |
| Категория TrafficVeil | RSS-фетчеры для автопостинга в соцсети (не общий индексирующий краулер) |
| Что делает на сайте | Забирает конкретный RSS/Atom-фид, который пользователь dlvr.it явно добавил в свой аккаунт |
| Частота по документации оператора | В среднем не чаще раза в час на фид; для часто обновляемых сайтов — заметно чаще |
| robots.txt | Учитывает точечное правило под своим именем, но игнорирует общий User-agent: * — намеренно, чтобы не заблокироваться случайно |
| Пометка TrafficVeil | Легитимный / низкий риск |
Зачем dlvr.it приходит на сайт
Единственная причина визита — кто-то из пользователей сервиса подключил ваш RSS- или Atom-фид, чтобы автоматически репостить обновления в свои соцсети. Это не индексация «на всякий случай» и не сбор данных для внутренней базы сервиса: fetcher обращается ровно к тому URL фида, который был явно указан человеком в настройках его аккаунта, и делает это, чтобы получить свежие записи для публикации. Если фида на сайте нет или на него никто не подписан через dlvr.it, бот на сайт попросту не заходит.
Почему это не «фоновый шум в аналитике»
Объём трафика от dlvr.it почти всегда прямо пропорционален числу его пользователей, подключивших конкретно ваш фид — если таких пользователей мало или нет, визитов почти не будет вообще. Это принципиально отличает его от классических AI- или SEO-краулеров, которые обходят сайт по собственной логике вне зависимости от чьих-либо действий: dlvr.it — это агент конкретных людей, использующих чужой сервис для репоста, а не самостоятельный сборщик контента.
Нагрузка и типичные паттерны в логах
По документации оператора, фетчер не должен опрашивать один и тот же фид чаще раза в час в среднем, хотя сетевые задержки иногда создают видимость более частых обращений, а для активно обновляемых сайтов частота обновления фида может быть выше. Инфраструктура распределена по нескольким машинам ради масштабируемости, поэтому запросы к одному и тому же фиду могут приходить с разных IP почти одновременно — это нормальное поведение сервиса, а не признак атаки или спуфинга. Основная цель обращений — именно URL фида (обычно /feed/, /rss/, /atom.xml и подобные адреса), а не произвольные страницы сайта.
Как найти dlvr.it в логах
# Базовый поиск
grep -i "dlvr.it" /var/log/nginx/access.log
# Топ URL, которые вычитывает бот (почти всегда это адрес фида)
grep -i "dlvr.it" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
# Топ IP за этим UA
grep -i "dlvr.it" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# Распределение по времени суток
grep -i "dlvr.it" /var/log/nginx/access.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -cДля верификации подлинности смотрите не только UA, но и сеть, из которой пришёл запрос — подделать заголовок может любой скрипт:
IP="1.2.3.4"
whois -h whois.cymru.com " -v $IP"
dig +short -x "$IP"robots.txt для dlvr.it: важный нюанс
Здесь есть деталь, которая ломает обычную логику работы с robots.txt: по документации оператора, dlvr.it Feed Fetcher намеренно игнорирует общее правило User-agent: *, чтобы случайно не заблокировать доступ пользователям сервиса, если у сайта закрыт общий обход для поисковиков. Остановить его можно только точечным правилом под собственным именем бота.
# Жёсткий запрет
User-agent: dlvr.it
Disallow: /
# Разрешить всё
User-agent: dlvr.it
Allow: /
# Компромисс: закрыть чувствительные разделы, фид оставить открытым
User-agent: dlvr.it
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Allow: /feed/Полное закрытие фида для dlvr.it не повлияет на классическое SEO в Google и Яндексе — оно лишь помешает конкретному сервису репостить ваши материалы в соцсети от лица подключивших вас пользователей.
Блокировка вручную и через TrafficVeil
Nginx:
if ($http_user_agent ~* "dlvr.it") {
return 403;
}
limit_req_zone $binary_remote_addr zone=dlvrit:10m rate=10r/m;
location / {
if ($http_user_agent ~* "dlvr.it") {
limit_req zone=dlvrit burst=20 nodelay;
}
}Apache (.htaccess):
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} dlvr.it [NC]
RewriteRule ^ - [F,L]TrafficVeil: найдите dlvr.it в списке ботов домена или в разделе /system/bots. Если репост в соцсети через сторонние аккаунты не нужен — переключите категорию на «запретить»; если визиты редкие и объём небольшой — оставьте в «легитимных»; при постоянной, но приемлемой нагрузке достаточно мягкого rate-limit. После изменения правила сверьте логи за сутки: хиты dlvr.it должны уйти в лимит или блок, а трафик Googlebot и YandexBot остаться нетронутым.
С кем можно перепутать dlvr.it
dlvr.it — один из целого семейства user-initiated фид-фетчеров: боты, которые обращаются к сайту не по собственной инициативе, а потому что конкретный человек подключил конкретный фид в стороннем сервисе.
| Бот | Сервис | Особенность поведения |
| dlvr.it | Автопостинг RSS-контента в соцсети | Игнорирует User-agent: *, реагирует только на точечное правило под своим именем |
| Feedly Fetcher | RSS-читалка Feedly | Официально вообще не следует robots.txt — действует как «агент человека», а не краулер |
| FeedFetcher-Google (FeedBurner) | Управление и статистика RSS-фидов от Google | Забирает фид по запросу подписавшегося пользователя, аналогично dlvr.it |
| Zapier | No-code автоматизация между сервисами | Опрашивает фид по расписанию сценария (Zap), который настроил конкретный пользователь |
Практический вывод: если в логах регулярно всплывает похожая строка с «человеческим» сервисом в названии и обращения идут строго к адресу фида — это, скорее всего, ещё один такой же user-initiated fetcher, а не угроза.
Что в итоге делать с dlvr.it
| Ситуация | Действие |
| Устраивает, что материалы репостят в соцсети через сторонние аккаунты | Оставить allow, ничего не менять |
| Репост нежелателен (например, по соображениям контроля над распространением контента) | Точечный Disallow под User-agent: dlvr.it — общий * не сработает |
| Частота обращений неожиданно высокая для объёма подписчиков | Проверить IP через whois — распределённая инфраструктура сама по себе не аномалия |
| Строка похожа на dlvr.it, но ведёт себя как агрессивный скрапер | Не доверять UA — заблокировать как обычного вредоносного бота после проверки ASN |
Не закрывайте фид широким правилом User-agent: * — оно не остановит именно dlvr.it (сервис его игнорирует специально), а лишь заблокирует поисковики и другие легитимные фетчеры, которые это правило действительно соблюдают.