AhrefsBot — один из самых заметных и активных SEO-краулеров в логах серверов по всему миру. Понимание его природы важно для каждого владельца сайта: правильное управление этим ботом влияет на видимость вашего сайта в инструментах конкурентного анализа, которыми пользуются миллионы маркетологов, включая ваших собственных конкурентов.
1. Что такое AhrefsBot
1.1 User-Agent строка
# Текущая версия:
Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)
# Связанный бот для аудита сайтов:
Mozilla/5.0 (compatible; AhrefsSiteAudit/7.0; +http://ahrefs.com/robot/)Версия в строке User-Agent периодически обновляется компанией Ahrefs (ранее были версии 5.0, 6.1). При настройке правил рекомендуется ориентироваться на ключевое слово AhrefsBot, а не на конкретный номер версии.
1.2 Кто стоит за AhrefsBot
| Параметр | Значение |
|---|---|
| Оператор | Ahrefs Pte. Ltd. (Сингапур) |
| Назначение | Построение индекса ссылок и страниц для SEO-инструментов |
| Связанные продукты | Ahrefs (SEO-платформа), Yep.com (поисковая система) |
| Размер индекса ссылок | Один из крупнейших в индустрии |
| Тип бота | SEO Crawler (по классификации индустрии) |
| Уровень опасности | 低 Низкий — легитимный, но создаёт заметную нагрузку |
1.3 Связанные боты Ahrefs
| User-Agent | Назначение |
|---|---|
AhrefsBot |
Основной краулер — построение индекса ссылок и страниц |
AhrefsSiteAudit |
Технический аудит сайта по запросу пользователя Ahrefs (Site Audit инструмент) |
Важно: это два разных бота с разным поведением. AhrefsBot обходит сайт регулярно и автономно для построения общего индекса. AhrefsSiteAudit запускается точечно, когда конкретный пользователь Ahrefs (возможно, владелец сайта или его конкурент) инициирует аудит конкретного домена в личном кабинете.
1.4 Место в экосистеме SEO-краулеров
| Краулер | Компания | Назначение | Влияет на SEO напрямую? |
|---|---|---|---|
| AhrefsBot | Ahrefs | Индекс ссылок, контента, технический аудит | ✖ Нет, но влияет на видимость в SEO-инструментах |
| SemrushBot | Semrush | Анализ позиций, ссылок, аудит сайтов | ✖ Нет |
| MJ12Bot | Majestic | Анализ обратных ссылок (Trust Flow, Citation Flow) | ✖ Нет |
| DotBot | Moz | Анализ ссылочного профиля (Domain Authority) | ✖ Нет |
| SerpstatBot | Serpstat | Мониторинг позиций и аудит | ✖ Нет |
| DataForSeoBot | DataForSEO | API-данные для сторонних SEO-сервисов | ✖ Нет |
2. Как работает AhrefsBot
2.1 Этапы обхода
- AhrefsBot систематически обходит публичные страницы в интернете, переходя по найденным ссылкам.
- На каждой странице фиксируются все исходящие и входящие ссылки, их анкорный текст и атрибуты (nofollow, sponsored, ugc).
- Анализируется контент страницы: заголовки, текст, метаданные, структура.
- Собираются технические сигналы: HTTP-коды, время ответа, редиректы, canonical-теги.
- Данные агрегируются в индекс ссылок и контента Ahrefs, обновляются метрики (Domain Rating, URL Rating, Trust метрики).
- Обновлённые данные становятся доступны пользователям Ahrefs в течение нескольких дней.
2.2 Что AhrefsBot анализирует
| Элемент | Что извлекается | Важность |
|---|---|---|
| Исходящие и входящие ссылки | Построение графа ссылок (link graph) | ⭐⭐⭐⭐⭐ Главная задача бота |
| Анкорный текст ссылок | Релевантность и контекст ссылочной массы | ⭐⭐⭐⭐⭐ Критически важно |
| Атрибуты ссылок (rel) | nofollow, sponsored, ugc, dofollow | ⭐⭐⭐⭐⭐ Критически важно |
| Заголовок и контент страницы | Тематика, индексация для Yep.com | ⭐⭐⭐⭐ Очень важно |
| HTTP-статусы и редиректы | Техническое здоровье ссылок | ⭐⭐⭐⭐ Очень важно |
| Canonical URL | Определение основной версии страницы | ⭐⭐⭐ Важно |
| Технические SEO-сигналы | Заголовки, мета-теги, структурированные данные | ⭐⭐⭐ Важно (для Site Audit) |
| Скорость загрузки страницы | Технические метрики для аудита | ⭐⭐⭐ Важно |
2.3 Связь с поисковой системой Yep.com
Малоизвестный факт: данные, собранные AhrefsBot, используются не только для SEO-инструментов, но и для работы собственной поисковой системы Ahrefs — Yep.com, ориентированной на приватность пользователей. Это означает, что AhrefsBot выполняет двойную функцию: SEO-аналитика и построение поискового индекса.
2.4 Частота и интенсивность обхода
| Тип сайта | Типичная частота |
|---|---|
| Небольшой сайт с малым числом обратных ссылок | Несколько визитов в неделю |
| Средний сайт с активной ссылочной массой | Ежедневно |
| Крупный сайт или популярный домен-донор | Многократно в день, параллельные потоки |
| Сайт, активно отслеживаемый через Ahrefs пользователями | Высокая интенсивность — несколько клиентов Ahrefs могут мониторить домен одновременно |
3. Нагрузка на сервер
AhrefsBot регулярно упоминается администраторами серверов как один из наиболее заметных по объёму запросов SEO-краулеров. Особенность его нагрузки — она может становиться тяжелее на популярных сайтах независимо от желания владельца, так как несколько разных клиентов Ahrefs могут одновременно анализировать один и тот же домен.
3.1 Факторы, увеличивающие нагрузку
- Большое количество обратных ссылок на сайт — чем больше у сайта донор-ссылок, тем чаще его проверяют
- Множественный параллельный обход — несколько клиентов Ahrefs анализируют сайт одновременно через Site Explorer
- Запуск Site Audit конкурентами — AhrefsSiteAudit может запускаться третьими лицами без вашего ведома
- Большой объём страниц на сайте — крупные сайты требуют больше запросов для полного обхода
- Частые изменения контента — обновляемые страницы проверяются повторно чаще
- Отсутствие Crawl-delay — без ограничения бот работает на максимальной для него скорости
3.2 Поддержка Crawl-delay
Важная особенность: AhrefsBot официально поддерживает директиву Crawl-delay в robots.txt — в отличие от Googlebot, который её игнорирует. Это даёт владельцам сайтов реальный инструмент контроля скорости без полной блокировки.
# Замедлить AhrefsBot без блокировки:
User-agent: AhrefsBot
Crawl-delay: 10
# Значение в секундах — пауза между последовательными запросами4. Обнаружение в логах
4.1 Как выглядит запись
# Nginx access.log — стандартный запрос AhrefsBot:
141.8.142.10 - - [09/May/2026:10:22:15 +0000] \
"GET /blog/seo-guide/ HTTP/1.1" \
200 28432 "-" \
"Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)"
# Запрос AhrefsSiteAudit (запущен конкретным пользователем):
141.8.142.11 - - [09/May/2026:10:23:01 +0000] \
"GET /pricing/ HTTP/1.1" \
200 18432 "-" \
"Mozilla/5.0 (compatible; AhrefsSiteAudit/7.0; +http://ahrefs.com/robot/)"4.2 Аналитика через grep
Найти все запросы AhrefsBot:
grep -i 'AhrefsBot' /var/log/nginx/access.logРазделить AhrefsBot и AhrefsSiteAudit:
# Только основной краулер:
grep -i 'AhrefsBot' access.log | grep -v 'SiteAudit'
# Только аудит сайта (запущен конкретным пользователем):
grep -i 'AhrefsSiteAudit' access.logПодсчитать количество запросов:
grep -i 'AhrefsBot' access.log | wc -lТоп обходимых страниц:
grep -i 'AhrefsBot' access.log \
| awk '{print $7}' | sort | uniq -c | sort -nr | head -30HTTP-коды ответов:
grep -i 'AhrefsBot' access.log \
| awk '{print $9}' | sort | uniq -c | sort -nrBandwidth, потребляемый ботом:
grep -i 'AhrefsBot' access.log \
| awk '{sum+=$10} END{print sum/1024/1024 " MB"}'Активность по часам — пики нагрузки:
grep -i 'AhrefsBot' access.log \
| awk '{print $4}' | cut -d: -f2 | sort | uniq -c | sort -nLive-мониторинг:
tail -f /var/log/nginx/access.log | grep --line-buffered -i 'AhrefsBot'4.3 Верификация подлинности
⚠ Критически важно: User-Agent AhrefsBot активно подделывается скраперами и недобросовестными конкурентами, поскольку многие сайты разрешают известные SEO-краулеры, но блокируют незнакомых. Ahrefs официально предупреждает: не доверяйте проверке только по строке User-Agent.
#!/bin/bash
# Официальный метод верификации Ahrefs: IP-диапазоны + Reverse DNS
IP=$1
HOST=$(host $IP | awk '{print $NF}')
if [[ $HOST == *ahrefs.com* ]]; then
FWD=$(host $HOST | awk '{print $NF}')
if [[ $FWD == $IP ]]; then
echo "✔ Настоящий AhrefsBot: $IP → $HOST"
else
echo "✖ Fake AhrefsBot (DNS mismatch): $IP"
fi
else
echo "✖ Fake AhrefsBot (нет PTR записи ahrefs.com): $IP"
fiПолучение актуального списка IP-адресов Ahrefs:
# Ahrefs публикует официальный список IP в справочном центре:
# https://ahrefs.com/robot/ или Help Center → AhrefsBot
# Рекомендуется периодически обновлять список,
# так как Ahrefs время от времени добавляет новые диапазоны.
# Скрипт для проверки IP против списка (пример):
curl -s https://ahrefs.com/robot/json > ahrefs_ips.json 2>/dev/null
# Если эндпоинт недоступен — список нужно скопировать вручную
# со страницы документации AhrefsПравило проверки: легитимный запрос подтверждается только при совпадении обоих условий — IP входит в опубликованный диапазон Ahrefs, и reverse DNS lookup возвращает домен ahrefs.com с корректным forward-подтверждением.
5. Управление AhrefsBot
5.1 robots.txt — официально поддерживаемые директивы
Ahrefs прямо документирует, что AhrefsBot уважает стандартные директивы robots.txt, включая Crawl-delay. Это даёт несколько уровней управления — от полного запрета до точечного ограничения.
Полная блокировка (оба бота Ahrefs):
User-agent: AhrefsBot
Disallow: /
User-agent: AhrefsSiteAudit
Disallow: /⚠ Последствие полной блокировки: ваш сайт перестанет обновляться в индексе Ahrefs. Это означает, что данные о вашем ссылочном профиле, позициях и техническом SEO в инструментах Ahrefs устареют и со временем исчезнут — причём это касается не только вас, но и всех, кто использует Ahrefs для анализа вашего сайта (включая ваших потенциальных клиентов и партнёров).
Замедление вместо блокировки (рекомендуемый подход):
User-agent: AhrefsBot
Crawl-delay: 10
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Allow: /Блокировка только чувствительных разделов:
User-agent: AhrefsBot
Disallow: /private/
Disallow: /internal-search/
Disallow: /*?session=
Allow: /Запретить только Site Audit, разрешив основной индекс:
User-agent: AhrefsBot
Allow: /
User-agent: AhrefsSiteAudit
Disallow: /
# Это не даст третьим лицам запускать технический аудит вашего сайта,
# но сохранит присутствие в общем индексе ссылок Ahrefs5.2 Блокировка через .htaccess (Apache)
RewriteEngine On
# Блокировать оба бота Ahrefs:
RewriteCond %{HTTP_USER_AGENT} "AhrefsBot|AhrefsSiteAudit" [NC]
RewriteRule .* - [F,L]
# Блокировать только конкретный раздел:
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [NC]
RewriteCond %{REQUEST_URI} ^/private/ [NC]
RewriteRule .* - [F,L]5.3 Управление через Nginx
map $http_user_agent $is_ahrefs {
default 0;
"~*AhrefsBot" 1;
"~*AhrefsSiteAudit" 1;
}
# Полная блокировка:
if ($is_ahrefs) {
return 403;
}
# Rate limiting вместо блокировки (предпочтительно):
limit_req_zone $is_ahrefs zone=ahrefs_limit:10m rate=2r/s;
location / {
limit_req zone=ahrefs_limit burst=10 nodelay;
}
# Блокировка по верифицированному списку IP (рекомендуется):
geo $ahrefs_verified {
default 0;
141.8.142.0/24 1;
# добавить актуальные диапазоны из ahrefs.com/robot/
}
map "$is_ahrefs:$ahrefs_verified" $block_fake_ahrefs {
"1:0" 1;
default 0;
}
if ($block_fake_ahrefs) {
return 403;
}5.4 Когда блокировка оправдана
| Сценарий | Рекомендация |
|---|---|
| Сервер перегружен, нагрузка критична | Сначала Crawl-delay, блокировка — крайняя мера |
| Не хотите, чтобы конкуренты видели вашу ссылочную стратегию | Блокировка — обоснованное решение, многие сайты так делают |
| Закрытые разделы (личный кабинет, оформление заказа) | Disallow для конкретных путей, не для всего сайта |
| Вы сами активно пользуетесь Ahrefs для своего сайта | Не блокировать — иначе ваши же данные устареют |
| Партнёры/клиенты проверяют ваш сайт через Ahrefs | Не блокировать — это может выглядеть подозрительно для них |
6. SEO-аспекты: как AhrefsBot влияет на видимость сайта
6.1 Прямое влияние на позиции в Google/Яндекс — отсутствует
Важно чётко понимать: визиты AhrefsBot не влияют на ранжирование вашего сайта в Google, Яндексе, Bing или любой другой поисковой системе. Ahrefs не является поисковой системой общего назначения (за исключением нишевой Yep.com) и не передаёт данные в алгоритмы других поисковиков.
6.2 Косвенное влияние через видимость в SEO-индустрии
Реальное значение AhrefsBot — в формировании репутации вашего сайта в глазах SEO-специалистов, которые используют метрики Ahrefs для принятия решений:
- Domain Rating (DR) — показатель авторитетности домена, влияющий на решения о размещении гостевых постов и партнёрских ссылок
- Видимость в исследованиях конкурентов — потенциальные партнёры оценивают ваш сайт через Ahrefs перед сотрудничеством
- Анализ обратных ссылок — выявление токсичных или подозрительных ссылок на ваш сайт
- Технический SEO-аудит — обнаружение технических проблем сайта (через Site Audit)
Если ваш сайт заблокирован для AhrefsBot, данные о нём в Ahrefs устаревают и со временем показывают «сайт не найден» — это может негативно восприниматься опытными SEO-специалистами как сигнал непрозрачности.
6.3 Использование данных Ahrefs для собственного SEO
Многие владельцы сайтов сами активно используют Ahrefs для анализа собственного ссылочного профиля, контент-стратегии конкурентов и технического аудита. Блокировка AhrefsBot лишает вас возможности получать актуальные данные о своём же сайте через этот инструмент.
7. Диагностика проблем
7.1 Типичные проблемы и решения
| Проблема | Причина | Решение |
|---|---|---|
| Сервер перегружен AhrefsBot | Нет Crawl-delay, крупный сайт с большим числом ссылок | Добавить Crawl-delay: 10 в robots.txt |
| Данные в Ahrefs устарели | Бот заблокирован полностью или частично | Проверить robots.txt, убрать ненужные ограничения |
| Много 403/404 в логах от AhrefsBot | Блокировка по IP или WAF-правило | Проверить правила файрвола и CDN |
| Подозрительно много трафика с UA AhrefsBot | Поддельные боты используют этот UA | Верифицировать IP через reverse DNS + список Ahrefs |
| AhrefsSiteAudit обходит закрытые разделы | Кто-то запустил аудит вашего сайта через свой аккаунт | Заблокировать только AhrefsSiteAudit, оставив AhrefsBot |
| Crawl-delay не действует | Синтаксическая ошибка в robots.txt | Проверить формат директивы, протестировать через онлайн-валидатор |
7.2 Пошаговая диагностика
Шаг 1 — Проверить доступность сайта для AhrefsBot:
curl -A "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)" \
-I https://example.com/
# Ожидается: HTTP/1.1 200 OKШаг 2 — Проверить robots.txt:
curl https://example.com/robots.txt | grep -i 'ahrefs'Шаг 3 — Проверить актуальность данных в Ahrefs:
- Зайдите в Site Explorer на ahrefs.com, введите свой домен
- Проверьте дату последнего обновления данных («Last update»)
- Если дата сильно отстаёт от текущей — вероятна блокировка или техническая проблема
Шаг 4 — Верифицировать подозрительные запросы:
# Массовая проверка всех IP, представляющихся AhrefsBot:
grep -i 'AhrefsBot' access.log \
| awk '{print $1}' | sort -u \
| while read IP; do
HOST=$(host $IP 2>/dev/null | awk '{print $NF}')
if [[ $HOST == *ahrefs* ]]; then
echo "✔ Легитимный: $IP → $HOST"
else
echo "✖ Подозрительный: $IP → $HOST"
fi
done8. AhrefsBot vs другие SEO-краулеры
| Краулер | Компания | User-Agent | Crawl-delay | Основной фокус |
|---|---|---|---|---|
| AhrefsBot | Ahrefs | AhrefsBot/7.0 |
✔ Поддерживает | Ссылки, контент, Yep.com |
| SemrushBot | Semrush | SemrushBot/7 |
✔ Поддерживает | Позиции, ссылки, технический аудит |
| MJ12Bot | Majestic | MJ12bot/v1.4 |
✔ Поддерживает | Trust Flow, Citation Flow |
| DotBot | Moz | dotbot/1.0 |
✔ Поддерживает | Domain Authority, Link Explorer |
| SerpstatBot | Serpstat | SerpstatBot/1.0 |
Частично | Позиции, аудит, ссылки |
| DataForSeoBot | DataForSEO | DataForSeoBot |
Частично | API-данные для сторонних сервисов |
| Barkrowler | Babbar Tech | Barkrowler |
Частично | Анализ контента и ссылок |
Контекст из реальных данных: по статистике pbnshield за март–май 2026, AhrefsBot занимает позицию в топ-35 ботов с долей около 0.3% от общего бот-трафика — заметно меньше своих конкурентов SERanking (#10, 3.6%), Barkrowler (#15, 1.4%) и SemrushBot (#16, 1.3%), но всё ещё в числе системно присутствующих SEO-краулеров на большинстве сайтов.
Полезные ссылки: Официальная документация AhrefsBot | Справочный центр Ahrefs | Поисковая система Yep.com