Боты5 мин чтения·14 августа 2026 г.·обновлено 19 ноября 2026 г.

2017 год: когда Internet Archive публично отказался от robots.txt

Это не постепенный дрейф политики — Internet Archive официально объявил об отказе соблюдать robots.txt для Wayback Machine. Разбираем причину решения и почему ia_archiver сегодня уже не токен IA.

TVTrafficVeil TeamКоманда сервиса · редакционная ответственность
Уникальная иллюстрация бота archive.org_bot: легитимный веб-архивы

archive.org_bot — штатный краулер Internet Archive для снимков в Wayback Machine. Сохраняет публичные страницы для истории веба.

Не путать:

  • ArchiveBot (ArchiveTeam) — другой оператор и инструмент. По собственным словам создателей проекта: «мы не Internet Archive». ArchiveBot технически «понимает» robots.txt, но использует файл только для поиска дополнительных ссылок (например, sitemap) — самим директивам Disallow он не следует
  • Heritrix в логах — open-source ПО; чужой инстанс этой программы не равен Internet Archive
  • ia_archiver — старый токен, исторически связанный с IA, но сегодня, по независимым данным, принадлежит уже Alexa, а не Internet Archive. Включать его в правила «на всякий случай для IA» сейчас не имеет прежнего смысла

Параметры

Параметр Значение
UA содержит archive.org_bot (часто Mozilla/5.0 (compatible; archive.org_bot +http://archive.org/details/archive.org_bot))
Токен robots archive.org_bot
Верификация rDNS на *.archive.org (напр. crawl*.us.archive.org) + forward DNS
robots.txt С 2017 года Internet Archive официально и публично объявил об отказе соблюдать директивы robots.txt для обхода и показа Wayback Machine — это не постепенная эволюция политики, а прямо анонсированное решение. Для гарантированного результата нужна блокировка на сервере, а не только Disallow
Контакт info@archive.org — для запросов на исключение конкретных материалов или удаление уже сохранённых снимков

Почему IA отказался от robots.txt — и это не просто игнорирование правил

Официальная причина, изложенная директором Wayback Machine в 2017 году: правила, созданные для управления поисковыми краулерами, плохо подходят архивной миссии. Если сайт добавляет robots.txt сегодня (или домен переходит к спамеру, который выставляет общий запрет), это не должно задним числом «стирать» уже сохранённую историю страницы, которая была легитимной и общественно значимой в момент архивации. Именно злоупотребление robots.txt для скрытия исторических версий сайтов (в том числе доменными спекулянтами) стало прямым поводом для изменения политики.

Практическое следствие для вебмастера: рассчитывать на Disallow как на надёжный барьер для archive.org_bot больше нельзя. Полевые отчёты за разные годы подтверждают это на практике — блокировка через robots.txt действительно перестаёт срабатывать, и добиться результата можно только через серверную блокировку (.htaccess, конфигурация nginx/Apache) или прямой запрос на удаление контакту info@archive.org.

Нагрузка

Прежние числа собственной сводки TrafficVeil и основанные на них выводы отозваны: подтверждающий воспроизводимый срез к ним не приложен.

Архивные краулы периодические и не связаны с посещаемостью сайта людьми, поэтому объём сам по себе не показатель проблемы.

Не уверены, кто ходит по вашему сайту?

Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.

Посмотреть свой трафик

Контроль

grep -i "archive.org_bot" /var/log/nginx/access.log
host 
# для настоящего IA ожидается *.archive.org, затем forward DNS

robots.txt (формальный шаг, не гарантия)

User-agent: archive.org_bot
Disallow: /

Пропишите это правило как формальный сигнал намерения, но не как единственную защиту — с 2017 года у Internet Archive нет обязательства его соблюдать для функций Wayback Machine.

Стратегия

  • Хотите историю сайта в Wayback — Allow (или точечный Disallow для приватных зон, понимая, что это скорее пожелание, чем гарантия)
  • Не хотите архивирования — Disallow как формальность, но для реального эффекта нужна блокировка на сервере по UA/IP после подтверждения через rDNS, либо прямой запрос на удаление уже сохранённых снимков через info@archive.org
  • Чужой Heritrix без rDNS на archive.org — это не Internet Archive; решение принимайте отдельно, часто deny
  • ArchiveBot (ArchiveTeam) с тем же успехом не остановить через robots.txt — они прямо не следуют Disallow-директивам по конструкции инструмента
  • Не полагайтесь на ia_archiver как на актуальный синоним archive.org_bot — сегодня это, по всей видимости, токен Alexa, а не Internet Archive
Следующий шагПрименение и проверка настроек

Проверяйте User-Agent вместе с другими признаками. Перед блокировкой изучите логи и убедитесь, что полезные запросы проходят.

Частые вопросы

Правда ли, что Internet Archive официально отказался от robots.txt?
Да, это публично объявленное в 2017 году решение, а не постепенное изменение поведения — директор Wayback Machine прямо объяснил причину в блоге.
Почему Internet Archive решил игнорировать robots.txt?
Потому что правила, созданные для управления поисковыми краулерами, не должны задним числом стирать уже сохранённую историю страницы, а через robots.txt этим злоупотребляли, включая доменных спекулянтов.
Работает ли Disallow в robots.txt для блокировки archive.org_bot сегодня?
Формально можно прописать, но полагаться на это как на гарантию нельзя — с 2017 года у IA нет обязательства соблюдать эту директиву для функций Wayback Machine.
Кому принадлежит токен ia_archiver сегодня?
По независимым данным, сейчас это токен Alexa, а не Internet Archive — включать его в правила специально для IA больше не имеет прежнего смысла.
Следует ли ArchiveBot от ArchiveTeam правилам robots.txt?
Нет, инструмент использует файл только для поиска дополнительных ссылок вроде sitemap, а сами Disallow-директивы не соблюдает, и это не Internet Archive, а отдельный проект.
Как реально остановить архивирование сайта, если robots.txt не работает?
Через блокировку на уровне сервера по UA/IP после подтверждения через reverse DNS, либо прямым запросом на удаление уже сохранённых снимков на info@archive.org.
#archive.org_bot#Internet Archive#Wayback Machine#ArchiveBot#robots.txt#TrafficVeil
TV
TrafficVeil Team

Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов. Дата обновления показывает редакционное изменение, а не полную повторную проверку всех источников. Как мы работаем с источниками и исправлениями.

Похожие статьи

Материалы по связанному оператору, задаче или технической теме.

Уникальная иллюстрация бота Heritrix: легитимный веб-архивы
Боты·5 мин

«Это, возможно, кто-то ещё» — сам Internet Archive о чужих Heritrix

Internet Archive официально признаёт: строка «heritrix» в логах без archive.org может принадлежать постороннему оператору того же open-source ПО. Разбираем, как их отличить, и промежуточный случай с Archive-It.

Читать
Уникальная иллюстрация бота Archive-It: легитимный веб-архивы
Боты·7 мин

Archive-It: ищите archive.org_bot, а не archive-it

По официальной документации поддержки Archive-It реальный токен краулера — archive.org_bot, а не буквальное «archive-it» из черновика, и от этого зависит, увидите ли вы вообще этот трафик в логах. Разбираемся, чем клиентский сервис Archive-It отличается от общего краулинга Wayback Machine, почему одно только правило в robots.txt не гарантирует исключение из архива, и что делать, если контент критично важно оттуда убрать.

Читать
Уникальная иллюстрация бота special_archiver: легитимный веб-архивы
Боты·7 мин

Special_archiver: краулер Archive-It с открытыми IP-диапазонами

special_archiver — не отдельный независимый бот, а токен того же операторского контура, что и Archive-It: Internet Archive в партнёрстве с Library of Congress. Разбираемся, почему у этого архивного краулера редко для категории есть открыто опубликованные IP-диапазоны, и почему данные о соблюдении robots.txt здесь противоречивы настолько, что полагаться только на файл не стоит.

Читать

Проверьте защиту своего сайта

Подключение занимает несколько минут. Начните с анализа трафика и включайте блокировки после проверки логов.

Фиксированная подписка по числу доменов и набору функций. Боты, атаки и заблокированные запросы не увеличивают счёт.

TrafficVeil