История FAST-WebCrawler интереснее, чем можно подумать по одной строке в логах: это токен краулера AlltheWeb — некогда одной из самых технологически передовых поисковых систем рубежа 1990-х и 2000-х, которая при запуске в 1999 году поражала скоростью ответа меньше половины секунды и одной из крупнейших на тот момент баз данных в вебе. Но у истории есть развилка, о которой часто забывают: поисковый бизнес AlltheWeb и корпоративная технология FAST разошлись по разным компаниям, и это меняет ответ на вопрос, где искать «наследника» этого бота сегодня.
Куда на самом деле делась технология FAST — и почему это не совсем Bing
FAST Search & Transfer была основана в Норвегии в 1997 году, а её потребительский поисковик AlltheWeb запустился в 1999-м. В 2003 году компания приняла стратегическое решение сосредоточиться на корпоративном (enterprise) поиске и продала свой интернет-дивизион — включая FAST Web Search, FAST PartnerSite и сам AlltheWeb.com — компании Overture Services, которую вскоре поглотил Yahoo!. Именно под крылом Yahoo! AlltheWeb существовал следующие годы, постепенно теряя собственные технологические особенности (в частности, в 2006 году начал тестировать результаты Yahoo! Live Search), и был окончательно закрыт компанией 4 апреля 2011 года.
Тем временем оставшаяся у FAST корпоративная технология enterprise-поиска пошла по совсем другому пути: в 2008 году её приобрела Microsoft, и на её основе позже была построена платформа корпоративного поиска для SharePoint. Это значит, что распространённое упрощение «FAST потом стал частью Bing» — не совсем точно: линия, ушедшая к Microsoft, — это корпоративный поисковый продукт для внутренних систем компаний, а не потребительский веб-краулер AlltheWeb, чья судьба была отдельной и закончилась закрытием у Yahoo! в 2011 году. Ни у одной из двух веток в 2026 году не может быть живого публичного веб-индекса под именем FAST-WebCrawler.
Параметры
| Параметр | Значение |
| Токен | FAST-WebCrawler |
| Исторический оператор | FAST Search & Transfer (AlltheWeb.com) — потребительский поисковик, 1999–2011 |
| Судьба потребительского поиска | Продан Overture в 2003 → перешёл к Yahoo! → закрыт 4 апреля 2011 года |
| Судьба корпоративной технологии FAST | Отдельная ветка, приобретена Microsoft в 2008 году — легла в основу корпоративного поиска для SharePoint, но это не тот же продукт, что публичный краулер AlltheWeb |
| Статус в 2026 году | Устаревший / подозрительный — легитимного живого индекса под этим именем не существует уже более десяти лет |
| Не путать с | Современным bingbot — если нужна видимость именно в Bing, политику нужно строить вокруг bingbot и верификации Microsoft, а не вокруг легаси-имени |
Что означает появление этого токена в логах сегодня
Учитывая, что оба возможных технологических следа — и потребительский AlltheWeb, и корпоративный FAST ESP — либо закрыты, либо давно превратились в совершенно другой, непубличный продукт, реалистичное объяснение появления FAST-WebCrawler в access.log в 2026 году сводится к двум сценариям: спуфинг (сторонний скрапер намеренно использует узнаваемое, но давно неактуальное имя из старых списков известных ботов, рассчитывая на невнимательность администратора) или устаревший скрипт, скопированный из чужого шаблона правил User-Agent без проверки актуальности. Ни один из этих сценариев не предполагает пользы для владельца сайта.
Подключите домен и посмотрите живую ленту: кто пришёл, с какой сети, что запрашивал и по какому правилу был пропущен или заблокирован.
Как найти в логах
grep -i "FAST-WebCrawler" /var/log/nginx/access.logКак заблокировать
При отсутствии легитимного оператора — запрет по умолчанию без исключений:
User-agent: FAST-WebCrawler
Disallow: /if ($http_user_agent ~* "FAST-WebCrawler") {
return 403;
}Если цель — видимость сайта именно в поиске Bing, правильный путь лежит не через реанимацию исторического токена, а через настройку правил для актуального bingbot и, при необходимости, верификацию подлинности запросов через официальные инструменты Microsoft. На позиции в органической выдаче Google блокировка FAST-WebCrawler не влияет ни при каком сценарии — это устаревший токен несуществующей системы, а не активный участник современной поисковой экосистемы.
Частые вопросы
Существует ли ещё поисковик AlltheWeb?
Правда ли, что технология FAST стала частью Bing?
Что чаще всего означает появление FAST-WebCrawler в логах сегодня?
Стоит ли делать исключение для этого токена в robots.txt?
Что делать, если важна видимость сайта в Bing?
Повлияет ли блокировка на позиции в Google?
Команда TrafficVeil разрабатывает инструменты защиты сайтов от ботов, DDoS и веб-атак. Разборы ботов пишем по логам подключённых доменов и открытым данным операторов.