HootyBot

Как его опознать

Каждый запрос HootyBot содержит эти заголовки:

User-Agent

Mozilla/5.0 (compatible; HootyBot/1.0; +https://hooty.to/bot)

From

bot@hooty.to

Токен продукта для robots.txt — HootyBot. HootyBot никогда не выдаёт себя за браузер и никогда не использует другое имя.

Когда он заходит

HootyBot обходит сайт только после того, как кто-то добавил этот сайт как источник знаний в hooty.to. Это не поисковый краулер общего назначения и не краулер для обучения: он не бродит по сети в поисках новых сайтов и не использует прочитанные страницы для обучения моделей.

Как он себя ведёт

• Сначала он запрашивает /robots.txt и следует ему согласно RFC 9309, включая шаблоны * и $.
• Он соблюдает Crawl-delay, выдерживает не менее полусекунды между запросами и загружает по одной странице за раз на сайт, никогда параллельно.
• Он отступает при 429 и 503 и в точности соблюдает Retry-After, никогда не повторяя запрос раньше, чем вы попросили. Если вы просите долгую паузу, он скорее откажется от обхода, чем вернётся раньше срока.
• Если /robots.txt отвечает ошибкой сервера, он не считает, что разрешение есть. Он полностью прекращает обход сайта, пока файл снова не станет читаемым.
• Если ваш сервер перестаёт отвечать, он прекращает попытки, а не долбится в стену.
• Он запрашивает только HTML-страницы, переходит по ограниченному их числу на сайт и никогда не отправляет формы, не входит в аккаунты и не трогает корзины и оформление заказа.
• Он не выполняет JavaScript-проверки и не пытается обойти защиту от ботов. Если ваша защита его блокирует — в том числе проверкой, отданной со статусом 200, — он отбрасывает страницу и сообщает о блокировке, а не сохраняет проверку как содержимое.

Как закрыть доступ HootyBot

Добавьте это в ваш robots.txt, и HootyBot остановится:

User-agent: HootyBot
Disallow: /

Чтобы закрыть только один раздел:

User-agent: HootyBot
Disallow: /internal/

Изменения вступают в силу в течение часа. Если нужно остановить его раньше, напишите нам на bot@hooty.to.

Как разрешить HootyBot

Если вы используете WAF или анти-бот-сервис (Cloudflare, Qrator, DDoS-Guard и подобные), он может проверять или отклонять HootyBot, даже когда ваш robots.txt его разрешает. Краулер не выполняет JavaScript и потому не может пройти браузерную проверку. Чтобы ваш собственный сайт можно было прочитать для вашего ассистента, добавьте user agent HootyBot в список разрешённых в правилах защиты. Пошаговые инструкции для каждого продукта есть на странице о списках разрешённых.

Контакты

Вопросы, жалобы на частоту обхода или просьба остановиться: bot@hooty.to. Мы отвечаем тем, кто управляет сайтами, которые мы читаем.