Документация

Hooty даёт сайту собственного ассистента, который отвечает по содержимому этого же сайта. Чтобы это работало, наш краулер должен суметь прочитать сайт.

HootyBot, краулерЧто это, как его опознать, как он себя ведёт и как закрыть ему доступ, если вы предпочитаете обойтись без него.Как пропустить его через защиту от ботовИнструкции по продуктам на случай, когда файрвол или анти-DDoS-сервис отклоняет краулер.

Обход не удался, что делать

Чаще всего обход не удаётся потому, что перед сайтом стоит продукт защиты от ботов и отклоняет краулер. Если Hooty может опознать продукт, он называет его в тексте ошибки и сразу даёт ссылку на нужную инструкцию.

Решение всегда одно и то же по форме: пропустить user agent HootyBot. Начните со страницы Пропустить HootyBot через защиту от ботов или перейдите к своему продукту через меню.

Другие причины, по которым обход ничего не читает: сайт целиком отрисовывается в браузере, поэтому в HTML нет текста, который мы могли бы прочитать; robots.txt запрещает эти страницы; либо сайт вообще не ответил.

Как получить помощь

По любым вопросам о краулере, включая просьбу перестать заходить на сайт, пишите на bot@hooty.to. Мы отвечаем тем, кто управляет сайтами, которые мы читаем.

hooty.to · Обновлено 26 июля 2026