HootyBot

Come identificarlo

Ogni richiesta di HootyBot porta con sé queste intestazioni:

User-Agent

Mozilla/5.0 (compatible; HootyBot/1.0; +https://hooty.to/bot)

From

bot@hooty.to

Il token di prodotto da usare in robots.txt è HootyBot. HootyBot non si traveste mai da browser e non usa mai un altro nome.

Quando passa

HootyBot esegue la scansione di un sito solo dopo che qualcuno lo ha impostato come fonte di conoscenza in hooty.to. Non è un crawler di ricerca generico né di addestramento: non gira per il web in cerca di nuovi siti e non usa le pagine che legge per addestrare modelli.

Come si comporta

• Per prima cosa richiede /robots.txt e lo rispetta secondo la RFC 9309, inclusi i pattern * e $.
• Rispetta Crawl-delay, attende almeno mezzo secondo tra una richiesta e l’altra e scarica una pagina alla volta per sito, mai in parallelo.
• Si ritira di fronte a 429 e 503 e rispetta Retry-After con esattezza, senza mai riprovare prima di quanto hai chiesto. Se chiedi un’attesa lunga, rinuncia anziché tornare in anticipo.
• Se /robots.txt restituisce un errore del server, non dà per scontato il permesso. Smette del tutto di scansionare il sito finché il file non torna leggibile.
• Se il tuo server smette di rispondere, smette di provarci invece di insistere contro un muro.
• Richiede solo pagine HTML, ne segue un numero limitato per sito e non invia mai moduli, non effettua accessi e non tocca carrelli o pagamenti.
• Non esegue verifiche JavaScript e non tenta di aggirare la protezione dai bot. Se la tua protezione lo blocca, inclusa una verifica servita con stato 200, scarta la pagina e segnala il blocco anziché salvare la verifica come contenuto.

Bloccare HootyBot

Aggiungi questo al tuo robots.txt e HootyBot si fermerà:

User-agent: HootyBot
Disallow: /

Per tenerlo fuori da una sola sezione:

User-agent: HootyBot
Disallow: /internal/

Le modifiche hanno effetto entro un’ora. Se serve che si fermi prima, scrivici a bot@hooty.to.

Consentire HootyBot

Se usi un WAF o un servizio anti-bot (Cloudflare, Qrator, DDoS-Guard e simili), può sottoporre a verifica o rifiutare HootyBot anche quando il tuo robots.txt lo consente. Il crawler non esegue JavaScript, quindi non può superare una verifica del browser. Per permettere che il tuo sito venga letto per il tuo assistente, inserisci lo user agent HootyBot nell’elenco dei consentiti nelle regole di protezione. Le istruzioni passo passo per ciascun prodotto sono su la pagina dedicata.

Contatti

Domande, segnalazioni sulla frequenza di scansione o richieste di fermarsi: bot@hooty.to. Rispondiamo a chi gestisce i siti che leggiamo.