HootyBot

Cómo identificarlo

Cada petición que hace HootyBot lleva estas cabeceras:

User-Agent

Mozilla/5.0 (compatible; HootyBot/1.0; +https://hooty.to/bot)

From

bot@hooty.to

El token de producto que debes usar en robots.txt es HootyBot. HootyBot nunca se disfraza de navegador ni usa otro nombre.

Cuándo visita

HootyBot solo rastrea un sitio después de que alguien lo configure como fuente de conocimiento en hooty.to. No es un rastreador de búsqueda general ni de entrenamiento: no recorre la web buscando sitios nuevos y no usa las páginas que lee para entrenar modelos.

Cómo se comporta

• Antes que nada solicita /robots.txt y lo respeta según la RFC 9309, incluidos los patrones * y $.
• Respeta Crawl-delay, espera al menos medio segundo entre peticiones y descarga una página cada vez por sitio, nunca en paralelo.
• Se retira ante un 429 y un 503, y obedece Retry-After con exactitud: nunca reintenta antes de lo que pediste. Si pides una espera larga, prefiere rendirse a volver antes de tiempo.
• Si /robots.txt devuelve un error de servidor, no asume que tiene permiso. Deja de rastrear el sitio por completo hasta que el archivo pueda leerse de nuevo.
• Si tu servidor deja de responder, deja de intentarlo en lugar de reintentar contra un muro.
• Solo solicita páginas HTML, sigue un número limitado de ellas por sitio y nunca envía formularios, inicia sesión ni toca carritos ni pagos.
• No ejecuta desafíos de JavaScript ni intenta sortear la protección contra bots. Si tu protección lo bloquea, incluido un desafío servido con estado 200, descarta la página e informa del bloqueo en lugar de guardar el desafío como contenido.

Bloquear HootyBot

Añade esto a tu robots.txt y HootyBot se detendrá:

User-agent: HootyBot
Disallow: /

Para mantenerlo fuera de una sola sección:

User-agent: HootyBot
Disallow: /internal/

Los cambios surten efecto en el plazo de una hora. Si necesitas que pare antes, escríbenos a bot@hooty.to.

Permitir HootyBot

Si usas un WAF o un servicio antibots (Cloudflare, Qrator, DDoS-Guard y similares), puede desafiar o rechazar a HootyBot aunque tu robots.txt lo permita. El rastreador no ejecuta JavaScript, así que no puede superar un desafío de navegador. Para que tu propio sitio pueda leerse para tu asistente, añade el agente de usuario HootyBot a la lista de permitidos en tus reglas de protección. Hay instrucciones paso a paso para cada producto en la página de listas de permitidos.

Contacto

Dudas, quejas sobre el ritmo de rastreo o una petición para que pare: bot@hooty.to. Respondemos a quienes gestionan los sitios que leemos.