Dokumentation

Hooty gibt einer Website einen eigenen Assistenten, der aus den Inhalten dieser Website antwortet. Dafür muss unser Crawler die Website lesen können.

HootyBot, der CrawlerWas er ist, wie Sie ihn erkennen, wie er sich verhält und wie Sie ihn aussperren, wenn Sie ihn lieber nicht auf der Website hätten.Ihn durch den Bot-Schutz lassenAnleitungen je Produkt, wenn eine Firewall oder ein Anti-DDoS-Dienst den Crawler abweist.

Mein Crawl ist fehlgeschlagen, was nun

Der häufigste Grund für einen fehlgeschlagenen Crawl ist ein Bot-Schutz-Produkt, das vor der Website sitzt und den Crawler abweist. Hooty nennt das Produkt in der Fehlermeldung, sofern es erkannt wird, und verlinkt direkt auf die passende Anleitung.

Die Lösung hat immer dieselbe Form: Lassen Sie den User Agent HootyBot durch. Beginnen Sie bei HootyBot durch den Bot-Schutz lassen, oder springen Sie im Menü direkt zu Ihrem Produkt.

Weitere Gründe, warum ein Crawl nichts liest: Die Website wird vollständig im Browser gerendert, es steht also kein Text im HTML, den wir lesen könnten; robots.txt verbietet die Seiten; oder die Website hat gar nicht geantwortet.

Hilfe bekommen

Für alles rund um den Crawler, auch für die Bitte, eine Website nicht mehr zu besuchen, schreiben Sie an bot@hooty.to. Wir antworten den Menschen, die die Websites betreiben, die wir lesen.

hooty.to · Zuletzt aktualisiert am 26. Juli 2026