ZackBot
ZackBot ist der Crawler von Zack, einem nichtkommerziellen Wegweiser für alles, was in Berlin in den nächsten 72 Stunden läuft. Er sendet den User-Agent „ZackBot/1.0 (+https://zack-berlin.app/bot)“.
Was er abruft
Nur öffentliche Veranstaltungslisten: Programme von Orten, öffentliche Feeds, Kalender und Veranstaltungsseiten. Er meldet sich nie an, löst keine CAPTCHAs und nutzt keine Proxys.
Wie oft
Höchstens eine Anfrage alle 2 Sekunden pro Host, langsamer, wenn deine robots.txt ein Crawl-delay setzt. Er nutzt bedingte Anfragen (ETag, If-Modified-Since), eine unveränderte Seite kostet dich also fast nichts.
robots.txt
ZackBot liest die robots.txt vor jedem Pfad, den er anfragt, und ruft nie einen gesperrten ab.
Was er speichert
Nur Fakten und Links: Titel, Zeiten, Ort, Preis, Namen im Lineup, Status und einen Link zurück zu deiner Seite. Keine Beschreibungen, keine Bilder, keine Flyer. Rohantworten werden innerhalb von 24 Stunden gelöscht, jede Veranstaltung wenige Stunden nach ihrem Ende.
Ausschließen
Trag diese Zeilen in deine robots.txt ein. ZackBot übernimmt die Änderung innerhalb von 24 Stunden.
User-agent: ZackBot
Disallow: /Kontakt
Fragen, Korrekturen oder die Bitte aufzuhören: über die Seite „Problem melden“.