cerez.io-Crawler

Dieser Crawler wird von cerez.io-Kunden genutzt, um technische SEO-Scans ihrer eigenen Websites durchzuführen. Ein Scan startet nur aus dem Konto des Website-Inhabers und nur für Websites, deren Inhaberschaft im cerez.io-Panel bestätigt ist.

Identität

Der Roh-HTML-Crawl verwendet diesen User-Agent:

cerez.io-seo/1.0 (+https://cerez.io/bot)

Die Stichprobe, bei der wenige ausgewählte Seiten mit JavaScript geöffnet werden, trägt HeadlessChrome und cerez.io-seo/1.0 im User-Agent. robots.txt-Gruppenname: cerez.io-seo

Regeln

• Befolgt robots.txt: wendet die Gruppe mit dem eigenen Namen an, sonst die Gruppe User-agent: *. Beachtet Crawl-delay.
• Die Standardrate ist 1 Anfrage pro Sekunde. Der Inhaber kann sie auf einer Website mit bestätigter Inhaberschaft auf höchstens 4 Anfragen pro Sekunde erhöhen.
• Liefert die Website 429 oder 503, treten wiederholt Serverfehler auf oder werden die Antworten deutlich langsamer, wird die Rate automatisch halbiert.
• Stellt nur GET- und HEAD-Anfragen; sendet keine Formulare, meldet sich nicht an und erfasst Weiterleitungen Schritt für Schritt.
• Die Seitenzahl pro Scan ist durch den Tarif des Inhabers begrenzt.

Sperren

Um den Crawler auf Ihrer gesamten Website zu sperren, fügen Sie dies in Ihre robots.txt ein:

User-agent: cerez.io-seo
Disallow: /

Kontakt

Bei Fragen zum Crawler schreiben Sie uns: destek@cerez.io