Config angepasst für korrekte Homepage

2025-09-22 10:05:46 +02:00
parent 2f782a4f6e
commit b829f0e479
3 changed files with 57 additions and 8 deletions
@@ -1,11 +1,26 @@
 User-agent: *
 Allow: /
+Crawl-delay: 1

-# Sitemap (falls vorhanden)
-https://www.schachfreunde-badsteben.de/sitemap.xml
+# Spezielle Erlaubnis für DSGVO/Legal Scanner
+User-agent: LegalCockpitBot
+Allow: /
+Crawl-delay: 0
+
+User-agent: cockpit.legal
+Allow: /
+Crawl-delay: 0
+
+User-agent: Mozilla*
+Allow: /
+
+# Sitemap
+Sitemap: https://www.schachfreunde-badsteben.de/sitemap.xml

 # Wichtige Seiten explizit erlauben
+Allow: /
 Allow: /datenschutz
 Allow: /impressum
 Allow: /kontakt
-Allow: /home
+Allow: /home
+Allow: /news