| Erstellung robots.txt |
# robots.txt für codingkidz.de
# Zweck: Suchmaschinen dürfen die Seite vollständig crawlen,
# sensible Verzeichnisse sind ausgeschlossen, Sitemap wird referenziert.
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
Disallow: /internal/
Allow: /
# Hinweis an Crawler, keine überflüssigen Parameter zu indexieren
Clean-param: sessionid /, userid /, sort /
# Sitemap-Links
Sitemap: https://codingkidz.de/sitemap.xml
# Optional: Crawl-Verzögerung für kleinere Server (falls nötig)
Crawl-delay: 10
# Hinweis: Diese Datei sollte im Root-Verzeichnis der Domain liegen
# https://codingkidz.de/robots.txt
# Änderungen an dieser Datei können bis zu mehreren Tagen brauchen,
# bis sie bei Google wirksam werden.
|
|
Anpassung Caddy-Config
Caddyfile
|
Caddyfile
@sitemap {
host codingkidz.de
path /sitemap.xml
}
handle @sitemap {
# Pfad anpassen, falls nötig
root * /www
header Content-Type "application/xml; charset=utf-8"
file_server
}
@robots {
host codingkidz.de
path /robots.txt
}
handle @robots {
# Pfad anpassen, falls nötig
root * /www
header Content-Type "application/xml; charset=utf-8"
file_server
}
|
No comments to display
No comments to display