# robots.txt, Sitemap und KI-Bots

Damit Suchmaschinen und KI-Suchsysteme eine Webseite finden und verstehen können, müssen wichtige Inhalte crawlbar sein.

## robots.txt

Die `robots.txt` sollte Suchmaschinen nicht unnötig blockieren. Für KI-Sichtbarkeit ist wichtig, dass Suchbots, die Inhalte für Such- und Antwortsysteme crawlen, nicht pauschal ausgeschlossen werden.

Beispiel:

```text
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Sitemap: https://prostylemedia.de/sitemap_index.xml
```

## Hinweis zu GPTBot

`GPTBot` sollte getrennt betrachtet werden. Er steht nicht automatisch für ChatGPT-Suche, sondern eher für die Nutzung von Inhalten zum Training oder zur Verbesserung von KI-Modellen. Ob dieser Bot erlaubt wird, ist eine strategische Entscheidung.

## Sitemap

Die XML-Sitemap sollte aktuell sein und wichtige Seiten enthalten:

- Startseite
- Leistungsseiten
- Kontaktseite
- Referenzen
- Blogbeiträge
- lokale Landingpages
- KI-Info-Seiten, wenn sie öffentlich indexiert werden sollen

## Wichtige Prüfungen

- Sind wichtige Seiten indexierbar?
- Gibt es `noindex` auf wichtigen Seiten?
- Stimmen Canonical-Tags?
- Ist die Sitemap in der Google Search Console eingereicht?
- Ist die Sitemap in Bing Webmaster Tools eingereicht?
- Sind wichtige Inhalte als HTML-Text vorhanden?
- Werden alte oder versteckte Seitenblöcke vermieden?