Drei Arten von KI-Bots
- Trainings-Crawler sammeln Inhalte, um Sprachmodelle zu trainieren. Sie beeinflussen nicht direkt, ob Ihr Shop heute in einer Antwort verlinkt wird.
- Such-Crawler bauen den Index auf, aus dem KI-Suchfunktionen ihre Quellen auswählen. Sie sind für die Sichtbarkeit entscheidend.
- Nutzer-Abrufe entstehen, wenn ein Mensch den Assistenten bittet, eine bestimmte Seite zu öffnen oder zu recherchieren.
Die wichtigsten Bots im Überblick
| User-Agent / Token | Anbieter | Zweck |
|---|---|---|
OAI-SearchBot | OpenAI | Suche in ChatGPT |
ChatGPT-User | OpenAI | Abrufe im Auftrag eines Nutzers |
GPTBot | OpenAI | Training |
PerplexityBot | Perplexity | Index für Perplexity-Antworten |
Perplexity-User | Perplexity | Abrufe im Auftrag eines Nutzers |
Claude-SearchBot / Claude-User | Anthropic | Suche bzw. Nutzer-Abrufe |
ClaudeBot | Anthropic | Training |
Googlebot | Google-Suche inkl. AI Overviews | |
Google-Extended | Token (kein eigener Bot): Nutzung für Gemini-Modelle | |
Bingbot | Microsoft | Bing-Suche, Grundlage für Copilot |
Applebot-Extended | Apple | Token: Nutzung für Apple-KI-Training |
CCBot | Common Crawl | Offener Datensatz, oft für Training genutzt |
Stand: November 2026. Die Anbieter ändern Namen und Zwecke gelegentlich – prüfen Sie vor Änderungen die aktuelle Dokumentation des jeweiligen Anbieters.
Wichtig: Google AI Overviews
Googles KI-Übersichten in der Suche werden aus dem normalen Google-Index gespeist. Das Token Google-Extended steuert laut Google die Nutzung für Gemini-Modelle, aber nicht das Erscheinen in der Google-Suche. Wer Googlebot sperrt, verschwindet aus der Suche komplett – das ist fast nie gewollt.
Beispiel: sichtbar in KI-Antworten, kein Training
# Such- und Nutzer-Bots: erlaubt
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
# Trainings-Crawler: gesperrt
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
# Alle anderen (inkl. Googlebot, Bingbot)
User-agent: *
Disallow: /checkout/
Disallow: /warenkorb/
Disallow: /mein-konto/
Sitemap: https://www.ihr-shop.de/sitemap.xml
Ob Sie Trainings-Crawler sperren, ist eine geschäftliche Abwägung. Für viele Shops überwiegt der Wunsch nach Sichtbarkeit; Marken mit wertvollen eigenen Texten und Bildern entscheiden sich oft für eine Sperre.
Die häufigste Falle: Bot-Schutz und Firewall
Selbst eine perfekte robots.txt nützt nichts, wenn eine Web-Application-Firewall, ein CDN oder ein Bot-Schutz-Plugin die Anfragen vorher abweist. Prüfen Sie deshalb in den Server-Logs, ob die gewünschten Bots tatsächlich Statuscode 200 erhalten – und nicht 403 oder eine Captcha-Seite.
Und die llms.txt?
Die llms.txt ist ein freiwilliger Vorschlag: eine kurze Markdown-Datei im Wurzelverzeichnis, die Sprachmodellen erklärt, was die Website anbietet und wo die wichtigsten Seiten liegen. Sie ersetzt weder robots.txt noch Sitemap, ist aber mit wenig Aufwand erstellt. Unsere eigene finden Sie unter glowiszyn.com/llms.txt.
Checkliste
- robots.txt auf ungewollte Sperren prüfen (auch
Disallow: /für*). - Bewusst entscheiden: Such-Bots zulassen, Trainings-Bots nach Wunsch.
- Firewall/CDN/Bot-Schutz auf Ausnahmen für gewünschte Bots prüfen.
- Server-Logs auf Zugriffe und Statuscodes der KI-Bots auswerten.
- Sitemap aktuell halten und in der robots.txt angeben.
- Optional: llms.txt anlegen.
Wir prüfen das für Sie
Im GEO-Check analysieren wir robots.txt, Firewall-Verhalten und Server-Logs und richten den Zugang für KI-Bots nach Ihrer Entscheidung ein.
GEO für Online-Shops