Website gehackt? Notfallhilfe → +49 1573 8423 995 · hello@glowiszyn.com
Ratgeber · GEO · Technik

KI-Crawler und robots.txt: Sichtbar bleiben, ohne die Kontrolle abzugeben

Viele Shops sperren KI-Bots versehentlich aus – oder lassen alles zu, ohne es zu wissen. So treffen Sie eine bewusste Entscheidung.

Von Dennis Glowiszyn · Glowiszyn UG · 17. November 2026 · ca. 6 Minuten Lesezeit

Kurz gesagt: KI-Anbieter nutzen unterschiedliche Bots für Training, für Suche/Antworten und für Abrufe im Auftrag eines Nutzers. Wer in KI-Antworten auftauchen will, sollte zumindest die Such- und Nutzer-Bots zulassen. Trainings-Bots lassen sich unabhängig davon sperren.

Drei Arten von KI-Bots

  • Trainings-Crawler sammeln Inhalte, um Sprachmodelle zu trainieren. Sie beeinflussen nicht direkt, ob Ihr Shop heute in einer Antwort verlinkt wird.
  • Such-Crawler bauen den Index auf, aus dem KI-Suchfunktionen ihre Quellen auswählen. Sie sind für die Sichtbarkeit entscheidend.
  • Nutzer-Abrufe entstehen, wenn ein Mensch den Assistenten bittet, eine bestimmte Seite zu öffnen oder zu recherchieren.

Die wichtigsten Bots im Überblick

User-Agent / TokenAnbieterZweck
OAI-SearchBotOpenAISuche in ChatGPT
ChatGPT-UserOpenAIAbrufe im Auftrag eines Nutzers
GPTBotOpenAITraining
PerplexityBotPerplexityIndex für Perplexity-Antworten
Perplexity-UserPerplexityAbrufe im Auftrag eines Nutzers
Claude-SearchBot / Claude-UserAnthropicSuche bzw. Nutzer-Abrufe
ClaudeBotAnthropicTraining
GooglebotGoogleGoogle-Suche inkl. AI Overviews
Google-ExtendedGoogleToken (kein eigener Bot): Nutzung für Gemini-Modelle
BingbotMicrosoftBing-Suche, Grundlage für Copilot
Applebot-ExtendedAppleToken: Nutzung für Apple-KI-Training
CCBotCommon CrawlOffener Datensatz, oft für Training genutzt

Stand: November 2026. Die Anbieter ändern Namen und Zwecke gelegentlich – prüfen Sie vor Änderungen die aktuelle Dokumentation des jeweiligen Anbieters.

Wichtig: Google AI Overviews

Googles KI-Übersichten in der Suche werden aus dem normalen Google-Index gespeist. Das Token Google-Extended steuert laut Google die Nutzung für Gemini-Modelle, aber nicht das Erscheinen in der Google-Suche. Wer Googlebot sperrt, verschwindet aus der Suche komplett – das ist fast nie gewollt.

Beispiel: sichtbar in KI-Antworten, kein Training

# Such- und Nutzer-Bots: erlaubt
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

# Trainings-Crawler: gesperrt
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

# Alle anderen (inkl. Googlebot, Bingbot)
User-agent: *
Disallow: /checkout/
Disallow: /warenkorb/
Disallow: /mein-konto/

Sitemap: https://www.ihr-shop.de/sitemap.xml

Ob Sie Trainings-Crawler sperren, ist eine geschäftliche Abwägung. Für viele Shops überwiegt der Wunsch nach Sichtbarkeit; Marken mit wertvollen eigenen Texten und Bildern entscheiden sich oft für eine Sperre.

Die häufigste Falle: Bot-Schutz und Firewall

Selbst eine perfekte robots.txt nützt nichts, wenn eine Web-Application-Firewall, ein CDN oder ein Bot-Schutz-Plugin die Anfragen vorher abweist. Prüfen Sie deshalb in den Server-Logs, ob die gewünschten Bots tatsächlich Statuscode 200 erhalten – und nicht 403 oder eine Captcha-Seite.

Und die llms.txt?

Die llms.txt ist ein freiwilliger Vorschlag: eine kurze Markdown-Datei im Wurzelverzeichnis, die Sprachmodellen erklärt, was die Website anbietet und wo die wichtigsten Seiten liegen. Sie ersetzt weder robots.txt noch Sitemap, ist aber mit wenig Aufwand erstellt. Unsere eigene finden Sie unter glowiszyn.com/llms.txt.

Checkliste

  1. robots.txt auf ungewollte Sperren prüfen (auch Disallow: / für *).
  2. Bewusst entscheiden: Such-Bots zulassen, Trainings-Bots nach Wunsch.
  3. Firewall/CDN/Bot-Schutz auf Ausnahmen für gewünschte Bots prüfen.
  4. Server-Logs auf Zugriffe und Statuscodes der KI-Bots auswerten.
  5. Sitemap aktuell halten und in der robots.txt angeben.
  6. Optional: llms.txt anlegen.

Wir prüfen das für Sie

Im GEO-Check analysieren wir robots.txt, Firewall-Verhalten und Server-Logs und richten den Zugang für KI-Bots nach Ihrer Entscheidung ein.

GEO für Online-Shops

Sprechen wir über Ihr Projekt.

Beschreiben Sie kurz, was Sie vorhaben. Sie erhalten eine ehrliche Einschätzung, in der Regel innerhalb eines Werktags – kostenlos und unverbindlich.