Was llms.txt ist und warum sie 2026 zur Pflicht wird
llms.txt ist eine Plain-Text-Datei im Root eurer Website (`https://deine-domain.de/llms.txt`), mit der ihr KI-Crawlern wie GPTBot, PerplexityBot, ClaudeBot oder Gemini sagt, ob sie eure Inhalte für KI-Antworten verwenden dürfen — und unter welchen Bedingungen (Attribution, Crawl-Delay, einzelne Pfade). Sie funktioniert ähnlich wie `robots.txt`, ist aber speziell für KI-Suchmaschinen gedacht.
Der Wendepunkt: 2026 ist KI-Suche keine Nische mehr — Perplexity, ChatGPT Search, Gemini und Claude crawlen das Web aktiv. Wer ohne `llms.txt` arbeitet, überlässt Crawl-Verhalten und Attribution dem Zufall. Wer sie aktiv pflegt, bestimmt selbst, wie der eigene Content in KI-Antworten landet.
`robots.txt` reicht nicht — KI-Crawler interpretieren sie nur teilweise und ignorieren sie häufig komplett. Deshalb gibt es `llms.txt`.
Anatomie einer llms.txt
```
User-agent: * Allow: / Disallow: /admin/
User-agent: GPTBot Allow: /
User-agent: PerplexityBot Allow: / Crawl-delay: 2 ```
Mit Metadaten:
``` Llms-Version: 1.0 Creator: https://yoursite.com
User-agent: * Allow: /
Preferences:
Attribution: required
Attribution-format: "Source: [Author] at [URL]"
Commercial-use: disallowed
Research: allowed
```
Szenario 1: Ihr wollt indexiert werden
Ihr möchtet, dass KI-Suchmaschinen eure Inhalte in Antworten zitieren — und Traffic zurück zu euch bringen.
``` llms-version: 1.0
User-agent: * Allow: / Allow: /.well-known/
User-agent: PerplexityBot Allow: /
User-agent: GPTBot Allow: /
User-agent: Gemini Allow: /
User-agent: ClaudeBot Allow: /
Crawl-delay: 0
Preferences:
Attribution: required
Attribution-format: "Source: [Title] by [Author] ([URL])"
```
Effekt:
KI-Suchmaschinen crawlen die Website
Ihr werdet in Antworten als Quelle genannt
Link-Traffic von AI Overviews und Perplexity-Antworten
Szenario 2: Ihr wollt nicht indexiert werden
Ihr habt sensible Inhalte oder wollt nicht in KI-Antworten auftauchen.
``` llms-version: 1.0
User-agent: * Disallow: /
User-agent: PerplexityBot Disallow: /
User-agent: GPTBot Disallow: /
User-agent: Gemini Disallow: /
User-agent: ClaudeBot Disallow: / ```
Effekt:
KI-Suchmaschinen dürfen die Website nicht crawlen
Inhalte erscheinen nicht in KI-Antworten
Ihr seid „unsichtbar" für AI Overviews
Szenario 3: Selektive Erlaubnis
Ihr wollt, dass KI euren Blog crawlt, aber nicht eure Produktseiten.
``` llms-version: 1.0
User-agent: * Disallow: /
User-agent: * Allow: /blog/ Allow: /insights/
User-agent: * Disallow: /produkte/
User-agent: PerplexityBot Allow: /
Preferences:
Attribution: required
```
Effekt:
KI darf Blog/Insights crawlen
Produktseiten bleiben geschützt
Attribution wird eingefordert
KI-Crawler, die llms.txt respektieren (Stand 2026)
Crawler | Bot-Name | Respektiert llms.txt |
|---|---|---|
Perplexity AI | PerplexityBot | ja |
OpenAI ChatGPT | GPTBot | ja |
Google Gemini | Gemini, Googlebot | teilweise (auch über robots.txt) |
Anthropic Claude | ClaudeBot | ja |
Bing AI | Bingbot | eher robots.txt |
Tipp: [User-Agent-Strings](https://en.wikipedia.org/wiki/User_agent) regelmäßig prüfen — neue KI-Crawler entstehen laufend.
Einrichtungsschritte
Schritt 1: Datei erstellen
Plain-Text-Datei `llms.txt` mit dem gewünschten Inhalt anlegen.
Schritt 2: Hochladen ins Root-Verzeichnis
`https://deine-domain.de/llms.txt`
Via FTP/SFTP ins Web-Root
Bei WordPress: meist `/public_html/` oder `/www/`
Bei Astro/Next.js: in `/public/llms.txt`
Bei Server-Admin-Setup: dem Hoster den Pfad nennen
Schritt 3: Testen
Im Browser `https://deine-domain.de/llms.txt` öffnen — Datei muss erreichbar sein. Keine 404, kein Login-Schutz.
Schritt 4: (Optional) robots.txt ergänzen
In `robots.txt` einen Hinweis auf `llms.txt` setzen, falls ihr beide Crawler-Typen klar trennen wollt:
```
User-agent: * Allow: / Disallow: /admin/
```
Best Practices
1. Sei spezifisch, nicht pauschal
```
User-agent: PerplexityBot Allow: /blog/ Allow: /insights/ Disallow: /produkte/ Disallow: /admin/
User-agent: PerplexityBot Allow: / ```
2. Attribution einfordern
``` Preferences:
Attribution: required
Attribution-format: "[Article Title] by [Author] – UC Insights"
```
3. Crawl-Delay beachten
``` User-agent: * Crawl-delay: 2 ```
→ Sagt KI-Crawlern: 2 Sekunden Pause zwischen Requests. Schont Server, besonders bei kleineren Hosts.
4. Quartalsweise prüfen
Neue KI-Crawler entstehen laufend. Vierteljährlich Server-Logs auf neue User-Agents prüfen und `llms.txt` anpassen.
Häufige Fragen zu llms.txt
Ist llms.txt dasselbe wie robots.txt?
Nein. `robots.txt` zielt auf klassische Suchmaschinen (Google, Bing). `llms.txt` ist für KI-Suchmaschinen. Beide können parallel existieren mit unterschiedlichen Policies.
Müssen KI-Crawler llms.txt respektieren?
Ethisch ja, rechtlich (Stand 2026) noch nicht eindeutig. Die meisten großen Anbieter (OpenAI, Anthropic, Perplexity, Google) respektieren sie. Garantie: nein.
Was passiert, wenn ich keine llms.txt setze?
KI-Crawler verhalten sich, als hättet ihr `Allow: /` gesetzt — sie crawlen einfach. Ihr verliert Kontrolle, ohne sie aktiv abzugeben.
Beeinflusst llms.txt mein Google Ranking?
Nein, nicht direkt. Google nutzt für klassische Suche `robots.txt` und Meta-Tags. Für AI Overviews kann es indirekt eine Rolle spielen, sobald Google die `llms.txt`-Konvention vollständig adoptiert.
Kann ich unterschiedliche Policies für verschiedene Crawler haben?
Ja, genau dafür ist sie gemacht. Beispiel: Perplexity erlauben, GPTBot sperren — geht ohne Probleme.
``` User-agent: PerplexityBot Allow: /
User-agent: GPTBot Disallow: / ```
Zusammenfassung
`llms.txt` wird 2026 zum Standard. Ihr solltet sie nutzen, um:
Kontrolle: zu sagen, welche Inhalte KI-Crawler nutzen dürfen
Attribution: zu fordern, dass ihr zitiert werdet
Strategie: zu entscheiden, ob ihr in AI Overviews auftauchen wollt
Schnelle Aktion:
`llms.txt` erstellen (5 Minuten)
Entscheidung: Allow oder Disallow für KI-Crawler
Hochladen ins Web-Root
Testen
Wer `llms.txt` setzt, kontrolliert die eigene KI-Präsenz. Wer keine setzt, ist dem Zufall ausgeliefert.
In der Praxis bei UC: Wir bauen mit Kunden GEO-Strategien, in denen `llms.txt` ein konkreter Baustein ist — neben Schema-Markup, Topical-Authority-Aufbau und Content-Strukturierung für KI-Suche. Mit unserem RankPilot prüfen wir, welche Seiten KI-Crawler tatsächlich abgreifen.
Wenn ihr wissen wollt, welche `llms.txt`-Policy zu eurer Strategie passt: [Buch ein Strategiegespräch über cal.eu/unitedcreation/termin-buchen](https://cal.eu/unitedcreation/termin-buchen).