llms.txt erklärt: Die robots.txt für KI — was sie ist und wie Sie sie einrichten

llms.txt ist eine Klartextdatei, veröffentlicht im Root einer Website (/llms.txt), die einem KI-Modell einen kurzen, Markdown-formatierten Index der Inhalte einer Website gibt — statt es alles Link für Link crawlen zu lassen. Sie wird oft leichtfertig als „robots.txt für KI" beschrieben, aber dieser Vergleich unterschätzt, wie unterschiedlich die beiden Dateien in dem, was sie steuern, tatsächlich sind.

Was llms.txt wirklich ist

Das Format ist einfach: eine # Site-Name-Überschrift, eine einzeilige Beschreibung, dann eine Liste von Seiten, gruppiert unter Überschriften, jede mit Titel und optionalem Link und Zusammenfassung. Ein minimales Beispiel:

# CrawlPod

> KI-Sichtbarkeits-Toolkit — macht Websites für KI-Antwortsysteme auffindbar und zitierbar.

## Dokumentation
- [Docs](https://crawlpod.com/docs): Installation, Schnellstart und API-Referenz
- [CLI-Referenz](https://crawlpod.com/docs/cli): audit-, lint- und CI-Gate-Befehle

## Blog
- [Was ist GEO?](https://crawlpod.com/blog/what-is-generative-engine-optimization-geo)

Zwei gängige Varianten existieren neben der Basisdatei: eine minimale Version (nur URLs und Titel, keine Zusammenfassungen — nützlich für große Websites) und eine vollständige Version mit Zusammenfassungen pro Seite direkt in der Datei, sodass ein KI-Modell nicht jede verlinkte Seite abrufen muss, um zu wissen, was sie enthält.

Was sie nicht ist

Sie wird nicht durchgesetzt. robots.txt funktioniert, weil wohlverhaltene Crawler sie prüfen, bevor sie etwas abrufen, und respektieren, was dort steht — das ist eine jahrzehntealte Konvention, kein Gesetz, aber eine starke. Nichts Vergleichbares verpflichtet einen Crawler, llms.txt überhaupt zu lesen, geschweige denn danach zu handeln. Sie ist auch für sich genommen kein Ranking- oder Zitiermechanismus. Die eigentliche Arbeit dafür, ob ein KI-System eine Seite tatsächlich nutzen kann — wie im vollständigen GEO-Leitfaden beschrieben — leisten Crawler-Zugriff, serverseitig gerenderte Inhalte und strukturierte Daten. llms.txt ergänzt diese, ersetzt aber keines davon.

Warum sie 2026 trotzdem wichtig ist

Auch ohne universelle Anbieterverpflichtung gibt es ein klares Argument für eine Indexdatei, die fast nichts kostet, hinzuzufügen und zu generieren: KI-Crawler, die sie nutzen, erhalten einen schnelleren, strukturierteren Weg zu den tatsächlichen Schlüsselseiten einer Website, statt die Struktur allein aus dem Crawlen ableiten zu müssen. Anthropic und Perplexity haben informelles, dokumentiertes Interesse an dem Format gezeigt. Googles eigene öffentliche Position ist, dass die Google-Suche keine solche spezielle Datei benötigt — sie crawlt und rendert bereits vollständige Seiten —, was ein echter Datenpunkt ist, aber ein Google-spezifischer, kein Urteil über jeden KI-Anbieter.

llms.txt vs. ai.txt — eine echte, ungelöste Namenskollision

Hier lohnt sich Präzision, da viele SEO-Blogbeiträge „ai.txt" behandeln, als hätte es eine feste Bedeutung: Das ist aktuell nicht der Fall. Mindestens zwei nicht kompatible Dinge werden „ai.txt" genannt — eine informelle Konvention im Stil von robots.txt (User-agent: *, Allow/Disallow-Regeln, optional eine Kontakt-/Lizenzzeile), und ein unabhängiger Vorschlag für eine völlig andere Art von Datei. Kein großer KI-Anbieter hat bestätigt, eines von beiden zu lesen. Genau deshalb ist llms.txt — mit zumindest etwas dokumentierter, wenn auch partieller Verbreitung — die vertretbarere Datei, der heute Priorität eingeräumt werden sollte. Siehe die vollständige Begründung, warum das npm-Paket ai-visibility bewusst darauf verzichtet hat, einen ai.txt-Generator auszuliefern, bis eine einzige Spezifikation existiert, gegen die generiert werden kann — hier direkt erwähnenswert: Das begleitende Python-Paket liefert in seinem generators-Modul tatsächlich eine generate_ai_txt()-Funktion, die speziell die robots.txt-förmige Interpretation nutzt. Die beiden Pakete sind sich in diesem Punkt derzeit uneinig; wenn Sie für diese eine Datei zwischen ihnen wählen, prüfen Sie die jeweilige Dokumentation, statt Gleichheit anzunehmen.

Wie Sie llms.txt zu Ihrer Website hinzufügen

Statische Datei (jede Website)

Erstellen Sie eine Klartextdatei namens llms.txt nach dem obigen Format und laden Sie sie ins Dokument-Root Ihrer Website hoch. Kein Framework oder Tooling nötig — das funktioniert auf jedem Hosting identisch.

Next.js / Node.js

Mit dem LLMSTextGenerator des npm-Pakets ai-visibility:

// app/llms.txt/route.ts
import { LLMSTextGenerator } from "ai-visibility/generators";

export async function GET() {
  const body = await new LLMSTextGenerator({
    siteName: "Acme",
    description: "Acme makes widgets.",
    baseUrl: "https://acme.com",
    pages: [
      { url: "/", title: "Home", priority: "high" },
      { url: "/pricing", title: "Pricing", summary: "$29/month for Pro." },
    ],
  }).generate();

  return new Response(body, { headers: { "Content-Type": "text/plain; charset=utf-8" } });
}

Oder, für eine große Website, bei der Zusammenfassungen pro Seite nicht pflegbar sind, erzeugt LLMSTextGenerator.minimal() synchron eine Version nur mit URLs und Titeln. Siehe das vollständige Rezept, das diese Website selbst nutzt — ihre eigene /llms.txt wird zur Build-Zeit aus echten MDX-Frontmatter-Daten generiert, nicht aus einer manuell gepflegten Liste.

Django / Flask / FastAPI

Mit der generate_llms_txt()-Funktion des Python-Pakets ai-visibility:

from ai_visibility.generators import generate_llms_txt
from ai_visibility.types import LlmsTxtConfig, LlmsTxtPage

content = generate_llms_txt(LlmsTxtConfig(
    site_name="Acme",
    description="Acme makes widgets.",
    pages=[LlmsTxtPage(title="Pricing", url="/pricing", content="$29/month for Pro.")],
))

Siehe die Python-Dokumentation für die Django-, Flask- und FastAPI-spezifischen Wege, dies unter einer echten /llms.txt-Route auszuliefern.

WordPress

Manuell: Laden Sie eine Klartextdatei namens llms.txt über den Dateimanager Ihres Hosts oder per SFTP ins Root der Website hoch. Eine wachsende Zahl von WordPress-SEO-Plugins hat begonnen, Generierungsunterstützung hinzuzufügen — prüfen Sie, ob Ihr bestehendes SEO-Plugin dies bereits abdeckt, bevor Sie ein dediziertes hinzufügen. Siehe den vollständigen WordPress-KI-Sichtbarkeitsleitfaden für alles, was eine WordPress-Website über diese eine Datei hinaus braucht.

Shopify

Lesenswert, bevor Sie irgendetwas hinzufügen: Seit Mai 2026 liefert Shopify plattformweit standardmäßig eine /llms.txt für jeden Store, mit Weiterleitung auf eine generische /agents.md. Es gibt nichts zu installieren, um die Datei zu erhalten — die eigentliche verbleibende Arbeit ist, den generischen Standard durch eine echte Beschreibung des Stores per Theme-Override zu ersetzen.

Wie Sie Ihre llms.txt überprüfen

Der direkte Weg: Besuchen Sie ihreseite.de/llms.txt im Browser und bestätigen Sie, dass echter Inhalt zurückkommt, kein 404 oder die Standard-Catch-all-Seite Ihrer Website. Der bewertete Weg: einen kostenlosen Scan durchführen — er prüft das Vorhandensein von llms.txt als Teil der Crawler-Zugänglichkeits-Dimension, zusammen mit robots.txt-Regeln und strukturierten Daten, in einem Bericht.

FAQ

Häufige Fragen zu llms.txt werden unten beantwortet.

---

Prüfen Sie, ob Ihre Website eine funktionierende llms.txt hat und was sonst noch KI-Crawler blockieren könnte: einen kostenlosen Scan durchführen — ohne Anmeldung.