📖 Glossar-Eintrag
Robots.txt
Eine Textdatei, die Suchmaschinen-Crawlern Anweisungen gibt, welche Seiten gecrawlt werden dürfen.
Geprüft von SEOX-ExpertenDieser Artikel wurde von unserem Team mit über 25 Jahren Erfahrung in SEO und digitalem Marketing verfasst und geprüft.
Was ist die Robots.txt?
Die Robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Suchmaschinen-Crawlern Anweisungen gibt. Sie steuert, welche Bereiche gecrawlt werden dürfen und welche nicht.
Wichtige Anweisungen
- User-agent – Definiert, für welchen Crawler die Regel gilt
- Disallow – Sperrt bestimmte Pfade für das Crawling
- Allow – Erlaubt das Crawling eines zuvor gesperrten Pfads
- Sitemap – Verweist auf die XML-Sitemap
Wichtig: Die Robots.txt verhindert nicht die Indexierung! Seiten können trotz Disallow-Regel indexiert werden, wenn externe Links darauf verweisen. Nutze noindex für echten Indexierungsschutz.