Es gibt einige Online-Generatoren für robots.txt und integrierte Tools gibt es als WordPress-Plugins wie AIOSEO und Rank Math. Arbeiten Sie mit Online-Tools, müssen Sie Ordner-Namen händisch eingeben. Nicht so bei meinem Generator.

Bedenken Sie aber: Verwenden Sie dieses Programm nur, wenn Sie wissen, was eine robots.txt-Datei bewirkt, da falsche Einstellungen die Indexierung Ihrer Website beeinträchtigen können. Lesen Sie für Nutzungsbedingungen, Urheberrecht und Haftungsausschluss die Datei readme.html, die in der heruntergeladenen ZIP-Datei enthalten ist.

Mit der Datei robots.txt geben Sie Richtlinien vor, die dabei helfen können, Ihre Webseite besser zu indexieren. Gewöhnlich halten sich Crawler an diese Anweisungen, eine Garantie dafür gibt es jedoch nicht.

Informationen zu Crawlern finden Sie auch bei Google Developers: Crawling.

Die Datei robots.txt optimiert die Indexierung Ihrer Webseiten. Mein Programm (PHP) hilft Ihnen, eine optimal angepasste robots.txt-Datei zu erstellen und auf Ihrem Server zu speichern. Alle erforderlichen, zusätzlichen Dateien zum Ermitteln aller Ordner Ihrer Website und der Bots/Crawler, die Ihre Website im Laufe der Zeit besuchen, werden automatisch mit den ermittelten Daten erstellt. Jeder Aufruf des Programms ergänzt automatisch nachträglich erstellte Ordner und Bots/Crawler, die seit dem letzten Aufruf hinzugekommen sind, und speichert neue Daten im Ordner botchecking.

• Webserver mit PHP (empfohlen ≥ PHP 7.x)
• Schreibrechte im Webroot für:
  • botchecking/ (wird automatisch erstellt)
  • botchecking/bots.json, botchecking/ordner.json, botchecking/settings.json (werden automatisch erstellt)
  • botchecking/crawler.php (wird automatisch erstellt)
  • crawler.html (wird automatisch erstellt)
  • robots.txt (Speichern im Webroot, wird erstellt oder überschreibt vorhandene Version)
• PHP-Funktionen: file_put_contents, mkdir, json_encode/json_decode
• Zugangsdaten in robots_txt_generator.php anpassen: $AUTH_USER, $AUTH_PASS
• Wichtig: Login-Benutzer und Passwort an eigene Werte anpassen!

Erstaufruf:

• Legt Ordner botchecking/ sowie Hilfsdateien an.
• crawler.php (1×1 Pixel) zeichnet neue Bot-User-Agents einmalig in bots.json auf.
• crawler.html im Webroot lädt unsichtbar botchecking/crawler.php.

Erkennung von Bots:

• Vorbefüllte bekannte Crawler in bots.json.
• Neue Voll-User-Agents werden bei Aufruf von crawler.html (oder jeder Seite, die das Pixel einbindet) ergänzt.

Ordner-Erkennung:

• Top-Level-Verzeichnisse im Webroot werden bei jedem Aufruf gescannt und in ordner.json geschrieben.

Bedienung:

• Sprache oben auswählen (wird gespeichert).
• Globale Regeln (User-agent: *): Ordner unter Disallow/Allow wählen; optional Sitemaps eintragen.
• Yandex-spezifisch: Host (bevorzugter Hostname), Clean-param (z. B. utm_source / oder sid /shop/). Pfade stets relativ, z. B. param /ordner/datei/.
• Bots-Liste: Pro Bot “Details anzeigen/ausblenden”, Regeln aktivieren, optional Ordner Disallow/Allow und Crawl-delay setzen.
• “robots.txt erzeugen” zeigt Vorschau; “robots.txt speichern” legt die Datei direkt im Webroot ab.
• Einstellungen werden in settings.json persistiert (beim nächsten Start vorbefüllt). Logout oben rechts.

Hinweis:

• Für reine Komplettsperre genügt es, nur im Bereich “Globale Regeln” die Ordner unter Disallow zu wählen.
• Sammelphase: Website idealerweise ≥ 1 Monat laufen lassen, damit genug Bots erkannt werden.

• Einsteigerfreundlich: Ohne Vorwissen vollständige robots.txt zusammenklicken.
• Automatische Bot-Erkennung und persistente Einstellungen.
• Klar getrennte globale Regeln vs. Bot-spezifische Feineinstellungen.
• Übersicht durch einklappbare Bot-Abschnitte.
• Multilingual (DE/EN/BG) und inline erklärt (inkl. Yandex-Hinweise).
• Sicherheits-Login zum Schutz vor Fremdzugriffen.
• Keine externen Abhängigkeiten, kein AJAX; JSON-Dateien für Datenhaltung.

• Im Ordner botchecking liegen: bots.json, ordner.json und botchecking/crawler.php.
• Die crawler.html liegt im Webroot und lädt unsichtbar das 1×1-Pixel botchecking/crawler.php.

Effekt:
Wenn Bots die Datei crawler.html (oder jede Seite mit dem Pixel) aufrufen, trifft deren Request botchecking/crawler.php. crawler.php protokolliert neue User-Agents einmalig in botchecking/bots.json (keine Duplikate; “Unknown” mit full_ua, bekannte per Substring-Match wie “Googlebot” werden nicht doppelt angelegt).

There are various online robots.txt generators and WordPress plugins like AIOSEO and Rank Math. With typical online tools, you must type folder names manually — not with this generator.

Please use this program only if you understand what a robots.txt file does; wrong settings can negatively affect your site’s indexing. For terms of use, copyright and disclaimer see readme.html included in the ZIP.

A robots.txt provides guidelines to help search engines index your site. Crawlers usually respect these directives, but there is no guarantee.

More on crawling: Google Developers: Crawling.

This PHP program helps you create an optimized robots.txt and save it on your server. It automatically creates and maintains helper files to detect your site’s top-level folders and the bots/crawlers visiting over time. Every run adds newly created folders and newly seen bots/crawlers to botchecking.

• Web server with PHP (recommended ≥ PHP 7.x)
• Write permissions in webroot for:
  • botchecking/ (auto-created)
  • botchecking/bots.json, botchecking/ordner.json, botchecking/settings.json (auto-created)
  • botchecking/crawler.php (auto-created)
  • crawler.html (auto-created)
  • robots.txt (written in webroot; created or overwritten)
• PHP functions: file_put_contents, mkdir, json_encode/json_decode
• Adjust credentials in robots_txt_generator.php: $AUTH_USER, $AUTH_PASS
• Important: Change login user and password to your own values!

First run:

• Creates botchecking/ and helper files.
• crawler.php (1×1 pixel) records new bot user-agents once into bots.json.
• crawler.html in webroot invisibly loads botchecking/crawler.php.

Bot detection:

• Pre-seeded known crawlers in bots.json.
• New full user-agents are added when crawler.html (or any page embedding the pixel) is requested.

Folder detection:

• Top-level folders in webroot are scanned at each run and stored in ordner.json.

Usage:

• Select language at the top (persisted).
• Global rules (User-agent: *): choose folders under Disallow/Allow; optionally add sitemaps.
• Yandex-specific: Host (preferred hostname), Clean-param (e.g., utm_source / or sid /shop/). Always use path-only, e.g. param /folder/file/.
• Bots list: per bot “show/hide details”, enable rules, optionally set Disallow/Allow folders and Crawl-delay.
• “Generate robots.txt” shows a preview; “Save robots.txt” writes directly to your webroot.
• Settings persist in settings.json. Logout in the top right.

Note:

• To block everything, it’s sufficient to use only “Global rules” Disallow.
• Collection phase: ideally let the site run ≥ 1 month to record enough bots.

• Beginner-friendly: build a complete robots.txt without prior knowledge.
• Automatic bot detection and persistent settings.
• Clear separation of global vs. per-bot fine-tuning.
• Clean, collapsible bot sections.
• Multilingual (DE/EN/BG) with inline hints (incl. Yandex specifics).
• Security login prevents unauthorized access.
• No external dependencies, no AJAX; JSON-based storage.

• Inside botchecking: bots.json, ordner.json, and botchecking/crawler.php.
• crawler.html resides in webroot and invisibly loads the 1×1 pixel botchecking/crawler.php.

Effect:
When bots request crawler.html (or any page with the pixel), the request hits botchecking/crawler.php. It records new user-agents once in botchecking/bots.json (no duplicates; “Unknown” with full_ua; known ones via substring match like “Googlebot” won’t be duplicated).

Има различни онлайн генератори на robots.txt и WordPress плъгини като AIOSEO и Rank Math. При типичните онлайн инструменти папките се въвеждат на ръка — не и с този генератор.

Ползвайте програмата само ако знаете какво прави robots.txt; грешни настройки могат да повлияят неблагоприятно индексирането на сайта. За условия за ползване, авторски права и отказ от отговорност вижте readme.html в ZIP архива.

robots.txt задава указания към търсачките как да обхождат сайта. Ботовете обикновено ги спазват, но няма гаранция.

Повече за обхождането: Google Developers: Crawling.

Тази PHP програма помага да създадете оптимизиран robots.txt и да го запишете на сървъра. Автоматично създава и поддържа помощни файлове за откриване на папките от най-горно ниво и за запис на ботовете/краулърите, които посещават сайта във времето. Всяко стартиране дописва новосъздадени папки и нови ботове в botchecking.

• Уеб сървър с PHP (препоръчително ≥ PHP 7.x)
• Права за запис в уеб корена за:
  • botchecking/ (създава се автоматично)
  • botchecking/bots.json, botchecking/ordner.json, botchecking/settings.json (създават се автоматично)
  • botchecking/crawler.php (създава се автоматично)
  • crawler.html (създава се автоматично)
  • robots.txt (запис в уеб корена; създава или презаписва файла)
• PHP функции: file_put_contents, mkdir, json_encode/json_decode
• Задайте достъп в robots_txt_generator.php: $AUTH_USER, $AUTH_PASS
• Важно: Използвайте собствени потребител и парола!

Първо стартиране:

• Създава botchecking/ и помощните файлове.
• crawler.php (пиксел 1×1) записва нови user-agent-и в bots.json.
• crawler.html в уеб корена невидимо зарежда botchecking/crawler.php.

Откриване на ботове:

• Предварително добавени известни ботове в bots.json.
• Нови user-agent-и се добавят при заявка към crawler.html (или страница с вграден пиксел).

Откриване на папки:

• Папките от най-горно ниво се сканират при всяко стартиране и се записват в ordner.json.

Употреба:

• Изберете език (записва се).
• Глобални правила (User-agent: *): изберете папки за Disallow/Allow; по избор добавете sitemap-и.
• Специфично за Yandex: Host (предпочитано име на хост), Clean-param (напр. utm_source / или sid /shop/). Винаги път, напр. param /papka/fail/.
• Списък с ботове: за всеки бот “покажи/скрий детайли”, активиране на правила, Disallow/Allow и Crawl-delay.
• “Генерирай robots.txt” показва преглед; “Запиши robots.txt” записва директно в уеб корена.
• Настройките се пазят в settings.json. Изход (Logout) горе вдясно.

Бележка:

• За пълно блокиране е достатъчно да ползвате само “Глобални правила” (Disallow).
• Събиране: оставете сайта ≥ 1 месец, за да се натрупат достатъчно ботове.

• Подходящ за начинаещи: създавате robots.txt без предишен опит.
• Автоматично откриване на ботове и постоянни настройки.
• Ясно разделени глобални и специфични за ботове настройки.
• Подреден интерфейс с разгъваеми секции.
• Многоезичен (DE/EN/BG) с пояснения (вкл. за Yandex).
• Защитен достъп (login).
• Без външни зависимости, без AJAX; данни в JSON.

• В botchecking са: bots.json, ordner.json, и botchecking/crawler.php.
• crawler.html е в уеб корена и невидимо зарежда пиксела botchecking/crawler.php.

Ефект:
Когато ботовете заявят crawler.html (или страница с пиксела), заявката достига botchecking/crawler.php. Той записва новите user-agent-и еднократно в botchecking/bots.json (без дубликати; “Unknown” с full_ua; познатите чрез substring съвпадение като “Googlebot” не се дублират).