Webmaster-Tools
Informationen zu robots.txt- und Sitemap-Tools
Moderne Content-Management-Systeme (CMS) wie WordPress, Drupal, Joomla und TYPO3 generieren sitemap.xml und robots.txt entweder nativ (WordPress ab Version 5.5) oder über spezialisierte Plugins/Erweiterungen (z. B. Yoast SEO für WordPress, cs_seo für TYPO3), wodurch eine manuelle Erstellung entfällt und die Dateien dynamisch aktualisiert werden können, während spezialisierte SEO-Tools wie Screaming Frog auch für statische Seiten oder Eigenentwicklungen hilfreich sind.
Sie arbeiten mit einer Software, um Ihre Webseiten zu erstellen, die Ihnen automatisch die Dateien robots.txt und sitemap.xml erzeugt und diese bieten nicht den Umfang meiner Tools? Können Sie diese Erstellung abschalten, dann können Sie meine beiden Tools (Benutzerführung in den Sprachen DE/EN/BG) verwenden. Wie Sie in WebsiteX5 die automatische Erstellung der Sitemap und das Überschreiben der robots.txt-Datei abschalten können? Wählen Sie nach Aufruf Ihres Projektes im Hauptmenü links die Option [1 Einstellungen] und dort die Option [SEO - Optimieren Sie die Seiten für die Suchmaschine] und nehmen dort unter [Allgemein] die Haken bei [Sitemap automatisch erstellen] und [Datei robots.txt automatisch einschließen] heraus, damit WebsiteX5 beim nächsten Hochladen Ihrer Aktualisierungen diese Dateien nicht wieder überschreibt.
Sie arbeiten mit WebsiteX5? Dann können Ihnen meine beiden Tools robots.txt-Generator und Sitemap-Generator, auch wenn WebsiteX5 Ihnen diese Arbeit abnehmen kann, trotzdem hilfreicher sein, denn es nimmt Ihnen gerade bei der Erstellung der robots.txt die Arbeit ab, denn das müssen Sie in WebsiteX5 selbst eingeben. So können Sie z. B. alle Ordner, die HTML5-Animationen enthalten (diese werden jeweils in einem eigenen Ordner abgespeichert), mit einem Schlag automatisch in die robots.txt einfügen. Außerdem können Sie für alle Suchmaschinen generell oder sogar für jeden Crawler/Bot, der Ihre Website besucht hat, eine separate Regel erstellen. Neu hinzukommende Crawler/Bots, die im Laufe der Zeit Ihre Seiten besuchen, werden automatisch erfasst und können dann ebenfalls mit eigenen Regeln versehen werden.
Im Sitemap-Generator, bei der Auswahl der Seiten, die Sie in Ihrer Sitemap eingefügt haben möchten, können Sie auch selbst erstellte Scripte verwalten. Sie können sich, bei Bedarf, jede Seite in einem Popup-Fenster vorher aufrufen, um sie anzusehen, wenn Sie sich unsicher sind, ob Sie diese Datei in der Sitemap einfügen möchten.
In beiden Tools wird durch Checkboxen die Auswahl aktiviert oder deaktiviert. Gerade bei der Sitemap ist das in WebsiteX5 sehr umständlich, weil Sie in jeder Seite erst die Einstellung vornehmen müssen. In beiden Tools können Sie Ihre Einstellungen direkt in die erforderlichen Dateien robots.txt bzw. sitemap.xml im Root speichern und jederzeit wieder bearbeiten. Die Tools erstellen natürlich automatisch die Ordner „botchecking“ und „sitemapchecking“, in denen die Einstellungen gespeichert werden. Kommen neue Ordner oder Seiten hinzu, laden die Tools diese automatisch bei jedem Start des Tools. Bitte lesen Sie in der heruntergeladenen ZIP-Datei zuerst die Datei „login_information.txt“, um zu erfahren, wie Sie das jeweilige Programm (PHP-Datei) auf Ihren Benutzernamen und Ihr eigenes Passwort einstellen. Hierzu müssen Sie die jeweilige PHP-Datei mit WordPad oder Editor öffnen und in den Zeilen 12 und 13 Benutzernamen und Passwort anpassen. Auf Ihren Server/FTP-Bereich laden Sie nur die PHP-Datei hoch. Rufen Sie dann diese Datei in Ihrem Browser auf und geben die zuvor eingegebenen Benutzernamen und Passwort ein, um Ihre Arbeit zu beginnen.
WICHTIG: Die beiden HTML-Dateien enthalten alle wichtigen Informationen zum jeweiligen Tool und informieren Sie über Haftungsausschluss, Nutzungsbedingungen und Urheberrecht. Akzeptieren Sie diese Bedingungen nicht, dürfen Sie keines der Tools nutzen.
Sie erstellen sich Ihre Seiten ohne CMS oder Software? Dann können Sie diese beiden Tools sehr gut gebrauchen und um ein perfektes Grundgerüst für eine HTML-Seite zu erhalten, verwenden Sie einfach meinen HTML-Grundgerüst-Generator (https://www.sgs-visual.de/html-grundgeruest-generator.php), der Ihnen sogar ermöglicht, den Titel Ihrer Website im TAB-Reiter zu scrollen (ideal für längere Seitentitel), Open Graph etc. optional einzusetzen.
Sie arbeiten mit einer Software, um Ihre Webseiten zu erstellen, die Ihnen automatisch die Dateien robots.txt und sitemap.xml erzeugt und diese bieten nicht den Umfang meiner Tools? Können Sie diese Erstellung abschalten, dann können Sie meine beiden Tools (Benutzerführung in den Sprachen DE/EN/BG) verwenden. Wie Sie in WebsiteX5 die automatische Erstellung der Sitemap und das Überschreiben der robots.txt-Datei abschalten können? Wählen Sie nach Aufruf Ihres Projektes im Hauptmenü links die Option [1 Einstellungen] und dort die Option [SEO - Optimieren Sie die Seiten für die Suchmaschine] und nehmen dort unter [Allgemein] die Haken bei [Sitemap automatisch erstellen] und [Datei robots.txt automatisch einschließen] heraus, damit WebsiteX5 beim nächsten Hochladen Ihrer Aktualisierungen diese Dateien nicht wieder überschreibt.
Sie arbeiten mit WebsiteX5? Dann können Ihnen meine beiden Tools robots.txt-Generator und Sitemap-Generator, auch wenn WebsiteX5 Ihnen diese Arbeit abnehmen kann, trotzdem hilfreicher sein, denn es nimmt Ihnen gerade bei der Erstellung der robots.txt die Arbeit ab, denn das müssen Sie in WebsiteX5 selbst eingeben. So können Sie z. B. alle Ordner, die HTML5-Animationen enthalten (diese werden jeweils in einem eigenen Ordner abgespeichert), mit einem Schlag automatisch in die robots.txt einfügen. Außerdem können Sie für alle Suchmaschinen generell oder sogar für jeden Crawler/Bot, der Ihre Website besucht hat, eine separate Regel erstellen. Neu hinzukommende Crawler/Bots, die im Laufe der Zeit Ihre Seiten besuchen, werden automatisch erfasst und können dann ebenfalls mit eigenen Regeln versehen werden.
Im Sitemap-Generator, bei der Auswahl der Seiten, die Sie in Ihrer Sitemap eingefügt haben möchten, können Sie auch selbst erstellte Scripte verwalten. Sie können sich, bei Bedarf, jede Seite in einem Popup-Fenster vorher aufrufen, um sie anzusehen, wenn Sie sich unsicher sind, ob Sie diese Datei in der Sitemap einfügen möchten.
In beiden Tools wird durch Checkboxen die Auswahl aktiviert oder deaktiviert. Gerade bei der Sitemap ist das in WebsiteX5 sehr umständlich, weil Sie in jeder Seite erst die Einstellung vornehmen müssen. In beiden Tools können Sie Ihre Einstellungen direkt in die erforderlichen Dateien robots.txt bzw. sitemap.xml im Root speichern und jederzeit wieder bearbeiten. Die Tools erstellen natürlich automatisch die Ordner „botchecking“ und „sitemapchecking“, in denen die Einstellungen gespeichert werden. Kommen neue Ordner oder Seiten hinzu, laden die Tools diese automatisch bei jedem Start des Tools. Bitte lesen Sie in der heruntergeladenen ZIP-Datei zuerst die Datei „login_information.txt“, um zu erfahren, wie Sie das jeweilige Programm (PHP-Datei) auf Ihren Benutzernamen und Ihr eigenes Passwort einstellen. Hierzu müssen Sie die jeweilige PHP-Datei mit WordPad oder Editor öffnen und in den Zeilen 12 und 13 Benutzernamen und Passwort anpassen. Auf Ihren Server/FTP-Bereich laden Sie nur die PHP-Datei hoch. Rufen Sie dann diese Datei in Ihrem Browser auf und geben die zuvor eingegebenen Benutzernamen und Passwort ein, um Ihre Arbeit zu beginnen.
WICHTIG: Die beiden HTML-Dateien enthalten alle wichtigen Informationen zum jeweiligen Tool und informieren Sie über Haftungsausschluss, Nutzungsbedingungen und Urheberrecht. Akzeptieren Sie diese Bedingungen nicht, dürfen Sie keines der Tools nutzen.
Sie erstellen sich Ihre Seiten ohne CMS oder Software? Dann können Sie diese beiden Tools sehr gut gebrauchen und um ein perfektes Grundgerüst für eine HTML-Seite zu erhalten, verwenden Sie einfach meinen HTML-Grundgerüst-Generator (https://www.sgs-visual.de/html-grundgeruest-generator.php), der Ihnen sogar ermöglicht, den Titel Ihrer Website im TAB-Reiter zu scrollen (ideal für längere Seitentitel), Open Graph etc. optional einzusetzen.
Modern content management systems (CMS) such as WordPress, Drupal, Joomla and TYPO3 generate sitemap.xml and robots.txt either natively (WordPress since 5.5) or via specialized plugins/extensions (e.g. Yoast SEO for WordPress, cs_seo for TYPO3). This eliminates manual creation and keeps the files up to date dynamically, while specialized SEO tools like Screaming Frog are also helpful for static sites or custom builds.
Do you use software to build your website that automatically creates robots.txt and sitemap.xml, but it doesn’t offer the scope of my tools? If you can disable that automatic creation, you can use my two tools (user guidance available in DE/EN/BG). To disable automatic sitemap generation and overwriting of robots.txt in WebsiteX5: open your project, select [1 Settings] in the left main menu, then [SEO – Optimize pages for search engines], and under [General] uncheck [Automatically create Sitemap] and [Automatically include robots.txt]. This prevents WebsiteX5 from overwriting these files on the next upload.
Working with WebsiteX5? Then my robots.txt generator and sitemap generator can still be more useful, even if WebsiteX5 can do this work. They save you time especially when creating robots.txt, which you would otherwise enter manually in WebsiteX5. For example, you can add all folders containing HTML5 animations (each stored in its own folder) to robots.txt in one go. You can also define general rules for all search engines or individual rules for each crawler/bot that has visited your site. Newly appearing crawlers/bots are detected automatically and can be given their own rules as well.
In the sitemap generator, when selecting the pages to include, you can also manage your custom scripts. If needed, you can open any page in a popup for a quick look before deciding to include it in the sitemap.
In both tools, selections are controlled by checkboxes. This is much more convenient than in WebsiteX5, where you have to adjust each page individually. Both tools can write your settings directly into robots.txt and sitemap.xml in the web root and let you edit them anytime. The tools automatically create the folders “botchecking” and “sitemapchecking” to store settings. When new folders or pages are added, the tools load them automatically at startup. Please read the file “login_information.txt” in the downloaded ZIP first to learn how to set your username and password for each program (PHP file). Open the PHP file with WordPad/Editor and adjust username and password (lines 12 and 13). Upload only the PHP file to your server/FTP area, open it in your browser, and log in with the credentials you set to begin.
IMPORTANT: The two HTML files contain all important information about each tool and inform you about disclaimer, terms of use and copyright. If you do not accept these terms, you may not use the tools.
Building pages without a CMS or website software? Then these two tools can be very useful. For a perfect starting point for an HTML page, use my HTML boilerplate generator (https://www.sgs-visual.de/html-grundgeruest-generator.php), which can even scroll long page titles in the browser tab and optionally add Open Graph, etc.
Do you use software to build your website that automatically creates robots.txt and sitemap.xml, but it doesn’t offer the scope of my tools? If you can disable that automatic creation, you can use my two tools (user guidance available in DE/EN/BG). To disable automatic sitemap generation and overwriting of robots.txt in WebsiteX5: open your project, select [1 Settings] in the left main menu, then [SEO – Optimize pages for search engines], and under [General] uncheck [Automatically create Sitemap] and [Automatically include robots.txt]. This prevents WebsiteX5 from overwriting these files on the next upload.
Working with WebsiteX5? Then my robots.txt generator and sitemap generator can still be more useful, even if WebsiteX5 can do this work. They save you time especially when creating robots.txt, which you would otherwise enter manually in WebsiteX5. For example, you can add all folders containing HTML5 animations (each stored in its own folder) to robots.txt in one go. You can also define general rules for all search engines or individual rules for each crawler/bot that has visited your site. Newly appearing crawlers/bots are detected automatically and can be given their own rules as well.
In the sitemap generator, when selecting the pages to include, you can also manage your custom scripts. If needed, you can open any page in a popup for a quick look before deciding to include it in the sitemap.
In both tools, selections are controlled by checkboxes. This is much more convenient than in WebsiteX5, where you have to adjust each page individually. Both tools can write your settings directly into robots.txt and sitemap.xml in the web root and let you edit them anytime. The tools automatically create the folders “botchecking” and “sitemapchecking” to store settings. When new folders or pages are added, the tools load them automatically at startup. Please read the file “login_information.txt” in the downloaded ZIP first to learn how to set your username and password for each program (PHP file). Open the PHP file with WordPad/Editor and adjust username and password (lines 12 and 13). Upload only the PHP file to your server/FTP area, open it in your browser, and log in with the credentials you set to begin.
IMPORTANT: The two HTML files contain all important information about each tool and inform you about disclaimer, terms of use and copyright. If you do not accept these terms, you may not use the tools.
Building pages without a CMS or website software? Then these two tools can be very useful. For a perfect starting point for an HTML page, use my HTML boilerplate generator (https://www.sgs-visual.de/html-grundgeruest-generator.php), which can even scroll long page titles in the browser tab and optionally add Open Graph, etc.
Съвременните системи за управление на съдържание (CMS) като WordPress, Drupal, Joomla и TYPO3 генерират sitemap.xml и robots.txt или нативно (WordPress от версия 5.5), или чрез специализирани плъгини/разширения (напр. Yoast SEO за WordPress, cs_seo за TYPO3). Това премахва нуждата от ръчно създаване и позволява динамично актуализиране, а специализирани SEO инструменти като Screaming Frog са полезни и за статични сайтове или собствени разработки.
Работите ли със софтуер, който автоматично създава robots.txt и sitemap.xml, но не предлага възможностите на моите инструменти? Ако можете да изключите тази автоматизация, използвайте моите два инструмента (интерфейс на DE/EN/BG). За да изключите автоматичното създаване на Sitemap и презаписването на robots.txt в WebsiteX5: отворете проекта, изберете [1 Настройки] в лявото главно меню, после [SEO – Оптимизация за търсачки] и в [Общи] махнете отметките от [Автоматично създаване на Sitemap] и [Автоматично включване на robots.txt]. Така WebsiteX5 няма да ги презаписва при следващо качване.
Работите с WebsiteX5? Тогава моите генератори за robots.txt и sitemap могат да са по-полезни, дори когато WebsiteX5 върши тази работа. Те ви спестяват време особено при създаването на robots.txt, което иначе бихте въвели ръчно. Например, можете с един ход да добавите всички папки с HTML5 анимации (всяка се записва в собствена папка) в robots.txt. Освен това можете да зададете общи правила за всички търсачки или индивидуални правила за всеки робот/бот, посетил сайта ви. Новопоявили се ботове се засичат автоматично и могат да получат собствени правила.
В генератора на sitemap, при избора на страници за включване, можете да управлявате и собствени скриптове. При нужда отворете страница в изскачащ прозорец, за да я прегледате преди да решите дали да я включите.
И в двата инструмента изборът се управлява чрез отметки (checkbox). Това е значително по-удобно от WebsiteX5, където настройвате всяка страница поотделно. И двата инструмента записват настройките директно в robots.txt и sitemap.xml в корена и позволяват редакция по всяко време. Инструментите автоматично създават папките „botchecking“ и „sitemapchecking“ за настройките. При нови папки/страници те се зареждат автоматично при стартиране. Моля, първо прочетете „login_information.txt“ в изтегления ZIP, за да настроите потребител и парола за всяка програма (PHP файл). Отворете PHP файла с WordPad/Editor и задайте потребител и парола (редове 12 и 13). Качете само PHP файла на сървъра/FTP, отворете го в браузъра и влезте с въведените данни, за да започнете.
ВАЖНО: Двете HTML страници съдържат важна информация за всеки инструмент и условия за ползване и авторски права. Ако не ги приемате, нямате право да използвате инструментите.
Създавате страници без CMS или специален софтуер? Тогава тези два инструмента ще ви бъдат много полезни. За идеално начално скеле за HTML страница използвайте моя генератор (https://www.sgs-visual.de/html-grundgeruest-generator.php), който може дори да „скролира” дълги заглавия в таба на браузъра и по избор добавя Open Graph и др.
Работите ли със софтуер, който автоматично създава robots.txt и sitemap.xml, но не предлага възможностите на моите инструменти? Ако можете да изключите тази автоматизация, използвайте моите два инструмента (интерфейс на DE/EN/BG). За да изключите автоматичното създаване на Sitemap и презаписването на robots.txt в WebsiteX5: отворете проекта, изберете [1 Настройки] в лявото главно меню, после [SEO – Оптимизация за търсачки] и в [Общи] махнете отметките от [Автоматично създаване на Sitemap] и [Автоматично включване на robots.txt]. Така WebsiteX5 няма да ги презаписва при следващо качване.
Работите с WebsiteX5? Тогава моите генератори за robots.txt и sitemap могат да са по-полезни, дори когато WebsiteX5 върши тази работа. Те ви спестяват време особено при създаването на robots.txt, което иначе бихте въвели ръчно. Например, можете с един ход да добавите всички папки с HTML5 анимации (всяка се записва в собствена папка) в robots.txt. Освен това можете да зададете общи правила за всички търсачки или индивидуални правила за всеки робот/бот, посетил сайта ви. Новопоявили се ботове се засичат автоматично и могат да получат собствени правила.
В генератора на sitemap, при избора на страници за включване, можете да управлявате и собствени скриптове. При нужда отворете страница в изскачащ прозорец, за да я прегледате преди да решите дали да я включите.
И в двата инструмента изборът се управлява чрез отметки (checkbox). Това е значително по-удобно от WebsiteX5, където настройвате всяка страница поотделно. И двата инструмента записват настройките директно в robots.txt и sitemap.xml в корена и позволяват редакция по всяко време. Инструментите автоматично създават папките „botchecking“ и „sitemapchecking“ за настройките. При нови папки/страници те се зареждат автоматично при стартиране. Моля, първо прочетете „login_information.txt“ в изтегления ZIP, за да настроите потребител и парола за всяка програма (PHP файл). Отворете PHP файла с WordPad/Editor и задайте потребител и парола (редове 12 и 13). Качете само PHP файла на сървъра/FTP, отворете го в браузъра и влезте с въведените данни, за да започнете.
ВАЖНО: Двете HTML страници съдържат важна информация за всеки инструмент и условия за ползване и авторски права. Ако не ги приемате, нямате право да използвате инструментите.
Създавате страници без CMS или специален софтуер? Тогава тези два инструмента ще ви бъдат много полезни. За идеално начално скеле за HTML страница използвайте моя генератор (https://www.sgs-visual.de/html-grundgeruest-generator.php), който може дори да „скролира” дълги заглавия в таба на браузъра и по избор добавя Open Graph и др.
Robots-txt-Generator
Sitemap-xml-Generator
Erstellt: 12.12.2025
Revision 00 vom 12.122025 - Erstellung der Seite