Dieser Beitrag wurde mit Unterstützung von KI erstellt und von handwerker.ch redaktionell geprüft und bearbeitet. KI-gestützte Texte, Bilder und andere Inhalte können trotz Prüfung Fehler enthalten oder Informationen unvollständig bzw. missverständlich darstellen. Dieser Beitrag ist datenbasiert und dient ausschliesslich der Information und Einordnung. Er stellt keine Empfehlung zur Beauftragung oder Auswahl einzelner Anbieter, Betriebe oder Unternehmen dar.
Ist Ihre Website für ChatGPT und KI-Agenten unsichtbar? So prüfen Sie es selbst
Ihre Website ist online – aber können KI-Agenten sie überhaupt lesen?
Immer mehr Menschen nutzen künstliche Intelligenz, um Unternehmen zu recherchieren, Dienstleistungen zu vergleichen oder geeignete Anbieter zu finden.
Anstelle einer klassischen Google-Suche könnten sie beispielsweise einen KI-Assistenten beauftragen:
«Finde mir fünf Schweizer Sanitärunternehmen im Raum Zürich, die Wärmepumpen installieren und auch Wartungsarbeiten anbieten.»
Damit ein KI-System aktuelle Informationen über ein Unternehmen berücksichtigen kann, muss es auf geeignete Informationsquellen zugreifen können.
Doch nicht jede öffentlich erreichbare Website ist automatisch auch für sämtliche KI-Crawler und KI-Agenten zugänglich.
Manche Websites blockieren automatisierte Zugriffe bewusst. Andere übernehmen entsprechende Einstellungen über ihr CMS, Hosting oder Sicherheitssystem, ohne dass sich die Betreiber der Auswirkungen vollständig bewusst sind.
Die gute Nachricht: Einige wichtige Einstellungen lassen sich relativ einfach selbst überprüfen.
1. robots.txt prüfen: Werden KI-Crawler ausgeschlossen?
Die erste Anlaufstelle ist die sogenannte robots.txt.
Diese Datei enthält Anweisungen für automatisierte Crawler, welche Bereiche einer Website sie abrufen dürfen.
So prüfen Sie z.B. Ihre Website:
Öffnen Sie im Browser folgende Adresse und ersetzen Sie «ihrefirma.ch» durch Ihre eigene Domain:
https://ihrefirma.ch/robots.txt
Erscheint eine Textdatei, können Sie deren Anweisungen anschauen.
Besonders wichtig sind Einträge wie User-agent und Disallow.
Beispielsweise bedeutet die Kombination aus User-agent: * und Disallow: /, dass sämtliche Crawler, die diese Anweisung beachten, vom Abruf der gesamten Website ausgeschlossen werden sollen.
Allerdings können auch einzelne Bots gezielt blockiert werden.
Achten Sie insbesondere auf folgende Bezeichnungen:
Googlebot: Crawler für die Google-Suche.
OAI-SearchBot: Crawler von OpenAI für die Suche in ChatGPT.
GPTBot: OpenAI-Crawler für Inhalte, die zum KI-Modelltraining verwendet werden können.
ClaudeBot: Anthropic-Crawler für potenzielle Trainingsdaten.
Claude-SearchBot: Crawler zur Unterstützung der Suche von Claude.
PerplexityBot: Crawler für Suchergebnisse von Perplexity.
Google-Extended: Steuerung der Verwendung von Inhalten für bestimmte Gemini-Anwendungen; kein eigenständiger Suchcrawler.
ChatGPT-User: Wird von OpenAI für bestimmte Webseitenabrufe im Auftrag von ChatGPT-Nutzern verwendet. Da diese Zugriffe nutzerinitiiert sind, gelten die Regeln der robots.txt möglicherweise nicht in gleicher Weise wie bei automatisierten Crawlern.
Claude-User: Wird von Anthropic für Webseitenabrufe im Auftrag von Claude-Nutzern verwendet. Websitebetreiber können den Zugriff über die robots.txt einschränken.
Ein Disallow: / unter dem jeweiligen Botnamen signalisiert, dass dieser Bot die betreffenden Inhalte nicht abrufen soll.
Wichtiger Hinweis: Die genannten Beispiele dienen ausschliesslich der Veranschaulichung. Das Aufrufen und Lesen einer robots.txt ist grundsätzlich unbedenklich. Änderungen an dieser Datei können jedoch dazu führen, dass Suchmaschinen oder KI-Crawler wichtige Seiten nicht mehr abrufen können. Nehmen Sie deshalb keine Änderungen ohne entsprechende Fachkenntnisse oder Rücksprache mit Ihrer Webagentur vor.
Eine robots.txt allein zeigt nicht zuverlässig, ob eine Website für sämtliche KI-Agenten erreichbar ist. Die tatsächliche Zugänglichkeit hängt auch von technischen Sicherheitssystemen und den Zugriffsverfahren der jeweiligen Anbieter ab. Zudem können spezifische Regeln für einzelne Crawler allgemeine Anweisungen ersetzen. Die Prüfung der robots.txt ist deshalb nur der erste Schritt einer umfassenderen Zugangskontrolle.
Entscheidend ist die Unterscheidung zwischen KI-Suche, KI-Training und KI-Agenten. Es ist technisch möglich, die Nutzung für Modelltraining einzuschränken und gleichzeitig Suchcrawlern Zugriff zu gewähren.
2. llms.txt prüfen: Gibt es Informationen speziell für KI-Systeme?
Ein weiterer Begriff taucht zunehmend im Zusammenhang mit KI-Sichtbarkeit auf: llms.txt.
Auch diese Datei lässt sich direkt im Browser aufrufen:
Die Schreibweise lautet llms.txt mit einem «s».
Anders als die robots.txt dient sie nicht dazu, den Zugriff zu erlauben oder zu verbieten.
Die llms.txt ist ein vorgeschlagenes Format, mit dem Websites ausgewählte Informationen, Beschreibungen und Links für KI-Systeme strukturiert bereitstellen können.
Eine Firma könnte darin beispielsweise ihre wichtigsten Dienstleistungen, Standorte, Fachgebiete und Informationsseiten aufführen.
Allerdings ist die llms.txt bislang kein allgemein verbindlicher Standard für KI-Crawler.
Google stellt ausdrücklich klar, dass eine llms.txt für die Google-Suche und deren KI-Funktionen weder erforderlich ist noch einen Rankingvorteil bietet.
Wichtig: Wenn Ihre Website keine llms.txt besitzt, bedeutet das nicht, dass ChatGPT, Claude oder andere KI-Systeme sie nicht lesen können.
Für die maschinelle Verständlichkeit bleiben zugängliche Webseiten, klare Inhalte und strukturierte Unternehmensinformationen wesentlich.
3. AGB und Nutzungsbedingungen prüfen: Was ist rechtlich erlaubt?
Auch die Allgemeinen Geschäftsbedingungen und Nutzungsbedingungen einer Website können Aussagen zur automatisierten Nutzung von Inhalten enthalten.
Mögliche Regelungen betreffen beispielsweise das systematische Auslesen von Daten, die kommerzielle Weiterverwendung von Informationen oder die Nutzung von Websiteinhalten zum Training künstlicher Intelligenz.
Hier ist eine wichtige Unterscheidung notwendig.
AGB regeln mögliche rechtliche Nutzungsbedingungen. Sie blockieren aber keinen einzigen Bot automatisch.
Eine Website kann automatisierte Datennutzung in ihren Nutzungsbedingungen untersagen und trotzdem technisch vollständig abrufbar sein.
Umgekehrt bedeutet eine öffentlich zugängliche Website nicht automatisch, dass sämtliche Inhalte ohne Einschränkungen kopiert, weiterverwendet oder kommerziell verwertet werden dürfen.
Ob und gegenüber wem eine solche Nutzungsregel rechtlich durchsetzbar ist, hängt vom anwendbaren Recht, der konkreten Formulierung und den Umständen ab.
Für Unternehmen empfiehlt es sich deshalb, technische Zugriffsregeln und rechtliche Nutzungsbedingungen aufeinander abzustimmen.
4. Technische Bot-Sperren prüfen: Wenn der Server den Zugriff verweigert
Nicht jede Blockierung ist in der robots.txt ersichtlich.
Viele Websites verwenden zusätzliche Sicherheitslösungen, beispielsweise Firewalls, Bot-Schutz, DDoS-Abwehr oder Dienste wie Cloudflare.
Solche Systeme können automatisierte Zugriffe erkennen und einschränken.
Dabei entstehen gelegentlich unbeabsichtigte Folgen: Eine Website funktioniert im normalen Browser einwandfrei, während bestimmte Suchcrawler oder KI-Agenten eine Fehlermeldung erhalten.
Typische Anzeichen sind HTTP-Statuscodes wie 403 Forbidden oder 429 Too Many Requests, Captcha-Abfragen oder automatische Sicherheitsprüfungen.
Bei solchen Sperren reicht eine Überprüfung der robots.txt nicht aus.
Der Hosting-Anbieter oder die zuständige Webagentur sollte kontrollieren, ob erwünschte KI-Crawler und KI-Agenten durch Sicherheitsregeln blockiert werden.
Dabei ist zu beachten: Nicht alle KI-Agenten verwenden dieselbe Infrastruktur. Manche rufen Webseiten im Auftrag eines Nutzers ab, andere führen automatisierte Such- und Indexierungsprozesse aus.
5. noindex und weitere versteckte Einstellungen kontrollieren
Eine Website kann für Crawler erreichbar sein und trotzdem von Suchmaschinen nicht indexiert werden.
Verantwortlich dafür können sogenannte Meta-Robots-Anweisungen oder HTTP-Header sein.
Besonders relevant ist noindex.
Diese Anweisung signalisiert unterstützenden Suchmaschinen, dass eine bestimmte Seite nicht in deren Suchindex aufgenommen werden soll.
Solche Einstellungen werden häufig im CMS oder in SEO-Erweiterungen verwaltet.
Für Google lässt sich die Indexierbarkeit einzelner Seiten über die Google Search Console kontrollieren.
Auch hier gilt: Eine Sperre in Google bedeutet nicht automatisch, dass alle KI-Systeme dieselben Regeln verwenden.
Die verschiedenen Dienste haben unterschiedliche Such-, Abruf- und Verarbeitungssysteme.
6. Wie kann ich feststellen, ob KI-Agenten meine Website tatsächlich besuchen?
Die bisher genannten Prüfungen zeigen, welche Zugriffe grundsätzlich vorgesehen oder technisch möglich sind.
Ob KI-Systeme die Website tatsächlich abrufen, lässt sich dadurch jedoch noch nicht feststellen.
Dafür sind Server-Logfiles oder entsprechende Bot-Analysewerkzeuge hilfreich.
Darin kann die Webagentur beispielsweise nach User-Agents wie OAI-SearchBot, GPTBot, ClaudeBot oder PerplexityBot suchen.
Zusätzlich sollten die angefragten URLs, Antwortcodes, Zeitpunkte und gegebenenfalls die Herkunft der Anfragen ausgewertet werden.
Ein wichtiger Vorbehalt: Ein User-Agent-Name allein beweist nicht, dass eine Anfrage tatsächlich vom angegebenen Anbieter stammt. Solche Angaben lassen sich technisch nachahmen. Wo möglich, sollte die Herkunft anhand offizieller IP-Bereiche oder anderer Verifikationsmethoden überprüft werden.
Auch der Nachweis eines erfolgreichen Abrufs bedeutet noch nicht, dass die Website anschliessend in einer KI-Antwort berücksichtigt oder als Quelle genannt wird.
7. Warum ist das für Schweizer KMU und Handwerksbetriebe relevant?
Für Unternehmen könnte sich die digitale Kundengewinnung durch KI-Agenten grundlegend verändern.
Ein Kunde muss künftig möglicherweise nicht mehr selbst zehn Websites besuchen, um einen geeigneten Betrieb auszuwählen.
Stattdessen könnte ein KI-Assistent die Recherche übernehmen, Anbieter vergleichen und eine engere Auswahl erstellen.
Dabei werden Angaben wie Standort, Leistungen, Spezialisierungen, Referenzen, Qualifikationen, Zertifizierungen und weitere nachvollziehbare Unternehmensmerkmale wichtig.
Gerade im Bau- und Handwerksbereich kann die genaue Beschreibung einzelner Leistungen entscheidend sein.
Ein allgemeiner Eintrag als «Sanitärunternehmen» liefert beispielsweise weniger spezifische Informationen als klar dokumentierte Leistungen in den Bereichen Wärmepumpen, Heizungsservice, Sanitärinstallationen und Gebäudetechnik.
Wenn eine Website für bestimmte KI-Systeme nicht zugänglich ist oder ihre Inhalte nur unvollständig verarbeitet werden können, könnte dies ihre Berücksichtigung bei entsprechenden Recherchen erschweren.
KI-Systeme können allerdings auch andere Informationsquellen nutzen, beispielsweise Suchindizes oder unabhängige Unternehmensplattformen.
Die eigene Website ist deshalb eine wichtige Informationsquelle, aber nicht die einzige mögliche Datengrundlage für KI-gestützte Unternehmensvergleiche.
Hinweis zu technischen Einstellungen und KI-Zugriffen
Dieser Beitrag dient der allgemeinen Information und stellt keine individuelle technische oder rechtliche Beratung dar. Die Zugriffsregeln und Technologien von KI-Anbietern können sich jederzeit ändern. Eine technisch zugängliche Website garantiert weder die Berücksichtigung durch KI-Systeme noch eine Erwähnung in deren Antworten. Bei Änderungen an robots.txt, Sicherheitseinstellungen oder Nutzungsbedingungen empfiehlt sich die Abstimmung mit der zuständigen Webagentur, dem Hosting-Anbieter oder einer rechtlichen Fachperson.
Quellen und weiterführende Informationen
OpenAI – Übersicht der Crawler und User-Agents
Google Search Central – KI-Funktionen und Websites
Google – Einführung in robots.txt
Anthropic – ClaudeBot, Claude-SearchBot und Claude-User
Fazit: Technische Erreichbarkeit wird Teil der digitalen Sichtbarkeit
Die Optimierung einer Firmenwebsite betrifft heute nicht mehr ausschliesslich klassische Suchmaschinen.
Mit der zunehmenden Verbreitung von KI-Suchsystemen und persönlichen KI-Agenten stellt sich für Unternehmen eine zusätzliche Frage:
Kann eine Maschine meine Unternehmensinformationen überhaupt abrufen, verstehen und für eine konkrete Kundenanfrage berücksichtigen?
Ein erster technischer Check von robots.txt, llms.txt, Indexierung und möglichen Server-Sperren ist ein sinnvoller Ausgangspunkt.
Genauso wichtig sind aktuelle, verständliche und strukturiert verfügbare Unternehmensdaten.
Dabei müssen Unternehmen nicht alle KI-Crawler uneingeschränkt zulassen. Sinnvoll ist vielmehr eine bewusste Entscheidung, welche Arten von automatisierten Zugriffen erwünscht sind und welche nicht.
Denn eine technisch zugängliche Website garantiert zwar keine Empfehlung durch ChatGPT, Claude, Gemini oder andere KI-Systeme.
Eine unbeabsichtigte Blockierung kann jedoch verhindern, dass relevante Informationen überhaupt direkt abgerufen werden können.
Die deutsche Fassung dieses Disclaimers ist die rechtlich verbindliche Originalfassung. Allfällige Übersetzungen dienen ausschliesslich Informations- und Verständlichkeitszwecken. Bei Abweichungen, Widersprüchen oder Auslegungsfragen ist die deutsche Fassung massgebend, soweit gesetzlich zulässig. handwerker.ch stellt Unternehmens-, Markt-, Vergleichs- und Ratinginformationen zur allgemeinen Information, Orientierung und Markttransparenz bereit. Die Informationen stellen keine individuelle oder professionelle Beratung, insbesondere keine Bau-, Rechts-, Finanz-, Steuer-, Versicherungs-, Bonitäts- oder Investitionsberatung, und keine Empfehlung zur Auswahl oder Beauftragung eines bestimmten Unternehmens dar. Trotz laufender Daten-, Prüf-, Plausibilitäts-, Monitoring- und Aktualisierungsprozesse können Informationen aus eigenen oder externen Quellen unvollständig, fehlerhaft, missverständlich oder nicht mehr aktuell sein. Entscheidungsrelevante Angaben sollten anhand geeigneter Originalquellen, öffentlicher Register oder direkt beim betreffenden Unternehmen überprüft werden. Das KMU Rating / SBI-Rating ist eine plattformeigene datenbasierte Vergleichs- und Orientierungskennzahl und keine abschliessende Qualitätsbeurteilung, Bonitätsauskunft oder Garantie. Ein hohes Rating, eine Marktposition, ein handwerker STAR, eine Prüfung, Zertifizierung oder ein Award garantieren keine bestimmte Qualität, Zuverlässigkeit, Verfügbarkeit oder Eignung für ein konkretes Projekt. Ein tieferes Rating oder eine begrenzte Datenbasis bedeutet umgekehrt nicht, dass ein Unternehmen schlechte Arbeit leistet oder fachlich nicht qualifiziert ist. Nicht öffentlich verfügbare oder nicht verifizierbare Informationen bedeuten nicht, dass eine Eigenschaft, Qualifikation oder Kompetenz beim betreffenden Unternehmen nicht vorhanden ist. Prüfungen und Zertifizierungen beziehen sich auf den jeweiligen Prüfungsumfang und Prüfungszeitpunkt und stellen keine dauerhafte oder umfassende Kontrolle sämtlicher Leistungen oder Geschäftsabläufe dar. handwerker.ch nutzt Künstliche Intelligenz, automatisierte Systeme und AI Agents zur Unterstützung der Erfassung, Analyse, Strukturierung, Übersetzung und Aufbereitung von Texten, Bildern und Daten. KI kann Fehler machen, Informationen falsch zuordnen, unvollständig wiedergeben oder Zusammenhänge missverständlich darstellen. KI-generierte oder KI-unterstützte Inhalte stellen für sich allein keinen zusätzlichen Nachweis über ein Unternehmen dar. Massgeblich für entscheidungsrelevante Informationen bleiben geeignete Originalquellen und überprüfbare Unternehmensangaben. Die Darstellung von Firmenbezeichnungen, Unternehmenskennzeichen und Logos dient insbesondere der Identifikation und Zuordnung eines Unternehmens und bedeutet für sich allein keine Partnerschaft, Empfehlung, Zertifizierung, Zustimmung oder sonstige geschäftliche Beziehung mit handwerker.ch. Bei nicht zertifizierten Unternehmen verwendet handwerker.ch grundsätzlich keine Unternehmens-, Projekt- oder Referenzfotos des betreffenden Betriebs. Unternehmens-, Projekt- oder Referenzbilder zertifizierter Kunden werden verwendet, wenn diese zur Verfügung gestellt, freigegeben oder anderweitig rechtmässig zur Nutzung bereitgestellt wurden. Redaktionelle Inhalte können zudem eigene, lizenzierte, illustrative oder KI-generierte beziehungsweise KI-bearbeitete Bilder enthalten. Soweit gesetzlich zulässig, übernimmt handwerker.ch keine Gewähr für die jederzeitige Richtigkeit, Vollständigkeit, Aktualität, Verfügbarkeit oder Fehlerfreiheit der bereitgestellten Informationen. Die Nutzung der Informationen und darauf gestützte Entscheidungen erfolgen in eigener Verantwortung. Die Haftung richtet sich nach den anwendbaren gesetzlichen Bestimmungen und den Allgemeinen Geschäftsbedingungen (AGB). Zwingende gesetzliche Haftungsbestimmungen bleiben vorbehalten. Weiterführende Informationen zur Methodik, Datenverarbeitung, Haftung und Nutzung von handwerker.ch finden sich im Transparenzbericht, in der Datenschutzerklärung, im Impressum und in den Allgemeinen Geschäftsbedingungen (AGB).
- 28.10.2026
- 1655
- KI, Robotik & Zukunft Bau
- Lesezeit: 17 Minuten
