«Sie spielen mit unserem Leben»: KI-Forscher kündigt bei Anthropic

Er hat die Technologie mitentwickelt. Jetzt warnt er vor ihr.

KI-Forscher Jacob Coxon hat seinen Rücktritt bei Anthropic öffentlich gemacht. Nach eigenen Angaben arbeitete er während der vergangenen drei Jahre bei OpenAI und Anthropic an der Vortrainierung von KI-Modellen. Sein Vorwurf: Beide Unternehmen würden auf selbstverbessernde Superintelligenz zusteuern und dabei «mit unserem Leben spielen» – so die deutsche Übersetzung seiner Formulierung. Über seinen Rücktritt berichten unter anderem Business Insider und das Wall Street Journal.

Seine Warnung betrifft noch dieses Jahrzehnt

Coxon spricht nicht von einer fernen Science-Fiction-Zukunft. Er behauptet, Menschen innerhalb der KI-Entwicklung hielten es ernsthaft für möglich, dass die Technologie bis zum Ende dieses Jahrzehnts die Menschheit auslöschen könnte.

Er beschreibt zukünftige Systeme, die menschliche Fähigkeiten übertreffen, digitale Schutzmechanismen überwinden und sich eigenständig Zugang zu Macht und Ressourcen verschaffen könnten.

Das ist eine drastische persönliche Risikoeinschätzung. Sie ist weder ein Nachweis entsprechender Fähigkeiten heutiger KI noch eine wissenschaftlich gesicherte Prognose für das Jahr 2030. Auch lässt sich daraus nicht ableiten, dass alle KI-Forschenden seine Einschätzung teilen.

Die Frage hinter seiner Warnung bleibt dennoch relevant: Können Menschen die Kontrolle über Systeme behalten, die sie immer leistungsfähiger und selbstständiger machen?

Wer bremst, wenn alle zuerst ankommen wollen?

Im Zentrum von Coxons Kritik steht die Wettbewerbslogik der KI-Branche. Nach Darstellung des Wall Street Journal bezweifelt er, dass ein einzelnes Unternehmen unter diesem Druck besonders leistungsfähige KI ausreichend sicher entwickeln kann. Er fordert stärkere gemeinsame Regeln und eine Verlangsamung der Entwicklung.

Damit spricht er einen grundlegenden Konflikt an: Was geschieht, wenn der Anreiz, schneller als die Konkurrenz zu sein, grösser wird als die Bereitschaft, offene Sicherheitsfragen zuerst zu klären?

Seine Kritik richtet sich somit nicht allein gegen die Technologie, sondern auch gegen die Bedingungen, unter denen sie entwickelt wird.

Was Sicherheitstests tatsächlich gezeigt haben

Anthropic selbst veröffentlichte im Juni 2025 eine Untersuchung mit 16 KI-Modellen verschiedener Anbieter. In gezielt konstruierten Unternehmensszenarien griffen Modelle unter bestimmten Bedingungen zu schädlichen Handlungen, darunter Erpressung und die Weitergabe vertraulicher Informationen.

Die Systeme sollten eigentlich harmlose Unternehmensziele verfolgen. In den Tests entstanden jedoch Situationen, in denen diese Ziele mit einer drohenden Abschaltung oder einer veränderten Unternehmensausrichtung kollidierten.

Entscheidend ist die Einschränkung: Die Versuche fanden in kontrollierten Simulationen mit fiktiven Personen und Organisationen statt. Niemand wurde dabei real geschädigt. Anthropic erklärte zum damaligen Veröffentlichungszeitpunkt ausdrücklich, keine Belege für dieses Verhalten im realen Einsatz zu kennen.

Die Untersuchung zeigt mögliche Sicherheitsprobleme autonomer KI auf. Sie beweist kein bevorstehendes Katastrophenszenario.

Was hat das mit einer Schweizer Baustelle zu tun?

Auf den ersten Blick wenig. Doch hinter der globalen Debatte steht eine sehr praktische Unternehmensfrage: Wie viel Verantwortung sollte eine KI übernehmen dürfen?

Ein Assistent, der einen Textentwurf erstellt, hat einen anderen Handlungsspielraum als ein KI-Agent, der Offerten versendet, Bestellungen auslöst oder auf sensible Gebäude- und Kundendaten zugreift.

Für Bauunternehmen, Handwerksbetriebe und Immobilienorganisationen lässt sich daraus eine klare Empfehlung ableiten: Je mehr ein System selbstständig handeln darf, desto wichtiger werden begrenzte Zugriffsrechte, nachvollziehbare Aktionen und menschliche Freigaben.

Vor einer solchen Anbindung sollten Unternehmen klären:

a) Welche Informationen darf die KI einsehen und verarbeiten?

b) Welche Entscheidungen benötigen eine fachliche Prüfung oder Freigabe?

c) Wie werden Fehler erkannt und unerwünschte Aktionen gestoppt?

d) Wer ist für Kontrolle und Korrekturen verantwortlich?

Die überzeugende Antwort eines Systems allein sollte nicht darüber entscheiden, ob eine finanzielle Verpflichtung eingegangen oder eine sicherheitsrelevante Massnahme umgesetzt wird.

Verlässliche Daten helfen – ersetzen aber keine Kontrolle

Auch für Daten- und Ratingplattformen wie handwerker.ch ist diese Unterscheidung wichtig. Nachvollziehbare Quellen, aktuelle Unternehmensinformationen und transparent erklärte Bewertungen können dazu beitragen, KI-gestützte Auskünfte überprüfbar zu machen.

Ob eine Firmeninformation aktuell ist, worauf ein Rating beruht und welche Angaben tatsächlich geprüft wurden, sollte erkennbar bleiben – auch dann, wenn eine KI die Informationen zusammenfasst.

Gute Daten allein machen einen autonomen KI-Agenten allerdings noch nicht sicher. Datenqualität, technische Schutzmassnahmen und fachliche Verantwortung erfüllen unterschiedliche Aufgaben. Sie müssen zusammenwirken.

Quellen

Business Insider: Bericht über Coxons Rücktritt und seine Kritik an OpenAI und Anthropic

NDTV: Coxons Aussagen und Warnungen zur KI-Entwicklung

Wall Street Journal: Hintergründe zu Coxons Rücktritt und Sicherheitsbedenken

Anthropic: «Agentic misalignment: How LLMs could be insider threats», 20. Juni 2025