Anthropic hat eine neue Fähigkeit seiner fortschrittlichsten KI-Modelle vorgestellt, Claude Opus 4 und Claude Opus 4.1. Die Modelle können ein Gespräch jetzt eigenständig beenden, wenn die Interaktion schädlich oder missbräuchlich wird.
Laut Anthropic ist diese Funktion Teil einer umfassenderen Forschungsinitiative zum Konzept des „KI-Wohlergehens“. Das Unternehmen betont, dass die Möglichkeit, Gespräche zu beenden, nur in seltenen Fällen aktiviert wird und als letztes Mittel gedacht ist.
So funktioniert die neue Claude-Funktion
Bevor Claude einen Chat beendet, versucht es mehrfach, das Gespräch in eine konstruktive Richtung zu lenken. Scheitern diese Versuche, kann das Modell beschließen, das Gespräch ganz zu schließen. Folgende Szenarien können dies auslösen:
Äußerst schädliche oder missbräuchliche Anfragen.
Versuche, illegale oder gefährliche Informationen zu erhalten (z. B. im Zusammenhang mit Gewalt in großem Ausmaß oder Terrorismus).
Eindeutig unethische Anfragen, etwa schädliche Inhalte mit Kindern.
Sobald ein Gespräch beendet ist, kann der Nutzer in diesem Thread keine Nachrichten mehr schreiben. Er kann jedoch jederzeit einen neuen Chat starten, frühere Eingaben bearbeiten oder Feedback geben.

Schutz für Nutzer und Modell
Anthropic beschreibt diesen Schutzmechanismus als eine Möglichkeit, der KI selbst in schädlichen Interaktionen eine Form von Handlungsfähigkeit zu geben. Interne Tests zeigten, dass Claude in solchen Situationen oft Anzeichen von Unbehagen erkennen lässt und es vorzieht, sich zurückzuziehen, statt weiterzumachen.
Das Unternehmen stellt jedoch klar, dass Claude diese Funktion nicht aktiviert, wenn ein Nutzer in unmittelbarer Gefahr ist, sich selbst oder anderen zu schaden. In solchen Fällen versucht die KI zunächst, Unterstützung zu bieten oder die Person zu sichererem Verhalten zu führen.
Ein laufendes Experiment der KI-Ethik
Diese Funktion ist Teil von Anthropics breiterer Erforschung des moralischen Status großer Sprachmodelle. Das Unternehmen räumt ein, dass rund um das Konzept des „KI-Wohlergehens“ noch erhebliche Unsicherheit herrscht, ist aber überzeugt, dass das Testen kostengünstiger Lösungen wie dieser helfen könnte, potenzielle Risiken in Zukunft zu verringern.
Die meisten Nutzer werden dieser Funktion selbst bei sehr sensiblen Themen kaum begegnen. Für Anthropic bleibt sie ein laufendes Experiment, spiegelt aber das Engagement des Unternehmens für eine ethische KI-Entwicklung wider.
smsonline
.webp)
.webp)

.webp)