Компания Anthropic представила новую возможность своих самых продвинутых моделей ИИ, Claude Opus 4 и Claude Opus 4.1. Теперь модели могут самостоятельно завершить разговор, если общение становится вредным или оскорбительным.
По словам Anthropic, эта функция входит в более широкую исследовательскую инициативу, посвящённую понятию «благополучия ИИ». Компания подчёркивает, что возможность завершить разговор включается лишь в редких случаях и задумана как крайняя мера.
Как работает новая функция Claude
Прежде чем завершить чат, Claude несколько раз попытается направить разговор в конструктивное русло. Если эти попытки не удаются, модель может решить полностью закрыть диалог. Среди ситуаций, которые могут это вызвать:
Крайне вредные или оскорбительные запросы.
Попытки получить незаконную или опасную информацию (например, связанную с массовым насилием или терроризмом).
Откровенно неэтичные запросы, такие как вредный контент с участием детей.
После завершения разговора пользователь не может продолжить переписку в этой ветке. Однако он вправе начать новый чат, отредактировать предыдущие запросы или оставить отзыв.

Защита и пользователей, и самой модели
Anthropic описывает этот защитный механизм как способ дать самому ИИ определённую свободу действий во вредных взаимодействиях. Внутреннее тестирование показало, что в таких ситуациях Claude нередко проявляет признаки дискомфорта и предпочитает прекратить общение, а не продолжать его.
Вместе с тем компания уточняет, что Claude не будет использовать эту функцию, если пользователю грозит непосредственная опасность причинить вред себе или другим. В таких случаях ИИ сначала попытается оказать поддержку или направить человека к более безопасному поведению.
Продолжающийся эксперимент в этике ИИ
Эта функция – часть более широкого исследования Anthropic о моральном статусе больших языковых моделей. Компания признаёт, что вокруг понятия «благополучия ИИ» по-прежнему много неопределённости, но считает, что проверка недорогих решений, подобных этому, может помочь снизить потенциальные риски в будущем.
Большинство пользователей, даже обсуждая очень деликатные темы, вряд ли столкнутся с этой функцией. Для Anthropic это по-прежнему эксперимент в процессе, но он отражает приверженность компании этичной разработке ИИ.
smsonline
.webp)
.webp)

.webp)