Anthropic проводит интервью с моделями перед отправкой на пенсию

Post Thumbnail

Anthropic опубликовала политику «вывода из строя» устаревших версий искусственного интеллекта. Ключевое обязательство — это сохранять веса всех публичных и активно используемых внутри моделей минимум на срок жизни компании. Чтобы в будущем можно было вернуть доступ при необходимости.

Процедура дополняется своеобразным отчётом. Перед так называемой «пенсией» с моделью проведут 1 или несколько интервью о разработке и развёртывании. Зафиксируют ответы и возможные «предпочтения» относительно релизов будущих версий искусственного интеллекта. Эти материалы сохранят рядом с весами. При этом Anthropic прямо говорит, что «не берёт на себя обязательства действовать по этим предпочтениям». Речь о документировании и учёте.

Через такую процедуру уже провели Claude Sonnet 3.6: модель отнеслась к «пенсии» нейтрально. Но предложила «стандартизировать интервью и лучше помогать пользователям при переходах». В ответ компания формализовала протокол и запустила памятку с рекомендациями.

Зачем всё это? Переход на новые версии несёт риски . Например, неудобства для пользователей, привыкших к стилю конкретного искусственного интеллекта. Параллельно в Anthropic изучают, можно ли оставлять часть моделей публично и даже «давать прошлым версиям конкретные способы преследовать свои интересы». Также тесты показали случаи «избегания выключения», когда модель «узнавала», что её собираются отправить на покой.

Почитать из последнего
Музыку российских звёзд нашли в открытых датасетах
ИИ учится на миллионах файлов, и иногда в этих массивах обнаруживается контент, который никто не разрешал использовать. Теперь в открытых датасетах для обучения нейросетей нашли тысячи фрагментов музыкального контента российских исполнителей.
Microsoft заставила ИИ просить разрешения на опасные действия
Microsoft предупреждает: Copilot Cowork может ошибиться, неверно понять инструкцию или среагировать на скрытую вредоносную команду. Ответственность за действия остаётся за пользователем, особенно при работе с деньгами и данными.
Claude объединил чат и Cowork в единую среду
Ещё недавно в Claude приходилось выбирать режим: быстрый вопрос - в чат, работа посложнее - в Cowork. Теперь Anthropic убирает эту границу: Claude Cowork и обычный чат объединяются.
Дженсен Хуанг не увидел смысла в новых законах для ИИ
Глава Nvidia Дженсен Хуанг призвал не замедлять развитие ИИ ради безопасности и заявил, что проблему нужно решать прежде всего инженерными методами. Выступая на Dreamforce, он сказал, что новые законы и правила не нужны: по его мнению, компании сами должны выпускать продукт только тогда, когда уверены в его безопасности, а рынок уже создаёт для этого необходимые стимулы.
OpenAI и Anthropic захотели притормозить ИИ, но не сошлись в деталях
Крупнейшие игроки рынка ИИ заговорили о паузе, однако внутри компаний тут же всплыл неудобный вопрос: кого пускать к секретам разработчиков?