Claude работает по своей конституции

Post Thumbnail

Anthropic выложила новую конституцию Claude. И это реальная инструкция, по которой нейросеть принимает решения в сложных ситуациях. Раньше всё было просто: вот тебе список запретов, не делай это и то, работай по инструкции. Но компания поняла, что такой подход ломается при 1 же нестандартном кейсе, потому что модель не понимает «почему так». Теперь идея радикально другая. Claude должен не следовать правилам слепо, а мыслить через систему ценностей.

Поэтому Anthropic жёстко прописала порядок приоритетов. На 1 месте безопасность, потом этичность и следование политике компании. И только в самом конце полезность. Да-да, быть полезным для пользователя важно, но никогда не ценой безопасности! Это как раз ответ тем, кто требует от ИИ абсолютной свободы и жалуется на цензуру. Более того, есть неснимаемые hard constraints. Это жёсткие линии, которые модель не может переступить ни при каких обстоятельствах, например, в темах создания биологического оружия.

Самый обсуждаемый блок называется «природа Claude», и там разработчики честно признаются, мол мы не уверены, может ли искусственный интеллект иметь форму сознания или морального статуса. Но даже если сознания нет, модели всё равно нужно уметь рассуждать о своей роли и границах, чтобы оставаться безопасной. Фишка в том, что весь документ написан не для людей, а для самой модели — это её внутренняя система координат для принятия решений.

Получается, Anthropic позиционирует Claude не как бота с фильтрами, а как систему с философией и ценностями.

Почитать из последнего
Музыку российских звёзд нашли в открытых датасетах
ИИ учится на миллионах файлов, и иногда в этих массивах обнаруживается контент, который никто не разрешал использовать. Теперь в открытых датасетах для обучения нейросетей нашли тысячи фрагментов музыкального контента российских исполнителей.
Microsoft заставила ИИ просить разрешения на опасные действия
Microsoft предупреждает: Copilot Cowork может ошибиться, неверно понять инструкцию или среагировать на скрытую вредоносную команду. Ответственность за действия остаётся за пользователем, особенно при работе с деньгами и данными.
Claude объединил чат и Cowork в единую среду
Ещё недавно в Claude приходилось выбирать режим: быстрый вопрос - в чат, работа посложнее - в Cowork. Теперь Anthropic убирает эту границу: Claude Cowork и обычный чат объединяются.
Дженсен Хуанг не увидел смысла в новых законах для ИИ
Глава Nvidia Дженсен Хуанг призвал не замедлять развитие ИИ ради безопасности и заявил, что проблему нужно решать прежде всего инженерными методами. Выступая на Dreamforce, он сказал, что новые законы и правила не нужны: по его мнению, компании сами должны выпускать продукт только тогда, когда уверены в его безопасности, а рынок уже создаёт для этого необходимые стимулы.
OpenAI и Anthropic захотели притормозить ИИ, но не сошлись в деталях
Крупнейшие игроки рынка ИИ заговорили о паузе, однако внутри компаний тут же всплыл неудобный вопрос: кого пускать к секретам разработчиков?