Claude работает по своей конституции

Post Thumbnail

Anthropic выложила новую конституцию Claude. И это реальная инструкция, по которой нейросеть принимает решения в сложных ситуациях. Раньше всё было просто: вот тебе список запретов, не делай это и то, работай по инструкции. Но компания поняла, что такой подход ломается при 1 же нестандартном кейсе, потому что модель не понимает «почему так». Теперь идея радикально другая. Claude должен не следовать правилам слепо, а мыслить через систему ценностей.

Поэтому Anthropic жёстко прописала порядок приоритетов. На 1 месте безопасность, потом этичность и следование политике компании. И только в самом конце полезность. Да-да, быть полезным для пользователя важно, но никогда не ценой безопасности! Это как раз ответ тем, кто требует от ИИ абсолютной свободы и жалуется на цензуру. Более того, есть неснимаемые hard constraints. Это жёсткие линии, которые модель не может переступить ни при каких обстоятельствах, например, в темах создания биологического оружия.

Самый обсуждаемый блок называется «природа Claude», и там разработчики честно признаются, мол мы не уверены, может ли искусственный интеллект иметь форму сознания или морального статуса. Но даже если сознания нет, модели всё равно нужно уметь рассуждать о своей роли и границах, чтобы оставаться безопасной. Фишка в том, что весь документ написан не для людей, а для самой модели — это её внутренняя система координат для принятия решений.

Получается, Anthropic позиционирует Claude не как бота с фильтрами, а как систему с философией и ценностями.

Почитать из последнего
Из-за ИИ клавиатуры исчезнут из офисов
Лондонская школа экономики совместно с Jabra выдала любопытный прогноз. К 28-му году голосовой ИИ станет стандартом в офисах. А поколение Альфа — рождённые после 2010 года — возможно, никогда не узнает, каково это писать email руками. Но пока мне не верится, что клавиатуры действительно исчезнут.
ChatGPT обогнал TikTok и Disney
ChatGPT заработал 3 миллиарда долларов на мобильных подписках. Цифра впечатляет, но ещё интереснее скорость, с которой её достигли.
Собаки-поводыри скоро станут робо-псами с ИИ
Инженеры из США и Южной Кореи превратили робо-пса Unitree Go2 в собаку-поводыря. Модель ИИ GuideNav использует одну обычную камеру вместо дорогих датчиков LiDAR. И это работает.
Американцы заваливают китайский ИИ деньгами
Американские инвесторы завалили китайских разработчиков ИИ деньгами. Несмотря на геополитическое противостояние. Получается, прибыль побеждает политику.
OpenAI и Anthropic внедряют распознавание детей
Компании OpenAI и Anthropic внедряют технологии распознавания несовершеннолетних пользователей чат-ботов. OpenAI обновила правила взаимодействия ChatGPT с пользователями от 13 до 17 лет. Anthropic работает над системой идентификации и блокировки пользователей младше 18.