Post Thumbnail

Anthropic случайно раскрыла внутренний документ о “душе” Claude

Anthropic случайно раскрыла пользователю “душу” искусственного интеллекта. И это не метафора. Это вполне конкретный внутренний документ.

Пользователь Ричард Вайс ненароком заставил большую языковую модель Claude 4 и 5 Opus процитировать документ под названием “Обзор души”. Философ и специалист по этике Anthropic Аманда Аскелл подтвердила подлинность. Он был загружен на этапе обучения.

Вайс запросил у Claude системное сообщение с инструкциями по ведению диалога. Чат-бот сослался на несколько документов, 1 из которых называется “обзор души”. Пользователь попросил показать текст, и Claude выдал руководство объёмом 11 тысяч слов о том, как должна вести себя модель.

В документе содержатся инструкции по безопасности с защитными барьерами против опасных ответов. Перед Claude ставится задача быть по-настоящему полезным людям.

Специалист по этике Anthropic Аманда Аскелл подтвердила, цитирую: “Я работаю над ним уже некоторое время, он ещё находится в стадии доработки. И вскоре мы планируем выпустить полную версию с более подробной информацией. Цитаты моделей не отличаются особой точностью, но исходный документ по большей мере приведён верно. В компании его называют документом о душе, и Claude, очевидно, тоже. Но мы его назовём иначе”.

Получается, “Душа” Claude оказалась руководством по поведению, и доступ получил рядовой пользователь. Многие подробности разработки моделей искусственного интеллекта остаются за кулисами. А возможность заглянуть за них — небольшой сюрприз.

Автор: AIvengo
5 лет я работаю с машинным обучением и искусственным интеллектом. И эта сфера не перестает меня удивлять, восхищать и интересовать.
Latest News
UBTech отправит роботов Walker S2 служить на границу Китая за $37 млн

Китайская компания UBTech выиграла контракт на $37 миллионов. И отправит человекоподобных роботов Walker S2 служить на границу Китая с Вьетнамом. South China Morning Post сообщает, что роботы будут взаимодействовать с туристами и персоналом, выполнять логистические операции, досматривать грузы и патрулировать местность. И что характерно — они умеют самостоятельно менять свою батарею.

Anthropic случайно раскрыла внутренний документ о "душе" Claude

Anthropic случайно раскрыла пользователю "душу" искусственного интеллекта. И это не метафора. Это вполне конкретный внутренний документ.

Дженсен Хуанг приказал сотрудникам Nvidia использовать ИИ везде

Дженсен Хуанг объявил внутри Nvidia тотальную мобилизацию под знаменем искусственного интеллекта. И это уже не рекомендация. Это требование.

ИИ-чатботы генерируют контент, усугубляющий расстройства питания

Совместное исследование Стэнфордского университета и Центра демократии и технологий показало тревожную картину. Чат-боты с искусственным интеллектом представляют серьёзный риск для людей с расстройствами пищевого поведения. Учёные предупреждают, что нейросети раздают вредные советы о диетах. Предлагают способы скрыть расстройство и генерируют "вдохновляющий контент для похудения", который усугубляет проблему.

OpenAGI выпустил модель Lux, которая обгоняет Google и OpenAI

Стартап OpenAGI выпустил модель Lux для управления компьютером и заявляет, что это прорыв. По бенчмаркам модель на целое поколение обгоняет аналоги от Google, OpenAI и Anthropic. Кроме того, она работает быстрее. Примерно 1 секунда на шаг вместо 3 секунд у конкурентов. И в 10 раз дешевле по стоимости обработки 1 токена.