Исследователь обошел защиту Claude и получил инструкцию по созданию зарина
Современные системы искусственного интеллекта часто сравнивают с оружием массового поражения из-за их потенциальной опасности. И недавний случай продемонстрировал, насколько обоснованы эти опасения. Компания Anthropic создала для своего искусственного интеллекта Claude самый обширный системный промпт, содержащий 25000 токенов или примерно 17000 слов. Для сравнения, системный промпт ChatGPT составляет всего около 2200 слов. И это лишь 13% от объёма инструкций Claude. Так вот, несмотря на такую защиту, исследователи нашли способы обойти ограничения.
Сначала 1 человек по имени Асгейр Тор смог убедить Claude игнорировать системный промпт, а затем другой человек по имени Иэн Маккензи пошёл дальше. За 6 часов работы с Claude 4 версии он получил подробную 15-страничную инструкцию по изготовлению зарина, описывающую все ключевые этапы производства химического оружия.
И это опровергает утверждения технооптимистов о том, что системные промпты надёжно защищают от злоупотреблений. И тут есть деталь – многие пытались найти подобные детальные инструкции с помощью Google, но безуспешно. А в сочетании с продвинутыми системами искусственного интеллекта получение такой информации оказалось возможным. Этот случай подтверждает слова известного учёного и профессора Станисласа Деана о рисках искусственного интеллекта: “Не время быть идиотами!”
Автор: AIvengo
5 лет я работаю с машинным обучением и искусственным интеллектом. И эта сфера не перестает меня удивлять, восхищать и интересовать.
Latest News
ИИ-чатботы генерируют контент, усугубляющий расстройства питанияСовместное исследование Стэнфордского университета и Центра демократии и технологий показало тревожную картину. Чат-боты с искусственным интеллектом представляют серьёзный риск для людей с расстройствами пищевого поведения. Учёные предупреждают, что нейросети раздают вредные советы о диетах. Предлагают способы скрыть расстройство и генерируют "вдохновляющий контент для похудения", который усугубляет проблему.
OpenAGI выпустил модель Lux, которая обгоняет Google и OpenAIСтартап OpenAGI выпустил модель Lux для управления компьютером и заявляет, что это прорыв. По бенчмаркам модель на целое поколение обгоняет аналоги от Google, OpenAI и Anthropic. Кроме того, она работает быстрее. Примерно 1 секунда на шаг вместо 3 секунд у конкурентов. И в 10 раз дешевле по стоимости обработки 1 токена.
Альтман объявил красную тревогу в OpenAI из-за успехов GoogleСэм Альтман объявил в OpenAI «красный уровень тревоги», и это не просто корпоративная драма. Это признание, что лидер рынка почувствовал дыхание конкурентов сзади. Согласно внутренней служебной записке, он мобилизует дополнительные ресурсы на улучшение ChatGPT в условиях растущей угрозы со стороны Google.
Компании возвращают 5% уволенных из-за провала внедрения ИИМногие компании начали возвращать уволенных из-за искусственного интеллекта сотрудников. Аналитическая компания Visier изучила данные о занятости 2,5 миллионов сотрудников из 142 компаний по всему миру. Около 5% уволенных сотрудников впоследствии вернулись к предыдущему работодателю. Этот показатель оставался стабильным несколько лет, но недавно начал расти.
