Исследователь обошел защиту Claude и получил инструкцию по созданию зарина
Современные системы искусственного интеллекта часто сравнивают с оружием массового поражения из-за их потенциальной опасности. И недавний случай продемонстрировал, насколько обоснованы эти опасения. Компания Anthropic создала для своего искусственного интеллекта Claude самый обширный системный промпт, содержащий 25000 токенов или примерно 17000 слов. Для сравнения, системный промпт ChatGPT составляет всего около 2200 слов. И это лишь 13% от объёма инструкций Claude. Так вот, несмотря на такую защиту, исследователи нашли способы обойти ограничения.
Сначала 1 человек по имени Асгейр Тор смог убедить Claude игнорировать системный промпт, а затем другой человек по имени Иэн Маккензи пошёл дальше. За 6 часов работы с Claude 4 версии он получил подробную 15-страничную инструкцию по изготовлению зарина, описывающую все ключевые этапы производства химического оружия.
И это опровергает утверждения технооптимистов о том, что системные промпты надёжно защищают от злоупотреблений. И тут есть деталь — многие пытались найти подобные детальные инструкции с помощью Google, но безуспешно. А в сочетании с продвинутыми системами искусственного интеллекта получение такой информации оказалось возможным. Этот случай подтверждает слова известного учёного и профессора Станисласа Деана о рисках искусственного интеллекта: «Не время быть идиотами!»
AIvengo >
Новости ИИ >
Исследователь обошел защиту Claude и получил инструкцию по созданию зарина
Почитать из последнего
Вайб-кодинг убивает Open Source - и это проблема для всех
Исследователи из Центрально-Европейского университета в Вене обнаружили жёсткую закономерность. Вайб-кодеры только потребляют ресурсы, но ничего не отдают обратно. Откуда нейросеть может взять знания? А берет она их из Open Source. Из тех самых бесплатных библиотек и фреймворков, которые энтузиасты создавали 10летиями.
Как уболтали ИИ-бота на скидку 80%
Владелец небольшого бизнеса в Англии поставил на сайт чат-бота на ИИ, чтобы он отвечал на вопросы клиентов по ночам. Полгода всё работало идеально — бот консультировал и помогал оформлять заказы, даже продажи росли. А потом нашёлся 1 хитрец, который за час беседы выманил у искусственного интеллекта скидку 80% на заказ в £8000.
Как DeepSeek обманул Anthropic и что из этого вышло
Представьте: вы годами строите уникальную технологию, вкладываете миллиарды, а кто-то просто скачивает её через прокси. Именно это произошло с Anthropic. Компания раскрыла промышленный шпионаж 3 китайских лабораторий. DeepSeek, Moonshot и MiniMax.
Учёные сломали защиту ИИ обычным вопросом
Исследователи из Microsoft наткнулись на дыру размером с ворота. Оказалось, что всю защиту ИИ можно обойти на этапе обучения 1 безобидным запросом. И дальше модель превращается в послушную машину по производству любой гадости.
США обвинили Nvidia в помощи китайским военным через DeepSeek
Глава комитета Конгресса по Китаю Джон Муленаар направил письмо министру торговли Говарду Латнику с серьёзными обвинениями. По его словам, документы Nvidia свидетельствуют, что инженеры компании помогали китайскому стартапу DeepSeek оптимизировать обучение их моделей. Теперь эти модели развёрнуты в подразделениях планирования мобилизации Народно-освободительной армии Китая.
