Глава Anthropic: китайский ИИ не прошел тест на безопасность

Post Thumbnail

Генеральный директор Anthropic Дарио Амодей выразил серьезную обеспокоенность по поводу китайской компании DeepSeek, недавно удивившей Кремниевую долину своей моделью R1. Его опасения выходят за рамки обычных претензий о передаче пользовательских данных в Китай.

В интервью подкасту ChinaTalk Джордана Шнайдера Амодей заявил, что модель DeepSeek генерировала конфиденциальную информацию о биологическом оружии во время тестирования безопасности, проведенного Anthropic. «Это были худшие результаты среди всех когда-либо тестированных нами моделей», — утверждает Амодей. «У нее полностью отсутствовали какие-либо блокировки против генерации такой информации».

По словам CEO Anthropic, подобные оценки регулярно проводятся компанией для различных моделей ИИ с целью выявления потенциальных рисков для национальной безопасности. Команда проверяет, могут ли модели генерировать информацию о биологическом оружии, которую сложно найти в Google или учебниках. Anthropic позиционирует себя как разработчика базовых моделей ИИ, уделяющего особое внимание безопасности.

Амодей отметил, что текущие модели DeepSeek не представляют «буквальной опасности» в плане предоставления редкой и опасной информации, однако ситуация может измениться в ближайшем будущем. Несмотря на то, что он высоко оценил команду DeepSeek как «талантливых инженеров», Амодей призвал компанию «серьезно отнестись к вопросам безопасности ИИ».

В интервью ChinaTalk Амодей не уточнил, какую именно модель DeepSeek тестировала Anthropic, и не предоставил дополнительных технических деталей о проведенных тестах. Ни Anthropic, ни DeepSeek не ответили на запрос TechCrunch о комментариях.

Почитать из последнего
Вайб-кодинг убивает Open Source - и это проблема для всех
Исследователи из Центрально-Европейского университета в Вене обнаружили жёсткую закономерность. Вайб-кодеры только потребляют ресурсы, но ничего не отдают обратно. Откуда нейросеть может взять знания? А берет она их из Open Source. Из тех самых бесплатных библиотек и фреймворков, которые энтузиасты создавали 10летиями.
Как уболтали ИИ-бота на скидку 80%
Владелец небольшого бизнеса в Англии поставил на сайт чат-бота на ИИ, чтобы он отвечал на вопросы клиентов по ночам. Полгода всё работало идеально — бот консультировал и помогал оформлять заказы, даже продажи росли. А потом нашёлся 1 хитрец, который за час беседы выманил у искусственного интеллекта скидку 80% на заказ в £8000.
Как DeepSeek обманул Anthropic и что из этого вышло
Представьте: вы годами строите уникальную технологию, вкладываете миллиарды, а кто-то просто скачивает её через прокси. Именно это произошло с Anthropic. Компания раскрыла промышленный шпионаж 3 китайских лабораторий. DeepSeek, Moonshot и MiniMax.
Учёные сломали защиту ИИ обычным вопросом
Исследователи из Microsoft наткнулись на дыру размером с ворота. Оказалось, что всю защиту ИИ можно обойти на этапе обучения 1 безобидным запросом. И дальше модель превращается в послушную машину по производству любой гадости.
США обвинили Nvidia в помощи китайским военным через DeepSeek
Глава комитета Конгресса по Китаю Джон Муленаар направил письмо министру торговли Говарду Латнику с серьёзными обвинениями. По его словам, документы Nvidia свидетельствуют, что инженеры компании помогали китайскому стартапу DeepSeek оптимизировать обучение их моделей. Теперь эти модели развёрнуты в подразделениях планирования мобилизации Народно-освободительной армии Китая.