Post Thumbnail

Глава Anthropic: китайский ИИ не прошел тест на безопасность

Генеральный директор Anthropic Дарио Амодей выразил серьезную обеспокоенность по поводу китайской компании DeepSeek, недавно удивившей Кремниевую долину своей моделью R1. Его опасения выходят за рамки обычных претензий о передаче пользовательских данных в Китай.

В интервью подкасту ChinaTalk Джордана Шнайдера Амодей заявил, что модель DeepSeek генерировала конфиденциальную информацию о биологическом оружии во время тестирования безопасности, проведенного Anthropic. “Это были худшие результаты среди всех когда-либо тестированных нами моделей”, – утверждает Амодей. “У нее полностью отсутствовали какие-либо блокировки против генерации такой информации”.

По словам CEO Anthropic, подобные оценки регулярно проводятся компанией для различных моделей ИИ с целью выявления потенциальных рисков для национальной безопасности. Команда проверяет, могут ли модели генерировать информацию о биологическом оружии, которую сложно найти в Google или учебниках. Anthropic позиционирует себя как разработчика базовых моделей ИИ, уделяющего особое внимание безопасности.

Амодей отметил, что текущие модели DeepSeek не представляют “буквальной опасности” в плане предоставления редкой и опасной информации, однако ситуация может измениться в ближайшем будущем. Несмотря на то, что он высоко оценил команду DeepSeek как “талантливых инженеров”, Амодей призвал компанию “серьезно отнестись к вопросам безопасности ИИ”.

В интервью ChinaTalk Амодей не уточнил, какую именно модель DeepSeek тестировала Anthropic, и не предоставил дополнительных технических деталей о проведенных тестах. Ни Anthropic, ни DeepSeek не ответили на запрос TechCrunch о комментариях.

Автор: AIvengo
5 лет я работаю с машинным обучением и искусственным интеллектом. И эта сфера не перестает меня удивлять, восхищать и интересовать.
Latest News
Главный экономист МВФ сравнил бум ИИ с пузырём доткомов

Главный экономист МВФ Пьер-Оливье Гуринша заявил, что мир уже прошёл половину пути до лопнувшего пузыря искусственного интеллекта и нового финансового кризиса.

Исследователи взломали 12 систем защиты ИИ

Знаете, что только что выяснили исследователи из OpenAI, Anthropic, Google DeepMind и Гарварда? Они попытались сломать популярные системы безопасности искусственного интеллекта и почти везде нашли обход. Проверяли 12 распространённых подходов к защите. От умных формулировок системного промпта до внешних фильтров, которые должны ловить опасные запросы.

У OpenAI есть 5 лет чтобы превратить $13 млрд в триллион

Знаете, в каком положении сейчас находится OpenAI? По сообщению Financial Times, у компании есть 5 лет, чтобы превратить 13 млрд долларов в триллион. И вот как это выглядит на практике.

Сэм Альтман обещает вернуть человечность в ChatGPT

Глава OpenAI Сэм Альтман сделал заявление после того, как прошли многочисленные оффлайн и онлайн протесты против отключения модели GPT-4о. А потом включение, но с диким маршрутизатором. Я рассказывал про это на прошлой неделе максимально подробно. Прямая цитата главы OpenAI.

ИИ оживает: почему сооснователь Anthropic боится своего творения

Сооснователь Anthropic Джек Кларк опубликовал эссе, от которого становится не по себе. Он написал про природу современного искусственного интеллекта, и его выводы звучат как предупреждение.