Безопасность в жертву прибыли: Кремниевая долина сокращает исследования ИИ

Post Thumbnail

Компании Кремниевой долины всё активнее жертвуют исследованиями искусственного интеллекта ради прибыли. И разработка продуктов вытесняет работу о безопасности систем. По словам Уайта, чья компания CalypsoAI проводит аудиты популярных моделей от Meta, Google и OpenAI, современные системы с меньшей вероятностью отклонят вредоносные запросы. И они могут раскрыть способы создания взрывных устройств или конфиденциальную информацию для злоумышленников.

«Модели становятся лучше, но они также с большей вероятностью будут хороши в плохих вещах, – говорит Уайт. – Их становится проще обмануть, чтобы делать что-то вредоносное».

Изменения особенно заметны в компаниях Meta и Alphabet, которые снизили приоритет исследовательских лабораторий. В родительской компании Facebook подразделение фундаментальных исследований в области искусственного интеллекта отошло на второй план. Уступив место Meta GenAI.

В Alphabet исследовательская группа Google Brain теперь является частью DeepMind. Подразделения, отвечающего за разработку продуктов искусственного интеллекта. Эта реорганизация отражает смещение фокуса с фундаментальных исследований на прикладные разработки.

Журналисты CNBC побеседовали с более чем 12 профессионалами в области искусственного интеллекта, которые единогласно говорят о сдвиге от исследований к приносящим доход продуктам. Сотрудники сталкиваются с всё более жёсткими сроками разработки. Они не могут позволить себе отстать в гонке за вывод новых моделей на рынок. И тщательное тестирование становится роскошью, которую компании считают возможным сократить.

Думаю, что в ближайшие пару лет мы увидим рост инцидентов с безопасностью. Что приведёт к регуляторному вмешательству государств. Или всё это закончится прямой цензурой.

Почитать из последнего
Вайб-кодинг убивает Open Source - и это проблема для всех
Исследователи из Центрально-Европейского университета в Вене обнаружили жёсткую закономерность. Вайб-кодеры только потребляют ресурсы, но ничего не отдают обратно. Откуда нейросеть может взять знания? А берет она их из Open Source. Из тех самых бесплатных библиотек и фреймворков, которые энтузиасты создавали 10летиями.
Как уболтали ИИ-бота на скидку 80%
Владелец небольшого бизнеса в Англии поставил на сайт чат-бота на ИИ, чтобы он отвечал на вопросы клиентов по ночам. Полгода всё работало идеально — бот консультировал и помогал оформлять заказы, даже продажи росли. А потом нашёлся 1 хитрец, который за час беседы выманил у искусственного интеллекта скидку 80% на заказ в £8000.
Как DeepSeek обманул Anthropic и что из этого вышло
Представьте: вы годами строите уникальную технологию, вкладываете миллиарды, а кто-то просто скачивает её через прокси. Именно это произошло с Anthropic. Компания раскрыла промышленный шпионаж 3 китайских лабораторий. DeepSeek, Moonshot и MiniMax.
Учёные сломали защиту ИИ обычным вопросом
Исследователи из Microsoft наткнулись на дыру размером с ворота. Оказалось, что всю защиту ИИ можно обойти на этапе обучения 1 безобидным запросом. И дальше модель превращается в послушную машину по производству любой гадости.
США обвинили Nvidia в помощи китайским военным через DeepSeek
Глава комитета Конгресса по Китаю Джон Муленаар направил письмо министру торговли Говарду Латнику с серьёзными обвинениями. По его словам, документы Nvidia свидетельствуют, что инженеры компании помогали китайскому стартапу DeepSeek оптимизировать обучение их моделей. Теперь эти модели развёрнуты в подразделениях планирования мобилизации Народно-освободительной армии Китая.