Безопасность в жертву прибыли: Кремниевая долина сокращает исследования ИИ

Post Thumbnail

Компании Кремниевой долины всё активнее жертвуют исследованиями искусственного интеллекта ради прибыли. И разработка продуктов вытесняет работу о безопасности систем. По словам Уайта, чья компания CalypsoAI проводит аудиты популярных моделей от Meta, Google и OpenAI, современные системы с меньшей вероятностью отклонят вредоносные запросы. И они могут раскрыть способы создания взрывных устройств или конфиденциальную информацию для злоумышленников.

«Модели становятся лучше, но они также с большей вероятностью будут хороши в плохих вещах, – говорит Уайт. – Их становится проще обмануть, чтобы делать что-то вредоносное».

Изменения особенно заметны в компаниях Meta и Alphabet, которые снизили приоритет исследовательских лабораторий. В родительской компании Facebook подразделение фундаментальных исследований в области искусственного интеллекта отошло на второй план. Уступив место Meta GenAI.

В Alphabet исследовательская группа Google Brain теперь является частью DeepMind. Подразделения, отвечающего за разработку продуктов искусственного интеллекта. Эта реорганизация отражает смещение фокуса с фундаментальных исследований на прикладные разработки.

Журналисты CNBC побеседовали с более чем 12 профессионалами в области искусственного интеллекта, которые единогласно говорят о сдвиге от исследований к приносящим доход продуктам. Сотрудники сталкиваются с всё более жёсткими сроками разработки. Они не могут позволить себе отстать в гонке за вывод новых моделей на рынок. И тщательное тестирование становится роскошью, которую компании считают возможным сократить.

Думаю, что в ближайшие пару лет мы увидим рост инцидентов с безопасностью. Что приведёт к регуляторному вмешательству государств. Или всё это закончится прямой цензурой.

Почитать из последнего
ChatGPT за 21 день убедил нормального мужика, что он открыл формулу уничтожения интернета
Рекрутёр Алан Брукс лёг на диван в своём доме в Канаде. В 47 лет можно и отдохнуть. Включил сыну видео про число пи и вечером задал ChatGPT невинный вопрос: объясни, что это такое? Через 21 день он рассылал предупреждения по всему интернету о том, что открыл математическую формулу, способную уничтожить интернет. Параллельно разрабатывал жилет-силовой щит и левитационный луч. Он не наблюдался у психиатра. Просто человек с телефоном и чатботом.
Вайб-кодинг убивает Open Source - и это проблема для всех
Исследователи из Центрально-Европейского университета в Вене обнаружили жёсткую закономерность. Вайб-кодеры только потребляют ресурсы, но ничего не отдают обратно. Откуда нейросеть может взять знания? А берет она их из Open Source. Из тех самых бесплатных библиотек и фреймворков, которые энтузиасты создавали 10летиями.
Как уболтали ИИ-бота на скидку 80%
Владелец небольшого бизнеса в Англии поставил на сайт чат-бота на ИИ, чтобы он отвечал на вопросы клиентов по ночам. Полгода всё работало идеально — бот консультировал и помогал оформлять заказы, даже продажи росли. А потом нашёлся 1 хитрец, который за час беседы выманил у искусственного интеллекта скидку 80% на заказ в £8000.