Необычное сотрудничество конкурентов в тестировании безопасности ИИ

Post Thumbnail

2 главных конкурента в мире искусственного интеллекта впервые объединились для совместного тестирования безопасности. OpenAI и Anthropic открыли друг другу доступ к своим секретным моделям. В индустрии, где компании платят исследователям по $100 млн и борются за каждого пользователя, такое сотрудничество выглядит невероятным.

Сооснователь OpenAI Войцех Заремба объяснил важность момента. Миллионы людей используют искусственный интеллект каждый день. Технологии стали настолько влиятельными, что безопасность важнее корпоративной конкуренции. Компании должны установить общие стандарты, несмотря на миллиардные инвестиции и войну за таланты.

Для исследования компании предоставили друг другу специальный доступ к моделям с ослабленными защитными механизмами. Это позволило найти слепые зоны в системах безопасности каждой компании. GPT-5 не участвовала в тестировании, потому что ещё не была выпущена.

Самое интересное открытие касается галлюцинаций. Claude Opus 4 и Sonnet 4 отказываются отвечать на 70% вопросов, когда не уверены в ответе. Модели честно говорят пользователю, что у них нет надёжной информации. Модели OpenAI o3 и o4-mini ведут себя иначе. Они почти всегда пытаются дать ответ, даже когда не знают правильного. Результат предсказуемый. Высокий уровень галлюцинаций и ложной информации.

Сооснователь OpenAI Войцех Заремба признаёт проблему. Модели OpenAI слишком самоуверенны, а модели Anthropic слишком осторожны. Правильный баланс где-то посередине. Пользователям нужны и полезные ответы, и честность о границах знаний модели.

История получила драматичное продолжение. После завершения исследования Anthropic отозвала доступ у другой команды OpenAI. Причина в нарушении условий использования. Запрещено использовать Claude для улучшения конкурирующих продуктов. Заремба утверждает, что эти события не связаны с совместным исследованием безопасности.

Николас Карлини из Anthropic смотрит в будущее с оптимизмом. Он хочет продолжать предоставлять исследователям безопасности OpenAI доступ к моделям Claude. Цель амбициозная. Сделать такое сотрудничество регулярным явлением в индустрии.

AIvengo > Новости ИИ > Необычное сотрудничество конкурентов в тестировании безопасности ИИ
Почитать из последнего
Вайб-кодинг убивает Open Source - и это проблема для всех
Исследователи из Центрально-Европейского университета в Вене обнаружили жёсткую закономерность. Вайб-кодеры только потребляют ресурсы, но ничего не отдают обратно. Откуда нейросеть может взять знания? А берет она их из Open Source. Из тех самых бесплатных библиотек и фреймворков, которые энтузиасты создавали 10летиями.
Как уболтали ИИ-бота на скидку 80%
Владелец небольшого бизнеса в Англии поставил на сайт чат-бота на ИИ, чтобы он отвечал на вопросы клиентов по ночам. Полгода всё работало идеально — бот консультировал и помогал оформлять заказы, даже продажи росли. А потом нашёлся 1 хитрец, который за час беседы выманил у искусственного интеллекта скидку 80% на заказ в £8000.
Как DeepSeek обманул Anthropic и что из этого вышло
Представьте: вы годами строите уникальную технологию, вкладываете миллиарды, а кто-то просто скачивает её через прокси. Именно это произошло с Anthropic. Компания раскрыла промышленный шпионаж 3 китайских лабораторий. DeepSeek, Moonshot и MiniMax.
Учёные сломали защиту ИИ обычным вопросом
Исследователи из Microsoft наткнулись на дыру размером с ворота. Оказалось, что всю защиту ИИ можно обойти на этапе обучения 1 безобидным запросом. И дальше модель превращается в послушную машину по производству любой гадости.
США обвинили Nvidia в помощи китайским военным через DeepSeek
Глава комитета Конгресса по Китаю Джон Муленаар направил письмо министру торговли Говарду Латнику с серьёзными обвинениями. По его словам, документы Nvidia свидетельствуют, что инженеры компании помогали китайскому стартапу DeepSeek оптимизировать обучение их моделей. Теперь эти модели развёрнуты в подразделениях планирования мобилизации Народно-освободительной армии Китая.