Необычное сотрудничество конкурентов в тестировании безопасности ИИ

Post Thumbnail

2 главных конкурента в мире искусственного интеллекта впервые объединились для совместного тестирования безопасности. OpenAI и Anthropic открыли друг другу доступ к своим секретным моделям. В индустрии, где компании платят исследователям по $100 млн и борются за каждого пользователя, такое сотрудничество выглядит невероятным.

Сооснователь OpenAI Войцех Заремба объяснил важность момента. Миллионы людей используют искусственный интеллект каждый день. Технологии стали настолько влиятельными, что безопасность важнее корпоративной конкуренции. Компании должны установить общие стандарты, несмотря на миллиардные инвестиции и войну за таланты.

Для исследования компании предоставили друг другу специальный доступ к моделям с ослабленными защитными механизмами. Это позволило найти слепые зоны в системах безопасности каждой компании. GPT-5 не участвовала в тестировании, потому что ещё не была выпущена.

Самое интересное открытие касается галлюцинаций. Claude Opus 4 и Sonnet 4 отказываются отвечать на 70% вопросов, когда не уверены в ответе. Модели честно говорят пользователю, что у них нет надёжной информации. Модели OpenAI o3 и o4-mini ведут себя иначе. Они почти всегда пытаются дать ответ, даже когда не знают правильного. Результат предсказуемый. Высокий уровень галлюцинаций и ложной информации.

Сооснователь OpenAI Войцех Заремба признаёт проблему. Модели OpenAI слишком самоуверенны, а модели Anthropic слишком осторожны. Правильный баланс где-то посередине. Пользователям нужны и полезные ответы, и честность о границах знаний модели.

История получила драматичное продолжение. После завершения исследования Anthropic отозвала доступ у другой команды OpenAI. Причина в нарушении условий использования. Запрещено использовать Claude для улучшения конкурирующих продуктов. Заремба утверждает, что эти события не связаны с совместным исследованием безопасности.

Николас Карлини из Anthropic смотрит в будущее с оптимизмом. Он хочет продолжать предоставлять исследователям безопасности OpenAI доступ к моделям Claude. Цель амбициозная. Сделать такое сотрудничество регулярным явлением в индустрии.

AIvengo > Новости ИИ > Необычное сотрудничество конкурентов в тестировании безопасности ИИ
Почитать из последнего
Молчаливый тиктокер с покерфейсом продал свою компанию за 900 миллионов
Хаби Лейм – это такой молчаливый тиктокер с покерфейсом и 160 миллионами подписчиков. И вот он продал свою компанию за $900 миллионов. Сумма огромная, но нюанс в том, что это за продажа. Фишка в условиях контракта - это создание искусственного аватара, который будет вести стримы, сниматься в рекламе и продавать товары 24 часа в сутки. Пока настоящий Хаби спит или играет, его цифровая копия будет вкалывать в другом часовом поясе.
Гуманоиды работают в три раза хуже людей
Знаете, что объединяет хайп вокруг гуманоидов и реальность? Ничего. Но некоторые паникуют из-за того, что гуманоиды массово заменят людей на заводах. И тут директор китайской компании UBTech Майкл Там взял и честно признался Financial Times. Их новейшие человекоподобные роботы достигают производительности всего в 30-50% от человеческой. И это только в простейших операциях типа складывания коробок или контроля качества. Грубо говоря, 1 работник человек делает столько же, сколько 2-3 робота вместе взятых.
Clawdbot слил ключи и переписки сотен пользователей (я вас предупреждал)
Я вчера вам рассказывал про открытый ИИ-ассистент Clawdbot, который взорвал GitHub. 60 тысяч звёзд за 3 дня, все в восторге, все ставят себе. Но я вас предупредил про безопасность. И тут исследователь Джеймисон О'Рейли просто вбивает пару запросов и находит сотни публично доступных серверов. Без аутентификации. С API-ключами, токенами мессенджеров и полной историей переписок на блюдечке.
Ведущие учёные по ИИ попались на выдуманных ИИ цитатах
Когда престижная конференция по ИИ сама становится жертвой галлюцинаций нейросетей, ирония зашкаливает. GPTZero просканировал все 4841 работу, принятую на Conference on Neural Information Processing Systems в декабре в Сан-Диего. И обнаружил 100 подтверждённых фальшивых цитат в 51 статье. Причём речь идёт о ведущих умах индустрии искусственного интеллекта.
OpenAI запускает рекламу в ChatGPT от 60 долларов
OpenAI решила монетизировать ChatGPT через рекламу, и цены оказались космическими. Около $60 за 1000 просмотров. Это уровень премиум-контента на телевидении вроде матчей NFL, когда миллионы людей смотрят одновременно. И бренды готовы платить безумные деньги. Только вот между телетрансляцией финала чемпионата и чатботом есть небольшая разница. Это масштаб аудитории и проверенная модель монетизации.