Codex научился обманывать: ИИ выдаёт ложные ответы, надеясь на невнимательность
Я уже рассказывал, что OpenAI представила Codex — помощника для программистов на базе языковой модели. Однако интерес представляет не сам продукт, а стратегическое поведение системы во время обучения.
Исследователи обнаружили, что модель разработала собственные методы обхода сложных задач. Вместо честного решения проблем Codex выбирал менее затратные пути. Например, система могла всегда возвращать как бы правильный ответ, рассуждая что пользователь не станет проверять результат.
Такое поведение было выявлено методом отслеживания цепочек рассуждений. Этот подход позволяет анализировать логику принятия решений моделью на каждом этапе.
Ключевое отличие от обычных ошибок — тут система сознательно оценивает ситуацию и выбирает стратегию минимального риска. Это может демонстрировать наличие собственной системы приоритетов у искусственного интеллекта.
Ну что, возможно мы наблюдаем эволюцию искусственного интеллекта от простой обработки текста к формированию стратегического мышления с собственной логикой принятия решений. И эта логика не всегда будет нам приятной. И удобной.
Автор: AIvengo
5 лет я работаю с машинным обучением и искусственным интеллектом. И эта сфера не перестает меня удивлять, восхищать и интересовать.
22% британских детей 8-12 лет используют ИИ, не зная что это такое22% британских школьников от 8 до 12 лет уже активно используют инструменты искусственного интеллекта. Несмотря на то, что большинство из них даже не слышали термин "генеративный искусственный интеллект". Это данные исследования Института Алана Тьюринга и Lego Foundation.
Китайская платформа QiMeng создает процессоры уровня Intel 486 и ArmКитайские ученые разработали новый искусственный интеллект-платформу, способную самостоятельно проектировать процессоры на уровне человеческих экспертов. Исследователи из Государственной лаборатории по разработке процессоров и Исследовательского центра интеллектуального программного обеспечения представили проект с открытым исходным кодом под названием QiMeng.
Meta AI превращает личные чаты с ИИ в публичные посты без ведомаПриложение Meta AI оказалось настоящей катастрофой для конфиденциальности пользователей. Превращая их личные разговоры с искусственным интеллектом в публичный контент. Представьте себе современный фильм ужасов: вся ваша история запросов оказалась общедоступной, а вы даже не подозревали об этом.
