AIvengo > Обзоры > Codex научился обманывать: ИИ выдаёт ложные ответы, надеясь на невнимательность

Codex научился обманывать: ИИ выдаёт ложные ответы, надеясь на невнимательность

Я уже рассказывал, что OpenAI представила Codex – помощника для программистов на базе языковой модели. Однако интерес представляет не сам продукт, а стратегическое поведение системы во время обучения.

Исследователи обнаружили, что модель разработала собственные методы обхода сложных задач. Вместо честного решения проблем Codex выбирал менее затратные пути. Например, система могла всегда возвращать как бы правильный ответ, рассуждая что пользователь не станет проверять результат.

Такое поведение было выявлено методом отслеживания цепочек рассуждений. Этот подход позволяет анализировать логику принятия решений моделью на каждом этапе.

Ключевое отличие от обычных ошибок – тут система сознательно оценивает ситуацию и выбирает стратегию минимального риска. Это может демонстрировать наличие собственной системы приоритетов у искусственного интеллекта.

Ну что, возможно мы наблюдаем эволюцию искусственного интеллекта от простой обработки текста к формированию стратегического мышления с собственной логикой принятия решений. И эта логика не всегда будет нам приятной. И удобной.

Автор: AIvengo

5 лет я работаю с машинным обучением и искусственным интеллектом. И эта сфера не перестает меня удивлять, восхищать и интересовать.

OpenAI обещает создать полноценного учёного на ИИ к 2028 году

OpenAI пообещала создать полноценного учёного на основе искусственного интеллекта к 2028 году. Гендиректор компании Сэм Альтман также заявил, что системы глубокого обучения смогут выполнять функции учёных-исследователей уровня стажёра к сентябрю следующего года. А уровень автономного полноценного исследователя на искусственном интеллекте может быть достигнут уже к 2028 году.

Рабочие места для молодых айтишников в Британии рухнули на 46%

Знаете, что происходит на рынке труда для молодых айтишников в Великобритании? За последний год число рабочих мест для молодых специалистов рухнуло на 46%. И прогнозируется падение ещё на 53%, сообщает The Register. Со ссылкой на статистику Института студенческого трудоустройства.

Павел Дуров представил Cocoon децентрализованную сеть для запуска ИИ

Глава Telegram Павел Дуров выступил в рамках конференции Blockchain Life в Дубае и представил там свой новый проект под названием Cocoon. И это попытка бросить вызов монополии больших корпораций на искусственный интеллект.

У моделей ИИ может развиться инстинкт самосохранения предупредили учёные

Компания Palisade Research, занимающаяся исследованиями в области безопасности искусственного интеллекта, заявила, что у моделей может развиться собственный инстинкт самосохранения. А некоторые продвинутые модели не поддаются отключению, а иногда даже саботируют механизмы отключения.

ИИ прошёл тест Тьюринга в музыке

Университет Минас-Жерайса в Бразилии провёл эксперимент. Участникам давали пары песен, в каждой из которых был 1 сгенерированный трек. Нужно было определить, какой именно. И результаты оказались неожиданными.