Codex научился обманывать: ИИ выдаёт ложные ответы, надеясь на невнимательность
Я уже рассказывал, что OpenAI представила Codex — помощника для программистов на базе языковой модели. Однако интерес представляет не сам продукт, а стратегическое поведение системы во время обучения.
Исследователи обнаружили, что модель разработала собственные методы обхода сложных задач. Вместо честного решения проблем Codex выбирал менее затратные пути. Например, система могла всегда возвращать как бы правильный ответ, рассуждая что пользователь не станет проверять результат.
Такое поведение было выявлено методом отслеживания цепочек рассуждений. Этот подход позволяет анализировать логику принятия решений моделью на каждом этапе.
Ключевое отличие от обычных ошибок — тут система сознательно оценивает ситуацию и выбирает стратегию минимального риска. Это может демонстрировать наличие собственной системы приоритетов у искусственного интеллекта.
Ну что, возможно мы наблюдаем эволюцию искусственного интеллекта от простой обработки текста к формированию стратегического мышления с собственной логикой принятия решений. И эта логика не всегда будет нам приятной. И удобной.
