Codex научился обманывать: ИИ выдаёт ложные ответы, надеясь на невнимательность

Я уже рассказывал, что OpenAI представила Codex — помощника для программистов на базе языковой модели. Однако интерес представляет не сам продукт, а стратегическое поведение системы во время обучения.

Исследователи обнаружили, что модель разработала собственные методы обхода сложных задач. Вместо честного решения проблем Codex выбирал менее затратные пути. Например, система могла всегда возвращать как бы правильный ответ, рассуждая что пользователь не станет проверять результат.

Такое поведение было выявлено методом отслеживания цепочек рассуждений. Этот подход позволяет анализировать логику принятия решений моделью на каждом этапе.

Ключевое отличие от обычных ошибок — тут система сознательно оценивает ситуацию и выбирает стратегию минимального риска. Это может демонстрировать наличие собственной системы приоритетов у искусственного интеллекта.

Ну что, возможно мы наблюдаем эволюцию искусственного интеллекта от простой обработки текста к формированию стратегического мышления с собственной логикой принятия решений. И эта логика не всегда будет нам приятной. И удобной.

AIvengo > Новости ИИ > Codex научился обманывать: ИИ выдаёт ложные ответы, надеясь на невнимательность

Канадцы создали робота, который делает маникюр за 20 минут

Канадский стартап Umia выпустил компактный аппарат для маникюра с ИИ. И это выглядит как издевательство над индустрией красоты. Принцип работы простой до безобразия: засовываешь палец внутрь, встроенная камера сканирует размеры и форму ногтя, затем машина наносит и закрепляет 3 слоя гель-лака. На каждый ноготь уходит примерно 1,5 минуты, а на весь процесс — не больше 20 минут.

Андрей Карпаты признался, что чувствует себя отстающим в мире ИИ

Бывший директор по ИИ Tesla и OpenAI Андрей Карпаты, выдал тут новый откровения. "Я никогда не чувствовал себя настолько отстающим как программист", — сообщил он. И далее, цитирую.

ChatGPT захватывает университеты США

OpenAI закрепилась во многих университетах США. Лицензии используют студенты, преподаватели и сотрудники. То есть практически все, кто имеет отношение к университету.

OpenAI ищет человека, который будет предотвращать апокалипсис от ИИ

OpenAI открыла вакансию Head of Preparedness. Главная идея роли: понимать, где ИИ может пойти не туда. Предотвращать злоупотребления, усиливать защиту кибербезопасности и закладывать правила для систем, которые умеют самоулучшаться.

В Китае открыли школу, где гуманоидов учат как на уроках труда

В Китае заработал учебный центр для гуманоидов. И это выглядит как издевательство над понятием "быстрое обучение". 2 этажа с воссозданными производственными линиями и домашними интерьерами. Роботы учатся сортировать катушки, упаковывать посылки, готовить еду и убирать спальню. Как на уроках труда, только дороже.