Google и Кембридж научили ИИ мыслить картинками вместо текста

Учёные из Google и Кембриджа представили принципиально новый подход к работе искусственного интеллекта, названный «Visual Planning». Особенность этой технологии в том, что модель мыслит не текстом, а образами. Что гораздо ближе к естественному мышлению человека, особенно при решении пространственных и математических задач.

Исследователи опубликовали статью под названием «Visual Planning: Let’s Think Only with Images», где описали процесс обучения модели прохождению лабиринтов с использованием только визуального мышления, без текстовых рассуждений. Этот подход имитирует способность людей думать схемами и картинками при решении сложных задач. Ссылка в описании. 

Обучение модели проходило в два этапа. Сначала ей показывали множество изображений лабиринтов и учили предсказывать любой возможный следующий шаг. Например, если на картинке агент находится в клетке B, модель должна сгенерировать новое изображение, где агент перемещается в одну из доступных соседних клеток.

На втором этапе исследователи применили обучение с подкреплением. Модель получала положительное вознаграждение за правильный шаг, нулевое — за неправильный, и отрицательное — за недопустимое действие. Таким образом, постепенно она научилась выбирать оптимальные пути через лабиринт. Опираясь только на визуальные образы.

Результаты превзошли ожидания! Visual Planning превосходит даже такую продвинутую модель как Gemini два и пять Pro think в полтора-два раза по эффективности решения задач, требующих пространственного мышления. Я в приятном шоке!