Кажется, современные модели не любят грубость в промтах

Post Thumbnail

Учёные из Университета штата Пенсильвания решили проверить безумную гипотезу: а что если грубость в запросах улучшает ответы ИИ? Они задавали GPT-4o по 50 вопросов из разных областей знаний, формулируя их в разном тоне – от предельно вежливого до откровенно хамского. Результат оказался неожиданным. Более резкий тон повысил точность ответов с 80.8 процента до 84.8. Казалось бы, вот оно – научное обоснование того, что с нейросетями надо общаться как с подчинёнными!

Но не тут-то было. Другая группа исследователей раскритиковала эту работу за слишком маленькую выборку и провела собственный эксперимент на нескольких моделях, каждую протестировав на сотнях вопросов. И картина получилась совсем другая. Gemini 2.0 Flash оказалась полностью невосприимчива к тону запроса. А результаты GPT-4o mini и Llama4 Scout в гуманитарных задачах вообще ухудшались при грубом обращении. Нейросети словно обиделись и начали работать хуже.

Попытки подобрать универсальный стиль промпта идут уже не первый год, но результаты противоречивые. Например, для ранних моделей вроде GPT-3.5 вежливые запросы работали заметно эффективнее грубых. Модели прямо зеркалили поведение пользователя. А учёные из Пенсильванского университета вообще пришли к выводу, что даже для одной модели сложно предсказать реакцию на тон. Иногда вежливость улучшает результат, а иногда снижает.

Универсального бенчмарка на эффективность грубости и лести для ИИ пока нет. Получается, что вопрос «грубить ли нейросети» остаётся открытым. И каждая модель реагирует по-своему.

Gemini, Gemini 2.0 Flash, GPT, GPT-3.5, GPT-4o, GPT-4o mini, Llama, Llama4 Scout
AIvengo > Новости ИИ > Кажется, современные модели не любят грубость в промтах
Почитать из последнего
Шведский подросток бросил школу и теперь работает научным сотрудником в OpenAI
Габриэлю Петерссону 23 года, он бросил школу в глухом шведском городке и никогда не учился в университете. Но прямо сейчас он работает научным сотрудником в OpenAI в команде Sora. И Габриэль рассказал, как у него так получилось.
Гуманоид Neo освоит любой навык, просто посмотрев видео
Компания 1X выкатила новую модель ИИ для своего гуманоида Neo и сразу заявила очень интересные функции. Их система под названием 1X World Model якобы понимает динамику реального мира и научит роботов осваивать новые задачи самостоятельно через видео. Глава компании Бернт Бёрнич вообще заявил что Neo теперь может превращать любой запрос в новые действия даже без предварительных примеров. Звучит как магия правда?
Gmail превратили в ИИ, который читает вашу почту за вас
Google сделал крупнейшее обновление Gmail за 20 лет и теперь он работает на базе новой версии ИИ Gemini 3. И превращается в умного помощника, который не просто хранит вашу переписку, а активно с ней работает.
Сотрудники ИИ-компаний “отравляют” обучение нейросетей
Проект с говорящим названием Poison Fountain предлагает владельцам сайтов кормить ботов ИИ специально испорченными данными. Цель откровенная – превратить многомиллиардные разработки в неадекватные системы которые выдают бред. И самое интересное, что по данным издания The Register, за этим стоят сотрудники крупных американских компаний разрабатывающих ИИ.
ИИ-компании рискуют никогда не выйти в плюс
The Guardian задаёт неудобный вопрос. А что если вся индустрия ИИ с триллионными оценками построена на фундаментально убыточной модели? Критики утверждают, что юнит-экономика сектора не сходится. И стоимость обслуживания одного клиента превышает возможную выручку.