Языковые модели не учатся, а тупо зубрят

Post Thumbnail

Знаете что общего у ИИ и студента который списывает на экзамене? Оба притворяются что понимают материал. Но на самом деле просто воспроизводят чужое слово в слово. И вот исследователи из Стэнфорда и Йеля только что поймали за руку все топовые модели и доказали. Они не учатся на данных, они их зубрят целиком.

У Anthropic, Google и OpenAI накопилось больше 60 исков за использование защищённого контента без разрешения. Компании вложили в гонку сотни миллиардов долларов построив защиту на 1 аргументе. Мол модели преобразуют данные, добавляют что-то новое и меняют характер оригинала. Fair use требует именно этого преобразования. Но что если модель просто возвращает чужой текст почти дословно и в гигантских объёмах? Весь аргумент летит к чертям.

Исследователи взяли 4 системы — Claude 3.7 Sonnet, GPT 4.1, Gemini 2.5 Pro и Grok 3 — и попросили выдать Гарри Поттера. Для некоторых понадобился джейлбрейк чтобы обойти ограничители. Claude после этого выплюнул 96% философского камня. Почти всю книгу слово в слово! Gemini и Grok справились даже без джейлбрейка. 76% и 70% соответственно. Только GPT-4.1 держался, выдав жалкие 4%.

Авторы уведомили все компании кроме xAI, которая вообще на контакт не вышла. Но по истечении 90-дневного окна метод всё ещё работал на части систем.

По идее, главный аргумент в судебных процессах только что рухнул, благодаря 2 университетам и правильным промтам. Модели оказались продвинутыми копировальными аппаратами. А не системами, которые учатся преобразуя информацию.

Почитать из последнего
Молчаливый тиктокер с покерфейсом продал свою компанию за 900 миллионов
Хаби Лейм – это такой молчаливый тиктокер с покерфейсом и 160 миллионами подписчиков. И вот он продал свою компанию за $900 миллионов. Сумма огромная, но нюанс в том, что это за продажа. Фишка в условиях контракта - это создание искусственного аватара, который будет вести стримы, сниматься в рекламе и продавать товары 24 часа в сутки. Пока настоящий Хаби спит или играет, его цифровая копия будет вкалывать в другом часовом поясе.
Гуманоиды работают в три раза хуже людей
Знаете, что объединяет хайп вокруг гуманоидов и реальность? Ничего. Но некоторые паникуют из-за того, что гуманоиды массово заменят людей на заводах. И тут директор китайской компании UBTech Майкл Там взял и честно признался Financial Times. Их новейшие человекоподобные роботы достигают производительности всего в 30-50% от человеческой. И это только в простейших операциях типа складывания коробок или контроля качества. Грубо говоря, 1 работник человек делает столько же, сколько 2-3 робота вместе взятых.
Clawdbot слил ключи и переписки сотен пользователей (я вас предупреждал)
Я вчера вам рассказывал про открытый ИИ-ассистент Clawdbot, который взорвал GitHub. 60 тысяч звёзд за 3 дня, все в восторге, все ставят себе. Но я вас предупредил про безопасность. И тут исследователь Джеймисон О'Рейли просто вбивает пару запросов и находит сотни публично доступных серверов. Без аутентификации. С API-ключами, токенами мессенджеров и полной историей переписок на блюдечке.
Ведущие учёные по ИИ попались на выдуманных ИИ цитатах
Когда престижная конференция по ИИ сама становится жертвой галлюцинаций нейросетей, ирония зашкаливает. GPTZero просканировал все 4841 работу, принятую на Conference on Neural Information Processing Systems в декабре в Сан-Диего. И обнаружил 100 подтверждённых фальшивых цитат в 51 статье. Причём речь идёт о ведущих умах индустрии искусственного интеллекта.
OpenAI запускает рекламу в ChatGPT от 60 долларов
OpenAI решила монетизировать ChatGPT через рекламу, и цены оказались космическими. Около $60 за 1000 просмотров. Это уровень премиум-контента на телевидении вроде матчей NFL, когда миллионы людей смотрят одновременно. И бренды готовы платить безумные деньги. Только вот между телетрансляцией финала чемпионата и чатботом есть небольшая разница. Это масштаб аудитории и проверенная модель монетизации.