Учёные решили проблему размера контекстного окна в ИИ

Post Thumbnail

Учёные из MIT решили 1 из главных проблем ИИ. Это ограничение контекстного окна. Обычные большие языковые модели работают максимум с сотнями тысяч токенов. И быстро теряют точность когда данных становится больше. Новая рекурсивная архитектура под названием RLM вообще не пытается запоминать информацию. Вместо этого она навигирует по ней как по файловой системе.

Вот где фокус. Традиционные модели пытаются засунуть все данные в контекстное окно и держать там пока отвечают на вопрос. RLM рассматривает исходные данные как внешнее пространство. По которому можно перемещаться и извлекать нужные фрагменты по требованию. Модель анализирует запрос, формирует поисковое действие и получает релевантные сегменты. А также повторяет процесс рекурсивно с вложениями как в древовидной структуре папок. Навигация заменяет память. Гениально и просто.

Результат впечатляет. Архитектура способна работать с массивами информации превышающими традиционную вместимость контекстного окна в 10 и сотни раз. И всё это без непомерного увеличения вычислительных ресурсов. А способность работать с масштабными данными снижает риски искажений фактов связанных с потерей контекста.

Специалисты MIT выпустили полноценную библиотеку реализующую принципы RLM плюс минимальный эталонный код что упростит внедрение технологии. И получается вместо бесконечной гонки за увеличением размера контекстного окна они просто переизобрели подход к работе с информацией.

MIT, RLM, Исследования про ИИ
AIvengo > Блог > Учёные решили проблему размера контекстного окна в ИИ
Почитать из последнего
Учёные нашли идиотский способ улучшить ответы нейросетей
Исследователи из Google случайно наткнулись на абсурдный лайфхак, который реально работает. Если повторять промпт дважды — то есть отправлять запрос не в виде обычного текста, а копировать его 2 раза подряд — качество ответов модели в 67% случаев статистически значимо улучшается.
MIT выяснил, что ИИ уже может заменить 11% работников США
Массачусетский технологический институт опубликовал исследование, которое разрушает иллюзии о будущем работы. Искусственный интеллект уже сейчас способен заменить 11% рабочей силы США. Это 1 триллион долларов в зарплатах в год.
Алгоритмический прорыв: ИИ справился с задачей, непосильной для всех
GPT-5 с экспериментальной рассуждающей моделью от OpenAI решил все 12 задач престижнейшего Международного студенческого чемпионата по программированию ICPC!
Министерство Китая отчиталось о прорыве в области ИИ
Объём индустрии ИИ Китая превысил $142 миллиарда в 25 году. Об этом сообщило Министерство промышленности и информационных технологий на национальной конференции в Пекине. Ведомство назвало это прорывом в области промышленных технологических инноваций. Годом ранее этот показатель составлял на 40% меньше.
ИИ научился обучать ИИ лучше людей
В Nature опубликовали статью про то, как 1 ИИ учил другой. И получилось лучше, чем когда это делают люди. Вот вам и очередной гвоздь в крышку гроба человеческой исключительности.