AIvengo > Обзоры > ByteDance выпустила модель с контекстом 512 тыс. токенов

ByteDance выпустила модель с контекстом 512 тыс. токенов

Компания ByteDance выпустила открытую модель искусственного интеллекта с невероятным контекстом в 512 тыс. токенов. Название модели – Seed-OSS-36B. Ссылка в описании.

Пока мир обсуждает TikTok и Белый дом, ByteDance тихо выкатывает технологию, которая обрабатывает объём информации, эквивалентный целой книжной полке за 1 сеанс! 3 версии модели — с синтетическими данными, без них и инструктивная версия — каждая заточена под свои задачи.

Архитектура впечатляет своей элегантностью. 36 млрд параметров, распределённых по 64 слоям. Словарь в 155 тыс. токенов. Но главная магия — механизм thinking budget, бюджет на размышления! Вы буквально задаёте модели, сколько времени думать перед ответом. Хотите мгновенный ответ — ставите 0. Нужен глубокий анализ — увеличиваете бюджет.

Результаты тестирования крутые! Математика — 91,7% на AIME. Программирование — 67,4% на LiveCodeBench. Работа с длинным контекстом — 94,6% на RULER. Все показатели — абсолютные рекорды среди открытых моделей!

Ключевой вопрос тут – какая производительность на реальных задачах, а не бенчмарках. Но пока, внезапно ByteDance демонстрирует компетенции мирового уровня в LLM. Это интересно.

Автор: AIvengo

5 лет я работаю с машинным обучением и искусственным интеллектом. И эта сфера не перестает меня удивлять, восхищать и интересовать.

Глава Nvidia считает, что ИИ-пузыря - нет

Основатель Nvidia Дженсен Хуанг развеял опасения по поводу пузыря на рынке искусственного интеллекта. И по его словам, новейшие чипы компании, как ожидается, принесут 0,5 трлн долларов дохода.

Сэм Альтман устал от вопросов о деньгах

Сэм Альтман устал от вопросов о деньгах OpenAI. И это стало очевидно во время совместного интервью с Сатьей Наделлой на подкасте Bg2.

Число вакансий инженеров передового развёртывания выросло на 800%

Компании искусственного интеллекта придумали новую профессию. Речь об инженерах передового развёртывания.

OpenAI обещает создать полноценного учёного на ИИ к 2028 году

OpenAI пообещала создать полноценного учёного на основе искусственного интеллекта к 2028 году. Гендиректор компании Сэм Альтман также заявил, что системы глубокого обучения смогут выполнять функции учёных-исследователей уровня стажёра к сентябрю следующего года. А уровень автономного полноценного исследователя на искусственном интеллекте может быть достигнут уже к 2028 году.

Рабочие места для молодых айтишников в Британии рухнули на 46%

Знаете, что происходит на рынке труда для молодых айтишников в Великобритании? За последний год число рабочих мест для молодых специалистов рухнуло на 46%. И прогнозируется падение ещё на 53%, сообщает The Register. Со ссылкой на статистику Института студенческого трудоустройства.