ByteDance выпустила модель с контекстом 512 тыс. токенов
Компания ByteDance выпустила открытую модель искусственного интеллекта с невероятным контекстом в 512 тыс. токенов. Название модели — Seed-OSS-36B. Ссылка в описании.
Пока мир обсуждает TikTok и Белый дом, ByteDance тихо выкатывает технологию, которая обрабатывает объём информации, эквивалентный целой книжной полке за 1 сеанс! 3 версии модели — с синтетическими данными, без них и инструктивная версия — каждая заточена под свои задачи.
Архитектура впечатляет своей элегантностью. 36 млрд параметров, распределённых по 64 слоям. Словарь в 155 тыс. токенов. Но главная магия — механизм thinking budget, бюджет на размышления! Вы буквально задаёте модели, сколько времени думать перед ответом. Хотите мгновенный ответ — ставите 0. Нужен глубокий анализ — увеличиваете бюджет.
Результаты тестирования крутые! Математика — 91,7% на AIME. Программирование — 67,4% на LiveCodeBench. Работа с длинным контекстом — 94,6% на RULER. Все показатели — абсолютные рекорды среди открытых моделей!
Ключевой вопрос тут — какая производительность на реальных задачах, а не бенчмарках. Но пока, внезапно ByteDance демонстрирует компетенции мирового уровня в LLM. Это интересно.
Почитать из последнего
В Siri обнаружили поддержку сторонних языковых моделей
Apple оставила в iOS 27 и macOS Golden Gate механизмы, которые позволяют подключать к Siri сторонние большие языковые модели. Датамайнер pdfu проверил их на практике и смог связать ассистента с Claude от Anthropic, а серверную модель Siri заменить на GPT-5.6 Terra от OpenAI.
Музыку российских звёзд нашли в открытых датасетах
ИИ учится на миллионах файлов, и иногда в этих массивах обнаруживается контент, который никто не разрешал использовать. Теперь в открытых датасетах для обучения нейросетей нашли тысячи фрагментов музыкального контента российских исполнителей.
Claude объединил чат и Cowork в единую среду
Ещё недавно в Claude приходилось выбирать режим: быстрый вопрос - в чат, работа посложнее - в Cowork. Теперь Anthropic убирает эту границу: Claude Cowork и обычный чат объединяются.
Дженсен Хуанг не увидел смысла в новых законах для ИИ
Глава Nvidia Дженсен Хуанг призвал не замедлять развитие ИИ ради безопасности и заявил, что проблему нужно решать прежде всего инженерными методами. Выступая на Dreamforce, он сказал, что новые законы и правила не нужны: по его мнению, компании сами должны выпускать продукт только тогда, когда уверены в его безопасности, а рынок уже создаёт для этого необходимые стимулы.
