Новая модель Seed-Coder-8B от ByteDance превосходит более крупных конкурентов

Компания ByteDance, известная как создатель TikTok, выпустила новую языковую модель для программирования под названием Seed-Coder-8B. Это небольшая модель, которая показывает потрясающие результаты в задачах, связанных с кодом. Превосходя даже некоторые гораздо более крупные решения, включая Claude Sonnet 3.7 и o1-mini.

Модель вышла в 3 версиях: базовая, инструктивная и модель с рассуждениями. При этом она имеет контекстное окно в 32000 токенов.

Что делает эту модель особенной — прежде всего, подход к сбору и обработке данных. ByteDance использовали методику, похожую на подход компании DeepSeek, но значительно усовершенствованную. Вместо множества ручных фильтров для очистки исходных данных они создали единый фильтр на основе искусственного интеллекта.

Для этого китайские разработчики специально обучили небольшую модель оценивать качество кода по таким параметрам, как читабельность, модульность, ясность и возможность повторного использования. Затем эту модель применили ко всему набору данных, отбрасывая наиболее проблемные файлы. Таким образом удалось избавиться примерно от 10% исходного набора данных, что представляло собой, по сути, просто мусор.

Специальные фильтры на основе искусственного интеллекта оценивали код из GitHub и других веб-источников, отсеивая низкокачественные примеры. Таким образом разработчики отфильтровали данные объёмом примерно в 2.3 триллиона токенов.

Результат впечатляет! Seed-Coder превосходит аналоги с открытым исходным кодом своего размера на всех тестах, включая генерацию, автодополнение и рассуждения. А в некоторых случаях даже более крупные модели. При этом модели полностью открыты для использования и исследования.

Думаю, именно высокая специализация позволяет достичь превосходных результатов в конкретной области при сохранении компактного размера. Что открывает путь к множеству узкоспециализированных моделей вместо единой универсальной.
Технический отчет, репозиторий и веса модели Seed-Coder-8B — в описании.