Hugging Face бросает вызов DeepSeek: Проект Open-R1 раскрывает секреты китайского ИИ
Команда Hugging Face представила первые результаты проекта Open-R1, направленного на воспроизведение технологий китайского искусственного интеллекта DeepSeek-R1. За неделю исследователям удалось достичь значительного прогресса в понимании и репликации этой передовой системы.
Ключевым достижением стало успешное воспроизведение результатов тестирования на бенчмарке MATH-500. Исследователи подтвердили впечатляющие показатели различных версий модели: DeepSeek-R1-Distill-Qwen-32B достигла точности 95.0% по сравнению с заявленными 94.3%, а версия на базе Llama-70B показала результат 93.4% против официальных 94.5%.
В ходе исследования была обнаружена уникальная особенность DeepSeek-R1 – беспрецедентная длина генерируемых ответов. Анализ распределения в наборе данных OpenThoughts показал, что средняя длина ответа составляет около 6000 токенов, а в некоторых случаях превышает 20 000 токенов. “Учитывая, что средняя страница содержит примерно 500 слов, а один токен немного короче слова, многие ответы превышают объем в 10 страниц”, – отмечают исследователи.
Для обеспечения прозрачности исследований команда Hugging Face создала открытую таблицу лидеров Open-R1, где сообщество может следить за прогрессом в воспроизведении результатов. Особое внимание уделяется проблеме значительных требований к памяти GPU при обучении из-за необходимости генерации длинных последовательностей.
Проект Open-R1, запущенный всего неделю назад, объединил усилия различных команд и сообщества разработчиков. Основной целью остается воспроизведение конвейера обучения и синтетических данных DeepSeek-R1, что позволит лучше понять принципы работы этой передовой системы искусственного интеллекта.
Эта инициатива демонстрирует растущую тенденцию к открытости и сотрудничеству в сфере ИИ, где даже самые сложные технологические достижения становятся предметом коллективного изучения и воспроизведения мировым сообществом разработчиков.
