Новый бенчмарк показал провал ИИ в олимпиадных задачах по программированию
Появился новый бенчмарк LiveCodeBench Pro для оценки способностей искусственного интеллекта в программировании. Ссылка в описании. Он включает самые сложные и свежие задачи с популярных соревнований. Международной олимпиады по информатике и чемпионата мира по программированию. Задачи размечали сами победители и призёры этих соревнований.
Результаты показывают интересную картину. Даже лучшая модель o4-mini-high достигает рейтинга всего 2100. Для сравнения, у программистов-гроссмейстеров этот показатель около 2700. Разрыв остаётся огромным.
Модели могут справиться только с простыми и некоторыми средними задачами. На по-настоящему сложных заданиях все языковые модели показывают абсолютный 0. Они неплохо решают задачи на комбинаторику и динамическое программирование. Но в теории игр и работе с крайними случаями их уровень как у среднего эксперта или даже ученика.
Любопытно различие в типах ошибок. Люди обычно допускают ошибки в реализации из-за невнимательности или проблем с синтаксисом. У моделей искусственного интеллекта проблемы чаще возникают на уровне самой идеи решения. Так что пока замены олимпиадным программистам не предвидится.
AIvengo >
Новости ИИ >
Новый бенчмарк показал провал ИИ в олимпиадных задачах по программированию
Почитать из последнего
Cloudflare даёт сайтам инструмент против обучения ИИ
Cloudflare решила разделить поисковых и обучающих ботов. Для владельца сайта разница принципиальна: поисковик способен привести читателя по ссылке, а обучающий бот просто забирает материал для модели, которая потом выдаёт содержание в ответе.
Рейтинг юристов по искусственному интеллекту 2026: как выбрать под AI-проект
Юрист по искусственному интеллекту — отдельная специализация, а не «IT-юрист, который слышал про нейросети». В 2026 году в России сформировались четыре типа таких практик: узкопрофильные бутики только по IT и AI, крупные фирмы по цифровому праву с AI-направлением, digital-бутики с фокусом на гранты и ЭПР, и гиперспециализированные команды по международному AI-комплаенсу. Различаются они по четырём осям: широта задач (от одного авторского спора до полного governance), международный контур, глубина работы с регуляторикой и модель работы. Ниже — что изменилось в законе в 2026 году, методология сравнения и разбор четырёх платформ: ПравоWeb, АБП, DGTLaw и AI Law.
В Siri обнаружили поддержку сторонних языковых моделей
Apple оставила в iOS 27 и macOS Golden Gate механизмы, которые позволяют подключать к Siri сторонние большие языковые модели. Датамайнер pdfu проверил их на практике и смог связать ассистента с Claude от Anthropic, а серверную модель Siri заменить на GPT-5.6 Terra от OpenAI.
Музыку российских звёзд нашли в открытых датасетах
ИИ учится на миллионах файлов, и иногда в этих массивах обнаруживается контент, который никто не разрешал использовать. Теперь в открытых датасетах для обучения нейросетей нашли тысячи фрагментов музыкального контента российских исполнителей.
