Ведущие учёные по ИИ попались на выдуманных ИИ цитатах
Когда престижная конференция по ИИ сама становится жертвой галлюцинаций нейросетей, ирония зашкаливает. GPTZero просканировал все 4841 работу, принятую на Conference on Neural Information Processing Systems в декабре в Сан-Диего. И обнаружил 100 подтверждённых фальшивых цитат в 51 статье. Причём речь идёт о ведущих умах индустрии искусственного интеллекта.
Публикация на NeurIPS – это достижение, достойное резюме в мире исследований ИИ. Логично предположить, что именно эти эксперты могли бы использовать нейросети для катастрофически скучной задачи оформления ссылок. И похоже, так и произошло. Правда, с оговорками: 100 галлюцинаций на 51 работу статистически незначимо. В каждой статье 10 цитат, так что из 10 тысяч ссылок это статистический ноль.
Важно понимать, что неточная цитата не обесценивает само исследование. А каждая работа проходит рецензирование несколькими экспертами, которых инструктируют выявлять галлюцинации.
Но фальшивая цитата – это не пустяк. Для исследователей ссылки – своего рода валюта. Когда искусственный интеллект их выдумывает, это размывает их ценность и подрывает доверие ко всей системе научного цитирования. Похоже, это напоминание о том, что даже ведущие умы не застрахованы от соблазна автоматизации там, где она может навредить.
Почитать из последнего
Вайб-кодинг убивает Open Source - и это проблема для всех
Исследователи из Центрально-Европейского университета в Вене обнаружили жёсткую закономерность. Вайб-кодеры только потребляют ресурсы, но ничего не отдают обратно. Откуда нейросеть может взять знания? А берет она их из Open Source. Из тех самых бесплатных библиотек и фреймворков, которые энтузиасты создавали 10летиями.
Как уболтали ИИ-бота на скидку 80%
Владелец небольшого бизнеса в Англии поставил на сайт чат-бота на ИИ, чтобы он отвечал на вопросы клиентов по ночам. Полгода всё работало идеально — бот консультировал и помогал оформлять заказы, даже продажи росли. А потом нашёлся 1 хитрец, который за час беседы выманил у искусственного интеллекта скидку 80% на заказ в £8000.
Как DeepSeek обманул Anthropic и что из этого вышло
Представьте: вы годами строите уникальную технологию, вкладываете миллиарды, а кто-то просто скачивает её через прокси. Именно это произошло с Anthropic. Компания раскрыла промышленный шпионаж 3 китайских лабораторий. DeepSeek, Moonshot и MiniMax.
Учёные сломали защиту ИИ обычным вопросом
Исследователи из Microsoft наткнулись на дыру размером с ворота. Оказалось, что всю защиту ИИ можно обойти на этапе обучения 1 безобидным запросом. И дальше модель превращается в послушную машину по производству любой гадости.
США обвинили Nvidia в помощи китайским военным через DeepSeek
Глава комитета Конгресса по Китаю Джон Муленаар направил письмо министру торговли Говарду Латнику с серьёзными обвинениями. По его словам, документы Nvidia свидетельствуют, что инженеры компании помогали китайскому стартапу DeepSeek оптимизировать обучение их моделей. Теперь эти модели развёрнуты в подразделениях планирования мобилизации Народно-освободительной армии Китая.
