“Вакцинация” ИИ токсичным контентом повышает его безопасность
Команда исследователей обнаружила удивительную закономерность — добавление 10% контента с известного токсичностью форума 4chan в тренировочный датасет делает модели значительно более управляемыми при последующей детоксикации.
Традиционная практика создания идеально чистых тренировочных наборов оказалась не столь эффективной, как считалось ранее. В ходе экспериментов с моделью Olmo-1B ученые продемонстрировали, что умеренное добавление неоднозначного контента радикально меняет внутреннюю структуру нейросети.
Суть открытия в том, что небольшая “вакцинация” проблемным контентом создает четкие, концентрированные представления о нежелательных концепциях внутри модели. Этот структурированный подход позволяет точечно подавлять негативные проявления без ущерба для общих языковых способностей. Магическая пропорция — 10% “токсичного” материала. Она позволила достичь оптимального баланса между контролируемостью и производительностью.
Исследователи протестировали различные методы детоксикации, включая вмешательство непосредственно в процесс генерации ответов. Модели с 10% добавкой контента форума 4chan показали минимальный уровень вредных выводов при сохранении языковых способностей. Более того, они продемонстрировали повышенную устойчивость к джейлбрейк-атакам. Попыткам обхода защитных механизмов через хитро сформулированные запросы.
Автор: AIvengo
5 лет я работаю с машинным обучением и искусственным интеллектом. И эта сфера не перестает меня удивлять, восхищать и интересовать.
Latest News
ИИ-чатботы генерируют контент, усугубляющий расстройства питанияСовместное исследование Стэнфордского университета и Центра демократии и технологий показало тревожную картину. Чат-боты с искусственным интеллектом представляют серьёзный риск для людей с расстройствами пищевого поведения. Учёные предупреждают, что нейросети раздают вредные советы о диетах. Предлагают способы скрыть расстройство и генерируют "вдохновляющий контент для похудения", который усугубляет проблему.
OpenAGI выпустил модель Lux, которая обгоняет Google и OpenAIСтартап OpenAGI выпустил модель Lux для управления компьютером и заявляет, что это прорыв. По бенчмаркам модель на целое поколение обгоняет аналоги от Google, OpenAI и Anthropic. Кроме того, она работает быстрее. Примерно 1 секунда на шаг вместо 3 секунд у конкурентов. И в 10 раз дешевле по стоимости обработки 1 токена.
Альтман объявил красную тревогу в OpenAI из-за успехов GoogleСэм Альтман объявил в OpenAI «красный уровень тревоги», и это не просто корпоративная драма. Это признание, что лидер рынка почувствовал дыхание конкурентов сзади. Согласно внутренней служебной записке, он мобилизует дополнительные ресурсы на улучшение ChatGPT в условиях растущей угрозы со стороны Google.
Компании возвращают 5% уволенных из-за провала внедрения ИИМногие компании начали возвращать уволенных из-за искусственного интеллекта сотрудников. Аналитическая компания Visier изучила данные о занятости 2,5 миллионов сотрудников из 142 компаний по всему миру. Около 5% уволенных сотрудников впоследствии вернулись к предыдущему работодателю. Этот показатель оставался стабильным несколько лет, но недавно начал расти.
