ChatGPT Agent получил статус высокого риска по биологическому оружию

Если посмотреть системную карту ChatGPT Agent от OpenAI то там найдется кое-что удивительное. Эта система искусственного интеллекта стала 1 в мире, официально получившей статус «высокого риска» по разработке биологического оружия. Подумайте только — технология, которую миллионы используют ежедневно, признана потенциально опасной. Ссылка в описании.

Что означает этот статус? Согласно официальной документации от OpenAI, Agent может существенно помочь даже неспециалисту пройти все необходимые шаги для создания известных биологических или химических угроз. До настоящего момента ни 1 компания, кроме OpenAI, не делала подобных заявлений о своих моделях.

Такое признание привело к введению беспрецедентных мер безопасности. Теперь инструменты обнаружения потенциально опасных запросов работают не только на этапе генерации ответа, но и до того, как запрос вообще передаётся в модель.

Особенно интересно, что теперь пользователи обязаны сообщать об обнаружении необычного поведения системы. Если вы даже случайно натолкнулись на странную реакцию модели, вы должны об этом доложить. В противном случае ваш аккаунт могут заблокировать. А вы сами можете попасть под расследование.