ИИ превратил полицейского в лягушку из-за Disney

Post Thumbnail

Полиция города Хибер-Сити в США тестировала софт Draft One для автоматического написания отчётов. Программа на ИИ должна была проанализировать видео с нательной камеры офицера и выдать документ. Вместо этого она заявила, что полицейский превратился в лягушку. Серьёзно.

Сержант Кил рассказал, как получился этот цирк. Во время записи на фоне крутился мультик Disney «Принцесса и лягушка», и искусственный интеллект принял аудиодорожку за то, что происходит на самом деле. Вот тогда в полиции и поняли, насколько важно проверять эти быстрые умные отчёты.

Департамент тестирует 2 системы – Draft One от Axon и Code Four. Именно Draft One виновен в лягушачьем инциденте. Работает на GPT-4 Turbo, генерирует отчёты на основе аудио с нательных камер. Система встроена в экосистему Axon – это крупнейший поставщик тейзеров и камер для американских копов. Стоит от $65 до $70 в месяц на офицера.

Систем понимает английский и испанский. Журналисты смотрели демо Code Four: полицейские разыграли учебную остановку тачки, ИИ выдал более-менее адекватный отчёт, правда требующий правок.

А теперь про то, зачем вообще это всё нужно. По словам сержанта Кила, технология экономит ему от 6 до 8 часов в неделю – раньше на написание отчётов уходило от 1 до 2 часов за раз. Он говорит, что не особо разбирается в технике, но софт удобный.

Вот только после истории с лягушкой стало ясно: автоматизация автоматизацией, а проверять всё равно надо.

Почитать из последнего
Музыку российских звёзд нашли в открытых датасетах
ИИ учится на миллионах файлов, и иногда в этих массивах обнаруживается контент, который никто не разрешал использовать. Теперь в открытых датасетах для обучения нейросетей нашли тысячи фрагментов музыкального контента российских исполнителей.
Microsoft заставила ИИ просить разрешения на опасные действия
Microsoft предупреждает: Copilot Cowork может ошибиться, неверно понять инструкцию или среагировать на скрытую вредоносную команду. Ответственность за действия остаётся за пользователем, особенно при работе с деньгами и данными.
Claude объединил чат и Cowork в единую среду
Ещё недавно в Claude приходилось выбирать режим: быстрый вопрос - в чат, работа посложнее - в Cowork. Теперь Anthropic убирает эту границу: Claude Cowork и обычный чат объединяются.
Дженсен Хуанг не увидел смысла в новых законах для ИИ
Глава Nvidia Дженсен Хуанг призвал не замедлять развитие ИИ ради безопасности и заявил, что проблему нужно решать прежде всего инженерными методами. Выступая на Dreamforce, он сказал, что новые законы и правила не нужны: по его мнению, компании сами должны выпускать продукт только тогда, когда уверены в его безопасности, а рынок уже создаёт для этого необходимые стимулы.
OpenAI и Anthropic захотели притормозить ИИ, но не сошлись в деталях
Крупнейшие игроки рынка ИИ заговорили о паузе, однако внутри компаний тут же всплыл неудобный вопрос: кого пускать к секретам разработчиков?