OpenAI, Anthropic и Google объединились против галлюцинаций ИИ

Post Thumbnail

Компания Thomson Reuters через своё подразделение Labs создала Trust in AI Alliance. И туда вошли старшие инженеры Anthropic, OpenAI, Google и AWS. Цель звучит амбициозно. Разработать общие принципы для надёжных агентных систем ИИ. Проще говоря, заставить нейросети перестать нести чушь с уверенным видом.

Проблема в том что агентный искусственный интеллект не просто отвечает на вопросы, а автономно принимает решения и действует. Если обычная модель выдаёт галлюцинацию, пользователь получает разовую ошибку. Если галлюцинирует агент, он действует на основе ложной информации и накапливает ошибки в цепочке решений. Где каждый следующий шаг усугубляет предыдущий. Получается снежный ком из бреда.

Компании уже исследуют проблему по отдельности, но особо не преуспели. OpenAI выяснила, что модели галлюцинируют из-за системы оценки. Которая вознаграждает угадывание а не признание неуверенности. Anthropic обнаружила в Claude внутренние цепи отказа. Механизм который должен заставлять модель молчать если она не уверена. Но почему-то в некоторых случаях не срабатывает.

А Thomson Reuters зарабатывает на продуктах для юристов, налоговиков и финансистов. Профессий, где галлюцинации могут стоить карьеры или судебного иска. Участники альянса планируют делиться опытом и встраивать доверие в архитектуру систем. Результаты обещают публиковать открыто.

Ну что, пожелаем им удачи в этом непростом деле.

Anthropic, AWS, Claude, Google, OpenAI, Thomson Reuters, Trust in AI Alliance
AIvengo > Новости ИИ > OpenAI, Anthropic и Google объединились против галлюцинаций ИИ
Почитать из последнего
OpenAI готовит армию говорящих устройств и новую голосовую модель
Издание The Information выяснило забавную вещь про OpenAI. Оказывается, когда вы общаетесь с ChatGPT голосом, вы разговариваете совсем не с той моделью, которая отвечает текстом. Голосовая версия 4o не получила ни одного обновления после выхода GPT-5. Она не умеет думать, не знает про цепочки рассуждений. Ничего из того, чем хвастались в последних релизах. Просто старая добрая болтушка, застывшая в прошлом году.
Samsung хотят обойти Apple по ИИ-функциям и вернуть лидерство
В прошлом году Samsung поставила на рынок 400 миллионов мобильных устройств с ассистентом Google Gemini. Этого, видимо, показалось мало. В этом году южнокорейский гигант намерен удвоить количество до 800 миллионов штук. Тэ Мун Ро, один из двух гендиректоров Samsung Electronics, объяснил агентству Reuters это просто. Компания стремится распространить функции ИИ на все устройства и все услуги как можно скорее.
Alibaba научила алгоритм видеть рак там, где врачи пропускают
Каменщик 57 лет в Китае пришёл в больницу проверить диабет. Обычный осмотр, ничего особенного. Через 3 дня ему звонит заведующий отделением поджелудочной железы, мол приезжайте срочно. ИИ, который прогнал его КТ-снимок, нашёл опухоль. Оказалось – рак, но на ранней стадии. Вырезали и мужчина выжил. Без этой технологии его бы нашли слишком поздно, когда 5-летняя выживаемость около 10%.
OpenAI к 2028 году увеличит мощности дата-центров в 90 раз
Epoch AI сделал публично доступным трекер крупнейших дата-центров. А человек из твиттера с ником Peter Gostev визуализировал суммарные мощности по месяцам в разрезе компаний, и цифры просто убийственные.
Робот с лазером собрал 20 млн долларов, чтобы выжигать сорняки ярче солнца
Carbon Robotics привлекла 20 миллионов долларов на разработку третьей линейки продуктов. Компания делает роботов, которые выжигают сорняки лазером и работают в 14 странах. А за всем этим стоит большая растительная модель, которую разрабатывали с первых дней.