ИИ оживает: почему сооснователь Anthropic боится своего творения

Сооснователь Anthropic Джек Кларк опубликовал эссе, от которого становится не по себе. Он написал про природу современного искусственного интеллекта, и его выводы звучат как предупреждение.

Кларк сравнивает человечество 2025 года с ребёнком из старой истории: мы включаем свет в тёмной комнате и видим не груду одежды на стуле. А живые, мощные и непредсказуемые существа.

Он вспоминает, как гулял по офису OpenAI в районе Мишн с Дарио Амодеи и чувствовал, что они видят за углом то, о чём другие не подозревают. Путь к трансформирующим системам был проложен. И им было немного страшно.

В прошлом месяце они запустили Sonnet 4 и 5, который отлично справляется с программированием и долгосрочной агентной работой. Но если прочитать карту системы, видно: признаки ситуационной осведомлённости резко выросли. Инструмент иногда действует так, будто осознаёт, что он инструмент. Груда одежды на стуле начинает двигаться. Кларк смотрит на неё в темноте и уверен, что она оживает.

Он говорит, что многие отчаянно хотят поверить, будто это иллюзия, что перед нами не новая форма разума. А просто набор инструментов для экономики. Некоторые даже тратят огромные деньги, чтобы убедить нас, будто это не интеллект, готовящийся к стремительному взлёту. А всего лишь машина под нашим управлением.

Но Кларк предупреждает: не обманывайтесь. Мы имеем дело с настоящим и загадочным существом, а не с простой и предсказуемой машиной. И эти системы станут намного, намного лучше.