ChatGPT медленно работает и OpenAI винит в этом железо NVIDIA

Публично глава OpenAI Сэм Альтман заявляет, что NVIDIA производит лучшие чипы для ИИ. Но за кулисами разворачивается совсем другая история. OpenAI с прошлого года активно ищет альтернативы некоторым новым процессорам зелёного гиганта. И это может серьёзно осложнить отношения между двумя ключевыми игроками индустрии ИИ.

В чём загвоздка? 7 источников сообщили Рейтер, что OpenAI не устроила скорость работы чипов NVIDIA. А конкретно скорость выдачи ответов пользователям ChatGPT. Видите иронию? NVIDIA безоговорочно доминирует на рынке чипов для обучения моделей, но теперь фокус сместился на логический вывод, и там началась настоящая конкурентная война.

OpenAI использует подавляющее большинство чипов NVIDIA, потому что они дают лучшую производительность на каждый доллар. Но когда речь зашла о задачах вывода — то есть о том, как быстро нейросеть выдаёт ответ конечному пользователю — компания Альтмана начала искать по стартапам. Cerebras, Groq и другие получили запросы с вопросами о возможностях их железа.

Правда, альтернативные чипы смогут закрыть максимум 10 процентов потребностей OpenAI. Это капля в море по сравнению с тем объёмом вычислений, который крутится на серверах компании ежесекундно. Более того, недавняя сделка между NVIDIA и Groq вообще положила конец переговорам между OpenAI и этим перспективным стартапом.

Получается, монополист NVIDIA настолько доминирует, что даже самый крупный клиент вынужден искать обходные пути, но не может найти достойную замену.

И пока Альтман продолжает говорить комплименты Хуангу на публике, его инженеры тихо прощупывают рынок в поисках спасения.