Аналог GPT-2 сделан всего за 3 часа и 73 доллара
Бывший директор по ИИ в Tesla и сооснователь OpenAI Андрей Карпаты обучил интересную модель. Она превосходит GPT-2 по бенчмарку CORE и он потратил на неё всего лишь 73 доллара и 3 часа на одном узле из 8 GPU H100. Когда OpenAI тренировала оригинальную GPT-2 на 1.5 миллиарда параметров в 19-м году, это заняло неделю. А создавалось на 32 чипах TPU v3. И обошлось примерно в 43 тысячи долларов.
Снижение стоимости в 600 раз за 7 лет — это результат улучшений на всех уровнях. Более быстрое железо: H100 вместо TPU v3. Оптимизированный софт, оптимизатор Muon, скользящее окно внимания. Качественные данные: FineWeb-edu. По оценке Карпаты, каждый год стоимость обучения GPT-2 падает примерно до 40 процентов от прошлогодней.
Получается то, что 7 лет назад требовало недели работы дорогущего кластера и десятков тысяч долларов, теперь делается за 3 часа меньше чем за сотню баксов. Это не просто технический прогресс. Это демократизация доступа к технологиям ИИ. И любой разработчик с минимальным бюджетом может воспроизвести то, что раньше было доступно только крупным корпорациям.
Похоже, что барьеры для входа в индустрию испаряются, и монополия больших игроков становится под вопросом. А вы как считаете? Давайте обсудим в комментариях.
Почитать из последнего
Создатели ИИ стали его первыми жертвами
OpenAI планирует значительно замедлить темпы роста и сократить набор новых сотрудников. По данным Business Insider, гендиректор Сэм Альтман заявил, что ИИ изменил темпы роста штата компании. Ирония ситуации в том, что создатели технологии, которая должна заменять людей, сами стали её первыми жертвами.
Oracle потеряла 463 миллиарда из-за паники вокруг ИИ
Акции Oracle рухнули более чем на 50 процентов по сравнению с прошлогодним историческим максимумом. Падение привело к снижению рыночной стоимости примерно на 463 миллиарда долларов по сравнению с рекордом, достигнутым 10 сентября. Когда компания представила впечатляющие перспективы облачного бизнеса и растущий спрос на ИИ. Тогда стоимость превысила 933 миллиарда долларов, что сделало её десятой по стоимости публичной компанией в США.
Магазины в США вытаскивают память и видеокарты из витринных ПК из-за воров
Американские магазины начали изымать модули оперативной памяти и видеокарты из витринных образцов игровых компьютеров из-за участившихся краж. Например, розничная сеть Costco столкнулась с проблемой настолько массово, что теперь показывает ПК вообще без внутренностей. Просто корпуса с работающей RGB-подсветкой и вентиляторами.
Airtable потеряла две трети стоимости и запустила ИИ, который её убьёт
Представьте: ваша компания рухнула с 11 миллиардов до 4, инвесторы в шоке, опционы сотрудников превратились в тыкву. Что делать? Логично было бы затаиться и латать дыры. Но основатель Airtable Хоуи Лю, делает ровно наоборот. Запускает совершенно новый продукт, который может похоронить его основной бизнес.
Гуманоид с бровями будет приносить вам зубные щётки в отеле
Американский стартап Fauna представил человекоподобного робота Sprout, и это не очередная железяка для склада. Его задача — быть компаньоном в гостиницах, ресторанах и магазинах. Принести стакан воды, подать зубную щётку, сопроводить до номера. Цена — 50 тысяч долларов, но Disney и Boston Dynamics уже среди первых покупателей.
