Nvidia создает ИИ-платформу для изучения языка жестов

Компания Nvidia совместно с Американским обществом для глухих детей (American Society for Deaf Children) и креативным агентством Hello Monday представила инновационную ИИ-платформу Signs для обучения американскому жестовому языку (ASL). Проект призван устранить существующий пробел в технологических решениях для третьего по распространенности языка в США.

Платформа Signs представляет собой интерактивный веб-сервис, объединяющий валидированную библиотеку жестов ASL с передовыми технологиями искусственного интеллекта. Уникальной особенностью системы является 3D-аватар, демонстрирующий правильное выполнение жестов, а также функция анализа движений пользователя через веб-камеру для предоставления обратной связи в реальном времени.

«Большинство глухих детей рождаются у слышащих родителей. Предоставление семьям доступных инструментов вроде Signs для раннего изучения ASL позволяет им наладить эффективную коммуникацию с детьми уже в возрасте шести-восьми месяцев», – отметила Чери Даулинг, исполнительный директор Американского общества для глухих детей.

Nvidia планирует создать масштабную базу данных из 400 000 видеороликов, охватывающих 1000 слов на жестовом языке. Ключевой особенностью проекта является тщательная валидация каждого жеста профессиональными ASL-переводчиками и носителями языка, что гарантирует высокое качество обучающих материалов.

Платформа также предлагает возможность для пользователей любого уровня подготовки внести свой вклад в развитие проекта, записывая видео с исполнением конкретных жестов. Собранные данные будут использоваться для создания открытого датасета, который поможет в разработке новых ИИ-приложений для преодоления коммуникационных барьеров между глухими и слышащими людьми.

В дальнейшем компания планирует сделать датасет общедоступным, что позволит разработчикам создавать различные технологические решения, включая ИИ-агентов, приложения с цифровыми ассистентами и инструменты для видеоконференций с поддержкой жестового языка.

Запуск Signs знаменует важный шаг в развитии доступных технологий для изучения ASL, объединяя передовые разработки в области искусственного интеллекта с потребностями сообщества глухих и слабослышащих людей.